損失関数

損失関数は、モデルの予測がどれくらいまちがっていたかを測る式です。学習では、この数字（損失、ロス）をできるだけ小さくしようとします。

言語モデルは次のトークンを予測するとき、あらゆるトークンに確率をつけます。損失は、本当に次に来たトークンにどれだけの確率をつけていたかを見ます。確率が高ければ損失は低く、確率が低ければ損失は高くなります。

この損失は交差エントロピーと呼ばれ、ほぼすべての言語モデルがこれを下げるように学習します。勾配降下法は、損失を使って、各重みをどちらに動かせばよいかを計算します。

損失は、研究所が進み具合を確かめる目安でもあります。スケーリング則は、パラメータ、データ、計算量を増やすと損失が予測どおりに下がることを示します。ただし、損失が低いことは、役に立つ正直なアシスタントであることと同じではありません。そのためにはさらに学習とテストが必要です。