勾配降下法

勾配降下法は、ほとんどのAIモデルを学習させる方法です。重みごとに損失が下がる方向を計算し、すべての重みをその方向に少しずつ動かすことを、何度もくり返します。

霧の山の斜面に立って、谷まで下りたいところを想像してください。足元がどちらに傾いているかを感じて、下り坂へ小さく一歩。勾配降下法は、損失について同じことを、何十億もの重みで一度に行います。

重みごとの傾きは誤差逆伝播法（バックプロパゲーション）で計算します。1986年にNature誌の論文で広まった方法です。一歩の大きさは学習率と呼ばれ、大きすぎると学習が不安定になり、小さすぎるとなかなか進みません。

大規模言語モデルは、ふつうAdamやその仲間で学習します。重みごとに一歩の大きさを変える、勾配降下法の改良版です。学習ではたいてい、最初に学習率を少しずつ上げ、その後だんだん下げていきます。