パラメータ（モデルの重み）

パラメータは「重み」とも呼ばれる、AIモデルの中にある調整できる数字です。学習でこれを調整すると予測がよくなり、モデルが学んだことはすべてこの数字の中にたくわえられます。

言語モデルは巨大な計算です。文章は数字になって入り、モデルのパラメータとかけたり足したりされて、予測が出てきます。学習の前のパラメータはでたらめな値で、予測がよくなるまで学習が1つずつ少しずつ動かしていきます。

モデルの大きさは、ふつうパラメータの数で表します。GPT-3は1750億個あり、ノートパソコンで動かせるモデルの多くは数十億個です。パラメータが多いほど多くのパターンをたくわえられますが、メモリも計算能力も学習データもたくさん必要になります。

パラメータは実際に場所をとります。1つ16ビットなら、重みが70億個のモデルは読みこむだけで約14GBが必要です。だから、重みを少ないビット数でたくわえる量子化のような工夫が、スマホやノートパソコンでモデルを動かすのに大切なのです。