量子化

量子化とは、AIモデルの重みを1つずつ少ないビット数（たとえば16ではなく4）でたくわえて、モデルを小さく速くすることです。そのかわり、少しの丸め誤差を受け入れます。

重みはそれぞれ数字で、正確にたくわえるには場所が必要です。量子化は、重みをもっと少ない種類の値に丸めます。重みが70億個のモデルは、1つ16ビットなら約14GB、4ビットなら約3.5GBが必要です。

ていねいに行えば、質はおどろくほど落ちません。研究者は、1750億パラメータまでのモデルを8ビットの重みで、性能を落とさずに動かしました。ただ、ビット数をとても少なくするほど丸めすぎると、質が下がりはじめます。

量子化は、高性能なモデルがいまノートパソコンやスマホで動くおもな理由の1つです。大きなモデルをまねるよう小さなモデルを学習させる蒸留と組み合わせることもよくあります。