ファインチューニング

ファインチューニングとは、事前学習ずみのモデルを、小さくしぼった例のセットでもう少し学習させることです。特定の作業が得意になったり、決まったふるまいをしたりするようになります。

事前学習はモデルに幅広い知識を与え、ファインチューニングはそれを形づくります。インストラクションチューニング（教師ありファインチューニング）は、お願いと、人が書いた理想の答えのペアでベースモデルを学習させ、続き書きのモデルをアシスタントに変えます。

ファインチューニングに必要なデータは、事前学習よりずっと少なくてすみます。たくさんの作業を指示の形で学習させると、学習していない新しい作業も得意になりました。ある研究では、ていねいに選んだたった1,000個の例で、しっかりしたアシスタントのふるまいが得られました。

企業も、文体や専門分野に合わせるために、自社のデータでモデルをファインチューニングします。LoRAのような軽い方法では、追加した少しの重みだけを学習するので、ずっと少ないハードウェアでファインチューニングできます。