ファインチューニング

入力と出力の組を数百から数千用意し、学習を続けます。モデルの重みが変わるので、長いプロンプトなしで新しい振る舞いが出ます。

一定の形式、口調、狭い作業を教えるのに向いています。変わっていく事実を加えるのには向かず、それは検索の役目です。

まずはより良いプロンプトと少しの例を試し、テスト用のデータを別に取っておきます。テストと重なるデータで学習すると、モデルが実際よりずっと良く見えます。