AI用語集
評価（eval）
評価とは、AI機能を繰り返し試せるテストのことで、決まった入力、出力ごとの採点方法、バージョン間で比べられる結果からなります。
モデルの出力は毎回変わるので、完全一致のアサーションはほとんど使えません。評価は多くのケースを実行し、「50件中47件の要約に注文番号が含まれる」のような点数を出します。
採点はコードのルール、参照回答との比較、審査役の別のモデルによって行います。まず安いコードの確認を使い、コードでは決められないところに審査役を使います。
プロンプト、モデル、検索を変えるたびに、単体テストのように評価を回します。三回試して良く見えた変更が、五十件では悪くなっていることもあります。
手を動かして学ぶ
これらの無料レッスンでは、ラボで実行するコマンドと採点される課題で学べます。アカウントなしで全文を読めます。