AIの比較
評価（eval）と単体テストの違い
単体テストはコードが毎回正確に期待どおり動くかを確かめ、評価は出力が毎回変わるモデルを使った機能を、多くのケースで採点します。
| 観点 | 評価 | 単体テスト |
|---|---|---|
| 結果 | 「50件中46件」のような点数 | 合格か不合格か |
| 確かめる出力 | ルール、参照回答、審査役で判定する変わりうる文章 | 正確で既知の値 |
| 速さと費用 | 遅く、モデルを呼ぶこともある | 速く、無料 |
| 失敗したとき | どのケースが悪くなったかを見る | 特定のアサーションが失敗した |
評価を選ぶとき
- 出力が生成された文章やモデルの判断
- プロンプト、モデル、検索設定を比べる
- 「十分」がしきい値で、正解が一つではない
単体テストを選ぶとき
- 解析や検証のように決定的なコード
- モデルの周りのコードを確かめる
- 保存のたびに速く確認したい
手を動かして学ぶ
これらの無料レッスンでは、ラボで実行するコマンドと採点される課題で学べます。アカウントなしで全文を読めます。
関連する用語
- 評価（eval）
- 評価とは、AI機能を繰り返し試せるテストのことで、決まった入力、出力ごとの採点方法、バージョン間で比べられる結果からなります。
- ゴールデンセット
- ゴールデンセットとは、合意された良い答えが付いた決まった入力の集まりで、AI機能を採点するときの信頼できる基準として使います。
- LLM-as-a-Judge（LLMによる採点）
- LLM-as-a-Judgeとは、簡単なコードでは判定できないときに、言語モデルに採点基準を渡して別のモデルの出力を採点させる方法です。