AI用語集
LLM-as-a-Judge（LLMによる採点）
LLM-as-a-Judgeとは、簡単なコードでは判定できないときに、言語モデルに採点基準を渡して別のモデルの出力を採点させる方法です。
入力、出力、短い基準を渡します。たとえば「回答は資料の事実だけを使っているか。合格か不合格かを理由とともに答えよ」です。すると多くの出力をすばやく採点できます。
審査役のモデルには知られた偏りがあります。長い答え、二択の最初の方、自分に似た文体を好みます。基準を固定する、10点満点ではなく合否にする、順番を入れ替えるといった対策が効きます。
審査役そのものも確かめます。一部を人が採点して比べ、人とよく食い違うなら、測りたいものを測れていません。
手を動かして学ぶ
これらの無料レッスンでは、ラボで実行するコマンドと採点される課題で学べます。アカウントなしで全文を読めます。