AI用語集
ゴールデンセット
ゴールデンセットとは、合意された良い答えが付いた決まった入力の集まりで、AI機能を採点するときの信頼できる基準として使います。
各ケースは、入力と、正しい出力に含まれるべき内容の組で、その分野を知る人が合意して決めます。評価の「期待する答え」の側です。
良いゴールデンセットには、簡単なケース、扱いにくい境界のケース、本番で実際にうまくいかなかった例が入っています。
調整に使うデータとは分けておきます。ゴールデンセットに合格するまでプロンプトをいじると、その点数は新しい入力について何も教えてくれなくなります。
手を動かして学ぶ
これらの無料レッスンでは、ラボで実行するコマンドと採点される課題で学べます。アカウントなしで全文を読めます。