ハルシネーション

モデルが書くのは確かめた文章ではなく、ありそうな文章です。知らないときは、存在しない引用、ない関数、誤った数字がもっともらしく出てきます。

なくすことはできませんが、減らし、見つけやすくはできます。資料を渡す、引用させる、「分かりません」と言ってよいことにする、裏付けのない回答の割合を測る、などです。

よくある誤りは、モデルの自信を信じることです。間違った答えも正しい答えと同じ落ち着いた口調で書かれるので、確認は資料、テスト、人など外から行います。