AIアシスタントが知っていること

大阪の物流会社で働く山本さんは、毎週、配送件数を表計算ソフトで足しています。

ある日、AIアシスタントに「配送件数を合計するPythonを書いて」と頼みました。5秒でコードが出てきました。

ところが、コードの列名は delivery_count でした。山本さんのファイルの列名は「配送件数」です。AIは、そのファイルを一度も見ていなかったのです。

AIアシスタントの中には、モデルがあります。モデルは、大量の文章とコードを読ませて作られました。

プロンプトを受け取ると、モデルは次に来そうな言葉を一つずつ選びます。それをくり返して、答えができます。

つまり、AIは答えの正しさを確かめていません。よくある形を、それらしく並べているのです。

AIが答えに使えるのは、学習データで覚えた形と、コンテキストです。

コンテキストとは、あなたが貼ったコードや、今の会話のことです。ツールによっては、開いているファイルも入ります。

会社のデータベースや社内のルールは、見えません。今朝の在庫数のような新しい情報も知りません。

AIは、知らないことを「知らない」と言わないことがあります。代わりに、ありそうな関数名や列名を作ってしまいます。これがハルシネーションです。

答えの文章は、正しいときも、まちがっているときも、同じように自信がありそうです。見た目では区別できません。

だから、実行して確かめます。

# 大阪の倉庫で、今週の配送件数を合計します。
# AIアシスタントが書いたコードです。実行して、エラーを見てください。
counts = [182, 205, 197, 230, 214]

total = counts.sum()
print("今週の配送件数:", total, "件")

# リストに sum というメソッドはありません。AIがそれらしく作ったものです。
# total = sum(counts) に書き換えて、もう一度実行しましょう。