言語モデルに正しい情報を渡す（RAG）

ある市役所が、ごみの出し方を答えるチャットボットを試しました。

「粗大ごみはどう出せばいいですか」と聞くと、すらすらと答えます。ところが、手数料の金額も申し込み先も、この市のものではありませんでした。

モデルは、この市の決まりを知らないまま、それらしい文を作っていたのです。このレッスンでは、アプリがモデルに正しい情報を渡すしくみを学びます。

大規模言語モデルは、インターネットなどの大量の文章から学んでいます。

でも、学んだのはある時点までの、公開された文章だけです。この市のごみの出し方や、社内のマニュアルは知りません。

知らないことを聞かれても、モデルは黙りません。それらしい文を作ってしまいます。これをハルシネーションと呼びます。

そこで、アプリが先に答えの材料を探します。このしくみを検索拡張生成、略してRAGと呼びます。

まず、市の案内文を小さな断片に分けて、保存しておきます。質問が来たら、関係する断片を探します。

見つけた断片を、質問と一緒にプロンプトに入れます。最後に「この案内文だけを使って答えてください」と指示して、モデルに渡します。

# 市役所の案内文です。説明のため、あらかじめ単語に分けてあります。
docs = [
    ["燃えるごみ", "月曜", "木曜", "出す"],
    ["粗大ごみ", "予約", "手数料", "シール", "出す"],
    ["引っ越し", "住民票", "窓口", "届け出"],
]
question = ["粗大ごみ", "出す", "予約"]

best = 0
best_score = -1
for i in range(len(docs)):
    score = 0
    for word in question:
        if word in docs[i]:
            score = score + 1
    print("案内文", i, "の一致:", score)
    if score > best_score:
        best = i
        best_score = score

print("モデルに渡す案内文:", docs[best])

# question を ["住民票", "窓口"] に変えて、もう一度実行しましょう。

同じ単語で探すやり方には、弱点があります。「大型の家具を捨てたい」と聞かれても、「粗大ごみ」という単語がないので見つかりません。

そこで、文をベクトルという数の並びに変えます。意味の近い文は、近い数になるように作られています。

質問の数と近い数を持つ断片を探すのが、ベクトル検索です。単語がちがっても、意味が近ければ見つかります。