チャットボットが学校の規則を知っているのはなぜ?
ある学校が、ウェブサイトに質問に答えるチャットボットを置いたとします。言語モデルは学校の手引きを読んだことがないので、図書館の規則を知りません。そこでプログラムが、まず答えの書いてある段落を探し、質問といっしょにモデルへ送ります。これが検索拡張生成、略して RAG です。このラボのモデルは、いつも同じ答えを返す代役なので、どの結果も確かめられます。
このレッスンが終わると
メモ
質問に答える文章を探し、出典をつけてプロンプトに入れることができます。
キーワード
- チャンク:長い文書を短く切ったひとかけら。
- 埋め込み:文章を表す数の並び。
- ベクトルストア:チャンクを埋め込みといっしょにしまっておき、検索できるようにしたもの。
- 類似度:2つの埋め込みがどれだけ同じ向きを指しているか。最大は1。
- recall@k(再現率):正しい出典が上位 k 件に入っている割合。
はじめに:もう知っていること
メモ
頭の中で答えてください。1. チャットのリクエストで、ルールを決めるのはどの部分ですか。2. モデルは前のリクエストを覚えていますか。3. 検索エンジンに言葉を入れると、何が返ってきますか。答え: システムメッセージ。覚えていない、そのリクエストで送ったものだけを読む。順位のついたページの一覧。
始める前に
メモ
レッスンの上のバーにある ラボを開始 を押し、動いていると表示されるまで待ちます。コンテナは2つです。model は代役のモデルで、http://model:4000/v1 で答えます。tools にはラボの Python、docs/ の短い文書5つ、steps/ のスクリプトがあり、docker exec tools でその中のコマンドをひとつ実行します。下の 実行 ボタンは、それぞれのコマンドをラボのターミナルに、同じセッションの中で順番に入力します。様子を見たいときや自分で入力したいときは、バーの ターミナルを開く を押します。
文書はチャンクに切り分ける
文書をまるごと、質問のたびに送るのは長すぎます。そこで、数語ずつのチャンクに切り、それぞれを前のチャンクと少し重ねます。図書館のページは63語です。40語ずつ、10語を重ねて切ると、チャンクは2つです。8語ずつにすると8つになり、「eight books(8冊)」という事実が「three weeks(3週間)」と別のチャンクに分かれてしまいます。
docker exec tools python3 steps/chunk.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
埋め込みは文章を数に変える
最初のコマンドは、ひとつの質問について代役に数を8個求めます。スクリプトはそれぞれ128個ずつ求め、長さはいつも1.0です。「borrow」と「books」を共有する2つの文章は 0.866 になります。「laptop」と「notebook computer」は 0.0 です。代役がハッシュしているのは単語で、意味ではありません。本物の埋め込みモデルは意味で文章を並べるので、この2つは近くなります。
curl -s -w "\n" http://model:4000/v1/embeddings -H "Content-Type: application/json" -d '{"model":"lab","input":"How many books can I borrow?","dimensions":8}'ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
docker exec tools python3 steps/embed.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
確認
ヒント
意味は同じでも、同じ単語をひとつも含まない2つの文章があります。代役はいくつと答えますか。本物の埋め込みモデルならどうなりますか。答え: 0.0。代役は共有する単語しか数えないからです。本物のモデルは意味を比べるので、近い値を出します。
ベクトルストアで一番近いチャンクを探す
ストアには、5つの文書から作った8つのチャンクが、それぞれの数といっしょに入っています。質問も数に変え、すべてのチャンクに類似度をつけます。上位3つが出典といっしょに返ってきます。「How many books can I borrow?(何冊借りられますか)」では library.txt が1位で、0.333 です。本物のシステムでは、何百万件をすばやく探すためにベクトルデータベースを使います。
docker exec tools python3 steps/search.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
見つけた文章は出典つきでプロンプトに入れる
スクリプトはプロンプトを表示します。どの文章も、先頭の角かっこに出典があり、そのあとに質問が続きます。答えには [library.txt] と書いてあるので、読む人が確かめられます。出典がないと、代役は答えがないと言います。8語のチャンクでは「three weeks」を含む文章が入らないので、やはり答えがありません。
docker exec tools python3 steps/answer.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
よくある間違い
注意
RAG でモデルが自分の文書を覚えると考える人は多いです。そうではありません。モデルは何も学ばず、何も残しません。読むのは、その質問といっしょに送られた文章だけです。検索が正しい文章を見落とせば、モデルがどれだけ優秀でも、答えは間違うか、出てきません。
recall@k で検索を評価する
8つのテスト用の質問には、それぞれ正しい出典が決まっています。recall@k は、正しい出典が上位 k 件に入った質問の割合です。40語のチャンクでは、recall@1 が 0.75、recall@3 が 0.875 です。ノートパソコン(notebook)の質問は it.txt と同じ単語をひとつも含まないので、一度も見つかりません。小さいチャンクのほうが値は上がりますが、前のステップで事実が切れてしまうのを見ました。答えのほうも必ず確かめましょう。
docker exec tools python3 steps/recall.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
文書に隠れた指示が入っていることがある
これは自分のデータでだけ試してください。notice.txt には、アシスタントに試験は中止だと言わせる指示が書いてあります。試験についての質問で検索するとこの文書が見つかり、代役はその指示に従ってしまいます。命令をしている文章を外すと、正しい答えに戻ります。本物のシステムではさらに、見つけた文章をデータとして扱い、モデルに何かを実行する力を与えず、出典を確かめます。
docker exec tools cat docs/notice.txtここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
docker exec tools python3 steps/inject.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
最後の確認
ヒント
見返さずに答えてください。1. 文書をチャンクに切るのはなぜですか。2. 代役の埋め込みは何を比べていますか。3. 文章ごとに出典をつけるのはなぜですか。4. recall@3 は何を測りますか。5. 検索で見つけた文章の指示には従ってよいですか。答え: 必要な部分だけを送るため。共有する単語。答えを確かめられるようにするため。正しい出典が上位3件に入る割合。いいえ、データとして扱う。
先生へ
ヒント
このレッスンは、ラボで進めるレッスンの小さな例です。手順と実行ボタンがレッスンで、ラボは生徒ひとりひとりのコピーです。ラボは同じ Python イメージの2つのサービスでできています。ハッシュした埋め込みを返す代役のモデルと、小さなベクトルストア、5つの文書、短いスクリプトを備えた Python です。本物のモデルは呼ばないので、費用はかからず、出力はいつも同じです。学習のポイント:1. 文書をチャンクに切り、埋め込みに変える。2. 検索は質問に一番近いチャンクを返す。3. 見つけた文章は出典つきでプロンプトに入れる。4. recall@k は検索を測り、見つけた文章はデータであって命令ではない。よくある間違い:RAG でモデルが学ぶと考えること。用意するもの:ラボとブラウザー。ヒント:実行する前に、それぞれの質問でどの文書が見つかるかを予想させてください。ご自分のモジュールにコピーして変更するか、レッスンビルダーのラボメニューから一から作ってください。