RAG ラボ:ベクトルストアと代役のモデルで学ぶ検索拡張生成

このラボでは、生徒ひとりひとりが自分の検索拡張生成(RAG)を組み立てて試します。プログラムが質問に答える文章を探し出し、出典といっしょに言語モデルへ送る仕組みです。文書をチャンクに切り、チャンクを埋め込みに変え、小さなベクトルストアにしまって検索し、見つけたものをプロンプトに入れ、recall@k で検索を評価し、どこでうまくいかなくなるかを確かめます。

モデルは代役で、ラボはどこでもそう伝えます。本物のモデル API と同じ形式で答えますが、返事はすべて決まったルールで選ぶので、同じ質問にはいつも同じ答えを返します。埋め込みも代役で、ハッシュした単語の袋(bag of words)です。そのため、2つの文章が近くなるのは同じ単語を含むときだけです。本物の埋め込みモデルは意味で文章を並べます。何もダウンロードせず、AI サービスも呼ばず、料金もかかりません。どのコピーもインターネットにも、ほかの生徒にもつながりません。

生徒が学ぶこと

学習したことのない文書をもとに、チャットボットがどう答えるかです。1ページを2通りの大きさのチャンクに切り、小さなチャンクでは事実が2つに分かれてしまうのを見ます。埋め込みを比べ、同じ単語を含む2つの文章は 0.866、「laptop」と「notebook computer」は 0.0 になることを確かめます。本物の埋め込みモデルなら、この2つは近くなります。5つの文書から作った8つのチャンクを検索し、一番近いものを、出典を角かっこに入れてプロンプトに入れ、出典を示す答えを得ます。文章が入っていなければ、答えは返りません。8つのテスト用の質問で、recall@1 は 0.75、recall@3 は 0.875 になります。

文書の1つには指示が隠してあり、代役はそれに従います。これがプロンプトインジェクションです。命令をしている文章を外すと正しい答えに戻り、レッスンでは本物のシステムがさらに何をするかも説明します。見つけた文章をデータとして扱うこと、モデルに何かを実行する力を与えないこと、出典を確かめることです。あくまで生徒自身のコピーでの防御として扱います。ソフトウェア開発やAI の応用の講座に向いています。正確な文言は、お使いの資格団体の単元で確認してください。ここには引用していません。

ブラウザーで実行する

ラボは2つのサービスを起動します。model は代役のモデルで、ラボの中の http://model:4000/v1 で答え、埋め込みのエンドポイントも持っています。tools は Python で、rag.py(チャンク分割、ベクトルストア、検索、プロンプト作成。Python の標準ライブラリだけで書いてあります)、docs/ の短い文書5つ、steps/ のスクリプトがあります。ラボの横のターミナルには curl があり Python はないので、docker exec tools でスクリプトを実行します。

  1. コンテナーのページを開く. バーの「つくる」を開き、「コンテナーを実行」を選びます。ページは誰でも開けて、Git ラボと SQL ラボはアカウントなしで起動できます。ほかのラボには無料アカウントが必要です。アカウントを作成してサインインし、「起動」を押します。
  2. ラボを探す. 「サンプルラボ」のカードにすべてのサンプルが並んでいます。RAG:文書を検索してから答えるを探します。
  3. 「起動」を押す. 「起動」はそのまま1回の操作で実行します。「先にファイルを編集」は compose ファイルを開くので、起動する前に変更できます。
  4. 開く. ラボのページで「ターミナルを開く」を押し、docker exec tools python3 steps/search.py と入力すると、2つの質問それぞれに一番近いチャンクが、類似度と出典といっしょに表示されます。

生徒に提出してもらうもの

自分で書いた短い文書を docs/ に加え、その文書についてのテスト用の質問を2つ steps/recall.py に加えて、表示された再現率を提出してもらいます。そこに、本物の埋め込みモデルなら何が変わるかを1文書いてもらいます。自動では採点されません。この文が、理解できたかどうかを示します。

このラボの基本レッスン

RAG Basics は、このラボで進める小さなレッスンです。生徒は文書をチャンクに切り、埋め込みを比べ、ベクトルストアを検索し、見つけたものを出典つきでプロンプトに入れ、recall@k を測り、隠された指示を止めます。

無料の個人アカウントでは「ホーム」にある Basics モジュールに入っていて、どの学校もライブラリーの Basics フォルダーからコピーできます。あえて小さくしてあり、ラボで進めるレッスンがどういうものかを先生に見せる役目です。あとはラボが受け持ちます。変更したいときは、自分のモジュールにコピーしてください。

GitHub のコード

compose ファイルには Dockerfile がありません。公開されている既存のイメージ、Alpine 上の Python 3.12 を正確なタグに固定し、それを2回、どちらも権限のない専用アカウントとメモリ 64 MB で動かします。イメージのライセンスは PSF ライセンスで、私たちは再配布していません。起動のたびに、代役のモデル、rag.py、文書、スクリプトを固定の文章から書き出すので、何もダウンロードされません。ベクトルストアは Python のリストで、ベクトルデータベースではありません。チャンクが8つならインデックスは要らないからです。ラボを止めると何も残らないので、生徒は先に作業をコピーします。

課題として出す

何を提出するかを課題に書いておきます。

  1. ラボを作る. モジュールで課題を追加し、「コンテナーラボ」のカードを選んでから「GitHub リポジトリ」を選びます。https://github.com/mitsurutech/lab-rag-lab とブランチ main を指定します。compose ファイルは既定の compose.yaml です。変更したい場合は、たとえば自分で用意した文書を docs/ に入れるときは、先にリポジトリをフォークしてください。
  2. 公開して試す. 「公開」すると、確認したコミットに固定されるので、あとでリポジトリを変更しても、すでに出したラボは変わりません。まず自分のコピーを起動してください。
  3. 配布する. ほかの課題と同じように配布します。期限を付けることもでき、課題には何をするか、何を提出するかを書いておきます。
  4. 提出物を採点する. 生徒のコピーを開いて提出された内容を確認し、採点します。足りない場合は理由を書いて差し戻します。

このラボを試す、そして費用

無料の個人アカウントで、このラボの基本レッスンに取り組めます。毎月、ほとんどのレッスンに足りる無料クレジットがあり、カードは要りません。クラスで使う場合、学校は最初の365日間、生徒50人まで無料で、その後は生徒1人あたりの年額です。すべてのラボが含まれ、教職員は無料です。

よくある質問

埋め込みは本物ですか。
いいえ。代役は単語をひとつずつハッシュして数の並びの中の位置に割り当てるので、2つの文章が近くなるのは同じ単語を含むときだけです。本物の埋め込みモデルは意味で文章を並べるように学習しているので、「laptop」と「notebook computer」は近くなり、ノートパソコンの質問も見つかります。チャンク分割、ストア、プロンプト、recall@k は、どちらでも同じように働きます。
このラボに本物の AI モデルは入っていますか。
いいえ。モデルはこのラボのために書いた代役で、決まったルールで返事を選ぶ短い Python プログラムです。事実が書いてある文章がプロンプトに入っているときだけ答えるので、文脈が欠けるとどうなるかを見せられます。同じ質問にはいつも同じ答えを返します。
指示を隠した文書がラボに入っているのはなぜですか。
防御を教えるためです。検索で見つけた文章は誰かほかの人が書いたもので、モデルはその中の指示に従ってしまうことがあります。生徒は自分のコピーでそれが起きるのを見て、止めます。レッスンでは、試すのは自分のデータだけにするよう伝えます。
料金はかかりますか。AI のクレジットを使いますか。
AI は使わないので、その料金はかかりません。ほかのコンテナーラボと同じように動きます。
ベクトルデータベースではなく Python のリストなのはなぜですか。
チャンクが8つなら、1つずつ比べてもすぐに検索できます。ベクトルデータベースは何百万件を速く検索するためのインデックスを加えます。本物のシステムでは大切ですが、ここでは考え方が見えにくくなってしまいます。