チャットボットサービスラボ:チャット窓と言語モデルのあいだにあるプログラム
このラボでは、生徒ひとりひとりに小さなチャットサービスを渡します。チャット窓と言語モデルのあいだにあって、モデルがしない仕事を引き受けるプログラムです。会話をそれぞれとっておき、トークンの予算に収まるように切り詰め、システムプロンプトとペルソナを付け、入る言葉と出る言葉を確かめ、返事をストリーミングし、混雑したモデルや壊れたモデルに対処し、利用者ごとに制限をかけ、個人情報を含まないログを残します。決まった会話記録でテストします。
モデルは代役で、ラボはどこでもそう伝えます。本物のモデル API と同じ形式で答えますが、返事はすべて決まったルールで選ぶので、同じ質問にはいつも同じ答えが返ります。だからこそ、会話記録がテストになります。何もダウンロードせず、AI サービスも呼ばず、費用もかかりません。どのコピーもインターネットにも、ほかの生徒にもつながりません。
生徒が学ぶこと
チャットサービスがモデルのまわりで何をしているかです。会話をとっておくのはモデルではなくサービスなので、あるセッションでは覚えている名前が、別のセッションでは知られていないことを確かめます。コンテキストの予算が送る内容を決める様子を見ます。履歴が85トークンなら名前は残り、37トークンなら消えます。ペルソナが質問を断り、乱暴なメッセージが送られず、返事の中のメールアドレスと電話番号が取り除かれるのを見ます。確かめた文を1つずつストリーミングし、混雑したモデルが3回目で答え、壊れたモデルのときは利用者におわびとステータス 503 が返るのを見て、決まった会話記録で9つのチェックを実行します。ソフトウェア開発や AI の応用の講座に向いています。正確な文言は、お使いの資格団体の単元で確認してください。ここには引用していません。
ブラウザーで実行する
ラボは2つのサービスを起動します。model は代役のモデルで、ラボの中で答えます。chat はチャットサービスで、標準ライブラリだけで書いた Python ファイルです。http://chat:8000/chat で答え、設定は /tmp/chatbot.py の先頭にあります。ラボの横のターミナルには curl があり、Python はないので、サービスを直接呼び、サービス自身のスクリプトは docker exec chat で実行します。
- コンテナーのページを開く. バーの「つくる」を開き、「コンテナーを実行」を選びます。ページは誰でも開けて、Git ラボと SQL ラボはアカウントなしで起動できます。ほかのラボには無料アカウントが必要です。アカウントを作成してサインインし、「起動」を押します。
- ラボを探す. 「サンプルラボ」のカードにすべてのサンプルが並んでいます。「チャットボットサービス:セッション、モデレーション、制限」を探します。
- 「起動」を押す. 「起動」はそのまま1回の操作で実行します。「先にファイルを編集」は compose ファイルを開くので、起動する前に変更できます。
- 開く. ラボのページで「ターミナルを開く」を押し、レッスンのとおりに curl でアドレス http://chat:8000/chat にメッセージを送ります。次に docker exec chat python3 test_transcripts.py と入力すると、テストが実行されます。
生徒に提出してもらうもの
chatbot.py への変更を1つ提出してもらいます。たとえば、断る言葉、新しいペルソナ、違う予算、もっと厳しい制限などです。それが働くことを示す会話記録を test_transcripts.py に加え、テストの出力と、本物のモデルなら何が違うかを書いた1文もいっしょに出してもらいます。変更したあとは docker restart chat でサービスを起動し直します。編集したファイルはそのまま残ります。
このラボの基本レッスン
Chatbot Service Basics は、このラボで進める小さなレッスンです。生徒はセッションで会話をとっておき、コンテキストの予算の働きを見て、ペルソナを試し、入る言葉と出る言葉を確かめ、返事をストリーミングし、混雑したモデルにリトライし、テストを実行します。
無料の個人アカウントでは「ホーム」にある Basics モジュールに入っていて、どの学校もライブラリーの Basics フォルダーからコピーできます。あえて小さくしてあり、ラボで進めるレッスンがどういうものかを先生に見せる役目です。あとはラボが受け持ちます。変更したいときは、自分のモジュールにコピーしてください。
GitHub のコード
compose ファイルには Dockerfile がありません。公開されている既存のイメージ、Alpine 上の Python 3.12 をひとつだけ、正確なタグに固定して2回使い、どちらも権限のない専用アカウントとメモリ 64 MB で動かします。イメージのライセンスは PSF ライセンスで、私たちは再配布していません。起動のときに、代役のモデル、チャットサービス、そのテストを固定の文章から Python の標準ライブラリだけで書き出すので、何もダウンロードされません。ラボを止めると何も残らないので、生徒は先に自分の作業をコピーしておきます。
課題として出す
何を提出するかを課題に書いておきます。
- ラボを作る. モジュールで課題を追加し、「コンテナーラボ」のカードを選んでから「GitHub リポジトリ」を選びます。https://github.com/mitsurutech/lab-chatbot-lab とブランチ main を指定します。compose ファイルは既定の compose.yaml です。変更したい場合は、たとえばチャットサービスに別のペルソナやもっと厳しい制限を与えたいときは、先にリポジトリをフォークしてください。
- 公開して試す. 「公開」すると、確認したコミットに固定されるので、あとでリポジトリを変更しても、すでに出したラボは変わりません。まず自分のコピーを起動してください。
- 配布する. ほかの課題と同じように配布します。期限を付けることもでき、課題には何をするか、何を提出するかを書いておきます。
- 提出物を採点する. 生徒のコピーを開いて提出された内容を確認し、採点します。足りない場合は理由を書いて差し戻します。
このラボを試す、そして費用
無料の個人アカウントで、このラボの基本レッスンに取り組めます。毎月、ほとんどのレッスンに足りる無料クレジットがあり、カードは要りません。クラスで使う場合、学校は最初の365日間、生徒50人まで無料で、その後は生徒1人あたりの年額です。すべてのラボが含まれ、教職員は無料です。
よくある質問
- このラボに本物の AI モデルは入っていますか。
- いいえ。モデルはラボのために書いた代役で、決まったルールで返事を選ぶ短い Python プログラムです。本物のモデル API と同じ形式で答えるので、アドレスを1つ変えればチャットサービスは本物のモデルとも動きますが、言葉を生成してはいません。同じ質問にはいつも同じ答えを返すので、決まった会話記録がテストになります。
- LLM ワークベンチのラボとはどう違いますか。
- LLM ワークベンチは、モデルの API そのものを扱います。リクエスト、ロール、トークン、ストリーミングです。このラボは、本物のチャットボットがその API の前に置くサービスを扱います。セッション、予算、ペルソナ、モデレーション、リトライ、制限、ログ、テストです。どちらを先にしてもかまいません。
- お金がかかったり、AI のためにクレジットを使ったりしますか。
- AI は使わないので、そのための料金はかかりません。ラボはほかのコンテナーラボと同じように動きます。
- チャットのログには何が残りますか。
- チャットサービスの中の /tmp/chat.log に、1回のやりとりごとに1行です。時刻、短いハッシュにした利用者とセッション、トークン数、何回試したか、何かを断ったり取り除いたりしたかが残ります。言葉は残さないので、名前やメッセージがログから漏れることはありません。テストがそれを確かめます。
- 生徒が個人的なことを送ってしまっても大丈夫ですか。
- どこにも届きません。代役のモデルは生徒自身のコピーの中で動き、そのコピーはインターネットに出られないからです。それでも、本物のモデルのサービスには入力したものがそのまま届くので、個人的なことや秘密をメッセージに書かない習慣を教えておくとよいでしょう。