チャットボットサービスラボ:チャット窓と言語モデルのあいだにあるプログラム

このラボでは、生徒ひとりひとりに小さなチャットサービスを渡します。チャット窓と言語モデルのあいだにあって、モデルがしない仕事を引き受けるプログラムです。会話をそれぞれとっておき、トークンの予算に収まるように切り詰め、システムプロンプトとペルソナを付け、入る言葉と出る言葉を確かめ、返事をストリーミングし、混雑したモデルや壊れたモデルに対処し、利用者ごとに制限をかけ、個人情報を含まないログを残します。決まった会話記録でテストします。

モデルは代役で、ラボはどこでもそう伝えます。本物のモデル API と同じ形式で答えますが、返事はすべて決まったルールで選ぶので、同じ質問にはいつも同じ答えが返ります。だからこそ、会話記録がテストになります。何もダウンロードせず、AI サービスも呼ばず、費用もかかりません。どのコピーもインターネットにも、ほかの生徒にもつながりません。

生徒が学ぶこと

チャットサービスがモデルのまわりで何をしているかです。会話をとっておくのはモデルではなくサービスなので、あるセッションでは覚えている名前が、別のセッションでは知られていないことを確かめます。コンテキストの予算が送る内容を決める様子を見ます。履歴が85トークンなら名前は残り、37トークンなら消えます。ペルソナが質問を断り、乱暴なメッセージが送られず、返事の中のメールアドレスと電話番号が取り除かれるのを見ます。確かめた文を1つずつストリーミングし、混雑したモデルが3回目で答え、壊れたモデルのときは利用者におわびとステータス 503 が返るのを見て、決まった会話記録で9つのチェックを実行します。ソフトウェア開発や AI の応用の講座に向いています。正確な文言は、お使いの資格団体の単元で確認してください。ここには引用していません。

ブラウザーで実行する

ラボは2つのサービスを起動します。model は代役のモデルで、ラボの中で答えます。chat はチャットサービスで、標準ライブラリだけで書いた Python ファイルです。http://chat:8000/chat で答え、設定は /tmp/chatbot.py の先頭にあります。ラボの横のターミナルには curl があり、Python はないので、サービスを直接呼び、サービス自身のスクリプトは docker exec chat で実行します。

  1. コンテナーのページを開く. バーの「つくる」を開き、「コンテナーを実行」を選びます。ページは誰でも開けて、Git ラボと SQL ラボはアカウントなしで起動できます。ほかのラボには無料アカウントが必要です。アカウントを作成してサインインし、「起動」を押します。
  2. ラボを探す. 「サンプルラボ」のカードにすべてのサンプルが並んでいます。「チャットボットサービス:セッション、モデレーション、制限」を探します。
  3. 「起動」を押す. 「起動」はそのまま1回の操作で実行します。「先にファイルを編集」は compose ファイルを開くので、起動する前に変更できます。
  4. 開く. ラボのページで「ターミナルを開く」を押し、レッスンのとおりに curl でアドレス http://chat:8000/chat にメッセージを送ります。次に docker exec chat python3 test_transcripts.py と入力すると、テストが実行されます。

生徒に提出してもらうもの

chatbot.py への変更を1つ提出してもらいます。たとえば、断る言葉、新しいペルソナ、違う予算、もっと厳しい制限などです。それが働くことを示す会話記録を test_transcripts.py に加え、テストの出力と、本物のモデルなら何が違うかを書いた1文もいっしょに出してもらいます。変更したあとは docker restart chat でサービスを起動し直します。編集したファイルはそのまま残ります。

このラボの基本レッスン

Chatbot Service Basics は、このラボで進める小さなレッスンです。生徒はセッションで会話をとっておき、コンテキストの予算の働きを見て、ペルソナを試し、入る言葉と出る言葉を確かめ、返事をストリーミングし、混雑したモデルにリトライし、テストを実行します。

無料の個人アカウントでは「ホーム」にある Basics モジュールに入っていて、どの学校もライブラリーの Basics フォルダーからコピーできます。あえて小さくしてあり、ラボで進めるレッスンがどういうものかを先生に見せる役目です。あとはラボが受け持ちます。変更したいときは、自分のモジュールにコピーしてください。

GitHub のコード

compose ファイルには Dockerfile がありません。公開されている既存のイメージ、Alpine 上の Python 3.12 をひとつだけ、正確なタグに固定して2回使い、どちらも権限のない専用アカウントとメモリ 64 MB で動かします。イメージのライセンスは PSF ライセンスで、私たちは再配布していません。起動のときに、代役のモデル、チャットサービス、そのテストを固定の文章から Python の標準ライブラリだけで書き出すので、何もダウンロードされません。ラボを止めると何も残らないので、生徒は先に自分の作業をコピーしておきます。

課題として出す

何を提出するかを課題に書いておきます。

  1. ラボを作る. モジュールで課題を追加し、「コンテナーラボ」のカードを選んでから「GitHub リポジトリ」を選びます。https://github.com/mitsurutech/lab-chatbot-lab とブランチ main を指定します。compose ファイルは既定の compose.yaml です。変更したい場合は、たとえばチャットサービスに別のペルソナやもっと厳しい制限を与えたいときは、先にリポジトリをフォークしてください。
  2. 公開して試す. 「公開」すると、確認したコミットに固定されるので、あとでリポジトリを変更しても、すでに出したラボは変わりません。まず自分のコピーを起動してください。
  3. 配布する. ほかの課題と同じように配布します。期限を付けることもでき、課題には何をするか、何を提出するかを書いておきます。
  4. 提出物を採点する. 生徒のコピーを開いて提出された内容を確認し、採点します。足りない場合は理由を書いて差し戻します。

このラボを試す、そして費用

無料の個人アカウントで、このラボの基本レッスンに取り組めます。毎月、ほとんどのレッスンに足りる無料クレジットがあり、カードは要りません。クラスで使う場合、学校は最初の365日間、生徒50人まで無料で、その後は生徒1人あたりの年額です。すべてのラボが含まれ、教職員は無料です。

よくある質問

このラボに本物の AI モデルは入っていますか。
いいえ。モデルはラボのために書いた代役で、決まったルールで返事を選ぶ短い Python プログラムです。本物のモデル API と同じ形式で答えるので、アドレスを1つ変えればチャットサービスは本物のモデルとも動きますが、言葉を生成してはいません。同じ質問にはいつも同じ答えを返すので、決まった会話記録がテストになります。
LLM ワークベンチのラボとはどう違いますか。
LLM ワークベンチは、モデルの API そのものを扱います。リクエスト、ロール、トークン、ストリーミングです。このラボは、本物のチャットボットがその API の前に置くサービスを扱います。セッション、予算、ペルソナ、モデレーション、リトライ、制限、ログ、テストです。どちらを先にしてもかまいません。
お金がかかったり、AI のためにクレジットを使ったりしますか。
AI は使わないので、そのための料金はかかりません。ラボはほかのコンテナーラボと同じように動きます。
チャットのログには何が残りますか。
チャットサービスの中の /tmp/chat.log に、1回のやりとりごとに1行です。時刻、短いハッシュにした利用者とセッション、トークン数、何回試したか、何かを断ったり取り除いたりしたかが残ります。言葉は残さないので、名前やメッセージがログから漏れることはありません。テストがそれを確かめます。
生徒が個人的なことを送ってしまっても大丈夫ですか。
どこにも届きません。代役のモデルは生徒自身のコピーの中で動き、そのコピーはインターネットに出られないからです。それでも、本物のモデルのサービスには入力したものがそのまま届くので、個人的なことや秘密をメッセージに書かない習慣を教えておくとよいでしょう。