クリーム色の背景、色付き表示、高コントラスト、大きな文字のほうが読みやすいですか?配色と文字を選ぶと、すべてのページに一度で反映されます。

無料レッスン

チャットサービスの基本

レッスン全体が無料でインタラクティブです。ここで読むことも、「ラボを開始」を押してライブラボで実際に実行することもできます。アカウントは不要です。

コンテナラボ読了目安 19分コマンド11個

会話を覚えているのはだれ?

学校の図書館のウェブサイトにチャット窓があります。名前を伝えてから質問すると、チャットはちゃんとあなたのことを覚えています。でも、裏にいる言語モデルは何も覚えていません。覚えているのは、そのあいだにある小さなプログラムです。会話をとっておき、使う人を守ります。このラボでは、そのプログラムを試します。相手は、いつも同じ答えを返す代役のモデルです。

このレッスンが終わると

メモ

チャットサービスが言語モデルのまわりで何をしているかを説明できます。

キーワード

  • セッション:1つの会話。それぞれ名前をつけてとっておく。
  • コンテキストの予算:1回ごとに送る履歴のトークン数の上限。
  • システムプロンプト:サービスが最初に送るルール。利用者は変えられない。
  • ペルソナ:アシスタントにつける名前と話し方。
  • モデレーション:送る前や見せる前に、言葉を確かめること。
  • レート制限:1人の利用者が1分間に送れるメッセージの数。

はじめに:もう知っていること

メモ

頭の中で答えてください。1. ルールを決めるメッセージのロールはどれですか。2. モデルは前のリクエストを覚えていますか。3. モデルが混雑していると言ってきたら、プログラムはどうすべきですか。答え: system。覚えていない。モデルが知っているのは、そのリクエストで送られたものだけ。少し待ってから、もう一度試す。

始める前に

メモ

レッスンの上のバーにある ラボを開始 を押し、動いていると表示されるまで待ちます。コンテナは2つです。model が代役のモデルで、chat がチャットサービスです。チャットサービスは http://chat:8000/chat で待っていて、ターミナルの curl から届きます。docker exec chat は、その中でコマンドを1つ実行する命令です。下の 実行 ボタンは、それぞれのコマンドをラボのターミナルに、同じセッションの中で順番に入力します。様子を見たいときや自分で入力したいときは、バーの ターミナルを開く を押します。

セッションが会話をとっておく

メッセージには、どれも利用者とセッションの名前がついています。セッション s1 で "My name is Ana." と言ってから名前を聞くと、返事は "Your name is Ana." です。サービスが前のメッセージをもう一度送ったからです。セッション s2 で同じことを聞くと、返事は "I do not know your name." になります。セッションは混ざらないので、ある人の会話がほかの人に届くことはありません。

コマンド
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u1","session":"s1","message":"My name is Ana."}'

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

コマンド
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u1","session":"s1","message":"What is my name?"}'

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

コマンド
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u2","session":"s2","message":"What is my name?"}'

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

履歴には予算があり、システムプロンプトが先に来る

送るトークンには、どれもお金と時間がかかります。そこでサービスは、予算に収まる新しい履歴だけを送ります。スクリプトは4つの質問を2回します。予算が120トークンのときは85トークンを送り、まだ Ana を覚えています。40トークンのときは37トークンを送り、名前の入ったメッセージがはみ出して、返事は "I do not know your name." になります。システムプロンプトとペルソナは、いつも最初に送られます。books のペルソナは、計算の質問を断ります。

コマンド
docker exec chat python3 trim_demo.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

コマンド
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u3","session":"s3","persona":"books","message":"What is 6 times 7?"}'

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

確認

ヒント

長く続いたチャットが、急に利用者の名前を忘れました。何が起きたのでしょう。答え: 名前の入ったメッセージがコンテキストの予算に収まらなくなり、送られなかったのです。予算を増やすか、大事なことを短くまとめてとっておきます。

言葉は入るときにも出るときにも確かめる

"You are useless." はモデルに送られません。moderated は input、tries は 0 です。司書についてのモデルの返事にはメールアドレスと電話番号が入っていましたが、どちらも [removed] に置きかわりました。ストリームは少しずつ届くので、サービスは文が1つそろうのを待ち、確かめてから送ります。4つの文のあとに [DONE] が来ます。

コマンド
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s4","message":"You are useless."}'

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

コマンド
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s4","message":"How do I contact the librarian?"}'

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

コマンド
curl -s -N http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s5","stream":true,"message":"What are the library rules?"}'

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

混雑したモデルにはリトライし、決まった会話記録をテストにする

代役のモデルは #busy を2回断ります。サービスは0.5秒、次に1秒待ち、3回目で答えます。#broken は毎回失敗するので、3回試したあと、利用者にはエラーではなく、おわびの言葉とステータス 503 が返ります。1人の利用者が送れるのは1分間に10メッセージまでです。ログに残るのは数とハッシュにした ID だけで、言葉は残しません。テストは決まった会話を再生します。チェックは9つで、失敗は0です。

コマンド
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u5","session":"s6","message":"What are the library hours? #busy"}'

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

コマンド
curl -s -w "\n%{http_code}\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u5","session":"s7","message":"What are the library hours? #broken"}'

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

コマンド
docker exec chat python3 test_transcripts.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

よくある間違い

注意

システムプロンプトさえあればチャットボットは安全だ、と考える人は多いです。そうではありません。モデルは、言うべきでないことを言ってしまうことがあります。入る言葉と出る言葉は、ルールがいつも必ず動くサービスの側で確かめましょう。

最後の確認

ヒント

見返さずに答えてください。1. 会話をとっておくのは、モデルとサービスのどちらですか。2. 履歴を予算に収めるのはなぜですか。3. 返事を見せる前に確かめるのはなぜですか。4. チャットのログに残してよいものは何ですか。答え: サービス。トークンにはお金と時間がかかるから。モデルは言うべきでないことを言うことがあるから。数とハッシュにした ID だけで、言葉は残さない。

先生へ

ヒント

このレッスンは、ラボで進めるレッスンの小さな例です。手順と実行ボタンがレッスンで、ラボは生徒ひとりひとりのコピーです。ラボは同じ Python イメージから動く2つのサービスでできています。決まったルールで答える代役のモデルと、Python の標準ライブラリだけで書いたチャットサービスです。本物のモデルは呼ばないので、費用はかからず、出力はいつも同じです。学習のポイント:1. 会話をとっておくのはモデルではなくサービス。2. 履歴はトークンの予算に収める。3. 言葉は入るときも出るときも確かめる。4. 混雑したモデルにはリトライし、壊れたモデルのときは利用者におわびを返す。よくある間違い:システムプロンプトだけを頼りにすること。用意するもの:ラボとブラウザー。ヒント:chatbot.py に断る言葉を1つ足し、それを確かめる会話記録も書かせると、サービスを変えてテストするところまで体験できます。ご自分のモジュールにコピーして変更するか、レッスンビルダーのラボメニューから一から作ってください。

このラボとソースについて: チャットボットサービスラボ:チャット窓と言語モデルのあいだにあるプログラム

授業で教えていますか?これらのレッスンを生徒に割り当て、採点と生徒ごとのラボを使えます。