アプリはチャットボットに何を送っている?
宿題を手伝うアプリも、お店のサイトのチャット画面も、プログラムです。あなたが打った言葉を言語モデルに送り、返ってきたものを画面に出しています。このラボでは、そのプログラムの側を体験します。リクエスト、返ってくる答え、そしてうまくいかないときです。ここのモデルは代役です。本物と同じ形で答えますが、答えはいつも同じなので、結果をすべて確かめられます。
このレッスンが終わると
メモ
言語モデルの API にリクエストを送り、返ってきた答えのどの部分も読み取れます。
キーワード
- API:あるプログラムが別のプログラムに何かを頼むための決まった方法。
- メッセージ:会話のひとこま。ロールと文章を持つ。
- ロール:メッセージが誰からのものか。
system、user、assistantのどれか。 - トークン:モデルが読み書きする文章の小さなかけら。
- ストリーム:答えを、できたそばから少しずつ送ること。
はじめに:もう知っていること
メモ
頭の中で答えてください。1. HTTP のステータス 200 は何を意味しますか。2. JSON の波かっこ {} の中には何が入りますか。3. サイトが混んでいるとき、すぐにもう一度試すのと、少し待ってから試すのとでは、どちらがよいですか。答え: うまくいった。名前と値の組。少し待ってから。
始める前に
メモ
レッスンの上のバーにある ラボを開始 を押し、動いていると表示されるまで待ちます。コンテナは2つです。model が代役のモデルで、http://model:4000/v1 で答えます。ターミナルの curl からそのまま届きます。tools にはラボの Python があり、docker exec tools に続けて書いたコマンドを、その中でひとつ実行します。下の 実行 ボタンは、それぞれのコマンドをラボのターミナルに、同じセッションの中で順番に入力します。様子を見たいときや自分で入力したいときは、バーの ターミナルを開く を押します。
リクエストは JSON、答えも JSON
1つ目のコマンドは、どんなモデルがあるかを聞きます。答えは1つで、名前は lab です。2つ目は user のメッセージを1つ送ります。答えの中の choices に返答 "The capital of France is Paris."(フランスの首都はパリです)があり、finish_reason は stop です。これは、返答が自然に終わったという意味です。usage は、入力が15トークン、出力が10トークンだったと数えています。
curl -s -w "\n" http://model:4000/v1/modelsここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
curl -s -w "\n" http://model:4000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"lab","messages":[{"role":"user","content":"What is the capital of France?"}]}'ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
システムメッセージがルールを決め、何も覚えていない
同じ質問を3回送ります。system メッセージで "Answer in capital letters."(大文字で答えて)と指示すると返答が大文字になり、"Only answer questions about cooking."(料理の質問にだけ答えて)と指示すると、ていねいに断られます。次に user が "My name is Sam."(私の名前はサムです)と言います。名前が分かるのは、前のメッセージをもう一度送ったときだけです。モデルはリクエストの間で何も覚えていません。覚えておくのは、あなたのプログラムの仕事です。
docker exec tools python3 steps/roles.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
料金はトークンで決まる
代役は "The lighthouse keeper counted ships." という文を11トークンに分けます。物語をまるごと頼むと、入力14トークン、出力66トークンでした。max_tokens を12にすると、返答は単語の途中で止まり、finish_reason は length になります。100万トークンあたり入力50ペンス、出力200ペンスという作り話の値段では、1回のリクエストが0.0139ペンス、1,200回で16.68ペンスです。
docker exec tools python3 steps/tokens.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
確認
ヒント
返答の finish_reason が length でした。何が起きたのでしょう。答え: max_tokens に達して途中で切られたので、返答は終わっていないかもしれません。トークンを多く許すか、もっと短い答えで済む質問にします。
サンプリングの設定は、本物のモデルの選び方を変える
本物のモデルは、次のトークンを、ありそうな候補の中から選びます。temperature が0に近いと、ほぼいつも一番ありそうなものを選び、大きくすると冒険が増えます。seed を決めると、同じ選び方をくり返せます。スクリプトは5通りの設定を送り、返答は1種類だけで、"the same every time: True"(毎回同じ)と表示します。代役はこの設定を無視しますが、本物のモデルは無視しません。
docker exec tools python3 steps/sampling.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
構造化出力は、プログラムが確かめる JSON
ふつうの文章は、プログラムには扱いにくいものです。ここではリクエストでスキーマつきのツール record_person を渡し、モデルにそれを呼ぶよう強制します。答えは tool_calls で、引数は文字列の {"name": "Aiko", "age": 17, "city": "Leeds"} です。スクリプトはこれを解析し、型をひとつずつ確かめてから、年齢を数として使います。
docker exec tools python3 steps/structured.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
ストリームは少しずつ届き、エラーには作戦が要る
"stream":true を付けると、答えは14個のイベントで届きます。空の始まり、トークンごとに1つ、終わりの合図、使ったトークン数、そして [DONE] です。続くスクリプトは #busy を送ります。代役は3回に2回、429 で断ります。スクリプトは1秒、次に2秒待ち、3回目でうまくいきます。#broken は毎回失敗するので、スクリプトはあきらめます。400 は決してやり直しません。
curl -sN http://model:4000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"lab","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"What is the capital of France?"}]}'ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
docker exec tools python3 steps/retry.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
よくある間違い
注意
モデルが会話を覚えていると考える人は多いです。覚えていません。リクエストは1回ずつ独立していて、モデルが知っているのはそのリクエストに入っているメッセージだけです。チャットアプリは毎回、会話をまるごと送り直しています。だから長い会話ほどトークンを使い、お金もかかります。
最後の確認
ヒント
見返さずに答えてください。1. 会話のルールを決めるのはどのロールですか。2. finish_reason の length は何を意味しますか。3. 構造化出力を解析して確かめるのはなぜですか。4. やり直す価値があるのはどんなエラーですか。答え: system。max_tokens に達した。プログラムが確かめるまではただの文字列だから。429 のような混雑のエラーで、待つ時間を少しずつ延ばしながら。
先生へ
ヒント
このレッスンは、ラボで進めるレッスンの小さな例です。手順と実行ボタンがレッスンで、ラボは生徒ひとりひとりのコピーです。ラボは同じ Python イメージのサービス2つでできています。本物のモデル API と同じ形で、決まったルールにしたがって答える代役のモデルと、クライアントと短いスクリプトの入った Python です。本物のモデルは呼ばないので、費用はかからず、出力は毎回同じです。学習のポイント:1. リクエストはメッセージのリストで、それぞれにロールがある。2. モデルが覚えているのは、そのリクエストで送ったものだけ。3. トークンが返答の長さと費用を決める。4. 構造化出力は解析して確かめる必要がある。よくある間違い:モデルが覚えていると考えること。用意するもの:ラボとブラウザー。ヒント:実行を押す前に出力を予想させ、そのあと本物のモデルなら何が違うかを言わせてください。ご自分のモジュールにコピーして変更するか、レッスンビルダーのラボメニューから一から作ってください。