LLM ワークベンチラボ:代役のモデルで言語モデルの API を練習する

このラボでは、生徒ひとりひとりに、練習用の言語モデルの API を渡します。プログラムが送るリクエスト、返ってくる答え、そしてうまくいかないときを体験します。ターミナルからは curl で、短い Python のスクリプトからも呼び出し、メッセージとロール、システムメッセージ、トークンと上限、サンプリングの設定、構造化出力、ストリーミング、エラーとリトライ、そしてリクエスト1回の費用を学びます。

モデルは代役で、ラボはどこでもそう伝えます。本物のモデル API と同じ形で答えますが、返答はすべて決まったルールで選ぶので、同じ質問にはいつも同じ答えが返ります。だからこそ、結果をすべて確かめられます。何もダウンロードせず、AI サービスも呼ばず、料金もかかりません。どのコピーもインターネットにも、ほかの生徒にもつながりません。

生徒が学ぶこと

プログラムが言語モデルとやり取りする方法です。リクエストを JSON で送り、答えを読みます。返答、終わった理由、使ったトークン数で、1つの質問なら入力15、出力10です。システムメッセージで返答が変わったり、質問が断られたりするのを見て、前のメッセージを送り直さないかぎりモデルは何も覚えていないことに気づきます。トークンを数え、max_tokens で返答を途中で切り、作り話の値段で費用を計算します。ツール呼び出しを強制して構造化出力を受け取って確かめ、返答が14個のイベントでストリームされるのを観察し、混雑したモデルには待つ時間を延ばしながらやり直し、間違ったリクエストは決してやり直さないことを学びます。ソフトウェア開発やAI の応用の講座に向いています。正確な文言は、お使いの資格団体の単元で確認してください。ここには引用していません。

ブラウザーで実行する

ラボはサービスを2つ起動します。model が代役で、ラボの中の http://model:4000/v1 で答えます。tools は Python で、Python の標準ライブラリだけで書いた小さなクライアント llm.py と、考え方を1つずつ見せる短いスクリプトの steps/ が入っています。ラボの横のターミナルには curl はありますが Python はないので、モデルは直接呼び、スクリプトには docker exec tools で届きます。

  1. コンテナーのページを開く. バーの「つくる」を開き、「コンテナーを実行」を選びます。ページは誰でも開けて、Git ラボと SQL ラボはアカウントなしで起動できます。ほかのラボには無料アカウントが必要です。アカウントを作成してサインインし、「起動」を押します。
  2. ラボを探す. 「サンプルラボ」のカードにすべてのサンプルが並んでいます。LLMワークベンチ:練習用のモデルAPIを探します。
  3. 「起動」を押す. 「起動」はそのまま1回の操作で実行します。「先にファイルを編集」は compose ファイルを開くので、起動する前に変更できます。
  4. 開く. ラボのページで「ターミナルを開く」を押し、curl -s http://model:4000/v1/models と入力すると、モデルの名前 lab が返ります。次に docker exec tools python3 steps/roles.py と入力すると、システムメッセージで返答が変わる様子が見られます。

生徒に提出してもらうもの

docker exec tools python3 で動かす、自分で書いた短い Python のスクリプトを提出してもらいます。モデルを呼び、レッスンで見たことを1つ行うものです。会話を続ける、構造化された答えをスキーマと照らし合わせる、混雑したモデルにやり直して最後にはあきらめる、などです。そこに、表示された出力と、本物のモデルなら何が違うかを書いた1文を添えます。自動では採点されません。この文が、理解できたかどうかを示します。

このラボの基本レッスン

LLM API Basics は、このラボで進める小さなレッスンです。生徒は curl でリクエストを送り、システムメッセージを設定し、トークンと費用を数え、サンプリングの設定を試し、構造化出力を頼み、返答をストリームで受け取り、混雑したモデルにやり直します。

無料の個人アカウントでは「ホーム」にある Basics モジュールに入っていて、どの学校もライブラリーの Basics フォルダーからコピーできます。あえて小さくしてあり、ラボで進めるレッスンがどういうものかを先生に見せる役目です。あとはラボが受け持ちます。変更したいときは、自分のモジュールにコピーしてください。

GitHub のコード

compose ファイルには Dockerfile がありません。公開されている既存のイメージ、Alpine の上の Python 3.12 を正確なタグに固定して2回使い、どちらも権限のないアカウントとメモリ 64 MB で動かします。イメージのライセンスは PSF ライセンスで、私たちは再配布していません。起動のたびに、Python の標準ライブラリだけで、固定の文章から代役とスクリプトを書き出すので、何もダウンロードされません。代役のルールはそのファイルの先頭にあり、先生が自分の答えを加えることもできます。ラボを止めると何も残らないので、生徒は先に自分のスクリプトをコピーしておきます。

課題として出す

何を提出するかを課題に書いておきます。

  1. ラボを作る. モジュールで課題を追加し、「コンテナーラボ」のカードを選んでから「GitHub リポジトリ」を選びます。https://github.com/mitsurutech/lab-llm-workbench とブランチ main を指定します。compose ファイルは既定の compose.yaml です。変更したい場合は、たとえば代役のモデルに自分で考えた答えを加えるときは、先にリポジトリをフォークしてください。
  2. 公開して試す. 「公開」すると、確認したコミットに固定されるので、あとでリポジトリを変更しても、すでに出したラボは変わりません。まず自分のコピーを起動してください。
  3. 配布する. ほかの課題と同じように配布します。期限を付けることもでき、課題には何をするか、何を提出するかを書いておきます。
  4. 提出物を採点する. 生徒のコピーを開いて提出された内容を確認し、採点します。足りない場合は理由を書いて差し戻します。

このラボを試す、そして費用

無料の個人アカウントで、このラボの基本レッスンに取り組めます。毎月、ほとんどのレッスンに足りる無料クレジットがあり、カードは要りません。クラスで使う場合、学校は最初の365日間、生徒50人まで無料で、その後は生徒1人あたりの年額です。すべてのラボが含まれ、教職員は無料です。

よくある質問

このラボには本物の AI モデルが入っていますか。
いいえ。モデルはこのラボのために書いた代役で、決まったルールで返答を選ぶ短い Python のプログラムです。本物のモデル API と同じ形で答えるので、リクエスト、トークン、ストリーミング、エラーについて学んだことはそのまま役に立ちますが、文章を生成しているわけではありません。同じ質問にはいつも同じ答えを返すので、生徒に何が表示されるかをレッスンに書けます。
temperature を変えても何も変わらないのはなぜですか。
本物のモデルは、次のトークンをありそうな候補から選び、temperature や seed はその選び方を変えます。代役はいつも同じ返答を選ぶので、これらの設定を受け取っても無視します。レッスンでもそう伝え、本物のモデルなら代わりにどうなるかを生徒に考えさせます。
費用はかかりますか。AI のクレジットを使いますか。
AI は使わないので、その料金はかかりません。ラボはほかのコンテナーラボと同じように動きます。費用の手順で使う値段は、計算を練習するための作り話です。
ターミナルで docker exec tools を使うのはなぜですか。
ラボのターミナルには curl などいくつかのクライアントが入っていますが、Python はありません。docker exec tools は、クライアントとスクリプトのあるラボの Python のコンテナーの中でコマンドを実行します。
生徒が個人的な情報を送ってしまっても大丈夫ですか。
どこにも届きません。代役は生徒自身のコピーの中で動いていて、そのコピーはインターネットに出られません。それでも、本物のモデルのサービスは入力されたものをすべて受け取るので、個人的なことや秘密をリクエストに入れないという習慣を教えておくとよいでしょう。