LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

このラボでは、生徒ひとりひとりに専用の JupyterLab を渡します。中には NumPy で書いた小さな言語モデルが入っていて、全部を読み通せる短さです。文字を読み、アテンションの層は1つで、KV キャッシュを持ちます。ラボの起動時に、決まった文と乱数の種から1秒もかからずに学習するので、どのコピーも同じモデルになります。短いスクリプトが、推論の仕組みと、サーバーがそれを速くする方法を見せます。時間を測らずに仕事を数えるので、毎回同じ結果を表示します。

モデルは小さすぎて実用にはならず、ラボもそう伝えます。見せるのは仕組みだけです。GPU はなく、何もダウンロードせず、AI サービスも呼びません。攻撃のラボでもありません。どのコピーもインターネットにも、ほかの生徒にもつながりません。

生徒が学ぶこと

言語モデルの答え方です。プリフィルの1パスでプロンプトを読み、新しいトークンごとにデコードの1パスをします。そして、デコードがメモリの読み出しで速さが決まる理由です。KV キャッシュありとなしで同じ32文字を作り、キーとバリューの行を880と43で比べます。6つのリクエストを3つのスロットに割り当て、静的バッチ処理の14ステップに対して、連続バッチ処理が9ステップで終わるのを見ます。小さなドラフトモデルで投機的デコードをして、同じ文の32文字を13パスで作り、モデルを int8 に量子化して、12108バイトを3543バイトにしても、調べたすべての場所で次の文字が同じことを確かめます。機械学習やシステム性能の2つ目の講座に向いています。正確な文言は、お使いの資格団体の単元で確認してください。ここには引用していません。

ブラウザーで実行する

ラボは jupyter というサービスをひとつ起動します。このサービスは、モデル、学習のスクリプト、int8 の補助、時間を測るスクリプト、はじめのノートブック、短いスクリプトを作業フォルダーに書き出し、モデルを学習させます。何もダウンロードしません。JupyterLab はトークンを求めません。プラットフォームの入口が、開いている人をすでに知っているからです。ラボの横のターミナルには専用の Python がないので、docker exec jupyter に続けて実行するコマンドを書き、ラボの Python を使います。

  1. コンテナーのページを開く. バーの「つくる」を開き、「コンテナーを実行」を選びます。ページは誰でも開けて、Git ラボと SQL ラボはアカウントなしで起動できます。ほかのラボには無料アカウントが必要です。アカウントを作成してサインインし、「起動」を押します。
  2. ラボを探す. 「サンプルラボ」のカードにすべてのサンプルが並んでいます。LLM推論:CPUで動く小さなモデルを探します。
  3. 「起動」を押す. 「起動」はそのまま1回の操作で実行します。「先にファイルを編集」は compose ファイルを開くので、起動する前に変更できます。
  4. 開く. ラボのページのバーに JupyterLab というリンクがあります。押すとブラウザーで JupyterLab が開くので、ファイルエディターで tiny.py を読みます。次に「ターミナルを開く」を押し、docker exec jupyter python3 steps/cache.py と入力すると、KV キャッシュありとなしで作った同じ文と、それぞれの仕事の量が表示されます。

生徒に提出してもらうもの

tiny.py を使って、自分で選んだ問いに答える自分のノートブックを提出してもらいます。たとえば、デコード1ステップの仕事が文の長さとともにどう増えるか、行ごとではなく1つのスケールで量子化すると次の文字がどれだけ変わるか、推測の数を変えると投機的デコードの採用率がどう変わるか、などです。JupyterLab の File、Download でダウンロードします。そこに、分かったことを自分の言葉で1、2文書いてもらいます。自動では採点されません。この文が、理解できたかどうかを示します。

このラボの基本レッスン

LLM Inference Basics は、このラボで進める小さなレッスンです。生徒は学習のログを読み、プリフィルとデコードを観察し、KV キャッシュありとなしを比べ、リクエストを2通りで割り当て、投機的デコードをして、モデルを int8 に量子化します。大学向けモジュール「言語モデルの推論の仕組み: CPU で確かめる」も同じラボで進め、レッスンが6つ、採点する課題が6つあります。

無料の個人アカウントでは「ホーム」にある Basics モジュールに入っていて、どの学校もライブラリーの Basics フォルダーからコピーできます。あえて小さくしてあり、ラボで進めるレッスンがどういうものかを先生に見せる役目です。あとはラボが受け持ちます。変更したいときは、自分のモジュールにコピーしてください。

GitHub のコード

compose ファイルには Dockerfile がありません。公開されている既存のイメージをひとつだけ使います。Jupyter Docker Stacks の scipy-notebook を日付つきのタグに固定し、権限のない専用アカウントとメモリ 512 MB で動かします。モデルは NumPy だけを使います。イメージのライセンスは BSD-3-Clause で、私たちは再配布していません。起動のたびに、固定の文章から Python ファイルをすべて書き出し、固定の種から学習するので、どのコピーも同じ結果を表示し、何もダウンロードされません。限界もあります。モデルはとても小さく、文がもっともらしいのは数語の間だけです。ノートブックの実測の値は実行するたびに変わります。ラボを止めると何も残らないので、生徒は先にノートブックをダウンロードします。

課題として出す

何を提出するかを課題に書いておきます。

  1. ラボを作る. モジュールで課題を追加し、「コンテナーラボ」のカードを選んでから「GitHub リポジトリ」を選びます。https://github.com/mitsurutech/lab-inference-lab とブランチ main を指定します。compose ファイルは既定の compose.yaml です。変更したい場合は、たとえば自分で選んだ文でモデルを学習させるときは、先にリポジトリをフォークしてください。
  2. 公開して試す. 「公開」すると、確認したコミットに固定されるので、あとでリポジトリを変更しても、すでに出したラボは変わりません。まず自分のコピーを起動してください。
  3. 配布する. ほかの課題と同じように配布します。期限を付けることもでき、課題には何をするか、何を提出するかを書いておきます。
  4. 提出物を採点する. 生徒のコピーを開いて提出された内容を確認し、採点します。足りない場合は理由を書いて差し戻します。

このラボを試す、そして費用

無料の個人アカウントで、このラボの基本レッスンに取り組めます。毎月、ほとんどのレッスンに足りる無料クレジットがあり、カードは要りません。クラスで使う場合、学校は最初の365日間、生徒50人まで無料で、その後は生徒1人あたりの年額です。すべてのラボが含まれ、教職員は無料です。

よくある質問

トークンやパスワードを入力しなくてよいのはなぜですか。
ラボのウェブページには、プラットフォームの入口を通ってしか届きません。入口はあなたが誰かをすでに知っていて、あなたとモジュールを教える先生だけを通します。そのため JupyterLab はトークンなしで起動します。ほかの人が届くマシンでは、この設定で動かさないでください。
ターミナルで docker exec jupyter を使うのはなぜですか。
ラボのターミナルにはいくつかのクライアントが入っていますが、Python はありません。docker exec jupyter は、Python のあるラボのコンテナーの中でコマンドを実行します。JupyterLab にも、File、New、Terminal で開く自分のターミナルがあります。
これは本物の言語モデルですか。
本物を、とても小さくしたものです。文字を読み、アテンションの層は1つ、数は約4,400個で、1段落の文で学習しました。文がもっともらしいのは数語の間だけです。キャッシュ、バッチ処理、投機的デコード、int8 という、このラボが見せる考え方は、大きなモデルでも同じように働きます。変わるのは大きさだけです。
スクリプトが時間を測らずに仕事を数えるのはなぜですか。
本物の時計は、実行するたびに、マシンごとに違う数を出すので、生徒に何が表示されるかをレッスンに書けません。スクリプトは積和と読んだバイトを数え、これは毎回同じです。比べるために、ノートブックには、ウォームアップして繰り返し、本当に時間を測るセルが1つあります。
GPU は要りますか。
いいえ。モデルはどの CPU でも動く小ささで、ラボは NumPy の入った JupyterLab です。GPU で動く本物の推論エンジンは、同じことをずっと大きな規模で行います。ラボは考え方を模したもので、扱わないことはレッスンで説明します。