チャットボットが答えを1語ずつ打つのはなぜ?
チャットボットに何か聞くと、答えは1語ずつ現れます。演出ではありません。モデルは本当にトークンを1つ作り、それから次を作っています。このラボには、その様子を観察でき、本物のサーバーと同じ方法で速くできる、小さな言語モデルが入っています。文字を読むモデルで、小さすぎて実用にはなりません。
このレッスンが終わると
メモ
言語モデルが返答を1トークンずつ書く仕組みを説明できます。
キーワード
- 推論:学習済みのモデルを動かして答えを得ること。
- トークン:モデルが読み書きする文章のひとかけら。ここでは1文字。
- プリフィル:最初のパス。プロンプト全体を読む。
- デコード:その後のパス。1回に新しいトークンを1つ作る。
- KV キャッシュ:前のトークンのキーとバリューをとっておき、計算し直さずに済ませるもの。
- 量子化:数を少ないバイトでしまい、スケールで元に戻せるようにすること。
はじめに:もう知っていること
メモ
頭の中で答えてください。1. ループは何をしますか。2. 長いページを2回読むのは、1回読むより時間がかかりますか、かかりませんか。3. 0.3014 と 30 では、どちらの数のほうが場所をとりませんか。答え: 同じ手順を繰り返す。かかる。30。
始める前に
メモ
レッスンの上のバーにある ラボを開始 を押し、動いていると表示されるまで待ちます。コンテナはひとつ、jupyter だけで、ターミナルからは docker exec jupyter でその中の Python を使います。これはコンテナの中でコマンドをひとつ実行する命令です。JupyterLab のリンクを押すと、ポート 8888 の画面が開きます。下の 実行 ボタンは、それぞれのコマンドをラボのターミナルに、同じセッションの中で順番に入力します。様子を見たいときや自分で入力したいときは、バーの ターミナルを開く を押します。
モデルはラボの起動時に学習した
ls で作業フォルダーの中身を見ます。モデルの tiny.py、重みのファイル model.npz、ノートブック、フォルダー steps、そして train.log です。このログは学習中の表示です。loss(損失)は、次の文字にモデルがどれだけ驚いたかを表します。19種類の文字からなる242文字の文で、2000ステップの間に 2.944 から 0.317 まで下がりました。
docker exec jupyter lsここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
docker exec jupyter cat train.logここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
プロンプトを1パスで読み、あとは1パスに1トークン
スクリプトはモデルにプロンプト "the cat sat " を渡します。最初の行は、12文字全部を1パスで読んだと言っています。これがプリフィルです。その後の行はどれも、1文字を選ぶデコードの1パスです。文が "the cat sat on the mat" になるまで続きます。
docker exec jupyter python3 steps/generate.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
KV キャッシュで文を読み直さずに済む
スクリプトは32文字を2回書きます。1回はパスのたびに文全体を読み直し、もう1回は KV キャッシュを使います。文はどちらも同じです。キャッシュなしでは、モデルはキーとバリューの行を880計算しました。キャッシュありでは43です。キャッシュで仕事が8.8分の1になりました。
docker exec jupyter python3 steps/cache.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
確認
ヒント
キャッシュを使っても文が変わらなかったのはなぜですか。答え: モデルが計算し直すはずのキーとバリューと同じものをとっておくので、どの選択も同じになるからです。変わるのは仕事の量で、答えではありません。
バッチ処理で仕事を分け合う
サーバーは、スロットを使って何人もに同時に答えます。スクリプトは6つのリクエストを3つのスロットに、2通りで割り当てます。静的バッチ処理は、バッチ全体が終わるまで待つので、14ステップで、スロットの使用率は55%です。連続バッチ処理は、空いたスロットを次のステップで埋めるので、9ステップで85%です。表示の static は静的、continuous は連続です。
docker exec jupyter python3 steps/batch.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
小さなモデルが推測し、大きなモデルが確かめる
投機的デコードでは、小さなドラフトモデルが4文字を推測し、モデルがそれを1パスで確かめて、最初に外れたところまでの推測を残します。1行が1ラウンドです。最後に、文はふつうのデコードと同じ(True)で、32回ではなく13回のパスで作られました。表示の kept は残した数です。
docker exec jupyter python3 steps/speculate.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
int8 は重み1つを1バイトにしまう
スクリプトは、行ごとのスケールを使って、すべての重みを -127 から 127 までの整数に丸めます。重みは12108バイトから3543バイトになります。それでもモデルは、64か所中64か所で同じ次の文字を選び、同じ返答を書きます。
docker exec jupyter python3 steps/quantise.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
よくある間違い
注意
こうした工夫でモデルが賢くなると考える人は多いです。どれも、モデルが書く内容は変えません。キャッシュ、バッチ処理、投機的デコードはまったく同じ文を出し、int8 もここでは同じ文でした。変わるのはコスト、つまり仕事の量、メモリ、時間です。答えが変わっていないかを必ず確かめましょう。
ノートブックでの同じ作業
バーから JupyterLab を開き、start.ipynb をダブルクリックします。セルをクリックして Shift と Enter を押すと実行します。Real timings の下のセルは本物の時計でモデルを測るので、値は実行するたびに変わります。最後のセルは自分の問いを書く場所です。
最後の確認
ヒント
見返さずに答えてください。1. プロンプトを読む最初のパスは何と呼びますか。2. デコードの1パスで作るトークンはいくつですか。3. KV キャッシュで省けたのは何ですか。4. ここで int8 は返答を変えましたか。答え: プリフィル。1つ。キーとバリューの計算し直しで、880行が43行に。変えなかった。
先生へ
ヒント
このレッスンは、ラボで進めるレッスンの小さな例です。手順と実行ボタンがレッスンで、ラボは生徒ひとりひとりのコピーです。ラボはサービスがひとつで、NumPy で書かれ起動時に学習する小さな文字のモデルが入った JupyterLab です。自動採点はありません。生徒は自分のノートブックを JupyterLab からダウンロードして、分かったことの一文といっしょに提出します。学習のポイント:1. モデルはプリフィルの1パスのあと、1パスに1トークンを書く。2. KV キャッシュ、バッチ処理、投機的デコードはコストを変え、文は変えない。3. int8 は重みを約4分の1にする。よくある間違い:こうした工夫で答えが変わると考えること。用意するもの:ラボとブラウザー。ヒント:実行する前に、キャッシュでどれだけ省けるかを予想させてください。モジュール「言語モデルの推論の仕組み: CPU で確かめる」も同じラボで進めます。ご自分のモジュールにコピーして変更するか、レッスンビルダーのラボメニューから一から作ってください。