クリーム色の背景、色付き表示、高コントラスト、大きな文字のほうが読みやすいですか?配色と文字を選ぶと、すべてのページに一度で反映されます。

無料レッスン

バッチ処理と連続バッチ処理

このレッスンのあとで: 静的バッチ処理と連続バッチ処理でリクエストを割り当て、2つを比べることができる。

60分のレッスンコマンド2件LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

1つのモデルで大勢に答える

連続バッチ処理とは、言語モデルのサーバーが大勢のユーザーに同時に答える方法です。リクエストをまとめてデコードし、1つ終わったらすぐ新しいものを入れます。

1人ずつ答えるサーバーは、メモリの読み出しの大部分をむだにします。共有のモデルを安く使える一番の理由が、バッチ処理です。

このレッスンのゴール

メモ

静的バッチ処理と連続バッチ処理でリクエストを割り当て、2つを比べることができる。

キーワード

ことばいみ
リクエスト1人のユーザーのプロンプトと、それに要る返答
バッチ1回のパスでまとめてデコードするリクエスト
スロットバッチの中の、リクエスト1つ分の場所
静的バッチ処理前のバッチが終わってから次のバッチを始めること
連続バッチ処理空いたスロットを次のステップで埋めること
スループットサーバー全体が1秒に作るトークンの数

学生が入力するセルは、このプレビューでは空白です。

バッチは重みの読み出しを分け合う

デコードの1パスは、1トークンを作るためにすべての重みを読みます。8つのリクエストを同じパスでデコードすれば、重みを1回読んで8回使えます。

それでも、リクエストごとに専用の計算と KV キャッシュが要ります。分け合えるのは重みの読み出しだけです。大きなモデルでは、その読み出しが遅い部分です。

4つのバッチの大きさで数える

コマンド
docker exec jupyter python3 steps/share.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

例: 大きさごとにデコード8回

バッチ作ったトークン1トークンあたりの重みのバイト1トークンあたりの積和
1812,1083,427
2166,0543,427
4323,0273,427
8641,5133,427

学生が入力するセルは、このプレビューでは空白です。

CPU で見えること

メモ

このモデルは 12 KB なので、重みは CPU の速いキャッシュに収まり、読むのは安上がりです。ノートブックの Real timings のセルで測っても、バッチの大きさほどは速くなりません。GPU の大きなモデルでは、読み出しが遅い部分なので、効果はずっと大きくなります。

静的バッチ処理は一番遅いものを待つ

リクエストが求める返答の長さは、それぞれ違います。静的バッチ処理では、バッチが一斉に始まり、全部が終わるまで新しいリクエストを受け付けません。

2トークンだけのリクエストは早く終わり、長いものが続く間、そのスロットは空いたままです。新しく来たリクエストは、その間ずっと外で待ちます。

6つのリクエストを2通りで割り当てる

コマンド
docker exec jupyter python3 steps/batch.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

例: スロット3つ、リクエスト6つ

リクエスト来たステップトークン終わり、静的終わり、連続
A0888
B0222
C0333
D12104
E26149
F32106

学生が入力するセルは、このプレビューでは空白です。

連続バッチ処理はすぐスロットを埋める

連続バッチ処理では、サーバーはステップのたびに空いたスロットを探します。B がステップ2で終わると、D は A を待たずに、次のステップでそのスロットに入りました。

バッチを全部空にしてから詰め直すことはありません。リクエストはそれぞれ自分で入って出ていくので、短いリクエストが長いものの後ろで待たずに済みます。

よくある間違い

注意

バッチ処理でどの返答も早く返ってくる、と考える人は多いです。上がるのは、サーバー全体の1秒あたりのトークン数です。1つのリクエストはスロットを待つことがあり、バッチが大きいと1ステップが少し遅くなります。スループットと、ユーザーごとの待ち時間の両方を測りましょう。

試そう: スロットの数はメモリで決まる

コード: python
# 重みの横に、リクエストはいくつ入るでしょうか。それぞれに専用の KV キャッシュが要ります。
memory_gb = 24
weights_gb = 14
cache_gb_per_request = 1
slots = (memory_gb - weights_gb) // cache_gb_per_request
print("同時に入るリクエスト:", slots)
# 重みを量子化して 7 GB にしましょう。いくつ入りますか。

このラボとソースについて: LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

授業で使いますか?このモジュールを学生に割り当てると、教員用ガイド、自動採点つきの課題、学生ごとのラボを使えます。