1つのモデルで大勢に答える
連続バッチ処理とは、言語モデルのサーバーが大勢のユーザーに同時に答える方法です。リクエストをまとめてデコードし、1つ終わったらすぐ新しいものを入れます。
1人ずつ答えるサーバーは、メモリの読み出しの大部分をむだにします。共有のモデルを安く使える一番の理由が、バッチ処理です。
このレッスンのゴール
メモ
静的バッチ処理と連続バッチ処理でリクエストを割り当て、2つを比べることができる。
キーワード
| ことば | いみ |
|---|---|
| リクエスト | 1人のユーザーのプロンプトと、それに要る返答 |
| バッチ | 1回のパスでまとめてデコードするリクエスト |
| スロット | バッチの中の、リクエスト1つ分の場所 |
| 静的バッチ処理 | 前のバッチが終わってから次のバッチを始めること |
| 連続バッチ処理 | 空いたスロットを次のステップで埋めること |
| スループット | サーバー全体が1秒に作るトークンの数 |
学生が入力するセルは、このプレビューでは空白です。
バッチは重みの読み出しを分け合う
デコードの1パスは、1トークンを作るためにすべての重みを読みます。8つのリクエストを同じパスでデコードすれば、重みを1回読んで8回使えます。
それでも、リクエストごとに専用の計算と KV キャッシュが要ります。分け合えるのは重みの読み出しだけです。大きなモデルでは、その読み出しが遅い部分です。
4つのバッチの大きさで数える
docker exec jupyter python3 steps/share.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
例: 大きさごとにデコード8回
| バッチ | 作ったトークン | 1トークンあたりの重みのバイト | 1トークンあたりの積和 |
|---|---|---|---|
| 1 | 8 | 12,108 | 3,427 |
| 2 | 16 | 6,054 | 3,427 |
| 4 | 32 | 3,027 | 3,427 |
| 8 | 64 | 1,513 | 3,427 |
学生が入力するセルは、このプレビューでは空白です。
CPU で見えること
メモ
このモデルは 12 KB なので、重みは CPU の速いキャッシュに収まり、読むのは安上がりです。ノートブックの Real timings のセルで測っても、バッチの大きさほどは速くなりません。GPU の大きなモデルでは、読み出しが遅い部分なので、効果はずっと大きくなります。
静的バッチ処理は一番遅いものを待つ
リクエストが求める返答の長さは、それぞれ違います。静的バッチ処理では、バッチが一斉に始まり、全部が終わるまで新しいリクエストを受け付けません。
2トークンだけのリクエストは早く終わり、長いものが続く間、そのスロットは空いたままです。新しく来たリクエストは、その間ずっと外で待ちます。
6つのリクエストを2通りで割り当てる
docker exec jupyter python3 steps/batch.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
例: スロット3つ、リクエスト6つ
| リクエスト | 来たステップ | トークン | 終わり、静的 | 終わり、連続 |
|---|---|---|---|---|
| A | 0 | 8 | 8 | 8 |
| B | 0 | 2 | 2 | 2 |
| C | 0 | 3 | 3 | 3 |
| D | 1 | 2 | 10 | 4 |
| E | 2 | 6 | 14 | 9 |
| F | 3 | 2 | 10 | 6 |
学生が入力するセルは、このプレビューでは空白です。
連続バッチ処理はすぐスロットを埋める
連続バッチ処理では、サーバーはステップのたびに空いたスロットを探します。B がステップ2で終わると、D は A を待たずに、次のステップでそのスロットに入りました。
バッチを全部空にしてから詰め直すことはありません。リクエストはそれぞれ自分で入って出ていくので、短いリクエストが長いものの後ろで待たずに済みます。
よくある間違い
注意
バッチ処理でどの返答も早く返ってくる、と考える人は多いです。上がるのは、サーバー全体の1秒あたりのトークン数です。1つのリクエストはスロットを待つことがあり、バッチが大きいと1ステップが少し遅くなります。スループットと、ユーザーごとの待ち時間の両方を測りましょう。
試そう: スロットの数はメモリで決まる
# 重みの横に、リクエストはいくつ入るでしょうか。それぞれに専用の KV キャッシュが要ります。
memory_gb = 24
weights_gb = 14
cache_gb_per_request = 1
slots = (memory_gb - weights_gb) // cache_gb_per_request
print("同時に入るリクエスト:", slots)
# 重みを量子化して 7 GB にしましょう。いくつ入りますか。