無料モジュール
言語モデルの推論の仕組み: CPU で確かめる
LLM 推論の仕組みを手を動かして学びます。プリフィルとデコード、KV キャッシュ、連続バッチ処理、投機的デコード、int8 量子化、レイテンシの測り方を、CPU で動く小さなモデルで確かめる講座です。
6件のレッスン360分のレッスンAI とデータサイエンス
レッスン一覧
どのレッスンも無料でインタラクティブです。「ラボを開始」を押すと、アカウントなしでライブラボでコマンドを実行し、クイズや課題にも取り組めます。
1 · コンテナラボ
LLM 推論のプリフィルとデコード
プリフィルは違うのに、デコードはメモリの読み出しで速さが決まる理由を説明できる。
レッスンを読む2 · コンテナラボ
KV キャッシュで生成を速くする
KV キャッシュが省く仕事の量と、使うメモリの量を計算できる。
レッスンを読む3 · コンテナラボ
バッチ処理と連続バッチ処理
静的バッチ処理と連続バッチ処理でリクエストを割り当て、2つを比べることができる。
レッスンを読む4 · コンテナラボ
投機的デコードの仕組み
投機的デコードで、ターゲットモデルがどのドラフトのトークンを採用するかを決められる。
レッスンを読む5 · コンテナラボ
手で int8 量子化をする
重みの1行を int8 に量子化して、誤差を測ることができる。
レッスンを読む6 · コンテナラボ
LLM のレイテンシとスループットを測る
トークンの時刻から、最初のトークンまでの時間と毎秒トークン数を求めることができる。
レッスンを読む
授業で使いますか?このモジュールを学生に割り当てると、教員用ガイド、自動採点つきの課題、学生ごとのラボを使えます。