無料モジュール
コスト、トレース、信頼性
LLM機能の運用を実践で学ぶ。スパンによるトレース、キャッシュ、トークンのコストと予算の上限、レイテンシ、失敗時の代替手段、モデルの振り分け。
6件のレッスン375分のレッスンソフトウェア工学
レッスン一覧
どのレッスンも全文を無料で読めます。無料アカウントを作ると、コマンドをラボで実行し、クイズと課題に取り組めます。
1 · コンテナラボ
モデル呼び出しをトレースする方法
私は、各呼び出しが何をしたかを記録して、失敗や遅れの原因を探せます。
レッスンを読む2 · コンテナラボ
モデルの応答をキャッシュする方法
私は、モデルの応答を安全にキャッシュし、何がヒットを決めるのかを説明できます。
レッスンを読む3 · コンテナラボ
LLMのトークンコストと予算の上限
私は、ユーザーごとの上限、一日の上限、分かりやすいメッセージで、機能の使いすぎを防げます。
レッスンを読む4 · コンテナラボ
LLMのレイテンシとタイムアウト
私は、モデル呼び出しで時間がどこに使われるかを説明し、記録した所要時間からタイムアウトを決められます。
レッスンを読む5 · コンテナラボ
モデル呼び出しが失敗したときの代替手段
私は、失敗の種類ごとに代替手段を選び、モデル呼び出しが失敗しても機能を動かし続けられます。
レッスンを読む6 · コンテナラボ
リクエストを複数のモデルに振り分ける方法
私は、各リクエストを足りる中で最も安いモデルへ振り分け、その選択を記録したケースで確かめられます。
レッスンを読む
授業で使いますか?このモジュールを学生に割り当てると、教員用ガイド、自動採点つきの課題、学生ごとのラボを使えます。