AI用語集
キャッシュ
キャッシュとは、以前のモデル呼び出しの結果を保存しておき、同じリクエストに二重に払わずにもう一度答えられるようにすることです。
最も単純なキャッシュは、プロンプトと設定そのものをキーにして返答を保存します。同じ質問は費用ゼロですぐに返ります。
多くの提供元は、システムプロンプトや文書のように変わらない長いプロンプトの先頭部分もキャッシュし、後の呼び出しを安く速くします。
キャッシュには忘れる仕組みが必要です。キーにモデルとプロンプトの版を含め、変更後に昨日の答えを返さないようにします。
手を動かして学ぶ
これらの無料レッスンでは、ラボで実行するコマンドと採点される課題で学べます。アカウントなしで全文を読めます。