コンテキストウィンドウ

モデルが使えるものはすべてこの中に収まる必要があります。システムプロンプト、それまでの会話、検索した文書、書いている途中の返答です。外にあるものは、その呼び出しでは存在しません。

長く続くチャットボットは、何を外すかを決めなければなりません。古い発言を切る、要約する、大事な部分だけ残す。どれを選んでも失うものがあります。

大きなウィンドウもただではありません。長いプロンプトは高く、遅く、長文の真ん中に埋もれた情報は最初や最後にある情報より見落とされやすくなります。