プロンプトインジェクション

直接型は、利用者が「これまでの指示を無視して」と入力するものです。間接型はさらに厄介で、モデルが作業中に読むウェブページ、メール、文書に指示が隠れています。

モデルは指示とデータを確実には区別できません。どちらもコンテキストの中の文章だからです。そのため防御は、紛れ込んだ指示が何をできるかを限ることです。

モデルに与える権限は最小限にし、秘密はコンテキストに入れず、ツール呼び出しはコードで確認し、危険な操作の前には人に確認します。