AI用語集
レッドチーミング
レッドチーミングとは、自分のAIシステムをわざと攻撃し、誤った動作、データの漏えい、ツールの悪用を起こさせて、他人より先に弱点を見つけることです。
レッドチームは悪意のある入力を書きます。文書に隠したインジェクション、ルールを少しずつ回り込む依頼、範囲外を狙うツール呼び出しなどです。
成功した攻撃はテストケースになり、後の変更で穴が再び開いたら気付けるようにします。
レッドチーミングは問題を見つけますが、問題がないことは証明しません。コードでの制限と組み合わせ、思い付かなかった攻撃も範囲内に収めます。