AIレッドチーミング AI Red Teaming
一言でいうと: 攻撃者の視点でAIシステムを意図的に攻撃し、弱点を公開前に洗い出すテスト。
詳しい解説
AIレッドチーミングは、攻撃者の視点からAIシステムに対して意図的な攻撃(ジェイルブレイク、プロンプトインジェクション、機密情報の引き出し等)を試み、脆弱性を公開前に発見する評価手法です。従来のセキュリティにおけるペネトレーションテストのAI版といえます。EU AI法やNIST AI RMFなど主要な規制・フレームワークでもAIシステムの敵対的テストが推奨されており、AIベンダー各社も外部専門家によるレッドチーミングを実施しています。専門サービスや自動化ツールも登場しています。
なぜ重要か / 企業への影響
顧客向けにAI機能を公開する企業は、公開前のレッドチーミングを品質保証プロセスに組み込むことが望まれます。自社での実施が難しい場合も、AI製品の選定時に「ベンダーがどのようなレッドチーミングを実施したか」を確認する材料になります。
最終更新日: 2026年7月13日
関連用語
- ジェイルブレイク Jailbreak — AIに設定された安全上の制限を、巧妙な指示で回避させる行為。
- ガードレール Guardrails — AIの入力・出力を検査し、危険な指示や不適切な回答をブロックする安全装置。
- プロンプトインジェクション Prompt Injection — AIへの指示文に不正な命令を紛れ込ませ、AIを攻撃者の意図通りに動かす攻撃手法。