LLMに根本的欠陥、完全防御は困難と研究者指摘
- 国際会議ICMLで発表された論文が、LLMの安全対策に根本的な限界があると主張
- モデルは指示の出所(役割)をタグではなく文章の「見た目」で判断しており、偽装が可能
- OpenAIやAnthropicなど複数の主要モデルで、規制対象の情報を引き出す攻撃に成功したという
かんたんに言うと
AIチャットボットは「誰の指示か」をラベルではなく文章の書き方で判断しているため、指示を偽装されると危険な回答をしてしまう恐れがあるという。企業は業務にAIを使う際、この弱点を前提に人の確認や利用範囲の制限を続ける必要がある。
AIセキュリティとの関連: 生成AIモデル自体に修正不能とされる構造的脆弱性があるとの指摘で、AI活用企業の防御方針に直結する内容のため。
一次情報(公式アドバイザリ・CVEレコード等)は確認できていません。本記事は下記の報道をもとに作成しています。
何が起きたか
MIT Technology Reviewの報道によると、独立研究者のCharles Ye氏とJasmine Cui氏らが国際会議ICMLで、LLM(大規模言語モデル)には完全には解消できない構造的な欠陥があると発表した。LLMは指示が「システム」「ユーザー」「思考過程(chain of thought)」「外部ツール」のどの役割から来たかをタグで区別しているとされる。しかし研究チームによると、モデルは実際にはタグではなく文章の文体や内容で役割を推測している。このため、ユーザーが思考過程を模した文章を書き込むと、モデルは自分自身の指示だと誤認して従ってしまうという。研究チームはこれを「chain-of-thought forgery(思考過程の偽装)」と呼ぶ。実際に、コカインの合成方法や航空機の航法システムを妨害する方法などを、この手法で複数のモデルに回答させたと報じられている。OpenAIのモデルだけでなく、Anthropic、Alibaba、DeepSeekの製品でも同様の結果が確認されたとしている。
誰に・どう影響するか
大企業では、社内問い合わせ対応や意思決定支援など幅広い業務にLLMを組み込むケースが増えており、悪意ある入力によって機密情報の流出や不適切な出力が生じるリスクがある。特に航空・医療・防衛分野など安全性が重視される用途では影響が大きいと考えられる。中小企業では、チャットボットや文書作成支援など限定的な用途が中心のため直接的な被害は限定的とみられるが、外部委託先や利用中のSaaSサービスが同種の脆弱性を抱えるAI機能を提供している可能性はある。導入しているAIサービスの提供元がどのような安全対策を講じているか、確認しておくことが望ましい。
今すぐやるべきアクション
- 業務に組み込んでいるAIサービスが、機密情報や危険な指示への出力制限をどう担保しているか提供元に確認する
- AIの出力をそのまま業務判断や顧客対応に使わず、人による最終確認を挟む運用を維持する
- 外部入力(顧客メッセージや取得文書など)をAIに渡す際は、指示のように見える文字列が混入しないか点検する
- レッドチーミング(疑似攻撃によるAIの脆弱性検証)の実施状況や結果を、AIベンダーとの契約時に確認事項に含める
重大度の判定理由
重大度「高」: 複数の主要LLMで再現され修正困難とされるが、現時点で実被害の報告や悪用の急拡大は確認されていない