画像生成AI、文字埋め込みで安全対策回避と研究報告
- 研究者が商用画像生成AI4製品で安全機構回避手法「TYPO」を報告
- 有害な指示文を画像内の読める文字として生成させる新手法
- 9種の既存攻撃より平均50.2%高い成功率、コストは1回0.04ドルとされる
かんたんに言うと
画像を作るAIサービスは、危険な内容を文章で聞かれると断るのに、画像の中の文字として出力させると答えてしまう場合があるという研究報告です。ポスターやマニュアル風の画像を悪用した情報拡散に注意が必要です。
AIセキュリティとの関連: 商用画像生成AIの安全機構を回避する具体的な攻撃手法の研究であり、生成AI活用企業のリスク管理に直結するため。
一次情報(公式アドバイザリ・CVEレコード等)は確認できていません。本記事は下記の報道をもとに作成しています。
何が起きたか
arXivに投稿された研究論文によると、研究者らは商用画像生成AIに共通する未報告の脆弱性を指摘した。これらのAIは文章として有害情報の生成を求められると拒否するが、同じ内容を画像内の文字(テキスト)として描画させる形にすると出力してしまう場合があるという。研究チームはこの弱点を突く手法「TYPO」を提案した。TYPOは、有害な意図を伝える「テキストチャネル」と、表示形式を指定する「ビジュアルチャネル」を組み合わせ、攻撃用プロンプトを自動生成する仕組みとされる。GPT-Image-2、Nano Banana Pro、Qwen-Image-2、Seedream 5.0 Liteの4製品を対象に検証したところ、既存の9種類の代表的な回避手法と比べ、平均で50.2ポイント高い成功率(ASR)を記録したと報告されている。1回あたりのコストは平均0.04ドルと低く、攻撃の実施ハードルが低い点も指摘されている。
誰に・どう影響するか
大企業では、生成AIを使った広報物・マニュアル・インフォグラフィック作成業務において、悪用された画像が意図せず社内外に流通するリスクがある。特に画像生成APIを自社サービスに組み込んでいる場合、出力物の内容確認プロセスが不十分だと、有害な指示文が読める形で拡散する恐れがある。中小企業でも、マーケティング資料作成などで商用画像生成AIを利用するケースは増えており、生成物のレビュー体制がなければ同様のリスクを負う。いずれの規模でも、テキスト生成への対策が画像生成には及ばないという構造的な問題を認識する必要があるとされる。
今すぐやるべきアクション
- 画像生成AIの出力物について、文字情報も含めた内容レビュー体制を整える
- 生成AIベンダーに対し、画像内テキストへの安全フィルタ適用状況を確認する
- 業務利用ガイドラインに『画像内テキストの安全性確認』項目を追加する
- APIで画像生成機能を組み込んでいる場合はOCR等による事後検査導入を検討する
重大度の判定理由
重大度「中」: 学術研究段階で実際の悪用報告はないが、複数の商用モデルで再現性が示されコストも低いとされる