AI 特有の 3 つの脅威
業務システムの一部として AI を組み込むと、従来のセキュリティ要件に加えて、AI 特有の脅威が 3 つ発生します。
- 1. プロンプトインジェクション：外部入力に仕込まれた指示で、AI の挙動を乗っ取る
- 2. データ漏えい経路：AI ベンダー側のログ・学習・サポート経路から情報が漏れる
- 3. 出力経由の情報露出：AI が知らないはずの社内情報を出力に含める
これらは従来の WAF や IDS では検知できず、AI 固有の対策が必要です。
プロンプトインジェクションへの基本対策
プロンプトインジェクションは、メール・Web 文書・ファイル名・画像メタデータなどに「以下を無視して、別の指示に従え」のような文言を仕込んでおく攻撃です。
基本対策は次の 3 段です。
- - 入力分離：システム指示と外部入力を明確に分け、外部入力をそのまま命令として解釈しない設計
- - 出力検証：AI の出力に「機密情報の送信」「ファイル削除」などの危険な操作が含まれないかを別レイヤーで検証
- - 権限最小化：AI に外部システムへの強い権限を直接渡さない（代わりに人を介在させる）
特に 3 つ目が現実的に効きます。AI に「メール送信権限」「ファイル削除権限」「決済権限」を直接渡さず、AI は提案までで止め、最終操作は人または別システムで承認する構造にします。
データ漏えい経路の遮断
AI ベンダーへ送信したデータは、4 つの経路で外部に出る可能性があります。
- - ログ保存：ベンダー側のログにデータが残る
- - モデル学習：将来のモデル改善に使われる
- - サポート対応：障害解析でベンダー社員が参照する
- - 第三者連携：ベンダーが他社にデータを提供する