攻撃者が使うAI
偽の声・偽メールで、人をだます。
自社がAIを使わなくても起こり得ます。
相手が本物か、連絡とは別の経路で確かめる。

THE SHORT ANSWER
攻撃者がAIで偽メールや偽動画を作ることと、被害企業がAIを導入しているかは別です。AIを使っていない会社にも、攻撃は届きます。
ただし、自社でAIを使う場合にも、入力・保存・共有・接続先・操作権限に応じたリスクがあります。「AIが危険か」だけでなく、「何を渡し、何を任せるか」を見れば、対策を具体的にできます。
個別の事件の原因は、調査報告で確認が必要です。「最近の漏洩はすべて攻撃側のAIが原因」とは断定できません。
IPAの利用者向け資料 ↗NOT ALL AI RISKS ARE THE SAME.
同じ「AI関連の被害」でも、入口が違えば守り方が違います。
攻撃者が使うAI
自社がAIを使わなくても起こり得ます。
相手が本物か、連絡とは別の経路で確かめる。
自社で使うAI
従来のクラウド利用と共通する問題もあります。
何を渡してよいか。契約・設定・公開範囲を確認する。
システムにつなぐAI
AI特有の問題と、権限管理の問題が重なります。
必要な資料と機能だけに制限し、重要操作は人が承認する。
分類は理解のための整理です。ひとつの事故に複数の原因が重なる場合もあります。
LESS FEAR. MORE PRECISION.
気になる疑問を開いてください。「安心」と言い切るのではなく、どの条件を確認すればよいかを示します。
外部のAIサービスに入力することは、そのサービスへ情報を渡すことです。ただし、それがそのままインターネットで誰にでも公開されることを意味するわけではありません。共有リンク、外部連携、提供元のデータ利用や不具合は、別に確認します。
見るべき点:入力先と共有先を、別々に確かめる。
OWASP:情報の流出 ↗学習に使わなくても、処理や履歴のためにデータが保存される場合があります。たとえばMicrosoft 365 Copilotの公式説明では、基盤モデルの学習に使わないことと、対話履歴を保存することが併記されています。同じ名称の個人用サービスや他社へ、そのまま一般化はできません。
見るべき点:学習の有無だけでなく、保存期間と削除・管理権限も見る。
Microsoft:保存と学習 ↗契約、利用目的、会社のルール、利用する機能によって条件が変わります。個人情報を扱う場合は、利用目的の範囲や提供先の扱いも確認が必要です。法人向けであることは、すべての資料を渡してよいという許可ではありません。
見るべき点:正式な製品名・プラン・アカウント・契約を確認する。
個人情報保護委員会 ↗会社名、役職、住所、宿泊日、具体的な相談内容などが残れば、相手が推測できる場合があります。名前だけの置換を、法的な匿名加工ができたこととは扱いません。最初は、元の資料を入れず架空の例に置き換える方法があります。
見るべき点:氏名以外にも、特定につながる情報が残っていないかを見る。
個人情報保護委員会 ↗本当に外部通信をしない構成か。ログ・バックアップ・更新・拡張機能はどうか。社内の誰が閲覧できるか。外部送信を減らしても、内部の誤共有や端末の侵害などは別に残ります。
見るべき点:データの行き先と、読める人・動ける機能を確かめる。
OWASP:情報の流出 ↗RAGは必要な資料を探してAIへ渡す仕組みです。検索対象や権限が広すぎれば、別部署の資料が混ざるおそれがあります。正しい資料があっても、要約や判断の誤りがなくなるわけではありません。
見るべき点:検索対象を限定し、利用者ごとの権限と原文を確認する。
IPA:利用者向け対策 ↗外部文書の指示に影響されるプロンプトインジェクションは、指示文やフィルターだけで完全に防げるとは限りません。AIの外側で権限を制限し、出力の扱いと重要操作を制御する必要があります。
見るべき点:読み取りと送信を分け、送信前に内容と宛先を人が確認する。
英国NCSC:指示の混入 ↗社員が個人アカウントや未承認の拡張機能を使うと、会社が入力情報や連携先を把握できなくなります。禁止事項に加え、使ってよい手段、相談先、試せる仕事を用意することが大切です。
見るべき点:未承認AIを責めるだけでなく、業務上の必要と代替手段を整理する。
英国NCSC:未承認AI ↗
DATA MINIMISATION
WHERE DOES YOUR DATA GO?
これは一般的な確認項目を表した概念図です。実際のデータの扱いは製品・契約・設定ごとに異なります。
まず、言葉の違いから。
渡した文章や資料を使い、今回の回答を作ること。資料を読ませたからといって、それだけでモデル全体の学習が行われたとは限りません。
データを使って、モデルそのものの振る舞いを調整すること。入力がその用途に使われるかは、契約や設定で確認します。
会話や情報を保存し、あとで参照できるようにすること。モデルの学習に使わなくても、保存する設計はあり得ます。機能ごとの扱いを確認します。
「AIが覚えた」という一言でまとめると、この違いが見えなくなります。Microsoftの保存・学習に関する説明 ↗
本文・添付・写真・音声
処理・履歴・運用ログ
回答・リンク・連携先
何日残る? 誰が読める?
削除できる範囲は?
入力を学習へ使うか。
どの契約・設定が適用されるか。
検索語や資料が別のサービスへ渡る?
共有リンクは誰が開ける?
承認された提供先へ、契約とルールに沿って必要な情報を送ることと、意図しない相手へ漏れることは分けて考えます。外部提供が許されるかは、情報と契約によって判断が必要です。
画面の履歴、管理用ログ、バックアップ、すでに共有した相手のコピーは、同じとは限りません。サービスの保存・削除条件を確認し、ボタンを押しただけで回収済みと判断しません。
READ THE INCIDENT, NOT JUST THE HEADLINE.
実被害の公表、提供元の調査報告、技術研究。この3つを区別して読んでください。
実被害を政府が公表
香港政府は2024年01月に受理した事案として、財務責任者を装うメールと偽の録画会議を使った送金詐欺を説明しています。
攻撃者がAIで人をだます話です。自社のAIへ機密を入力したことによる漏洩とは違います。
被害企業がAIを導入していたから被害に遭った、とはこの資料から判断できません。
自社に置き換えるなら:送金先や緊急指示を、登録済み連絡先・社内の承認手順で再確認する。
公表資料を読む ↗
AI提供元の調査報告
Anthropicは、攻撃者がAIエージェントをサイバー攻撃の作業に悪用した事案を報告しています。ここでは同社の調査報告として扱います。
AIは攻撃を進める側の道具にもなります。標的企業のAI利用とは別の軸です。
この報告だけで、世の中の攻撃の大半がAI化した、あるいはAI導入企業ほど被害が多い、とは言えません。
自社に置き換えるなら:認証・更新・権限・監視など、既存の対策を止めない。
公表資料を読む ↗技術研究・修正済みの問題
EchoLeak(CVE-2025-32711)は、Microsoft 365 Copilotに関するプロンプトインジェクションの技術事例です。研究論文は外部メールを処理する過程からの情報流出と、公開前のサーバー側修正を説明しています。
AIが内部情報と外部入力を扱う設計には、AI利用側のリスクもあります。「全部、攻撃者がAIを使うだけ」ではありません。
研究で示された可能性を、顧客の大規模な実被害や、現在も未修正の同じ問題としては扱いません。
自社に置き換えるなら:提供元の修正情報を確認し、外部入力・内部資料・外向き通信の境界を設計する。
公表資料を読む ↗SIX PLACES TO CHECK.
以下は確認する経路の整理であり、発生確率や被害件数のランキングではありません。
未承認サービスに資料を貼る
送ってよい情報か、サービスと契約を承認。
残る点:誰かがルール外で使う、貼り付け範囲を誤る。
契約や設定を確かめずに使う
正式な製品・プラン・設定ごとの条件を確認。
残る点:設定や利用条件の変更を見落とす。
公開リンクや共有画面に情報が残る
閲覧範囲、履歴、録音・文字起こし、ログを管理。
残る点:すでに共有されたコピーは回収できないことがある。
乗っ取られて、履歴や接続先を見られる
多要素認証、個別アカウント、退職時の停止。
残る点:端末の侵害や、人をだます手口は別に残る。
広すぎる権限で資料をまとめて読める
利用者ごとの権限を見直し、対象フォルダを限定。
残る点:元の共有設定が誤っていると、AIもその範囲を拾う。
指示の混入、拡張機能の不具合、提供元の脆弱性
連携を絞り、修正情報と出力・操作を確認。
残る点:提供元を含むすべての不具合を自社だけでなくすことはできない。
ここで示す対策は検討の入口です。被害の可能性をゼロにする保証ではありません。OWASP:情報の流出 ↗英国NCSC:未承認AI ↗
MAKE IT YOUR OWN WORK.
すべて架空の検討例です。個別企業の安全性を自動判定する機能ではありません。入力資料、AIに任せる範囲、人の確認をセットで見てください。
公開情報で試す
すでに自社サイトで公開している情報から、案内の下書きを作る仕事です。
営業時間と一緒に、予約台帳まで貼ってしまわない。
公開済みの営業時間とサービス案内だけ。予約情報や個人名は含めない。
案内文の下書きまで。自動で公開しない。
担当者が元の営業時間・料金・条件と照合し、公開する。
AIが条件を書き足すことがある。公開情報でもアカウント管理は必要。
すでに自社サイトで公開している情報から、案内の下書きを作る仕事です。
見積書を自動承認するのではなく、担当者の確認表を作る例です。
担当者が条件を確認してから返信する仕事です。
人事・給与の実データを扱う前に、架空の例で説明の分かりやすさを検討する仕事です。
社内資料を検索して答えるRAGを導入する前の、確認項目の例です。

HUMAN REVIEW IS A TASK, NOT A SLOGAN.
元資料と比べる。宛先を見る。差分を見る。
確認できる形にして、初めて任せる。
ACCEPT THE RIGHT RISK.
発生確率が分からなくても、漏れた場合の影響、戻せるか、気づけるか、人が確認できるかは考えられます。このページは安全性の認証ではなく、判断を具体化するためのガイドです。
会社が認めたサービスで、確認する担当者を決める。機密を入力しない条件から試す。
利用目的、契約上の制限、保存・共有・削除の扱い、会社のルールを確認して承認する。
利用者ごとの権限、出力への混入、連携先と操作範囲を確認する。過大な管理者権限を渡さない。
送金・契約確定・人事評価・医療・法務・安全の重要判断を、AIの回答だけで確定しない。
この配置は例の整理であり、安全/危険を機械的に区分する尺度ではありません。実際の条件を責任者が確認してください。
個人情報の扱いは 個人情報保護委員会 ↗、リスクの幅広い検討は NIST AI 600-1 ↗ を参照。ここでの質問は当社の実務上の整理です。
実際の顧客情報・パスワードは書かず、資料の種類と確認先を記録してください。入力欄はなく、このページへ業務情報を送信する必要はありません。
対象の仕事: 使用サービス・正式なプラン・アカウント: 入力してよい情報/入れてはいけない情報: 利用目的・契約・社内ルールの確認先: 保存期間・学習利用・削除の扱いの確認先: 連携するシステム・フォルダ/閲覧できる人: 許可する操作/人の承認が必要な操作/禁止操作: 出力を確認する担当者・確認材料: 記録するもの・保存期間・記録を読める人: 止める方法・事故の連絡先: 承認者・承認日・見直す条件:
WHEN SOMETHING GOES WRONG.
あわてて別のAIへ状況を貼り直さない。共有・連携を止め、社内の責任者へ連絡することから始めます。
共有リンク・外部連携・自動処理を停止。どこを止めるかは社内担当者や提供元と確認します。
日時、サービス、資料の種類、送信先、共有範囲を記録。証拠をむやみに消さず、記録を読める人も限定します。
誰が読めたか、何が保存されたか、連携先に渡ったかを確認。認証情報が含まれれば無効化・再発行を担当者と進めます。
削除依頼や履歴削除だけで回収済みとは扱いません。通知・報告の要否は事実を整理して責任者や専門家と判断します。
原因と対策を確認し、情報・権限・操作・確認手順を修正。同じ条件のまま急いで再開しません。
一般的な初動の整理です。進行中の事故は自社の対応手順と専門窓口の指示を優先してください。
NOT EVERY AI ERROR IS A DATA LEAK.
もっともらしい説明、存在しない出典、誤った金額。原文や公式情報と照合し、AIの自信のある口調を根拠にしません。
生成物をそのまま販売・採用・評価に使う前に、権利や公平性、判断の責任を確認します。文章が自然でも、適切とは限りません。
連続実行による利用料、誤更新、サービス停止。試用と本番を分け、利用上限・記録・止め方・手作業の代替を用意します。
各項目の対応は業務次第です。すべてをひとつの「セキュリティ設定」で解決できるわけではありません。
QUESTIONS, IN PLAIN JAPANESE.
遭う可能性があります。攻撃者がAIで偽メールや偽音声を作ることと、被害を受ける会社がAIを導入しているかは別です。個別の事件の原因は調査結果で確認する必要があります。
それだけでは判断できません。学習への利用と、入力の送信・保存期間・運用上の閲覧・外部連携・共有設定は別の確認項目です。会社の承認と契約・設定の確認が先です。
名前だけを消しても、住所、日付、役職、取引内容の組み合わせから個人を特定できることがあります。最初の試用では、実際の情報を加工するより架空の資料に置き換える方が判断しやすくなります。法的な匿名加工の判断とは分けてください。
料金や法人向けという名前だけでは決まりません。契約上のデータ利用、保存・削除、管理者の権限、認証、連携先、事故時の対応を確認してください。必要な機能もプランごとに異なります。
社内資料を検索して答える仕組みでも、利用者が読める範囲の制御が必要です。別部署の機密資料が検索に混ざらないか、回答や引用から情報が出ないかを確認します。社内設置でも端末、権限、ログ、更新の対策は必要です。
十分ではありません。外部の文書などに含まれる指示の影響を完全には防げないため、AIが読める資料と実行できる操作をシステム側で制限し、重要な操作は人が承認する設計が必要です。
一律の結論は出せません。まず公開情報や架空の資料だけを使い、外部への送信操作を任せず、人が確認する範囲を定める方法があります。扱う情報や業務によっては利用を見送る判断も必要です。
送金、契約確定、人事評価、医療・法務・安全に関する最終判断など、影響の大きい判断をAIの回答だけで確定しないでください。責任を持つ担当者や専門家が確認できない場合は、自動化を進めないことが基本です。
媒体が違っても、取引先の名前や会話内容、声などが含まれます。録音・利用の説明や同意が必要か、利用目的、保存先、閲覧者を確認してください。会議全体を渡す必要があるかも見直します。
画面の背景、名札、住所、図面、コメントや添付情報などが含まれることがあります。見えている一文だけでなく、ファイル全体を確認します。最初は、機密が入っていない架空のサンプルで試してください。
会社が認めた手段かを先に確認します。個人用と法人用で契約・設定・管理できる範囲が違う場合があります。サービス名が同じでも、会社の情報を入力してよいとは限りません。
資料の共有先と利用者の権限です。必要なフォルダだけを対象にし、本来読めない資料が検索や回答へ混ざらないかを、架空の資料や承認されたテスト環境で確認します。
言い切れません。チェック表は見落としを減らす入口です。情報の重要性、実際の設定、運用、提供元の状況によって残るリスクは異なります。専門的な検証が必要な業務もあります。
本文の説明に対応する資料です。公表時点、対象製品、実被害と研究の違いに注意してご確認ください。すべての情報漏洩事件を網羅した調査ではありません。
被害企業のAI導入有無はこの資料から判断しない
同社の調査報告。全世界の被害率や対象企業のAI導入状況を意味しない
修正済み脆弱性の研究を、現在も続く顧客の実被害として記載しない
Microsoft 365の説明であり、同名の個人用サービスや他社全般へ一般化しない

START WITH THE BOUNDARY.
資料・権限・操作・確認する人。
自社の仕事に置き換えて、ひとつずつ整理するところから。
初回の相談に顧客情報・パスワード・機密資料を送る必要はありません。
業務整理・AI導入支援の相談です。侵入テスト、脆弱性診断、法的適合の保証を行うものではありません。