機密情報漏洩の具体的事例とリスク要因
企業が生成AI（例：ChatGPT）を業務に利用する際、社内の機密データが外部に漏洩するリスクが指摘されています。
Samsung（サムスン）社内での事例
実際にSamsung（サムスン）社内での事例では、エンジニアがChatGPTにソースコードをバグ修正のため入力したり、会議の録音を書き起こして要約させたりした結果、機密のソースコードや会議内容が外部AIに渡ってしまったことが報告されました。サムスンはこの問題発覚後、社内からのChatGPTへの入力容量を1024バイトに制限し、社内専用のAIチャットボット開発も検討しています。このように従業員が業務上のデータをそのまま外部の生成AIサービスに入力してしまうことが大きなリスク要因です。
ユーザが入力した内容が学習される？
特にChatGPTのような公開サービスでは、ユーザが入力した内容がサービス提供者側で保存・学習に利用される場合があります。OpenAI社はChatGPTの改良のためユーザの入力データをモデル訓練に使用しており、社員がコピー＆ペーストした社内情報（ソースコード、顧客情報など）がそのままAIの「知識ベース」に組み込まれてしまう可能性があります。その結果、他のユーザが類似の質問をした際にモデルが機密情報を含む回答を生成してしまう恐れがあります。
例えばある医師が患者の名前と病状をChatGPTに入力すると、将来第三者が「その患者はどんな病気か？」と質問した際に、モデルがその情報を答えてしまう危険性があります。実際、Amazon社の法務部は社員に対し「ChatGPTの出力が社内の機密情報と酷似するケースが既に確認されている」として機密データ入力の禁止を呼びかけています。
サービス側の不具合によるリスク
また、サービス側の不具合による情報漏洩リスクもあります。2023年3月にはChatGPTで他ユーザの会話履歴のタイトルが誤表示されるバグが発生し、他人のチャットタイトル（内容次第では機密情報を含む可能性がある）が閲覧できる状態になりました。OpenAIの調査では、このバグにより有料版ユーザの氏名・メールアドレス・住所の一部など決済関連の個人情報も約1.2%のユーザで漏洩したことが判明しています。このように、生成AIそのものの脆弱性やバグによって、入力内容だけでなくサービスに登録した情報が流出するリスクも存在します。
大規模言語モデルへの“攻撃”による機密情報の流出
さらに、大規模言語モデルへの“攻撃”による機密情報抽出の可能性も専門家により示されています。2021年の研究では、GPT-2モデルに対し意図的に問い合わせることで、学習に使われたテキストから個人情報などをそのまま抽出できる（training data extraction attack）ことが報告されました。わずか1つのドキュメントであってもモデルが逐語的に記憶してしまう場合があり、攻撃者が巧妙なプロンプトを与えることでモデル内部に蓄積された秘密情報やPII（個人を特定し得る情報）を引き出せることが確認されています。実際、GitHubのAIコーディング支援ツール「Copilot」（GPT-3ベース）では、特定の開発者のユーザ名やコードがそのまま出力されてしまった例もあります。
以上のような事例から、主なリスク要因をまとめると:
- 従業員の誤った利用:
- 利便性から社員が機密データをコピー&ペーストしてAIに入力し、意図せず外部共有してしまう。調査によれば公開後半年で約10.8%の従業員が職場でChatGPTを試用し、8.6%が業務データを貼り付け、そのうち4.7%は機密データだったとされています。多くの企業がChatGPTの社内利用を禁止・制限したり（JPモルガンなど）、社員に注意喚起（AmazonやMicrosoft等）しているのは、このような人的リスクへの対策です。
- モデルの学習による拡散:
- 入力がそのままモデルの学習に使われ、他ユーザへの回答に機密内容が現れる可能性。これは生成AIの構造上のリスクで、学習データの扱い次第では企業秘密が第三者に漏洩する二次被害を招きます。
- 技術的なバグ・攻撃:
- サービス側のバグによるデータ露出や、モデルへの推論攻撃による内部データ抽出といった技術面のリスクも存在します。
個人データ・プライバシー侵害の可能性とその対策
生成AIはその特性上、個人データやプライバシー情報の取り扱いにもリスクを伴います。まず、モデルの学習過程でインターネット上の大量のテキストが使用される際、公開された個人情報が含まれている可能性があります。例えば公開ウェブから収集したデータ中に人名や連絡先があれば、モデルがそれを記憶し、何らかの形で出力してしまう恐れがあります。実際に前述の研究が示すように、モデルは訓練データ中の氏名や住所などのPIIを丸ごと記憶・再現し得るため、不用意に生成AIを利用するとプライバシー侵害（例えば第三者の個人情報の露出）につながりかねません。
また、企業が生成AIを利用する際に顧客や従業員の個人データをAIに入力すること自体がプライバシー上の問題となります。例えばカスタマーサポートでChatGPTに顧客情報を入力して回答案を得るような場合、その個人データを第三者（AI提供者）に提供していることになります。
医療現場でも、前述の医師の例のように患者の病歴をAIに入力する行為は、適切な契約や同意なしに行えば機微な個人情報の漏洩や法令違反（医療情報の第三者提供）に該当します。こうした入力時の個人情報取扱いについて各国のプライバシー法規制を満たさないと、企業は法的リスクを負います（詳細は後述の規制セクションにて）。
さらに、生成AIの応答そのものがプライバシー侵害を引き起こす可能性もあります。例えば、AIが特定個人に関するデータを勝手に生成・公開してしまうケースです。ChatGPTなどは訓練データに基づき回答を作りますが、もし訓練データ中に含まれていた個人の情報断片を元に「それらしい個人情報」を組み立ててしまうと、たとえ誤った内容でもプライバシー侵害や風評被害となりえます。実際に2023年3月、イタリアのデータ保護当局はChatGPTが誤った個人データを生成しうる点も問題視しています（ユーザからの訂正要求メカニズムがないことへの言及）。このように、AIが生成する内容の信憑性や不要な個人情報の露出は新たなプライバシーリスクです。
プライバシーと個人情報を守るための対策
対策としては、主に以下のような方策が考えられます。
データ入力の慎重化・匿名化:
個人データを不用意に入力しないことが第一歩です。どうしても必要な場合は、氏名など識別子を伏せる・仮名化するといったデータの匿名化・マスキングを行います。特に顧客情報や患者情報など敏感なデータは、生成AIにかける前に個人が特定できない形に加工することでリスクを下げられます。
利用規約や同意取得:
利用する生成AIサービスのプライバシーポリシーを確認し、ユーザの入力データの取り扱い（保存期間や第三者提供の有無）を把握します。必要に応じてデータ主体（本人）の同意を取得した上でAIに個人情報を入力することが望ましいです。また、自社が管理する個人データを外部AIに提供する場合、契約上そのAI提供企業とデータ処理契約(DPA)を結び、適法なデータ委託の形にすることも重要です。
プライバシー保護型のAI利用:
生成AIを利用する際には、個人情報保護に配慮したサービスや設定を選ぶことも対策になります。例えばOpenAIは企業向けのAPI利用時にはデータをモデル訓練に使用しない設定をデフォルトにしており、入力データは30日間の保存（必要に応じ短縮も可能）に留めるオプションを提供しています。またChatGPTではユーザがチャット履歴を保存しない設定に切り替えることで、以降のモデル訓練データとして使われない機能も追加されています（2023年4月のアップデート）。企業利用においては、これらのオプトアウト機能やエンタープライズ向けプラン（学習に使われない保証のあるもの）を活用し、入力した個人データが二次利用されないようにするべきです。
モデルのライフサイクル対策:
生成AIを自社で開発・運用する場合、プライバシー保護設計の原則を取り入れます。具体的には、訓練データに個人情報を含める場合は匿名化や必要最小限化を行う、モデルから個人データが出力されにくいよう調整・フィルタリングする、ユーザからの削除要求に応じて訓練データから特定個人情報を消去できる仕組みを設ける（OpenAIがEU向けに提供したオプトアウトフォームのように）、といった措置が考えられます。
このように、個人データの入力・出力両面でリスクを認識し、技術的・組織的対策を講じることでプライバシー侵害の可能性を低減できます。
各国の規制やガイドライン（GDPR、CCPAなど）
生成AIの利用に関しては、各国のデータ保護規制やガイドラインにも注意が必要です。特に欧州連合のGDPR（一般データ保護規則）や米国カリフォルニア州のCCPA（消費者プライバシー法）などは、企業が個人データを扱う際の厳しいルールを定めています。
欧州（GDPR）:
欧州では個人データ保護への意識が高く、生成AIのような大規模データ処理もGDPRの規制下にあります。2023年3月、イタリアのデータ保護当局（Garante）はChatGPTに対し一時的な利用禁止措置を取るという異例の対応をしました。その理由としてGaranteは、「モデル訓練のための大規模な個人データ収集・保存に法的根拠が欠如している」ことや、未成年の利用を適切に制限していない点を指摘しました。これはGDPRが求める適法なデータ処理要件（例えばデータ主体の同意や正当な利益の慎重な判断）が満たされていないとの判断です。
OpenAIはこれを受けて、利用者の年齢確認強化やプライバシーポリシーの改善、欧州ユーザが自分の個人データが訓練に使われるのを拒否できるオプトアウト手段を設けるなどの対応を行い、イタリアでのサービス再開に至りました。その後もイタリア当局はOpenAIに対し約1500万ユーロの制裁金を科すなど、引き続き監督を強めています。このケースは生成AI提供企業がGDPR上の責任（透明性、データ主体の権利対応、目的限定など）を負うことを示す象徴的な例です。
また、スペインやフランスなど他の欧州各国の当局もChatGPTに関する調査や質問状送付を行っており、EU全体で生成AIに対する「事実上の規制」が進んでいます。さらにEUは包括的なAI規制法案であるAI法（Artificial Intelligence Act）を立案中で、これには高リスクAIシステムの規制や生成AIに対する透明性義務（AIが生成したコンテンツである旨の表示や、訓練データについての情報開示義務）等が含まれる見込みです。プライバシー保護だけでなく、幅広い観点でAIの利用に枠組みを設ける動きが進んでいると言えます。
米国（CCPA/CPRAなど）:
米国にはGDPRのような連邦レベルの包括的データ保護法はまだありませんが、州法レベルでカリフォルニア州のCCPAや2023年施行のCPRA（プライバシー権利法）などが存在し、他州でも類似の法律が成立しています。CCPAでは消費者（利用者）の個人情報の収集・利用について通知義務やオプトアウト権などが定められており、生成AIに関連しても本人の同意なく個人情報を二次利用（例えばAIの訓練に活用）することは問題となりえます。
実際、カリフォルニア州議会ではCCPAを改正して「企業が消費者の個人情報をAIの訓練や微調整に使用するには事前の明示的な許可が必要」とする法案(AB 2877)が審議されています。この法案が成立すれば、ユーザが同意しない限り勝手にそのデータを生成AIの高度化に流用することは禁じられることになります。
さらに別の法案（SB 313/942など）では、AIが生成したコンテンツであることの開示を義務づける動きもあり、AIのアウトプット側についての透明性確保も議論されています。
米国連邦取引委員会（FTC）も「AIとプライバシー」に関する企業への警告を発しており、例えばAI導入企業がデータ利用について欺瞞的な説明をしたり、プライバシー侵害を放置したりすれば、既存の消費者保護法で取り締まる姿勢を見せています。つまり、米国では明確なAI規制法こそ未整備なものの、既存のプライバシー法や消費者保護の枠組みを通じてAIの不適切なデータ利用を制御しようとしている状況です。
🌏 その他の地域と国際動向:
日本においても、個人情報保護法（APPI）が企業のAI利活用時の個人データ取り扱いに適用されます。例えば第三者提供に当たる行為（クラウドAIへの個人データ入力）は本人同意などの要件が求められる可能性があります。また、2023年には経産省が「生成AIに関する企業向けガイドライン」を公開し、AIの利活用における留意事項（プライバシー確保や情報漏洩リスク対策、契約上の取決め等）を提言しました。
さらに国際的にはG7のデータ保護当局が2023年に生成AIに関する共同声明を発表し、プライバシー・データ保護と技術革新の両立を図るため各国で協調して取り組む姿勢を示しています。
また、中国は「生成式AIサービス管理暫定弁法」を施行し、AI生成コンテンツの安全管理や個人情報保護、データセキュリティ確保を義務付けるなど規制を開始しています。各国それぞれの法制度に沿ったコンプライアンスが求められるため、グローバルに事業を展開する企業はそれぞれの地域の規制動向を注視しなければなりません。
情報漏洩を防ぐための企業向けセキュリティ対策
以上のリスクに対処しつつ生成AIを活用するために、企業は多層的なセキュリティ対策と運用上のベストプラクティスを講じる必要があります。専門家や業界団体からは以下のような対策が推奨されています。
社内ポリシーの整備:
まず、生成AI利用に関する明確な社内規程やガイドラインを策定します。どの部署・業務で利用を許可するか、どういった用途は許容されどのような行為は禁止か（例：機密情報の入力禁止など）を文書化し周知します。社員が私的なアカウントでAIサービスを使うことを禁じ、必要に応じて業務用の公式アカウントや企業契約のサービスのみ使用させるといった措置も有効です。また、機密保持契約や就業規則にもAIへの機密情報入力禁止を明記することが「賢明な企業の姿勢」として法律専門家から提言されています。
入力してはならないデータの定義:
ポリシーに基づき、生成AIに絶対入力してはならない情報の種類を定めます。具体的には、個人を特定できる情報（氏名、住所、メールアドレス等のPII）や、機微な個人データ（医療記録等のPHI）、金融情報（クレジットカード番号や財務データ）、自社の営業秘密や未公開のソースコード・戦略資料などです。これら「アップロード禁止データ」をリスト化し、社員に徹底させることで誤った利用を防ぎます。実際、56%の企業が社内で生成AI利用に関するルール作りを進めているとの調査もあります。
従業員教育と意識向上:
ポリシーを作るだけでなく、定期的なセキュリティ教育を通じて社員に遵守させることが重要です。生成AIの利便性とリスクを正しく理解させ、うっかりミスで情報を漏らさないようトレーニングします。例えばChatGPTのようなサービスに会社データを入力することの危険性や、違反時の懲戒処分について周知徹底します。また、フィッシングなどAI悪用のサイバー攻撃手口（偽のChatGPTサイトに誘導して入力させる等）についても社員に警戒を促し、疑わしい事例はすぐIT部門に報告させる体制を作ります。
技術的対策の導入:
情報漏洩を未然に防ぐため、既存のセキュリティ技術を活用した多層防御も必要です。具体的には、社内の機密データは暗号化やアクセス制御で保護し、社外への送信時には内容をマスキングする仕組みを設けます。加えて、データ損失防止（DLP）システムやSIEM（セキュリティ情報イベント管理）を導入して、ユーザが機密ファイルを外部にアップロードしようとした際に検知・ブロックするようにします。もっとも、従来型のDLPはテキストをコピー＆ペーストするようなケースでは検知が難しいことも指摘されており、近年では生成AI利用を監視する専用のソリューション（例えば社員がブラウザでChatGPTに送信する内容をモニタし、機密データが含まれる場合アラートを出すようなツール）も登場しています。いずれにせよ、ログの監視や異常検知を継続的に行う体制を築き、万一問題が発生した際も速やかに対応できるようインシデントレスポンス計画を用意しておくことが重要です。
アクセス権限の管理（ゼロトラスト原則）:
社員が扱えるデータ範囲を見直し、機密データへのアクセスは業務上必要な最小限の権限に限定します。特に生成AIの利用が想定される端末やアカウントについては権限を絞り、重要情報へのアクセス権を持つ社員のみがAIツールを使えるようにするなどの工夫も考えられます。またゼロトラストの考え方に基づき、社内からの通信であっても信用せず検閲・認証を行う仕組みによって、不正なデータ持ち出しを防ぐことができます。
信頼できるAI環境の選択:
業務で生成AIを使う場合、できるだけ信頼性の高い環境で利用することもベストプラクティスです。例えば前述のようにOpenAIの企業向けサービスやオンプレミス版を利用してデータの社外流出を防ぐ、あるいは自社専用の大規模言語モデルを構築・導入することで機密データを内部で完結して処理する方法もあります。
実際、サムスンは社内データを安心して活用するため独自のAIシステム構築を検討しています。他にも、マイクロソフトのAzure OpenAIサービスのようにクラウド上でもデータを他用途に再利用しないと約束された環境を選ぶことで、一般公開の無料サービスより高いデータ保護が期待できます。
以上の対策を組み合わせることで、企業は生成AIの利点を享受しながら機密情報や個人データの漏洩リスクを最小化できます。ポイントは、技術面の防御と社内ルール・教育を両輪で推進し、さらに法規制の動向も踏まえてポリシーを更新していくことです。生成AIは急速に普及していますが、その扱う「データ」の価値とリスクを正しく認識し、適切なガバナンスの下で活用することが重要と言えます。
