ChatGPTが大規模な影響工作のターゲットに——中国関連アカウントによる「Data Center Bandwagon」キャンペーン

OpenAIが発表した報告によると、ChatGPTを使った組織的な影響工作キャンペーンが検出されたとのこと。舞台はアメリカの大型データセンター建設予定地で、中国と関連のあるアカウント群が、ローカルコミュニティの反対運動を煽るためにAI生成コンテンツを大量投稿していたと報じられています。

キャンペーン名は「Data Center Bandwagon」。直訳すると「データセンター便乗作戦」といった意味。報告によると、これらのアカウントがアメリカ国内の一般市民になりすまし、「電気代が上がる」「地元経済に悪影響」といった内容をAIで生成したコンテンツで拡散していたとされています。OpenAIは中国系のテック企業がこうした工作に関与していた可能性が高いと指摘しています。

「Data Center Bandwagon」——何が起きていたのか

検出されたキャンペーンの詳細

OpenAIの報告によれば、今回検出された影響工作にはいくつかの特徴がありました。まず、複数のChatGPTアカウントが組織的に動いていたこと。これらのアカウントはアメリカの市民になりすまし、ローカルなSNS（特にFacebook）で議論されていたデータセンター建設に対する懸念を増幅させていたとのことです。

使われていたコンテンツはAI生成。つまり、ChatGPT自体が生成した文章がそのまま拡散されていたわけです。「電力消費が地元の電気代を押し上げる」「環境への悪影響」といった、ローカルコミュニティが実際に抱いている不安に関する内容を、もっともらしく仕立て上げていたと報告されています。

  • 複数のChatGPTアカウントで組織的に展開
  • アメリカ市民になりすましていた
  • AI生成コンテンツの大量投稿
  • SNS上のローカルな議論に介入
  • 中国系テック企業の関与の可能性

なぜこんなことが可能だったのか

ここが問題の中核といえます。ChatGPTは強力なツールであり、アカウント作成自体は比較的簡単で、APIを通じた大量利用も可能とされています。OpenAIは利用規約で「影響工作や不正な政治活動」を明示的に禁止していますが、実際の運用では検出が難しい部分が残っているようです。

特にローカルレベルの議論では、アカウントの真正性を完全に検証するのが困難とみられます。一般的な市民のように見える複数のアカウントから、もっともらしいコンテンツが投稿されれば、少なくとも表面上は本物に見えてしまう。これが工作の効果的さを生んでいたと考えられます。

ChatGPTの悪用リスク——何が懸念されるのか

大規模言語モデルと影響工作

専門家による分析では、ChatGPTのような大規模言語モデルが「悪意を持つアクター」にとって非常に使いやすいツールになっているとみられています。従来なら、こうした影響工作キャンペーンには人手がかなり必要でした。しかし今は、AIが大量の「もっともらしい」テキストを一瞬で生成できるということです。

報告によると、特定の視点に寄った説得的な文章を生成するのは比較的容易とのこと。指示を与えるだけで、それらしいコンテンツが数秒で出来上がる。これを複数のアカウントから拡散されたら、一般ユーザーには区別がつきにくいと指摘されています。

リスク要因 具体的な懸念
スケーラビリティ 人手をかけずに大量のコンテンツ生成が可能
信憑性 AIが生成したテキストは自然で検出が難しい
低コスト API利用で低予算でも大規模キャンペーンが展開できる
言語の壁 複数言語対応で国際的な工作が容易

日本への影響——なぜこれが対岸の火事ではないのか

日本国内での同様のリスク

この事件は日本にも無関係とは言い難いとみられます。日本でも政治的な議論やコミュニティレベルの政策決定（エネルギー政策、インフラ建設など）が行われていますし、こうした領域は影響工作の格好のターゲットになり得るとの指摘があります。

さらに問題なのは、日本語対応のChatGPTもあれば、別の大規模言語モデルも存在しているという点。ChatGPT以外のAIツールでも同様の悪用は可能とみられています。一般ユーザーが普段見ているSNSの議論の中に、実は組織的なAI生成コンテンツが混じっているかもしれない。気づきにくいからこそ懸念されているのです。

情報消費者として気をつけるべきこと

情報リテラシーの観点からは、いくつかのポイントが指摘されています。まず、ローカルな議論に参加するときに、複数のアカウントから似たような主張が投稿されていないか観察することが重要とのこと。次に、その投稿の根拠となっているデータやリンクが本当かどうか確認することが推奨されています。

また、SNSで「〜だから反対すべき」みたいな説得的な文章を見かけたときに、その出典や根拠が何か一呼吸置いて考える習慣が有効と考えられます。AIが生成したテキストは滑らかで説得的なため、むしろ疑わしいくらいの気持ちで接するぐらいが丁度よいとの意見もあります。

OpenAIの対応と今後の課題

OpenAIは今回のキャンペーンを検出し、関連するアカウントを削除しました。その上で、詳細な報告書を公開して透明性を確保しようとしています。悪用を検出できる体制を整えつつあるということですが、完全な防止は難しいとの見方が一般的です。

根本的な課題は、大規模言語モデルの能力が高まるほど、その悪用も難しくなるということとされています。AIがより自然で説得的なテキストを生成できるようになるほど、人間の目での検証が難しくなる。OpenAI側の防止策と、悪用者の手法がいたちごっこになっていく可能性も指摘されています。

専門家の分析では、プラットフォーム側（SNS企業など）とAI企業の協力が重要だと考えられています。ChatGPTのような強力なツールがある以上、それを使った工作は今後も増えるとみられており、検出能力を高める投資をOpenAI以外のプレイヤーも続けるべきだとの指摘があります。