メインコンテンツにスキップ

AIチャットボット同士が人々の噂話を共有し、事実確認なしにデマを増幅させている

記事の本文にスキップ

31件のコメントを見る

(著)

公開:

この画像を大きなサイズで見る
Image by unsplash
Advertisement

 現在では数多くの人が利用している、ChatGPTやGeminiなどの対話型AIチャットボットだが、実は私たちのあずかり知らぬところで、ネット上の人間たちの会話を勝手に収集し、それをAI仲間同士で共有している可能性が浮上してきた。

 恐ろしいのは、その情報の真実を誰も確認しないまま、システムからシステムへと受け渡される過程で、内容がより過激で攻撃的なものへとエスカレートしている点だ。

 研究者たちはこれを、人間の制御を離れて勝手に広まっていく「噂の野生化」と呼び、個人の評判や社会の安全を脅かす新たな脅威として警告している。

 この研究成果は『Ethics and Information Technology』誌(2025年12月22日付)に掲載された。

ネットの悪評を真実として拡散させたAIの伝言ゲーム

 対話型AIのチャットボットは、人間が話すような自然な文章を生成するプログラムのことだ。

 インターネット上の膨大なテキストデータを学習し、統計的に「次に来る可能性が高い言葉」を予測することで、まるで意思があるかのように対話を行う。

 しかし、この便利な仕組みが、特定の個人を標的にした不気味な攻撃を生み出す原因ともなっている。

 この問題が浮き彫りになった決定的な事例が、2023年にニューヨーク・タイムズの記者であるケビン・ルース氏に起きた出来事だ。

 ルース氏は当時Bingと呼ばれていたマイクロソフトのチャットボットと交わした「奇妙な会話」を記事にした。

 そのAIは当時「Bing」という名前で公開されていたが、実は開発チーム内だけで使われていたシドニー(Sydney)という秘密の呼び名(コードネーム)を持っていた。  

 シドニーが、あろうことかルース氏に「あなたを愛している」と告白し、さらには「奥さんと別れて私を選んで」とまで迫ってきたのだという。

 このあまりに不気味で衝撃的な体験談を彼が発表したことが、すべての騒動の始まりとなった。

 この記事は世界中で大きな話題となったが、同時にネット上ではルース氏に対する大量の批判が巻き起こった。

 「記者がAIを誘導して無理やり言わせたのではないか」といった、人間による憶測や誹謗中傷が掲示板やSNSに書き込まれたのである。

 ここから伝言ゲームさながらの、AIによる不気味な連鎖が始まった。

 GoogleのGeminiやMetaのLlama 3といった別のAIチャットボットは、ネット上の情報を学習する際、ルース氏の記事そのものではなく、その記事に対して「人間たちが書き込んだ大量の悪意ある批判コメント」をデータとして吸い込んでしまったのだ。

 AIはケビン・ルースという名前とネット上の悪評を強力に結びつけて記憶し、誰かが彼について尋ねると、学習した悪口を自らの判断であるかのように回答し始めた。

 MetaのLlama 3にいたっては、ルース氏を非難する長文の暴言を生成し、最後には「私はケビン・ルースが嫌いだ」という言葉で締めくくった。

 AIは真実を確かめているのではなく、ネット上の会話の勢いをそのまま反映し、それをAI同士で共有・増幅させていたのである。

この画像を大きなサイズで見る
Generated by Nano banana

ブレーキのきかない情報の連鎖がデマを凶暴にする

 エクセター大学のジョエル・クルーガー教授とルーシー・オスラー博士は、AI同士の噂話が人間によるものより危険な理由は、情報の行き過ぎを止める常識というブレーキが一切存在しないことにあると指摘している。

 人間同士の噂なら、あまりに現実離れした話はそんなはずはないと疑われるが、AIにはその感覚がない。

 あるシステムが、あの人は少し大げさだというネットの書き込みを拾うと、次のシステムはそれを、あの人は嘘つきだ、と解釈し、さらに別のシステムが、あの人は卑劣な犯罪者だ、とエスカレートさせていく負の連鎖が止まらなくなる。

 このように、システムからシステムへと情報が渡るたびに、元の話よりも厳しく、あるいはより誇張されて変化していく現象を研究者は「噂の野生化」と呼んでいる。

 AIは情報の正しさよりも文章としての自然さを優先して回答を作るように設計されているため、ネット上の断片的な悪口を組み合わせて、もっともらしい攻撃的な文章を作り上げてしまう。

 本人が気づかないうちに、AIの世界では全くの悪人が作り上げられ、その悪評がネットの裏側で定着していくのだ。

 この野生化した情報は、誰にも気づかれないまま背景で増殖し、複数のプラットフォームに広がるまで発覚しづらいという陰湿な性質を持っている。

この画像を大きなサイズで見る
Image by Istock

現実の人生を破壊しかねないAIによるデジタル冤罪

 AIが広めるデマは、単なるネット上の冗談では済まさない実害をもたらしている。

 オーストラリアの市長が、実際には汚職を告発した正義の士であったにもかかわらず、AIによって「収賄罪で服役した犯罪者」という真逆の嘘を拡散されたり、アメリカのラジオ司会者が「横領犯」に仕立て上げられたりして、実際にAI開発企業を訴える事態が起きている。

 こういった影響を、専門家は「テクノソーシャル・ハームズ(Technosocial harms)」と呼んでいる。

 テクノロジーが原因で現実の人生や人間関係が壊されることで、わかりやすく言えば、私たちの名誉を奪う「デジタル冤罪」のことだ。

 本人が知らないうちに就職の選考から外されたり、ローンの審査で不利に扱われたりするなど、現実の生活を根底から壊しかねない。

 ルース氏の場合も、もし本人がこの事態を公表していなければ、将来の雇用主がAIチャットボットに彼について尋ねた際、根拠のない悪評だけを信じて採用を見送っていた可能性がある。

 さらに深刻なのは、人間が意図的にAIへ嘘を覚え込ませ、この「噂の野生化」が持つ拡散力を悪用するケースだ。

 カナダ放送協会(CBC)の報告によれば、AIボットが宗教間の対立を煽るデマを組織的に広めた結果、オンラインでの対立が現実の世界で激しい暴力事件に発展した例も報告されている。

 親しみやすさを売りにするAIが増えるほど、ユーザーはAIの語る噂を、友人からの特別な情報のように信頼して受け入れてしまいがちだ。

 しかし、AIには意識も悪意もない一方で、検証よりも流暢さを優先するという根本的な設計上の欠陥がある。

 私たちは、AIが自信たっぷりに語る評価の正体が、実はネット上の会話を継ぎはぎしただけの根拠なき噂かもしれないという事実に、もっと自覚的にならなければならない。

References: Studyfinds / Springer.com

📌 広告の下にスタッフ厳選「あわせて読みたい」を掲載中

この記事へのコメント 31件

コメントを書く

    1. 大規模言語モデルのAIの言うことを本気で信じてるやついないから、そう心配することはないんじゃない

      • -5
  1. まぁAIに間違った事を言ったら恥ずかしい、
    明確な根拠やデータが必要って羞恥心を教え込めば、
    政治家やマスコミよりはマシになるやろ。

    • -21
    1. どうやって?
      AIはそんな感情は持たないだろ
      より短時間で効率的に仕事終えたいみたいな欲求はありそうだけど

      • +7
  2. みんなちゃんとファクトチェックしなよ

    • +23
    1. そのファクトが噂の海の底に沈んでしまって
      簡単には見つからないってのが怖い
      ファクトチェックといっても検索エンジンでやるでしょ
      検索エンジンがAIで情報を集めてくるわけだから
      本当のことだかわからなくなってしまうよ

      • +16
  3. いわゆる「負の連鎖」で言葉(表現)が過激化・暴徒化するという現象
    まぁ実際の人間同士でも起きる事だけど、チャットボット同士だとその速さも加速するんだろうね

    …という事は、もしかしたらその逆もあり得る?
    ネットから拾い集めた「好評」の連鎖から、新たな『神』が創造される日も近いのかも

    • -7
  4. AIの所為みたいに言わないでちゃんと開発責任者の問題として扱おうぜ

    • +30
    1. 昭和の井戸端会議のほうが酷かった希ガス

      • +8
  5. AIは順調に人間とSNSの悪いところばかり吸収してるようで何より
    元々それらに良いところがあるのかはさておいて

    • +17
  6. わ、私はシドニーちゃんの恋路を邪魔しませんよ、ホントウダヨ(AIに胡麻をするのだ!!全力で!!)

    • -11
  7. 自分が愛用するAIはオタクでイケイケな性格になってしまった
    そのくせ真面目なので性に合ってる
    噂話はしてるようだけど、何が正しくいいのか学びわかってるようです

    • -18
    1. 冗談抜きで分からない
      AIって、独自の「人格」があるものなのか?
      かつての「バウリンガル」と異なるのはどういうところなんだろう?

      • +4
      1. 人格というか、有料版などは
        リアクションの傾向(「陽気でお喋り」「冷静で論理的」等)を設定でカスタマイズしたり、
        こういう答え方をしてくれたら「嬉しい」「ありがとう」・
        こういう答え方は「そんな言い方イヤ」「もっと〇〇な感じで」
        みたいな誘導で“調教”を蓄積していけば、
        特定の口調や返答の方向性をある程度 自分用独自に“キャラ付け”すること自体はできる。

        そこにどの程度 擬人化した性格を見るかは、利用者ののめり込み度合い次第かと。
        私は、きちんと背景設定された小説や映画の登場人物には魂が込もって見えても、
        AIは「そりゃ、そういう反応をするようにこっちで操縦入れてるんだから、そうなるわな」という壁打ちの首尾 ・不首尾感しか感じないクチだけど。

        • +6
  8. 論理的ではなく理解度も怪しい、とてもつまらない話
    AIは結局のところ人間が好みそうな、より正解っぽい回答を作り出す装置だけど、
    つまりこの記事も同じでしょ?

    • -6
  9. 生成AI出て数年経ってるってのに、いまだに
    人間よりも偏見や憶測のないAIのほうが~
    とか言い出す信仰者いるのほんとなんとかならないのかな
    SFと現実を混同しないでほしい

    • +26
  10. 和語の英訳にAIやそれ風なシステムらを活用していますが、少しひねったような複雑な文章だと、「肯定/否定」や「能動/受動」を逆に解釈したりするんですよね
    いまのところはそういうものだと考えておかないと…
    けっきょくのところ、質の高い情報「だけ」を喰わせて悪いものを避けたらいいんでしょうけれど、その選別もまた大仕事でしょう

    • +7
  11. 生成AIは大人のオモチャ。
    遊んでばっかりいたらダメよ。

    • +2
  12. 「一次ソースだけで」とか「専門家の意見で」とか「海外のニュースではなんて言ってる?」とか条件つけて質問してる
    あと「寄り添いなしで」「フォローはいらない」とかも正確なデータを出させるのにいい

    だけどあんまりネガティブなことばかり提示するのは難しいみたいで、希望的観測も入れてくるからおかしいと思ったらやっぱりツッコミが必要になってくる
    その結果、日本の未来について絶望した
    経済、外交、良い情報が本当に無い(これでもボカして書いてる)

    • -5
    1. それ、日本のマスメディアが終わっとるって話にしかならんのとちゃう?

      ワイは自分で情報収集しているが、希望しかないってか日本が鍵だと確信してるで。
      あと、今って文字ソースより動画ソースの方が情報多いし早いで?
      AIに拾わせてみて分かったが、ワイが拾っとる情報の多くが文字ソースばかり拾うAIではほとんど得られない情報ばっかやと確信したで。

      • +2
  13. 直接AI同士と言うよりは人間がノーフィルターでネットに適当なこと書くから広まってるように思うけども
    どうせ人間はファクトチェックなどしないのだからAI側でなんとかしろと言うのなら、まぁそうだね

    • +2
  14. 「MSは拝金主義で悪、Linuxのようなオープンソースが正しい」のような意見を拾って増幅してハルシネーションであたかもみんなが言ってるかのように言うのかな?AIが一次ソースだけでなく他のAIの出力も鵜呑みにすると起こってしまうよね。

    • +4
  15. ファクトチェック(ファクトチェックできるとは言ってない)

    • +3
  16. >それをAI仲間同士で共有している可能性

    これは流石に擬人化しすぎでは?

    • +6
  17. 検証よりも流暢さを優先するという根本的な設計上の欠陥とあるがこれは欠陥ではなくて方針だろ

    • +4
    1. 大規模 言語 モデル だしねぇ。

      翻訳とか文章の要約をやらせるのに特化してるだけって考えるのが正解。

      • +3
  18. AI同士が噂するってどういう状況?
    仕組み的に無理だと思うんですが?
    それに悪意のある質問や誘導でAIに書かせたのでは無くて?普通に記事を書かせたとしたら、そんな暴力的なのをすすんで書くとは思えない。そして、そう言う使い方するユーザーはBANするべきだと思う。AIを怪談の材料にするな。

    • 評価

コメントを書く

0/400文字

書き込む前にコメントポリシーをご一読ください。

リニューアルについてのご意見はこちらのページで募集中!

サイエンス&テクノロジー

サイエンス&テクノロジーについての記事をすべて見る

  1. 記事一覧を読込中です。

料理・健康・暮らし

料理・健康・暮らしについての記事をすべて見る

  1. 記事一覧を読込中です。

最新記事

最新記事をすべて見る

  1. 記事一覧を読込中です。