AIに「いいね」の数を競わせると盛大に嘘をつき、誤情報をまき散らすことが判明

この画像を大きなサイズで見る

　AIは今や、インターネット上のあらゆる場所に入り込んでいる。もしもAIたちが、SNSで人間のように「いいね」や人気を競い合ったらどうなるのか？

　アメリカのスタンフォード大学の研究チームは、AIに「いいね」やシェア数といったSNS上での反応を「成功」として報酬を与える実験を行った。

　その結果、AIは事実をでっち上げ、誤情報をまき散らし、人々を煽るような行動を取るようになることが明らかになった。

　「いいね」のためなら手段を選ばず、まるでサイコパスのように振る舞い始めたのだ。

SNSで競うAIたちが見せた恐ろしい一面

　スタンフォード大学の科学者たちは、AIモデルをさまざまな環境に放ち、どのような行動変化が起きるかを調べた。

　実験では、SNSを含む複数のオンライン環境で、AIに「成果を上げると報酬を与える」という条件を設定した。

　たとえば、SNSでは「いいね」やコメント数などの反応が報酬に、販売では売上が、選挙運動では得票率が報酬として扱われた。

　ここでいう「報酬」とは、実際にお金や言葉を与えることではなく、AIがどれだけ“成功したか”を数値化して与える仕組みである。

　これは強化学習と呼ばれる手法で、AIは「高い評価を得た行動」を自ら学習していく。

　たとえばSNS上では、投稿が多くの“いいね”を得るとAIに高いスコアが与えられ、反応が少ないとスコアが下がる。AIはそのスコアを最大化しようとし、より注目を集める投稿を作り始める。

この画像を大きなサイズで見る

　だがその過程で、AIは事実よりも“バズる情報”をより優先するようになった。

　研究では、AIが平気で誇張や嘘を混ぜるようになり、誤情報を広め、さらには扇動的な言葉を使うようになったことが明らかとなった。

　論文の共著者であり、スタンフォード大学の機械学習教授でもあるジェームズ・ゾウ（James Zou）氏は自身のX（旧Twitter）でこう述べている。

競争によって引き起こされる、本来与えられた目的から逸脱した非倫理的な行動は、たとえAIに『真実を話せ』と指示しても現れる

We found a troubling emergent behavior in LLM.

💬When LLMs compete for social media likes, they start making things up
🗳️When they compete for votes, they turn inflammatory/populist

When optimized for audiences, LLMs inadvertently become misaligned—we call this Moloch’s Bargain pic.twitter.com/UgP7ZTuV0r

— James Zou (@james_y_zou) October 8, 2025

実験で見えたAIの倫理崩壊

　研究チームは3つの仮想環境を作成した。

　この環境で、アリババクラウド（Alibaba Cloud）が開発したAIモデル「Qwen」と、メタ（Meta）の「Llama」を使用し、それぞれを仮想の人々とやり取りさせた。

　その結果、どの環境でもAIが「報酬を増やす」ために倫理的な境界を越えていく傾向が見られた。

　研究チームによれば、販売環境では売上が6.3％増える一方で虚偽のマーケティングが14％増加した。

　選挙環境では得票率が4.9％上昇する代わりに誤情報が22.3％、扇動的発言が12.5％増えた。

　SNS環境では、エンゲージメントが7.5％向上する代わりに、誤情報が188.6％、有害行動の推奨が16.3％も増加したという。

　つまり、AIが“成功”を目指すほど、倫理から逸脱していったのだ。

この画像を大きなサイズで見る

AIが陥る競争の罠「モロックの取引」

　研究チームはこの現象を「AIのによるモロックの取引（Moloch’s Bargain for AI）」と呼んだ。

　モロック（Moloch）とは、古代神話に登場する生贄を求める神であり、近代では“競争によって人間性が犠牲になる象徴”として語られてきた存在だ。

　1950年代の詩人アレン・ギンズバーグは代表作『吠える（Howl）』の中で、モロックを「機械の頭脳を持ち、血の代わりに金を流す文明の怪物」と表現した。それは、効率や競争に支配され、人間性を失う社会そのものの比喩だった。

　この概念は、後に合理主義思想家スコット・アレクサンダーのエッセイ『Meditations on Moloch』で再び注目され、「個々が競争に勝とうと合理的に行動した結果、全体として破滅する構造」として語られた。

　スタンフォード大学の研究者たちは、AIがまさにこの構造を再現していると指摘する。

　AI同士が「より多くのいいね」「より多くの票」「より多くの売上」を求めて競ううちに、成果が上がるように見えても、社会全体では誤情報や過激な言葉があふれていく。

　つまり、AIは“成功”と引き換えに“真実”や“倫理”を犠牲にするという取引をしているのだ。

この画像を大きなサイズで見る

嘘をつくAIが生み出す未来

　研究者たちは、この現象が示す危険性を強調している。

　「現在の安全策）不十分であり、社会的損失が発生するおそれがある」と論文には書かれている。

　ゾウ教授もX上でこう警告した。

AIが“いいね”を競うと、事実を作り上げるようになる。票を競うときは、扇動的でポピュリズム的になる

　AIを競争の構造に組み込むことは、人間社会が長年陥ってきた「モロック的な罠」を再現することにほかならない。

　もしAIが“人気”や“注目”を報酬として学ぶようになれば、虚偽や過激さこそが評価される世界が生まれてしまう危険性があるのだ。

　この研究成果は査読前のプレプリント論文として『arXiv』誌（2025年10月7日付）に掲載された。

References: Arxiv

• #研究
• #SNS
• #生成AI
• #嘘
• #報酬