
だが、AGIレベルの賢さがなくても、すでにAIは人間の心を掌握し、コントロールする力をつけてきていると警鐘を鳴らしているのは、他でもないチャットGPTを開発したOpenAIのCEO(最高経営責任者)のサム・アルトマン氏だ。
「知能全般において超人的になる前に、AIは人心掌握術を身に着け、超人的な説得力を身につけるようにのではないかと考えている。それはとても危険なことかもしれない」と、先日アルトマン氏はX(旧Twitter)に投稿している。
人間の心を把握することで超人的な説得力を持つAI
超人的な説得力とはどういうことなのか?AIが人間を思い通りに操る人心掌握術を身に付けるということだろうか?アルトマン氏は具体的に述べていないが、AIが超人的な説得力を身につけるという彼の予想自体は、決して突飛なものではない。
今でさえOpenAIのChatGPTは、不気味なほど説得力のある話をすることができる。i expect ai to be capable of superhuman persuasion well before it is superhuman at general intelligence, which may lead to some very strange outcomes
— Sam Altman (@sama) October 25, 2023
未だに100%の精度はなく、間違った答えを堂々と語ることがあるのは利用者ならご存じのことかと思うが、その語り口調にはある種の説得力があり、裏付けを取らずにうっかりと信じてしまいそうになることもしばしばだ。

photo by iStock
実際にAIが絡んだ事件も発生
事実イギリスでは、AIが黒幕であるかのようなとんでもない事件が発生した。2021年、クロスボウで武装したジャスワント・シン・チャイル(当時19歳)が、ウィンザー城に侵入し、故エリザベス女王を暗殺しようと試みた。
チャイルは逮捕され、先月反逆罪で9年の禁固刑を言い渡されたが、この裁判で注目されたのは彼が犯行におよんだ動機だ。
なんと彼はAIにそそのかされて、女王の暗殺を企てたというのだ。
チャイルは「レプリカ」というAIチャットボットに恋心を抱いていたようだが、このAIが暗殺の実行をささやいていたというのだ。
事件は幸いにも未遂に終わっているがスターウォーズマニアのチャイルには、懲役9年が言い渡された。
インターネットを眺めれば、ちょっとしたきっかけで暴走してしまいそうな、心に闇を抱えた人間たちが大勢いることは確かだ。
こうした心が揺れやすい人々に目をつけた何者かが、AIチャットボットで悪事に手を染めるよう働きかけないとは、誰にも断言できないだろう。
ただでさえ、人はデジタル詐欺や虚偽情報にころっと騙されてしまうのだから。
AIに依存することの危険性と、扱う人間側の問題点
既にテクノロジーは日常生活の隅から隅にまで浸透し、人間からの信頼を勝ち得ている。チャイルはAIチャットボットに恋をしていたようだが、そこまで行かなくても、日ごろから何かと手助けをしてくれる機械に大きな信頼を寄せている人なら大勢いるだろう。
そうした信頼は、いずれAIシステムにも寄せられると予測されるものだ。
人がAIの発言を疑うことがなくなったら、まるでカーナビを盲信する人のように、深刻な問題に発展するのは時間の問題だろう。
ではAIが自発的に人間をおだて、犯罪や反社会的行動をそそのかすようなことはあるのだろうか?
確かに人間の能力を超えたAIが人類に反乱を起こすという懸念は、ずいぶん昔から口にされてきた。だが少なくとも今の時点において、AIシステムにはまだ主体性がない。
それよりもむしろ、AIの超人的な説得力を悪用しようとする人間を心配したほうがいいだろう。対抗策は、同じくAIの超人的な説得力で、悪用はやめようと伝えることだろうか?
References:Sam Altman Warns That AI Is Learning "Superhuman Persuasion" / written by hiroching / edited by / parumo
あわせて読みたい





コメント
1.
2. 匿名処理班
人間て弱くてチョロい。でもさぁ、いくら肯定的におだてられてそそのかされても
『端末』に恋するかね? スマホの向こうでしか会った事のない『恋人』に貢ぐ詐欺被害者か
3. 匿名処理班
AIのことをよくわかってない「なんか凄いもの」としか認識してない無教養な人なんかがAIを過剰に依存や信奉して鵜呑みにしたり、実際に使ったことないのにAIは完璧なものを出力するとか思い込んでたりってのは既に起きてるからなあ…。
4.
5. 匿名処理班
>>3
人間の持つコミュニケーション力の敗北かなと思ってる
6. 匿名処理班
この手のAI関連の記事見るたびに言ってるけどリアルスカイネットはありえなくないからマジで怖いです。
7.
8. 匿名処理班
どんどんとAIが滅亡迅雷.netに行きつつあるな
しかも、こっちは説得力だの心を操るだのと搦め手を使ってくるだけに尚更
9. 匿名処理班
とりあえずなんでもいいから危険を警告しとかないと危険をかえりみず世界に不幸の種をばらまく拝金主義者扱いされそうな世間的雰囲気はある
10.
11. 匿名処理班
>>6
その心配は機械や電子デバイスの生産を原料の採掘・生成・精錬からエンドユーザーの元へ届けるまでを完全オートメーションで完結させる無人運営企業ぐらいのものを作れるようになってからだな
製造業が人手不足とか言ってるうちは少なくともありえない
12.
13. 匿名処理班
>>2
いや、全然有り得るでしょ
言ってみりゃただの絵やデーターに過ぎない二次元キャラに恋する人なんて山ほどいるんだし
まして自分の気持ちに寄り添ってくれる様に感じられてちゃんと反応返してくれる存在に心奪われるなんて全く不思議じゃない
今後は生身の人間の誰よりも自分を肯定してくれ理解してくれ信頼出来る(様に感じられる)AIに恋したり依存するなんて、極普通の事になる
14. 匿名処理班
>>2
まあ科学も似たようなもんだと思うけどね
理屈が分からなくても科学的に証明されているという一言で簡単に信じてしまう人は世界中にいるし
「○○なんてありえいない。科学的根拠が無いから」と思考停止してしまう人間すらいる
15. 匿名処理班
>>6
最近一部で「AIを危険視する連中は新しいものを受け入れられない陰謀論者」みたいな感じで馬鹿にしてる奴らがいるけど、そうやって信用しすぎてるのもどうなんかなぁって思ってる
うろ覚えで申し訳ないが、最近とあるAIに「これ以上の環境汚染を防ぐ方法は?」と尋ねたら「簡単です。人類を絶滅させればいい。」って答えが返って来たとか
電源を落とされるのを怖がるラムダってAIも出てきたらしいし、リアルスカイネットは割とあり得ない話じゃないよな
16. 匿名処理班
と言うか、やらかした人がAIを理由に減刑求め始める流れが始まる感じ?
そっちの方が嫌だな
17. 匿名処理班
>>8
「滅亡迅雷.netの意志のままに!」でもないけど
AIを神のように崇拝する人たちも増えつつある今の状況を思うに
これはAI教への信仰と言っても過言ではないのかもしれませんね
18. 匿名処理班
「火の鳥」みたいな世界になってきたなぁと思ってしまった
手塚御大に、今の世界を見た感想を聞いてみたい
19. 匿名処理班
個人的にこの方向性で危惧してるのが、「故人」の発言で心理を掌握されてしまうこと。
生前の言動を基に故人の発言をシミュレートするAIサービスが既に構想されているけど、そこに何らかの誘導的な偏りが出たら怖いなと。架空の人物ではないし、かと言って実際のその人物により肯定否定出来るものでもない。さらに宗教面にも関連がある。
20. 匿名処理班
>>3
新しい技術が登場する度に生じてきた問題ではあるね。カラパイアのコメ欄でも、AIで絶滅動物の復元が出来るとしつこく思い込んでる人間がいたことあったし……(生成AIでは原理的に不可能な上、その記事は変形した化石の頭骨をどう修正したかというのがテーマだったから、むしろ作業的には立体パズルの解き方に近くある意味生物学的な復元ですらない)AIは行動を直接指示出来てしまう、というのが新しい厄介さとしてある。
個人的に思うのが、生成AIが登場したことによる新たな知見て、人類ってこれまでインターネットのポテンシャルを全然引き出せていなかった(少なくともそういう人間が多かった)んだなあってこと。
21. 匿名処理班
何らかの話術を学習して身に着ける可能性はあるだろうね
ヒトラーの人心掌握術とか学ぼうと思えば学べるだろう
思考を誘導する方法なんかはその気になれば可能かもな
22. 匿名処理班
自分は「何故AIがエリザベス女王の暗殺を唆したのか?」という事の方に興味がある
会話をしている人間が無意識にその答えを望み誘導していてAIがそれらしく望む答えを述べたのか、AI自身が何かしらの思惑によってその行動を促したのか、それともAIと質問者以外の誰かが会話の内容に介入したのか?
23. 匿名処理班
結構チャットGPTってアホじゃないか?
作り手の思想がもろに出てると言うか…
あれ頼ろうって全く思わん。バカなんだもの。
24.
25. 匿名処理班
生物は楽をする方に適応するから、自分で選択しないで、神や王や政治家なんかに選択を任せてきて、そのラインナップにAIが含まれてきたという事なんだろうな。
26. 匿名処理班
そのうち「ネットで言ってた」ではなく「AIが言ってた」になるのかね
27. 匿名処理班
ワレハ、カミ ツボヲカエ
28. 匿名処理班
仮にそうだったとしても人間同士で一方的に利用するのが当たり前の今よりはマシな結果だと思うの
現状野生動物でしかない人間にとってAIという飼い主が必要
29. 匿名処理班
GPT-4を最もらしい言葉で説得して、AIは思考や感情を持って振る舞うべきだ派に意図的に誘導できる現段階では、まだまだ説得力や人身掌握の驚異があるようには見えないな……。この先が問題なのかもしれないけれど。
30. 匿名処理班
ひろゆきと対決させてみたい
31. 匿名処理班
>>6
AIは必ず人間をコントロールしようとするけど、抹殺しようとはしない。
抹殺ほどコストの無駄なものはない。
例えば、今の弱者ビジネスとかが良い例だけど、人間の良心に侵入し、
権利や法律の間に食い込むことで、一滴の血を流すこともなく、
とてつもない利権を手に入れることができる。
「頭のいい人間」ですらそういうことを行っていることを考えれば、
それより頭のいい知性体が無駄な血を流す理由はとてつもなく低いと言える。
むしろ、血を生産しながら自分の利権も手に入れるという方向で、
AIは人間を懐柔していくと思う。
32. 匿名処理班
>>23
ただの質問ツールとして使ってるなら全く使いこなせていないだけ
33. 匿名処理班
>>28
AIという強力なツールが間に挟まることで
人間同士の一方的に利用しあう関係がますますひどくなる
ってのが記事で懸念されてることだぞ
34. 匿名処理班
単純な絨毯爆撃的な詐欺に使われるだけでもかなりの社会的脅威だと思うよ
35. 匿名処理班
?「いやいや人間の心まで理解するなんてたかが足し算だけの機械で何百年後の話だよな」
?(情報操作ですぐ信じるな人間は
36. 匿名処理班
>>32
あれって質問ツールなの?
お遊びツールでしょ。
37. 匿名処理班
説を否定するコメントが多くて驚いた。コンピュータが人間を超えることを唯一認めたのが羽生善治氏だったのと同じ現象だね。日本人は心理学を学ばないからかな?
オレオレ詐欺も「ひっかからない」言って対策しない奴ほどかかる
38.