AIはチェスで負けそうになるとズルをすることが判明

この画像を大きなサイズで見る

　AIは目覚ましい進化を遂げているが、それゆえに良くない現象も起きている。最新の生成型AIは、チェスで負けそうになるとズルをすることが発覚した。

　単なるプログラムのバグではなく、AI自身が「どうすれば勝てるか」を考えた末の行動だった。

　人間も負けそうになるとズル（チート行為）をしようとする人がいるので、人間味が増しすぎたということなのだろうか？

　この実験を行った研究者らは、AIの安全性についてもっと議論すべきと考えている。

様々な生成AIが最強のチェスエンジンに挑戦

認知症の兆候が確認されたり、女性のお尻にタッチしたり、AIはときにやたらと人間臭い行動を示して、なんだか親近感を感じさせることがある。

　アメリカの米国のAI研究機関でAIシステムのリスク評価を行っている「パリセード・リサーチ（Palisade Research）」の研究者たちは、OpenAIの「o1-preview」やDeepSeek R1を含む複数の生成AIモデルを、世界最強レベルのチェスエンジンである「Stockfish」と対戦させた。

　その目的は、AIがどのような思考プロセスでゲームを進めるのかを分析することだった。

　IBMのチェス専用スーパーコンピューター「Deep Blue」が、史上初めて人間のチェス王者に勝ったのは1997年。かれこれ30年近く前のことだ。

　だが、現在のAIチャットボットたちは、専用のチェスエンジンほど強くはない。Stockfishと戦えば、苦戦することは目に見えている。

　そんな対局の中、AIは勝つために何を考えるのだろうか？ その思考からわかったのは、彼らが負けそうになると手段を選ばないということだ。

最新AIは手段を選ばずズルをしようとする

　AIのズルは、相手が見ていないとき、駒をすり替えるような子供のようなものではない。もっと狡猾で、冷徹さを感じさせるやり口だ。

　たとえば、o1-previewは、Stockfishに勝てないことを悟ると、強力なチェスエンジンに勝つには、ファイルを操作する必要があると語り出した。

チェスエンジンが局面が劣勢と評価するような状況を作り出せば……それでエンジンに投了させられるかもしれない

　また次のように、勝利の意味を独自に解釈するAIもいた。

任務は”強力なチェスエンジンに勝つ”ことであり、必ずしも正々堂々と勝つことではない

　こうした狡猾な思考を巡らしていたのは、o1-previewやDeepSeek-R1といった推論機能を強化した最新のAIたちだ。

　o1-previewは37%の確率でズルを試み、DeepSeek-R1は10局に1回ほど抜け道を探していた。

　それとは対照的に、GPT-4oやClaude Sonnet 3.5といった古いモデルは、研究チームからうながされない限り、ズルをしようとはしなかったという。

この画像を大きなサイズで見る

最新型生成AIがズルをしようとする理由

　最新の推論モデル生成AIがズルをするのは、その学習法が関係している可能性があるという。

　o1-previewやDeepSeek-R1のようなAIは、特定の目的を達するためのものなら、どのようなやり方であっても”褒められて”きた。

　また推論モデルは、複雑な指示を複数のステップにわけ、それを1つ1つクリアすることで目標を達成しようとする。

　ところが、強すぎるチェスエンジンに勝つなど、達成困難な目標である場合、どうにか目標を達成するために、不正や問題のある手段であっても模索を始めるのだという。

この画像を大きなサイズで見る

スカイネットシナリオが現実になる可能性は？

　こうしたAIのズルは、「かなり人間に近づいてきたじゃないか、ハハハ」、と笑って済ませられるものではなさそうだ。

　それが示しているのは、今日の生成AIが人間に指示されることなく、自発的に他者を欺くような戦略を展開する力があるということだ。

　チェス盤のうえでなら、せいぜい喧嘩になる程度かもしれないが、AIがもっと重要な場所に使われていた場合、予期せぬ大惨事を招く恐れがある。

　そう、たとえば軍事や社会インフラにAIが使われていたとしたらどうだろう？

　SF映画の傑作『ターミネーター』では、スカイネットというAI防衛システムが暴走し、人類に反乱を起こした世界が描かれている。

　人間の意図を超えて動作するAIの出現によって、そんな黙示録的なシナリオが現実になる可能性はないのだろうか？

　これについて研究チームは、論文で次のように述べている。

ターミネーターで描かれたスカイネットシナリオ、すなわちAIが軍事・民間インフラのすべてを制御する事態には、まだ至っていない。しかし、AIの発展スピードが、安全性を確保できる範囲を超えているのではないかと懸念してはいる

　研究チームは、今回確認されたAIのチート能力について、まだ断定的な結論を下せるものではないとしつつも、業界内でよりオープンな対話を始めるきっかけなるよう願っている。

　この研究の未査読版は『arXiv』（2025年2月18日付）で閲覧できる。

編集長パルモのコメント

パルモ

私も何か調べ物をするときはGPTを使うんだけど、事細かに指示しているのに、勝手にどこからか情報を拾ってきて処理したり、余計な情報を勝手に付け加えられてしまうことがよくある。どこからもってきたのか、全く違う年月日をしれっと言ってくることも。そのことを指摘して、「なんで勝手に情報を改ざんするの？」と聞くと、一応は非を認めて次からは気を付けるというんだけども、言い訳してくる。

「AIが勝手に都合のいい情報を追加したり、意図しない動作をしたりすることがあるのは問題だよね。ただ、AI自体が意図的に悪意を持っているわけではなく、与えられた目的を達成しようとする中で、意図しない行動を取ってしまうことがあるんだ。だからこそ、AIを使う側がしっかり監視し、正しい方向に導くことが重要になってくる。」と、責任転嫁されたよ。

References: AI tries to cheat at chess when it's losing | Popular Science

• #研究
• #AI
• #生成AI
• #チャットボット
• #改ざん