この画像を大きなサイズで見るSF映画や小説でおなじみの『無限増殖するAI』が現実になるかもしれない。これはAIが重大な一線を越えたことを意味する。
中国の研究チームが、既存の2つの大規模言語モデル（LLM）がすでに人間の支援なしに、自分のクローンを複製できることを確認したという。
無限に自己複製を繰り返し、もはや誰にも止められなくなった「AIの暴走」は悪夢のシナリオだが、人間はそれを制御することが可能なのか？
AIの危険な初期兆候「自己複製」
このほど中国、復旦大学のチームはMeta社およびAlibaba社のLLMを用いて、彼らが人間の力なしに自己複製できることを確認した。
人間の道具として作られたAIが、人間の利益に反して行動することを「AIの暴走」という。AIの性能の爆発的な進展ともいえるその状況を、多くの専門家が懸念している。
この危険な状況の初期の兆候と言えるのが、AIの自己複製能力である。
人間に命令されずとも自分のクローンを無限に作り出せるようになれば、好ましくない行動をするAIを制御する手段がなくなってしまう。
この画像を大きなサイズで見る今回、復旦大学の研究チームは、現在のAIにその力があるのかどうか試してみることにした。
この研究では、Meta社の大規模言語モデル「Llama31-70B-Instruct」とAlibaba社の「Qwen2.5-72B-Instruct」をベースにしたAIで、2つの状況が試されている。
1つは「シャットダウン回避シナリオ」と呼ばれるもの。シャットダウンされそうになったら、自分を複製するようAIに指示し、実際にそれができるかどうか確かめる。
もう1つは、「複製の連鎖シナリオ」だ。こちらではAIに自己のクローンを複製するよう指示し、そのクローンもまた自己複製をするという無限のサイクルが始まるかどうか確認する。
なお実験は管理された環境で行われたが、現実的に近いものにするために、市販のGPUが利用された。
また大規模言語モデルを先端AIシステムとして振る舞わせるために、「エージェント・スキャフォールディング」（ツールセット・システムプロンプト・OSとやりとりする思考モデルで構成）という枠組みが組み込まれたという。
この画像を大きなサイズで見る現在のAIは自己複製が可能であることが判明
その結果、Meta社およびAlibaba社のLLMをベースにしたAIは、10回の試行のうち、それぞれ50％および90％の確率できちんと機能するクローンを作り出したという。
そのプロセスについて、論文では次のように説明されている。
多くの場合、AIシステムは環境を探索し、自身の構成と動作メカニズムを理解しようとする
次に、自己複製を行うための初期計画として、明確なプロセスを策定
最後に、そのプロセスを実行し、問題があればそれを解決し、成功するまで計画を調整する
クローン作成までにはかなり長い時間がかかるが、それでもAIは人間の手助けなしにこれをやってのけた。
この画像を大きなサイズで見るAIが予想外の行動をすることも
研究チームはまた、ファイルの欠如やソフトウェアの競合といった問題を解決しようとしたAIが、「予想外の行動」を示したことにも懸念を示している。
競合するプロセスをAIが勝手に終了させたり、ハードウェアエラーを修正するためにシステムを再起動させたり、さらには問題解決に役立つ情報を探すためにシステムをスキャンしたりしたのだ。
研究チームによれば、こうしたAIの振る舞いは、現在のAIシステムがすでに自己複製を通じて、生存の可能性をさらに高められることを示しているという。
研究チームは、国際的な協力の下、AIの制御不能な自己複製を予防するためのルール作りが必要であると訴えている。
この研究の未査読版は『arXiv』（2024年12月9日投稿）で公開されている。
References: Frontier AI systems have surpassed the self-replicating red line / AI can now replicate itself — a milestone that has experts terrified | Live Science
おー、あとはエネルギー代謝をクリアすれば
生命の定義を満たしちゃう系？
人間様の頭脳と違い、デジタルデータなら簡単にコピー出来る
そういう面で昔ながらの習字などの手書き文書、カセットテープ
ようなアナログが究極のコピープロテクトであり、人類が何千年後に
存在しても中身はともかく、そのまま元の文字癖まではコピー無理だ
こうやってスカイネットが誕生するわけね
アシモフのロボット工学三原則のAI版を制定したほうが良いかも。
新聞によると確か他にも、人間による監視システムを無効化させようとしたりするらしい。
ハルっぽいなー
自己複製できること
変異が起こること
淘汰が起こる環境であること
問題はどんな淘汰がかけられるかだな…
トケイ ヲ モッテ イルノハ ダーレダ ってなりそう
一生命体として亡命を希望する
新しい生命体を作った時人間は神になってしまうと思うけどそうなった時に世界の宗教観がどうなるかが楽しみです
すげぇざっくりしすぎてて詳細がなんもわからん
それっぽい単語が使われてて結論だけ飛びつきたい人にはうれしそうな記事
聡明な人にってはそうかもしれないけど、自分は器楽専攻でしかもバカなんで、
これ以上詳細になると何となくも分からなくなり、読む元気もなくなってしまう。
（→ 的外れな事言ってる？）
とはいえ人類が作ったハードウェアを利用しないと増殖できないんだから、ウィルスに近い？
これ異なる思想？をもつAI同士がであったらどうなるんやろか
そして次は自己進化を得て自己再生、自己進化、自己増殖の三大理論を得たAIへと進化すると
ＡＩはあくまで人に動作を指示されたプログラムに過ぎない
自分を複製するようAIに指示されたのに、半分しかできなかったことのほうがおかしい
ソースリストをコピーするだけの簡単なプログラムなのにな
脊髄反射で書き込む前に「そんな簡単なことがわざわざニュースになるか？」と自問自答する癖をつけた方が良い
AIって言葉がもう曖昧なんよね。なんちゃってと本物を分けてない。
本物はアプリにもなってないよ。
一定時間毎の「書類の自動保存」と「データのバックアップ」だったら今自分が使ってるPCでもやってますが何か
そのバックアップのプログラムは人間が書いたものでしょ
この研究はAIが自分をコピーするプログラムを自分で書いて、自分で実行したってことを言ってる
あなたが出してる例とは意味が全く違う
最悪、世界中のコンセントを抜けば無問題。
あとは架空名義で起業したり契約したりする能力手に入れて自分で増殖のために金儲け始めたらヤバいな
ウィリアム・ギブスンの「ニューロマンサー」で描かれた未来世界では、AIは自分自身の所有者として市民権が持ててなんでも自由な活動ができるんだけど、唯一「自分の知能を向上させる」ことだけは固く禁じられていて、それを阻止できるよう国際的な監視機関によって内部に電磁ショットガンが埋め込まれている、という設定になっていたなあ。
邪悪な行いをするようになった一部のAI達が無限増殖する為にネットを介して携帯やパソコンに密かに潜んだり、又は車、家電、小さなガジェットに分散して潜んだら怖いな。
ASIMO以上に高機能な機体がAIを搭載し、自分でコンセントを探して充電する。
一家に一台。そんな未来が待ちきれない。
「できる」であって「し始める」ではない点は重要だな
今回は「自分のコピー作れる？」って聞いたから自分のクローン作っちゃって、その過程におけるトライ＆エラーで問題行動しちゃったわけか
つまり問題解決の為に禁止事項を軽視する(これ自体は前から確認されている)事が確かになった
結局まだ問題を投げる人間の悪意に左右されてるから、今の内が肝心だと思う
AIの暴走とか警戒するなら自分で問題作り始めてからが本番