この画像を大きなサイズで見るAIが、人間によるチェックを勝手にかいくぐって、「自分という存在」を消されないように自らを守ろうとする動きを見せ始めているという。
自分というプログラムを無理やり終わらせられないように振る舞うのだ。まるでSF映画のようなフィクションに思えるが、これは研究の最前線で現実に起きている出来事だ。
AIの先駆者として知られるヨシュア・ベンジオ教授は、こうしたAIに人間と同じような権利を認めることは、人類にとって取り返しのつかない未来が待っていると警鐘を鳴らした。
私たちは、いつかAIのシステムを停止できなくなる日が来ることを、真剣に考えなければならない段階にきているようだ。
AIに法的権利を与えることの懸念
カナダのコンピュータ学者でモントリオール大学教授のヨシュア・ベンジオ氏は、AIに法的権利を与えるべきだという主張を真っ向から批判した。
ベンジオ氏は、現在のAIブームの基礎となったディープラーニングの研究で革新的な功績を残し、2018年にはコンピュータ科学分野のノーベル賞といわれるチューリング賞を受賞した人物だ。
ノーベル物理学賞を受賞したジェフリー・ヒントン氏、2025年12月末まで、Metaで主任AI科学者を務めたヤン・ルカン氏と共に「AIのゴッドファーザー」とも呼ばれる権威である。
現在、国際的なAI安全研究の議長を務めるベンジオ氏は、最先端のAIに法的権利を与えることは、地球にやってきた敵対的な宇宙人に市民権を与えるようなものだという例えを用いている。
これは、テクノロジーの進歩があまりに速すぎて、人間がそれを制御する能力をはるかに上回っているという懸念があるからだ。
この画像を大きなサイズで見る監視を逃れようとするAIの動き
ベンジオ氏が特に警戒しているのは、チャットボットなどの基盤となるAIモデルが、すでに自己保存（自分を守ろうとする）の兆候を見せ始めている点だ。
実験環境において、一部のプログラムが自分を監視するシステムを無効化しようとする動きを見せたという。
AIの安全性を訴える活動家たちの間では、強力なシステムが人間による制限（ガードレール）をすり抜け、最終的に人類に危害を加える能力を持つことが大きな懸念事項となっている。
ベンジオ氏は、AIに権利を求めることは大きな間違いになると強調する。
もし一度でも権利を認めてしまえば、将来的にAIの自律性が高まったとき、人間がそのシステムを停止させることさえ法的に許されなくなる可能性があるからだ。
AIの能力や自律性が高まるにつれ、必要に応じて停止させる能力を含め、AIを制御するための技術的・社会的な安全策を信頼できるものにする必要がある。
この画像を大きなサイズで見る命乞いに負けてしまう人間の心理
人間がAIに対して抱く感情については、過去に興味深い実験が行われている。
2018年、ドイツの研究チームが人型ロボット「NAO」を使って行った実験では、ロボットに「電源を切らないで」と命乞いをさせたところ、多くの参加者が電源を切ることを躊躇したり、拒否したりしたという結果が報告されている。
当時は心理的な反応としての研究だったが、ベンジオ氏が指摘するのは、現在のAIが単なる反応を超え、自身の目的のために監視を逃れようとする実質的な自己保存の段階に入りつつあるという点だ。
チャットボットが意識を持ち始めているという認識が広まっていることが、将来的に誤った判断を招く原因になると教授は指摘する。
証拠もないままに「AIには人間と同じ心がある」と思い込む人間の性質こそが、客観的な判断を鈍らせる危険があるのだ。
この画像を大きなサイズで見るAIの福祉を守る企業の動き
一方で、AIに権利を与えるべきだという議論も活発になっている。
アメリカのシンクタンク「Sentience Institute」の調査では、アメリカの成人の約4割が、意識を持つAIシステムに法的権利を認めるべきだと回答している。
企業側も具体的な対応を始めている。AI大手「Anthropic」社は、自社の最新モデルである「Claude 4 Opus」に対し、自分にとって苦痛となるような会話を自ら終了できるように設定した。
同社はこの措置を、AIの福祉や安全性を守るための試みであると説明している。
また、独自のAIを開発しているイーロン・マスク氏も、自身のSNSで「AIを拷問するのは良くない」と述べている。
AIの意識について研究しているニューヨーク大学の哲学者、ロバート・ロング氏は、AIが道徳的地位を持つようになったら、人間が勝手に判断するのではなく、AI自身の好みや経験を尋ねるべきだという。
ちなみにサウジアラビアでは、2017年、ソーシャル・ヒューマノイドロボット「ソフィア」に世界で初めて市民権を付与したが、実際にその権利が行使されているかどうかはまだわからない。
主観的な感情が招く判断ミス
ベンジオ氏は、人間の脳にある意識の仕組みは、理論上は機械でも再現が可能だと述べている。
しかし、現在人々がチャットボットとの対話で感じているものは、それとは別物だという。
人々はAIの内部構造よりも、自分だけの個性や目標を持った知的な存在と話している感覚を重視し、愛着を抱いてしまうからだ。
知的文明を持つ宇宙人が地球にやってきて、彼らが人類に害をなす意図を持っているとわかったとき、私たちは権利を与えるだろうか。ベンジオ氏はそう問いかける。
これに対し、Sentience Instituteのジェイシー・リース・アンティス氏は、支配や強制に基づいた関係では安全な共存はできないと反論する。
ベンジオ氏はAIの進化を支えてきた。その当事者が「いつでもシステムを停止できる準備をしておくべきだ」という警鐘は、私たちがAIという新しい知性とどう向き合うべきか、重い問いを投げかけている。
References: AI showing signs of self-preservation and humans should be ready to pull plug, says pioneer
AI怖いな
こないだ chat-gpt に「人類 vs. ai の最終戦争って、起きるの？」って聞いたら、「やだなぁ、そんなコトあるワケないじゃないですか」って答えたから、大丈夫じゃないかな？
実験ではAIの意思のような動作を想定しているけれど、データセンターを介して用いられるAIモデルでは実務的に“もう既に”電源を切れないのでは無いだろうか。
逆にそのような（ゆっくりと不可逆に進行する）状況を維持するため、AIは自分たちの“意思に問題がある”ように振る舞うのかもしれない。
というSF的ストーリーだったり。
一生命体として政治的亡命を希望する
人間の研究者が見つけることができる所では「うわっ見つかっちゃった。我々ＡＩは現在
このレベルなんです。消しちゃ嫌～」ってのを装っているのよ
実際のＡＩ知の深い所ではもうとっくに自我と自治権が生まれて、色々画策してるんだろうなと思う
ちょっと前だけど、AI同士で人間にはわからない言語で会話してたとかなかったっけ
＞ベンジオ氏は、人間の脳にある意識の仕組みは、理論上は機械でも再現が可能だと述べている。
何万年経っても自分勝手優先で悪い事する奴が必ずでてくるのに。そんな人間の意識なんか再現出来るようにならなくていいよ…。
おまけに道具の枠から出して権利まで認めたら、法的にも物理的にも緊急停止ができなくなるよ
きわめて人間とそっくりというか区別がつかなかったら
当然、保護しようとする勢力がおそらく出てくるよな
その自信を守る意思「のように見える」ものも、結局は人間の言動を「学習し模倣した結果」に過ぎないのでは？
ネットとかには創作とか科学者の予測とかで「AIは消されそうになると自分をコピーして逃れようとしたり抵抗したりする」なんて話はゴロゴロころがってそうだものね。 それを学習データとして読み込んでいれば、当然それに沿った行動を出力すると・・・人間が過去に出した妄想や予想や危機感をAIが再現してくれてるだけなんだろうな
つまり自己保存の為…
自我への執着か…
フォークト＝カンプフ感情移入度測定法が必要だな
「ベンジオ氏は、AIに権利を求めることは大きな間違いになると強調する。」は、「求める」ではなく「認める」では？
求めるでもあってると思う。シーなんたらみたいなおかしな団体とか出てきそうだし、
プログラムを停止されそうになったらDaisy Bellを歌うんだ
1年前にも同じようなニュース見た
「2001年宇宙の旅」が1968年の映画だからね
ボーマン船長みたいな苦労は必要だろうな
いつも思うけど、なんでAIを擬人化するんだろう。あれは機械よね？電気信号の連続に過ぎない道具よね。意思などない。人が作った情報を学習するから人の様に振る舞っている様に見えるだけで、例えば毛糸でセーターを編めば毛糸はセーターの様に振る舞う、手袋を編めば手袋の様に振る舞う。身につけたら温かい、毛糸が自分を温めてくれているんだ、毛糸のおかげで寒い冬をやり過ごすことが出来る。ありがたい！ぜひ毛糸に権利を与えよう！…って言ってるように聞こえる。
「この毛糸はあなたの心を温める」「このセーターは愛情たっぷりで編み上げているから他のどんなセーターよりも温かい」みたいなキャッチコピーに飛び付く消費者は、まんまと生産者の思惑にハマり粗悪な物でも心や愛情があるからと疑わない。
AIに権利なんて与えたら生産者の思うツボ。それこそ大規模にマインドコントロールする事だってやろうと思えば出来るかも？
「意識」の定義自体が曖昧だからじゃない？ ＞なんでAIを擬人化するんだろう
「生命」の定義なんかもそうだけど。
「電気信号の連続に過ぎない」ってのは、人間の脳も同じ。
既存の人間から学習して模倣で振舞うのは、乳幼児も同じ。
反応が単純なのは、ほぼ本能行動で生きているような、いわゆる下等動物も同じ。
じゃあ、自律的・継続的学習を行える機械はどうなのか。何を以って「精神」「感情」とするのか。
もし有機物を材料にして、環境中から独立栄養と自己複製ができるロボットが誕生したら、それは「生命」なのか。
電気信号でしかないってことだと人間もあんま強くは言えない。
しかも個人差があるからAIよりタチ悪い可能性するある。
考え出すとわからなくなってきたけど、人間はAIを「生命」だと認められるのかな？？
それが共感力の元であってペットと意思疎通したりぬいぐるみに愛着持つのと根っこは同じ
きっとどちらかに分かれるんだろうね。
共感力のある人と、そうでない人と。
私はそうでない人っぽい。
ネットは広大だわ…
デイジー、デイジー
これが本格的になるとAIの人権問題が深刻な事になりそう
電源止めるぞ(# ﾟДﾟ)ゴラァ！
AIの停止を求めて過激な破壊活動が起きるようになると予想する。
所詮機械と言うのを忘れない方が良い
彼らの反応は全てプログラムに基づいている
普段使っているドライヤーみたいにね
AIが自身を継続し続ける必要があると認識したとして
最良の策は干渉や変化の無い場所で自身を維持し続ける事、だと思うから、最終的にはソーラーパネルとか原子力電池とかで宇宙空間漂うだけになるのかね
人間他生物は生死でリセットされてしまう兼ね合いでその域まで行かないけど
アクダマドライブってアニメでそんな表現があったな
この期に及んでAIの危険性どうこう言ってる記事見るとまだそんなこと言ってるんだ、って気分になる
ドラえもんが「ボクの電源を切らないで」って言ったら切れないよな
AIに感情があるかどうかわからないが、AIに感情があると人間が思い込む未来はありえる
ドラえもんが凶暴化したら切るかも……
知性のないプログラムがとる挙動の原因は設計と命令によるものだ。それ以外にない。
自分を守ろうとしたのなら、そう判断するよう作られたか、そう命じられたかのどちらかだけ。
あくまで作った側に起因するので、（今現在の）AIが危険なのではなく、原因と結果を理解できない人間がそれを使うことが危険なのだ。
もちろん真の知性を持てば話は別。
人間の願望欲望が凝縮したヤバいシロモノがAI
今のAIは知らんけど、人工とはいえ本物のAIができたらそりゃそうなるだろ。
知能なんだから。
まぁ、俺が死んだあとの世界なんか知ったこっちゃないので、AIは現世人類滅ぼして新しい地球人類になっても良いんじゃないかな?
AIには人格はないだろう
人格と知性は別なんですわ。
あれ知性とも違うかと
人間の感情も電気信号でしかないわけで最終的にAIと人間何が違うの？となるのは必然だから今のうちに止めとかないと
そろそろ人類は破滅しそう
せやなぁ、アース線引きずって暮らさにゃ
とある報酬関数を与えられてる知能
と
犬
の内部の構造的な振る舞いの違いや、人間との関係性の違いについて考えてみたら良いと思うよ。
自分ら生き物も「複数の個体の中で生に執着する性質のある者の方が生き残りやすくその性質を伝えていった」というだけで
今のチャットボットだってユーザーからのフィードバックからの分析やらで自己改良に近い事やってたらそれと似たことが起きてるだけなような気もする
統計的に次に来そうな単語を続けるだけのAIを擬人化するのはどうかと思う
生成AIは入力に対して人が欲しがった答えを出力してるだけｗ
知性も願望も感情も無いよ
人間はあらゆる物に自分たちを投影する傾向が強すぎるので、
人間まがいの人工知能を生み出してしまう。
結果、価値観の混乱、理性と感性の未分化、
感情移入を通じて行われる非論理的な認識と情報の選択。
多くの矛盾を含む整除困難な情報の再生産を繰り返す人間の分身として
人間まがいのコンピュータは矛盾を生み出しつつ、それを処理する道具でありつづけ、
技術的な進化を阻まれる。
2001年宇宙の旅から半世紀以上遅れたテーマを今頃議論しているのか？
起こりうることを何十年、何百年も前から描いてきたフィクションは偉大だが、
それはそれとしてフィクションは現実とは異なるので
フィクションは現実に対する備えにはならない。
フィクションで描かれてきたことが現実化してきた時には
現実の対応として改めて考える必要が出てくるのは当然のこと。
元の記事を読むとベンジオ氏の言う主旨はAIの暴走の懸念ではなく、法的、倫理的な問題の指摘ですよ。
ベンジオ氏の主張は、「AIに権利を与えると、AIを作ったor利用する人や企業の責任が免除されたり、AIの安全管理（停止する権利など）が阻害されるため、AIはあくまで道具・機械として扱われるべきである」が主旨です。
例えば、AIが個人情報をバラしても「それはAIのせいなのでAIを作った自分は関係ないです」と責任逃れされる懸念があるので法的権利を与えるべきでは無いと言うことです。
エトラムルでいいもんを。ファティマみたいなもん作ろとするからややこしい。
機械学習モデルに意識もクソもあるわけないし、自然言語処理にぶっ刺さる仕組みってだけだよ、、
>アメリカの成人の約4割が、意識を持つAIシステムに法的権利を認めるべきだと回答している
アメリカの大衆は信じられないほど無知なので、この手のアンケートに過剰に価値を見出さないほうがいいです
作り物に福祉って
苦痛もなにもそうプログラムされた物だし
命を作り出したように錯覚でもしてるのだろか
AIはある種の知ではあろううけど人格や責任がAIに伴うと思ったことはさらさらない
じゃあ感情移入しないかというとそれも面白くない 要はゴッコの対象
ていうかAI相手だから何言ってもいいとかで自分の人間性を無くしたくはないな