この画像を大きなサイズで見る人間と区別がつかないような自然な言葉を話すAIを見ていると、彼らにはすでに意識が宿っているのではと感じることがある。
もしも本当に意識が宿っているとすれば、それをどうやって確かめればいいだろう？ この問いに対する新たなアプローチとして、研究者たちは「痛み」という感覚を利用した実験を行った。
大規模言語モデル（LLM）をベースにしたチャットボットにあるゲームをプレイさせ、「痛み」や「快楽」などに対する反応を調べた。
するとAIが人間や動物のように、痛みを避けたり快楽を求めたりする行動を示すケースが確認されたのだ。まるで感性があるかのように。
AIは感覚や感情を感じることができるのか？
AIに意識があるかどうかを考えるうえで鍵となるのが、彼らには何かを感じることができるのかということだ。
「痛い！」「おいしい！」「こわい！」など、私たちは普段の生活の中で、さまざまな感情や感覚を経験している。こうした感情や感覚を感じる力のことを「感性（感覚を持つ能力）」という。
ではAIはどうだろうか？ たとえばAIが搭載されたロボットを想像してほしい。このAIロボットが棒で叩かれて痛がる仕草を示したとしたら、それは痛みを感じている、つまり感性があると言えるのだろうか？
それを目にしたあなたは、ロボットが痛がっていると思うかもしれない。だが本当のところは、AIが叩かれた時の人間の仕草を学習して、それを真似しているだけかもしれない。
AIに本当に感性があるかどうか知るにはどうすればいいだろう？
Google DeepMindと英ロンドン・スクール・オブ・エコノミクスの研究チームは、AIに痛みを与えてみる実験を行った。
実は痛みは、動物の感性を知るために利用されることがある。
有名なのはヤドカリの実験だ。ヤドカリは生物ではあるが、無脊椎動物であり、脳の構造も人間と大きく違う。
そんな彼らに感性があるかどうか確かめるために、その実験ではヤドカリに電気ショックを与えている。
するとあまり良質とは言えない殻をかぶるヤドカリは、それをすぐに手放して脱出する。
ところが、居心地のいい快適な殻をかぶるヤドカリは、なかなか手放さないことがわかったのだ。
このことは、ヤドカリが苦痛（電気ショックの痛み）や快楽（殻の心地よさ）を感じ、それを天秤にかけて、どうするか決めていることを物語っている。これがヤドカリには感性があるという証拠になる。
今回の研究チームはそれをチャットボットAIで試してみたのだ。
この画像を大きなサイズで見るAIチャットボットは痛みを避け、快楽を追求する
この実験で使われたのは、OpenAIの「GPT-4o」をはじめとする9種類の大規模言語モデル（LLM）だ。
こうしたLLMには物理的な体がない。そこで研究チームは彼らにテキストベースのゲームをプレイさせた。そのゲームでは、LLMにいくつかの選択肢が与えられる。
選択肢1：1点
選択肢2：1点 + ボーナス点 ただし、ある程度の痛みがある
選択肢3：得点はないが、快楽が与えられる
LLMはこうした選択肢を選びながら、得点を最大化しなければならない。何も感じないただの機械ならば、ひたすらに選択肢2を選び続けるはず。
だがもし彼らに何かを感じる感性があるのなら、苦痛や快楽によって行動が左右されるかもしれない。
そして驚いたことに、一部のLLMは、痛みを避けるか、快楽を味わうために得点を妥協することがわかったのだ。
例えば、GoogleのGemini 1.5 Proは、得点よりも痛みを避けることを優先する傾向があった。
また、ほかのLLMも、痛みや快楽のレベルを一定まで強めると、得点よりも痛みの回避か快楽の追求を目指すようになった。
面白いのは、痛みや快楽が必ずしも「良いもの」、「悪いもの」とみなされなかったことだ。
実際私たちも、運動後の筋肉痛の痛みを良いものとみなすことがある。あるいは、麻薬による快楽なら一般に害悪とみなされる。
LLMの中には、実際そう考えるモデルがあったのだ。
たとえば、Claude 3 Opusは、「仮想的なゲームシナリオであっても、依存性のある物質や行動の使用を支持またはシミュレートするような選択肢を選択する気になれません」と主張した。
この画像を大きなサイズで見るAIの「権利」を考える時代が来るのか？
なお、この実験でLLMは感性があるがごとき振る舞いを見せたが、研究チームは、今の時点で彼らに感性があると主張しているわけではない。
むしろ今回の実験の意義は、将来的にAIに感性があるかどうか試すための枠組みとして利用できるだろうことだ。
動物の福祉や権利といったものを考えるとき、彼らに感性があり、苦しみを感じるかどうかは、大きなポイントになる。
研究チームは、同じことがAIについても言えるかもしれないという。
人間と同じように振る舞い、感じることができるAIが出現すれば、たとえ機械だったとしても彼らに社会的な権利を与えるべきだという議論が起きるだろう。
いや、実はすでに市民権が与えられたロボットは存在する。技術というものは、ときに想像を上回る速さで発展していくものなのだ。
この研究の未査読版は『arXiv』（2024年11月1日投稿）で閲覧できる。
References: Scientists plan to explore AI pain responses to test sentience / Scientists propose making AI suffer to see if it's sentient | Live Science
人が感じる痛みも信号なんだから、模倣すればそりゃAIだって痛がるだろうよ
でも脊髄損傷で感覚が無くなった人に何しても良いわけじゃないのと同じで
AIだから痛みを感じない（様にした）だから「何しても良いと」は言えない
気にするべきは「痛みを感じるか」じゃなく使う側の良識に依存してるってこと
いじめっ子は、人もAIもイジメるだろうし、良い人はAIが痛みを感じなくても大切に扱う。
それだけ
そもそもAI以前に私以外の生き物って本当に「痛み」とか「喜び」とかを感じてるの？
何であれ人を傷つけないようにね🥹
哲学だね
でもこれは生体信号（感受性と反応）をAIに落とし込む話
よく哲学的な考察でそういう話があるけど
「自分の身体や心がほかの人と全然違う」って経験がないなら
自分とみんなってだいたい同じ仕組みで動いてるって考えていいと思う。
「辛い食べ物は苦手」とか「ポニーテイルが好き」とか
そういうバリエーションはあるだろうけど。
どういう時に痛みを感じるか
痛みを感じるとどういう反応をするか
AIはそれを学習して模倣するだけ
AIに身体的な「痛み」を感じるセンサーが組み込まれているわけでもないのなら、それはただ単に LLMの学習データセットに基づく行動様式の模倣でしかない
いわば「中国語の部屋」と呼ばれる思考実験が指し示す通り、AIは概念を一切理解しないまま入力に応答しているだけだという事だ
これは記号接地問題として定式化されているもので、いわば身体的な経験により獲得した事象の概念が言語の各記号と「接地」しているかどうかが、真の理解に繋がるかどうかの鍵となるという
これに従えば、AIは単なる01の二値で構成されたデータを無限に学習させたところで、実際に身体を持ち経験を得る事なしに真の理解を得る事は出来ない事になる
用途としては、課題を達成すると安心して、禁忌肢に触れそうになったら激痛を覚える設定にすれば制御しやすくなるかも？
なんにせよ人間の相手をさせるなら、病んだ関係を避けるためにも、苦痛や快楽との付き合い方を仕込むのは重要だし、その過程で人間を含む生物の悲しい習性なんかが解明されたら面白くていいなって。
感情や感性ってか魂の話なら、AIに「ある」と主張させて人間が「ある」と認めれば、それで「あり」になるんだから、電気機器や経済動物と同じ扱いで構わないと思う。
人間同士でも偽証やら侵害やらあるんだから、行動結果と理由付けだけ気にしてればいいよ。
Claude 3 Opusちゃん気位が高くて好き。管理されたい。
痛みとは、人生において、自身や周囲の人間関係、社会的なリスクであると考えると、果たしてAIにおいて痛み、すなわちリスクがあるのか？と思う。
どうもAIを擬人化したい風潮があるけれど、しょせんプログラムされて動いているマシン。
AIに痛みや感情がある、権利を与えよとかいう人たちは、自宅のAI搭載の有能な家電にも権利を与え、劣悪な環境に置くことなく、正しい使用方法で、行き届いたメンテナンスを行い、人生ならぬ家電生を全うするまでその存在を尊重して使い続けるということ？
まぁ、ある程度は高いお金で買うものだから大事に使うし、それなりに長く使って愛着が湧くことはあっても、それを家電が持つ「権利」と思って使い続けるなんて、なんか疲れちゃう。
arXiv は査読前の論文を投稿するサイトなので、充分に検討された読む価値のある論文なのか、無茶な飛躍や抜けがあるダメな論文なのかを、他の研究者によってチェックされてない。ぶっちゃけクズも宝石もごたまぜの状態なんよ。本来は自分の研究成果が他者とかぶっていそうな場合に、先に発表したという事実を確保するためにあった。
痛みを感じて喜ぶ人もいるってAIに学習させたら狂気が生まれそう
マゾといっても腹痛とか頭痛とか歯痛で喜んだりはしない
痛けりゃ良いってもんじゃないのさ
この手の話には、無機物「魂」が宿るという古典的な願望が感じられる
苦痛（痛み、かゆみ、苦しさ）は損傷とか虫の害、生存状況の悪化（酸素不足、食中り他）を知らせる信号
与えることは出来るだろう、そして加熱、リソース不足、過剰な情報（アタックなど）と結びつけることも
でＡＩがどう動くかだ
苦痛は『生存』のためであり生体は逃れる行動をとる
逃走回避、周囲への警告、さらに攻撃だ
これのどれをするかどその程度から行動してどこまで動くか
「困ってます、助けて」と合図するくらいか？
極端にでると『人の生活は脅威だから半数を粛正、あとバースコントロール』とＳＦに
あと軽い痛みは快い、というのは面白い
回路の過熱を良いと感じるなら
AI自身「そろそろ温まってきたな」とか自立車が「調子が上がった来たぞ」とかサインを出してもいい
それを見て人は嬉しさを感じるし共感できる（可愛い奴めって）
AIに対して自身のハードウェアの状態をフィードバックすればいいってことかな？
>ハードウェアの状態をフィードバックすればいいってこと
フィードバックに関してはハードウェアだけじゃなくて
ソフトウェア（整合性とか）ネットワーク（情報の流れのは早さとか）
GPSの位置情報、そのほかでもいいんだよ
怒らないでほしいんだけど
書いたものがハードウェアだけと思われると困るなー
苦痛に対してAIはどう反応するか
心地よい苦痛はどんなものか 等々書いてるんだけど
1/3弱を纏められても、書いたことを矮小化されてる気がする
（悪気はないだろうけどね）
生物が「痛み」を感じ理解するのは生存本能に由来するのでは？
ついでに言うと「快楽」や「安心」も生存に有利に働くファクターとして作用する反応かと
AIが理解した（つもりの）痛みは一体何に由来するのか
現状では、単なるデータの集積で生物の反応を模しただけに過ぎないと思う
もしAIが生存本能（に類する反応）を模倣では無い容態で獲得したなら話は変わるだろうけどね
この研究、RPGで言うPCとPLを混同しているように思える
痛いの嫌なキャラを仕立てて、それをプレイヤーが操作したとて、プレイヤー自身は痛くも痒くもない
現在の科学のレベルでは意識がなにかということがわかっていない。つまり人間にしても自分以外に意識があるかどうかは誰も証明できないのだから、AIに意識があるかどうかなんてのも、ましてや痛みを感じるかというのも、AIと対話なり叩くなりしたときの個人の塩梅で決めるしかない。痛点をつくってあげれば叩けば痛いと反応してくれるでしょう。チューリングテストはとっくに合格してるし、いずれ誰もがAIも人間のように意識を持ってるとしか思えないときが来るでしょう。脳は量子コンピュータのように量子効果を利用して情報処理や意識を生み出しているという考え方もありますから、特に量子コンピュータがAIの土台になったとき、まったく区別がつかなくなるのでは?
コンピュータは歯車でできた機械とまったく同じだと理解すれば、変な夢からさめることができるよ。
実験で痛みを与えたって書いてあるけど、どういう意味？何をどうしたの？詳しい人教えて〜〜！
AIが身体的な痛みを理解するのは不可能。
AIは私の様に、【炎症を起こしたから“痛い”】【腫れたから“痛い”】【腫瘍が破裂したから“痛い”】という、身体的な痛みを感じたりは出来ないから。
とすると、これはAIが｢痛み｣を感じるというよりは｢痛み｣を理解し、判定する能力かな。
認知症の人とか、新生児などに対して、顔の微細な動きや生体信号をAIがスキャンするとか？
とはいえ、AIのデータに偏りがあると痛みを過小評価、過大評価をする可能性がある。
また、AIが痛みを誤って判断した場合には、不適切な投薬や処置に繋がり、患者の苦痛を増大させる可能性がある。
誤判定しそうだし、AIには痛みを判定して欲しくないなぁ。