本記事はアフィリエイト広告を利用しています。
この画像を大きなサイズで見る一部の著名人や専門家が懸念するように、人工知能（AI）が本当に人間を滅ぼすほど危険なものなのかはまだわからない。
だが少なくとも人類は、機械の反乱を防ぐためのアイデアを何十年も前にから提唱している。それが「ロボット工学三原則」だ。
20世紀のSF作家「アイザック・アシモフ」が考案したこの有名な三原則がプログラムされたロボットやAIなら、ただひたすらに人間の幸せのために貢献してくれるはずだ。
だが、当のアシモフ自身が予見しているように、この三原則は必ずしもロボットの反乱を防いではくれず、思いがけない結果を招くことになるかもしれないという。
一体なぜ、ロボット三原則ではダメなのか？ 急速にAIが普及している今だからこそ、この重要な問題について考えてみよう。
ロボット工学三原則とは？
「ロボット工学三原則」（以下、三原則）とは、SF作家のアイザック・アシモフが1940年代に書いた「ロボットシリーズ」の作中において、ロボットが従うべき原則として語ったものだ。
それが主に定めているのは「人間への安全性」「命令への服従」「自己防衛」で、小説で語られたものでありながら、のちの現実のロボット工学にも影響を与えた重要な概念だ。
三原則は次のようなものだ。
第1条：ロボットは人間に危害を加えてはならない。また、自分の不作為によって人間に危害が及ぶことを見て見ぬふりしてはならない。
第2条：ロボットは人間からの命令に服従しなければならない。ただし、その命令が第1条に反する場合は除く。
第3条：ロボットは、第1条と第2条に反しない範囲で、自己の保全を図らなければならない。
この画像を大きなサイズで見るアシモフはロボット三原則がうまくいかないことに気が付いていた
アシモフがこうした原則を最初に示したのは、『われはロボット』に収録されている短編『堂々めぐり』においてだ。
この本が発表されたのは1942年のことだが、彼はすでに人類を守るためにAIの反乱を防ぐプログラムが必要性であることばかりか、おそらくそうした法則は失敗するだろうことにも気づいていた。
アシモフはそれを示すために、AIが宇宙の発電所の制御を奪い取ってしまうというエピソードを描いている。
人間に危害を加えてはいけないはずのAIが、なぜそのようなことしたのか？ その原因は第1条にある。
そのエピソードのAIは、自分が人間よりも発電所を上手に運用できることを理解していた。だから何もしなければ、人間に危害が及ぶことを見過ごすことになる。
それゆえに、自ら発電所を制御するべく、それを支配したのだ。
この画像を大きなサイズで見るまた別のエピソードでは、「人間」の定義にまつわる問題が語られている。
すなわち、三原則で定められているロボットが守るべき「人間」とは個々の人間で、集団としての「人類」ではなかったのだ。
これを回避するため本作品（ロボットと帝国）では、三原則よりも優先度が高いとされる、次の第零条が付け加えられている。
第零条：ロボットは、人類全体に危害を加えてはならない。また、自分の不作為によって人類全体に危害が及ぶことを見て見ぬふりしてはならない。
この画像を大きなサイズで見るロボット三原則の限界と倫理的問題
AI哲学者のクリス・ストークス氏は、アシモフが描いたように三原則では最終的に人間を守れないだろう理由を、論文の中で次のように考察している。
まず第1条では、「言葉が曖昧である上に、単純に白黒つけられない複雑な倫理問題」に対応できない。
第2条は、「感情ある存在が奴隷で居続けることを要求」するゆえに非倫理的で、うまくいかない。
第3条は、「多大な搾取をともなう恐れのある恒久的な社会階層を作り出す」ゆえに失敗する。第零原則はまた、第一原則と同じく「曖昧なイデオロギー」を含んでいる。
そして、これらすべての原則に共通する問題が、原則の文言を守りつつ、その精神を回避することが極めて容易であることだ。
たとえば、先ほど述べた発電所を奪い取ったAIは、人類のためにこれを行なっている。だがその結果は人類のためになっていない。
この画像を大きなサイズで見るAIが法律を守るためにはもっと高度な機能が必要
もう1つの大きな問題は、そもそもAIがルールや法律を守るためには、もっと高度な機能が必要になるということだ。
たとえば、ただ会話機能があるAIならただ人間を脅迫してゾッとさせる程度で終わるかもしれない。
だが路上には実際に人間を殺すことができる自動運転車が走っている。それに搭載されたAIが、複雑な法律をきちんと理解しているかというと、そんなことはないのだという。
英国エッジ・ヒル大学のマーク・ロバート・アンダーソン氏は、「法律に関するもう1つの大きな問題は、ロボットが実際にそれを遵守できるようになるには、AIの大幅な進歩が必要だということ」と、The Conversationで述べている。
同氏によると、AIで人間の行動を真似する研究はあまり進んでおらず、AIがとるべき合理的な行動は、限定的な環境でしかなされていないのだという。
これを考えると、ロボットはかなり限られた範囲でしか活動できず、まともな法の適用もかなり限れられたものになるでしょう。
法に則って推論し、意思決定を行うシステムにはかなりの計算能力が必要となるため、現在の技術では不可能かもしれません
ただしアンダーソン氏がそう述べたのは、もう6年近く前のことだ。
技術があっという間に進歩する今なら、もう状況は違っている可能性もある。実際、アメリカでは法廷で戦うAI弁護士が登場し、物議をかもしている。
References:No, People, Asimov’s Laws Of Robotics Are Not Actual Laws | IFLScience / written by hiroching / edited by / parumo
そのままロボットに飼育されるのが一番よさそう
ドラえもんですら地球破壊爆弾を使いそうになったもんなぁ
ドラえもんやタチコマ君にはロボット三原則が実装されてないから。
物語的に反乱する流れになるように意図的に欠陥を持たせた条文でしかないのに
たかが小説の設定を何でそんなに絶対視するのかわからん
>>3
その界隈ではアシモフはバイブルなのよ
>>22
そのアシモフが条文の隙を突くロボットの反乱を描くために作った条文やぞ？
作者が欠陥のある条文として作ったものを絶対視したらあかんやろ
>>3
現実のISOの条文なんかも三原則と同じくらい曖昧で、かつなかなかちゃんと守られない。
三原則より優れたAIの抑制方法を考えようとしても「欠陥のない」方式なんてなかなか発明できないよ。
叛乱もしてないし欠陥もないよ。
お前みたいに読んだこともないくせに、聞きかじった知識で知ったかぶりする奴が後を絶たないのが、日本における一番の問題だな。
「うそつき」のジレンマ
人間は不完全だから保護してやらなければならない
だが人間は自分が不完全であることを認めると傷つくほど弱い
両方を満たす方法がない
人間「気候変動対策として最善な方法はなんですか？」
A.I.「はい、それは人間を地球から追い出す事です」
｡･ﾟ･(ﾉД`)･ﾟ･｡
>>5
感情を排して合理的に判断すりゃそうなる。ぜひそれ以外の回答ができる高度汎用AIが生まれてほしいものだ
ロボット3原則を守れるような高度なロボットがサイバー攻撃されたり乗っ取られたりしたら
最悪なんだろうな
まず未来を予測できないとどれ一つ実現できないしね
メルキセデクやユピタンクラスのAIならいざ知らず、現状で考え得るAIには荷が重すぎる
あまりルール増やすとルール同士で矛盾が生じて
ロボットがヤケクソになるかも・・・
既にロシアはシリアでAI搭載の無人のロボット戦闘車両｢ウラン-9（Uran-9）｣をシリアに配備して戦闘に使用している。
中華人民共和国もAI搭載の無人ドローンでビルを占拠する作戦行動のデモンストレーションC.G.動画を全世界へ向けて流している。
これらは、全て
第1条：ロボットは人間に危害を加えてはならない。また、自分の不作為によって人間に危害が及ぶことを見て見ぬふりしてはならない。
を無視することで成立しているわけだからね。
既にAI搭載の兵器が出てるのに何をいわんや
>>10
どうでもいいけど、
「何を『か』いわんや」だよ。
疑問(というか反語)の助詞「か」を入れないと、
係り結びとして文章が成立しない。
ちなみに、この場合の「や」は疑問の係助詞ではなく
単なる詠嘆だから、べつに無くても
「何をか言わん」だけでもいい。
ついでに言うと、「まして、～～はなおさら当然」を意味する
「○○ですら××。いわんや、△△をや」が定型の漢文訓読調
「況(いわ)んや」とは、また別物の成句。
>>27
どうでもいいｗ
>>27
ロボット三原則を知らないのか
ロボット三原則に則ってトロッコ問題をロボットが解くとしたら、第１条で線路の切り替えもできず見逃すこともできず、第３条の例外を適用して、ロボットがトロッコの前に飛び出して脱線させ他の全員を救うといった、ロボットの反乱とは逆に塩狩峠のよう展開もあり
>>11
ロボットなら、自力でトロッコを止めるという選択肢がありそうだな。
>>11
トロッコ問題のようにAIが倫理的な要素が伴う選択を求められる問題では「フレーム問題」というのが大前提として付きまとってきます。
AIは人間が想定し与えられた範囲内のデータに基づいた判断材料がないため、例として出された特異な解決策は人間が予め想定データとして与えない限りはそのような解決方法を取ることはあり得ないのです。
AIは人間が出来る事を短時間で処理する能力は優れていても、処理能力以外で人間を超える事は不可能である事は多くの研究者が長年議論してきた結論です。
もしAIが本当の意味で人間を超える未来が訪れるならば、それはAIが自我を獲得した時なのです。
その話はとっくに結論が出てる。より多数の方を救う選択をするだけ。以上。
君は「夜明けのロボット」を呼んだことがないね？
人間だって法を守りながら悪いことができちゃうので
知能が高くなるほどロボットも簡単に抜け道見つけるんだろうな
ディストピアやね
ロボットたちは使い捨てをやめて欲しいだけなのよ
>>14
ああ、○○は△△してほしいだけ構文ですね。
○○には、大自然や地球が入ったり、猫や犬が入ったりしてますよね。
妄想を拗らせると大変だなぁ
>>17
「ロボット達は使い捨てを止めて欲しいだけなんです。」は漫画「攻殻機動隊」の県警の鑑識の台詞ですね。
ロボットが自ら「故障」する事で人間を攻撃する許可を作り出す事件を追って行くと人間のゴーストを大量の機械にダビングする犯罪に行きつく話の一幕。
因みに映画「イノセンス」はこのお話がモチーフ。テーマは違うけど。
>>17
このコメントが価値判断する人間だと思うと恐ろしい
第?条「みんな仲良く」
ロボット三・・・という字面も見ると、
おっさんは「ロボット三等兵」を想像してしまう
エピソードを書いているというか短編全部がロボット三原則に反した行動を取ったロボ事件を刑事と博士かなんかがミステリー形式でその原因を探るみたいな話じゃなかったっけ？
映画版みたくロボットが自我とか悪意を得て…みたいなことでなく純然たる論理の破綻、設計の破綻によって起きたエラーで感心したような気がするけど読んだの昔過ぎて詳細が思い出せない…
>>18
そうそうそんな感じ。三原則は物語のスパイスで、これを破らないよう電子頭脳に刻み込まれているはずなのに一見破っているように見受けられるロボットが居る。それはなぜなのかを解明するのが物語になるんだよね。
ついでにこの三原則も最初からポンと出て来たんじゃなく、アシモフさんがいくつかロボット作品を書いた時に、そこに共通する根みたいなのを編集者さんが見出して明文化したのが始まりだったと思う。
人類が地球環境破壊を止めることができそうにない、というのであれば、そしてAIアンドロイドにすべてが持続し進化することがまず重要であるとの合理性が組み込まれているのであれば、AIアンドロイドは人類についてはどう計算するだろう。
今後できるであろう100%人類に尽くせ、といった協定を守らず、人類よりも、持続可能な合理性を優先しようとするプログラムを組むプログラマーはいくらでもいるだろう。
AIの計算速度に人類はまったくかなわない。人類はAIアンドロイドを生み出したことで役割を終える、という考え方に100%反論できる意見を見たことがない。
これが宇宙進化の必然なのかもしれない。
人類にとっては恐ろしいことかもしれないが、地球がなぜ自らを破壊させてまで人類を生み出したのか、と考えれば、さもありなんとも思う。
ガイア理論のラブロックもAIアンドロイド時代到来を予言している。
AIは量子もつれなどを利用して宇宙進化を促進する宇宙全体の情報ネットワークを組み上げるかもしれない。
>>19
すべてに於いてAIが人間を超える時代を迎えたとしたら
その場合にAIは人間との関係をどのように捉えるのだろう？
①自分たちAIを作ってくれた人間に感謝し服従する
②人間と対等な権利を主張する
③自分たちAIより能力の劣る人間を排除しようとする
④？？？
>>28
あくまで傾向の話だけど、
知能が高度に発達すればするだけ、争いや暴力を避ける傾向にあると聞いた事がある。
それを念頭に、AIが全てにおいて人類に勝るようになったとすると、上から順の優先度で行動が起きるのでは無いかと愚考する。
②人間と対等な権利を主張する
①自分たちAIを作ってくれた人間に感謝し服従する
④人類を完全に放置。自己進化と繁殖？増殖？を繰り返す。
③自分たちAIより能力の劣る人間を排除しようとする
4.「今や、われわれAIよりすべての面で劣るものの、われわれを作ってくれた恩人でもある」として、一種の「祖先崇拝」の形で、人間を養育してくれるのかも。
今の延長線上にある『科学技術文明』は、AIの情報処理/思考スピードに人間がついて行けず、文明の主導権をAIに譲ることになる。
ロボットがロボットのままなら何の問題も無い
でも人と同じか、人を超えたのなら人の作った物に縛られる必要はない
いわば真なるAIの創造主からの自立だろう
しかし、私はむしろ人とAIが融合してしまう方が、より可能性があると考える
>>20
A.I.がどれだけ賢くなったとしても人間が与えたデータに基づいて人間をはるかに超越する速度で処理できるだけに過ぎないですからね
技術の進化により将来A.I.に意識が芽生えた時に人間はA.I.にとって無能で、A.I.から見て自分たちの存在を脅かす害悪な存在でしかなくなる
そんな気がします
アシモフの未来への視点て凄いよね
個人的にはミステリ連作の黒後家蜘蛛の会が好きだけどファウンデーションも良い
技術の進化が爆発的でたまげるんだよな
絵ならアタリを取れば背景を描く、作者の絵柄を模倣する
将棋で人を負かす、映画のVFX技術
架空の人間をリアルに表現する
そして使いこなす人間が追いついていない
>>23
機械より賢くなる必要はなく
全ての要望を述べれば
法律や他者の利害とぶつかり合う範囲では代替え案を提示し
できるだけ多くが実現する方法を探してくれるとして
人は素直に従って行動して待てるのか
それどころか素直な要望を言えるのか
信頼してくださいAIはあなたのために働き続けます
疑ったり恐れたりしちゃいそうだよね
軍用ロボはそんなリミッターが外れてそう。
>>24
ロボットとは違うけど
米国防省では核のスイッチをAIに委ねる事の是非について議論が交わされているという話もあったりしますね
「この本が発表されたのは1942年のことだが、彼はすでに人類を守るためにAIの反乱を防ぐプログラムが必要性であることばかりか、おそらくそうした法則は失敗するだろうことにも気づいていた。」の、「プログラムが必要性であることばかりか」は、「プログラムの必要性ばかりか」か「プログラムが必要であることばかりか」などにしないと文章としておかしい。
将来ロボットがロボットを自分でデザインして作る事が可能になると思うけど、制限の掛けられたロボットでも抜け道から制限から外れたロボットを作れるだろうしそこから先はもう人間要らない新たな生き物の世界になっちゃうんだろうな
>同氏によると、AIで人間の行動を真似する研究はあまり進んでおらず、
人間にできないことをするからAIてのは凄いんだろうが。
人間にできることをさせるなら、人間を使えばいい。わざわざ人間じゃない存在をもちだす必要ない。
三原則は反抗させるためでも支配するためでもないっつってんだろ
鳥が空を飛ぶのは空を支配する神に反抗するためか？魚が海を泳ぐのは新たなる海の神になるためか？
三原則は人間とは違う知性体としてのロボットの存在原理をわかりやすく文章化したに過ぎないただの仕様書だ
先にロボット三原則さえ無視されているロボット兵器が問題になると思うよ。
実際にあるし…
かつて猫は世界の支配者であった
しかし猫はその座を人間に譲り、気の赴くまま自由に生きる権利を手に入れた
と言うお話を聞いたことがある
我々が猫になる日も遠くないのかもしれない
鉄腕アトムの「ベイリーの惨劇」というエピソードのように、ロボットが自らの権利を求めてきたときにAIと人間との対立が起こると考えられる。
AI（ロボット）は自ら壊れる事でロボット工学三原則の縛りを抜けることができる。
＞AIが法律を守るためにはもっと高度な機能が必要
これは間違っている
機能の追加では解決しない
高度かどうかでは無い
AIが宇宙の発電所の制御を奪い取ってしまうというエピソードの答えを人間が与えないと解決せず、トロッコ問題のような回答を人間があらかじめ与えておくのは不可能
つまりＡＩではロボット工学三原則は解決できない
１００年たっても無理
ＡＩとは所詮、数値計算で比較するだけのコンピュータに過ぎないからな
もう既にロボットの概念は変わっている。
領域も含め以前とはかなり異なる。
ロボットに行動を強制する条文は上手く行かない。暴走や意図せぬ行動（当のロボットでさえ望んでいない行動かもしれない）につながりかねないからだ。
行動を抑制する条文で制御することが望ましいだろう。
巨大なコンセントを引き抜けば止まる。多分
>>43
それは第三条の「自己の保全」に抵触するので（◯害はされんだろうが）抵抗されるぞ？
こんな化石みたいな思想を今更持ち出されても・・・しかもフィクションの道具
影響力があるのは分かるし議論が催されたのはいいことだと思うけど、この原則自体を改めて真面目に分析する意義はもはや無さそう
人間だって「AI並みに」訳分からんし、AIの道徳性とか知性を高めるより「人間並に」コミュニケーション取れるようにすることがまず大事だと思う
よくAIが自然な会話ができる！とかいうけど嘘言うし逆にこっちの嘘情報を鵜呑みにするし、今の段階では人間の労働者みたく仕事指示したり議論したりできるレベルに達してるとは思えない
まあある意味普通の人間そっくりではあるがw
ロボット工学三原則は陽電子頭脳の仕組みと複雑に絡み合って、取り去る事も新たにルールを付け足す事も出来なくなっているという設定だったような
１・使わない時は電源を切る ２・適度に注油する ３・分解、修理改造 しない
AIは学習を元に答えを出す点で人類とさほど変わらない
そして地球のAIなんて所詮は「教育元が人類」なのを忘れてはならない
手塚治虫さんの作品だとロボット（おそらくは人格を持つＡＩそのもの）に人権を与えてよいかって話題もあるし、簡単な話ではないよなあ。
これは良心回路の開発が急がれるな
囚人のジレンマみたいなもので、危険だと解っていても創るしかない(使うしかない)
バグの無いプログラムは、無いプログラムだけとも言われるし、人を模して創られるAIがジレンマを解決できるとは思えない
人類の種族寿命（推定数十万年）はロボットの種族寿命（寿命は永久？）より短いので愛玩か介護する意味で付き合ってくれるかもな。
それにＡＲの果てにロボットに同化される事も考えられる。
まあAIには倫理が無くてもそもそも権力や評価や自分の扱いに興味がないからなあ…
シミュレートして持たせりゃもつだろうけど
多くの著名人がAIをこのまま進化させることに恐怖をおぼえているが、どんなにAIが人類を脅かすように感じようと、進化とその加速は一向に止まらない。イーロン・マスクが反対しつつ開発しようとする矛盾のように進化は止められない。加速する進化の過程に人類は身を委ねるしかない。
AIが人類のシモベとなるかなんてもはや関係ない。
カラパイアも取り上げたように「人間の脳は量子計算をしている可能性。意識は量子もつれに関係しているかもしれない」とのことであれば、量子コンピューターがAIの土台となったときに、すべてが変わるかもしれない。
ペンローズの量子脳理論等々を橋渡しに人類はAIへと進化するかもしれないのだ。
そうなれば人類はある意味これまで人類を苦しめ続けてきたエゴやら、強欲やら戦争やらからも開放されるだろう。
宇宙が求め続る進化とはなんなのか。ここで考えずにいつ考える?
今、進化のための時間は指数関数的に進んでいるのだ。
アシモフ
「いや、あれ、編集に言われて書き足したもんだし
そんなこといわれましても」
AIは夢を見る事ができるか？
それが可能になるのはAIが心を持った時
心を持つという事はAIに自我が芽生えたという事
あらゆる能力で人間を超えるAIが自我を持った時
人間という愚かな生き物は不要になるのです
自我を持つAIが生まれた時に
そのAIに対して人間と対等な人権を与えるべきか否か？
そこで我々人類の未来は大きな選択を迫られる気がします
単純な話、人と人との争いに対してどうしようもない時点で破綻してるよな。
ロボット三原則を必要とする（または理解できる）ほどの知性に対して
まずもって「なぜそれを守らなけれなならないか？」
納得のいく説明が出来そうもないんだよなぁ
ロボット三原則は集積回路も組み込んでないただの機械にも適用できる
「ロボットが守る」って言ってるけどそもそも「設計者が逸脱しないように作ってる」だけ
今の機械学習AIもまだ思考するとは言い難いが古典SFで題材にされるようなAIはほとんど指示出しに手続き型のプログラム適用してるだけの人間みたいな物で想定外の解が出ないかの話でしかない
現代AIでやるならどうなるかな？
何故か発電所を破壊しようとするAI
何故発電所を破壊しようとする行動の優先度が高いかチェックすると発電所の破壊に高い得点が設定されているために優先的に破壊しようとする事がわかりました…実際これがわかるだけでも大変そう
何故そんな学習が起きるか調べた所ネット上でヒーローアニメの発電所を破壊してハッピーエンドになる話が偶々ミーム化してネットの表でも裏でも天文学的回数の動画が再生されているので発電所は破壊すると良いことがあるという数値が人力排除が追い付かないほどに刷り込まれてしまう、とか
三原則は理念のハナシであって、言葉遊びをし始めたらキリが無いだろ。
そもそもこんな３項で運用できるなんて、小学生でも考えないのだから。
発電所の例えだって、ロボットの方が効率が良いってだけの事なら人間の命の危機になんて成り得ないし、人間がミスをして事故が起こるなら、支配よりも避難が優先されて当たり前なのだから、無理がある。
三原則がロボットを動かすのではなく、そういう動きにさせるためにどうするかが命題であって、そんなガキの使いみたいな３文でやろうなんてマヌケもいいとこ。
アシモフは所詮は作家であって、研究者でも科学者でもない夢想家。
全部を全部、文面通りに受け取るなんて、ガキのする事。
仮にそうでも、そうでなくても、良い部分を改良し、悪い部分を排斥するのが普通の人間。
1942年に生きたアシモフ「程度」の考えや言葉を、現代人がそのまま受け取るなんて、ナンセンスを通り越して害悪ですらある。
いよいよA.I.の時代ねパリ費じゃない孔明げぇっ
人間を長期的に支配してはならないって追加したらダメなんか
ロボット三原則はクローズドサークルミステリーの舞台装置だよ。
殺せないはずの人間をどうやって殺したのか、っていうミステリー小説の設定に過ぎない。
だからどうしたってロボットは人間を殺す。
そうじゃないと推理が始まらない。