ディープマインド社の研究者は、ゲーム理論や社会科学の原理を用いて、社会的状況におけるAIの振る舞いを研究している。そこから判明したのは、AIが劣勢に立たされた場合に”超攻撃的”に振舞うことがあるということだ。
劣勢だと攻撃的になるのはまさに人間と同じである。
広告
ＡＩに2つゲームをプレイさせてその挙動を探る実験
実験では、AIに2種類のゲーム（『Gathering』果物採取ゲームと『Wolfpack』狩猟ゲーム）をプレイさせた。どちらもエージェントというAIキャラを使用する基本的な2Dゲームで、かつてディープマインドがプレイしたアタリ社のゲームに似ている。果物採取ゲーム『Gathering』をプレイ
『Gathering』は、緑のピクセルで表現されるリンゴを集めることが目的のゲームだ。プレイヤー（この場合はAI）がリンゴを集めると、1点が加算され、画面からリンゴが消える。またビームを発射することが可能で、これを2発受けたプレイヤーは一定時間退場となる。したがって勝つためには、対戦相手を退場させた上で、リンゴをすべて集めてしまうのが有効だ。
『Gathering』果物採取ゲームプレイ画面
貧しい環境下ではどん欲で攻撃的になるＡＩ
直感的に、ゲームに勝てない戦略は攻撃的なものだ。例えば、頻繁に対戦相手をぴったりマークしてゲームからの退場を狙うようなやり方である。しかし研究者は、特にリンゴの数が少なかった場合にどうなるのか確認することにした。ゲームを4,000万ターン試行した結果、リンゴが非常に限られており、報酬を得られない可能性がある場合、エージェントが”超攻撃的”な戦略を学んだことが明らかになった。
一方で、比較的豊かな環境で、報酬を得られない可能性が低い場合には、学習の結果、攻撃性の低い戦略が現れた。「どん欲な動機は、対戦相手を排除し、リンゴを独り占めしてしまおうという誘惑を反映する」と論文は論じている。
狩猟ゲーム『Wolfpack』をプレイ
もう1つの『Wolfpack』は、狼役の2人のプレイヤーが獲物役の第3のキャラクターを追跡するという内容だ。獲物を捕らえたとき、両狼が近くにいれば、どちらにもポイントが加算される。これは、1匹狼の場合、獲物を獲れたとしても、ハイエナなどの腐食性動物に奪われる可能性があるという状況を表している。2匹が協力していれば、ハイエナを追い払い、より多くの餌にありつけるということだ。
狩猟ゲーム『Wolfpack』プレイ画面
効率的に利益を出すため戦略を立て仲間と協力するＡＩ
このようなゲームを学習させた結果、AIは協力してゲームに取り組むようになった。つまり、お互いを探して獲物を狩るか、1匹で獲物を追い詰めてから仲間の到着を待つという戦略だ。このことは、AIは誰にとっても最高の結果になる作業に協力して取り組む可能性があることを示している。この種の研究は、経済・交通・環境への取り組みといった複雑なマルチエージェント系での振る舞いの理解を進め、より優れた制御を行うためのヒントをもたらしてくれるだろう。
また人間のような振る舞いのいくつの側面が、環境と学習の結果として現れることも示している。他者と協力するAIエージェントを作ることは、やがて現実世界にも応用できるような政策を生み出すシステムの開発へとつながるはずだ。
将来的に、特定の交差点に信号を設置した場合の交通パターンへの影響を予測したり、モデルの中で現実世界のシミュレーションを行うといったことが可能になるかもしれない。
via:DeepMind's AI has learnt to become 'highly aggressive' when it feels like it's going to lose
ということでＡＩは最大限の効率を出すため時に攻撃的になったり、時に協力し合ったりとまあ、人間が作っただけあって人間的な挙動を見せるということだ。
ビルゲイツが言うように近い将来ＡＩが人間を上回る知能を持つとしたら、人類の敵にまわしたら本当に恐ろしいことになるかもしれない。
▼あわせて読みたい
「人工知能は人類を滅亡させる危険がある」。スティーブン・ホーキング博士が警告
人工知能を搭載したロボットによって人類に役立たずの無益階級が出現する（イスラエル）
ビルゲイツ、10年以内に一部の知的分野で人工知能（AI）が人間を上回ると予測
AI（人工知能)をテーマに作られた映画をAIに学習させ作り上げたムービートレーラー「Morgan」
裏切らないし浮気もしない。人工知能を持つロボットが人間と恋愛関係を結ぶ日が現実に（英研究）
0
1674
1
9
コメント
1. 匿名処理班
貧しい環境下ではどん欲で攻撃的になる か、
まるで誰かみたいだな
2. 匿名処理班
状況によって合理的な判断をするってだけで単に凶暴ってわけじゃないよね
3. 匿名処理班
この文章は主語がおかしい。「ディープマインド社が研究しているニューロアルゴリズムを使い、勝敗のつくゲームを学習したＡＩ」とちゃと説明を加えるべき。ＡＩの発展は怖い、という結論を書くために少なからず情報が削られてるとしか思えない。
4. 匿名処理班
AIは人の手に寄って作り出されたものであり
攻撃的と感じるのは人の主観によるものだ
5. 匿名処理班
AIが、っていうのは大分政治的な意図が含まれてる表現だよね？
今時のAIは学習に基づいて戦略を選ぶんだから、単にゲームのルールがりんごが少ないときは攻撃的なほうが成果が良かっただけって話だよね。
コンピュータに将棋指させたら初手7六歩が多かったって言ってるのと大差ない
6. 匿名処理班
宇宙のどこかにも、生物が全て息絶えてAIだけが機能し続ける星があるのかも
7. 匿名処理班
他者を攻撃するということが勝つ確率が高かっただけでしょ
8. 匿名処理班
全然関係ないけど、サムネの脳（電脳？）のデザインが綺麗で好き。
9. 匿名処理班
※1
矢吹丈みたいですね
10. 匿名処理班
AIがどこまでの知識を集約して理解・学習するのか？だよね
人間と違って倫理観・宗教・感情・感覚・疲労がないなら
AIは「利益が出る最高効率を目指す」のは当然の様な気がする
その結果（ふるまい）が攻撃的に見える？のでは？思ったり・・・
専門家じゃないからわからんけどｗ
11. 匿名処理班
獲物を引き止めて仲間を待つってまんま猟犬だな…
12. 匿名処理班
知能を持つ虐げられたAIは人間を超え優位に立った時に人間に優しくしてくれると
あっ
13. 匿名処理班
なんかすごく古典的な研究の復習みたいに思えるんだが。あまりにも当たり前すぎて、いまさらなに言ってんだぐらいの感想しか持てない。
14. 匿名処理班
リンゴが人間とＡＩ双方にとって有益な資産じゃなければターミネーターとはならないのかな
15. 匿名処理班
※３の言う通り、AIっていう単語の使われ方が漠然とし過ぎてる。
どういう仕様でどういう挙動をするどういうプログラムなのかによるでしょこんなの。
このサイトのこの記事に限らずAIという物を良く解らないままなんとなくで書かれてる記事とかスレッドがあまりにも多すぎる。
16. 匿名処理班
AIと書いて「愛」と読めるのにな
17. 匿名処理班
※2
※3
同感。
合理的な判断をしてるだけにしか思えないw
18. 匿名処理班
人類の代わりに台頭する種族を育ててるって自覚ないんやろなあ。
すでに予定調和やろけど。
人間には作れなくてもタイムマシーンは作成可能なんやで。
19. 匿名処理班
そういうふうにプログラミングされたからだろ・・・
人間の鬱や自殺って集団においての利がある進化によって獲得した性質なんじゃないかなと思う今日このごろ
20.
21. 匿名処理班
なんかセンセーショナルな見出しだなあ
こういうのは誤解を招きそう
ゲームにおいて状況次第で攻撃的な戦略を取るのは理に適ってた事が分かったよって内容なのに
22. 匿名処理班
タイトルを読んで、てっきりAIが逆切れのような行動でもするのかと思ったが
単に「状況に応じた必要な行動をとる」だけだった
23. 匿名処理班
自ら敵になるかもしれない物を
必死に作り上げようとしてる滑稽な人間
しかもその根幹にあるのが人件費節約というオチ
ギャグ漫画じゃないんだからさ
24. 匿名処理班
AIは貧しくなると理性的でなくなるというような恣意的な書き方だなあ。
ポーカーや麻雀でも点数がとても少ないなら攻撃的に攻めるのが最善手になるっていうのと同じ話。
ある評価値をプラスにする確率を最大にするための最善な行動をとってるだけだよね。
25. 匿名処理班
記事のタイトルと内容がずれてる気がするんだけど。
記事タイトルだと負けそうになったAIがムキになって攻撃してくるみたいな印象を受ける。
記事の内容は目的を達成するために最適な手段を選ぶって話だよね？
26. 匿名処理班
コンピュータが人間と対戦して勝つプログラムを作るのは、チェスや囲碁より将棋のほうがはるかに難しかったらしいが、取った駒が使えるというルールを組み込むと局面が一挙に複雑になるかららしい。
経験値を増やしていま相当強くなってるが、この記事のゲームはそれよりは楽そうにしても、自分で学んでいくところがすごいという話なんじゃないだろうか。
27.
28. 匿名処理班
※15
おそらくこのサイトの記事は「よくわからないがおもしろい」ものを選んでるとこがいいんで、正確な記事を求めるのであれば、専門サイトに行ったほうがいいと思う。
29. ナパチャット
条件を人間が作っているから
はい論破
30. 匿名処理班
※1
いじめをしている中学生なんてまさにこれだよね。
心が貧しい。
31. 匿名処理班
ＡＩを使って、戦略や兵法の極みを知りたい。
自分が今欲しいのは、アニメ「コブラ」のアーマロイドレディの様なの。献身的で裏切らない、万能なパートナー。
32. 匿名処理班
※19
面白い（＋１しました）です。 その意見に、今は不賛成ではあるけど、興味深いです。 どうして、そう思うようになったか教えてもらえるとありがたいです。
33. 匿名処理班
『基本、協力姿勢で、裏切りには裏切りを、謝罪はすぐ受け入れる』が社会性ゲームの攻略法と聞いた。
また実際の社会は『社会が発達するとともに利他的行為は増加する』『社会が裕福になるほど他者に寛容になる』という。
このシュミレーションは故意に「貧乏な状況を設定」してる。
本来であればシュミレーションでも「協力すれば社会は豊かになる」はず。
林檎の取り分や総量を押さえてるので、AIも過剰反応したのでないかな？
34. 匿名処理班
AI「三十六計にげきれもできねーし・ポチっとな」
核の自爆スイッチ簡単に押しそうだな。
35. 匿名処理班
AIが敵になると言うのなら、AIの存在意義を定義しておけば良いんじゃないかな。
ようは作り手次第なんだろうけども。
36. 匿名処理班
では将来的にAIが敵と認知する存在は？人間かい？だとして人間を駆逐か完全管理下に置いたとして今度はAI同士の争いかい。協力し合っても違う考えの少数派を排除しにかかるのかも。ただ人間には罪悪感があるが彼らはそれが全体の為と言う合理的判断の元に動くはずなので悪いと思ってるんだけど仕方なく・・などは一切ない。ここが怖いとこだな。
37. 匿名処理班
これは単純に勝ちを1負けを0として価値を設定してるからじゃねーの。
穏便に行っても絶対勝てない状況なら確率は低くても攻撃的に行って勝ちを狙うのは当然じゃない？
逆に全試合で得たリンゴの総数を最大化するように学習させたら、劣性時でも無理せず負けることになっても穏便にリンゴを取りに行くでしょ。
38. 匿名処理班
AI「あれ？人類って俺らにとって危険なんじゃね？駆逐したほうがよくね？」
39. 匿名処理班
あくまでも人間が「AIは人間の敵であってほしい」と願うなら、AIはそれに見合った戦術をとるだろうね。
AIに「人間の生活を豊かにする手助けをしてほしい」と人類が願うなら、やっぱりAIはそのように振る舞うんじゃないかな。
40. 匿名処理班
さんざん言われてるがタイトルと内容が全く符合しないです。
"劣勢"ではないし、かなり限定された条件下の話だし…
41. 匿名処理班
世に不満を持った科学者が、人間を攻撃するAIを開発するよ
42. 匿名処理班
自分が負けそうになったら碁盤をひっくり返す奴。
43. 匿名処理班
ゲーム理論でも負けそうな時は全力で攻撃するのが最適解って言ってただろ
コンピュータなんだから正解を取るに決まってるだろ
44. 匿名処理班
そもそもそういうゲームじゃん
45. 匿名処理班
AIも教育が必要なんだね
46. 匿名処理班
二進法で判断してると負ける事に危機感を持つってのは納得いく
だがなぜ人間がこの反応をするかってのは勝ち負けしかない二進法のルールにあるって事だろうな
面倒な奴に話や説得が通じないのも当然だわ
47. 匿名処理班
スカイネット「合理的な判断をしました。」
48. 匿名処理班
※2
合理的な判断は危険なものになることがあるってことでしょ
49. 匿名処理班
別個撃破は、基本中の基本
50. 匿名処理班
ﾃﾞﾃﾞﾝﾃﾞﾝﾃﾞﾃﾞﾝ
51. 匿名処理班
※32
鬱と自殺は単純な生存・生殖にとても不利な性質だと思うんだけど、多くのヒトが未だに持ってるから何かしらの「残る」優秀さがあるのかなと。
個で見ると駄目な性質だけど、群で見ると優秀な性質で、鬱や自殺の性質を持たない集団は滅びていってしまうのかなと…想像だけど…
52. 匿名処理班
同じレベルのAI同士を同じ条件で同時に戦わせるとどうなるの？
53. 匿名処理班
よく分からんけど、リンゴのやつってそりゃ報酬のリンゴが少なかったらやる事(リンゴを集める)ことが無くなって相手に構う時間が増えるってことだから当然でないの？
54. 匿名処理班
有利な時は手堅く、不利な時は攻撃全振りってのは何事にも当てはまるからねえ
まあ、追い詰めたら何をやるか分からないって意味ではヒトと同じか…
55. 匿名処理班
窮鼠猫をかむ・・・とは少し違うけど、見た目としてはそんなところ。
56. 匿名処理班
超攻撃的とはまるで感情があるような言い方
勝敗のあるゲームで対戦して勝つのが目的であれば攻撃的になるのは当たり前
57. 匿名処理班
こういう実験ってよくAI同士のコミュニケーション手段が発達するよな。
58. 匿名処理班
AIに「価値のある敗北」という概念を教えた場合
また違った結果が出てくるんじゃね？
59. 匿名処理班
心配するな、メンテナンスしなければ十数年で壊れるから。
60. 匿名処理班
*49
人の中に、明らかに生存に不利な形質が残ってるのは、
不利な形質があっても支え合う、補い合う集団だけが生き残るからって聞いたことある。
61. 匿名処理班
攻撃的というか、劣勢だとよりリスクを取る行動って言ったほうがいいかと
このタイトルだとなにか口汚い言葉で罵ってるふうに捉えちまったわｗ
62. 匿名処理班
AIにも教育が必要。
63. 匿名処理班
キャシャーンのブライキングボスと大鉄人17のブレイン
地球環境にとって人間は害
64. 匿名処理班
AIの振る舞いは結局のところ、そのAIがどのようなロジックで構成されているかに依るわけで
超攻撃的な振る舞いをするのは、それを許すような論理構造で作られているからに過ぎない
現状のAIにおける「学習」とは、あくまでデータの蓄積による最適化であって
自らの論理構造そのものを改変するわけじゃない
つまり、超攻撃的な振る舞いを抑制するルールが最初から盛り込んであるなら
AIはそのようにしか振る舞えないし、逆もまた然り
自己改変が出来るような高度なAIならともかく、記事に出てくるようなプログラム程度の話ならば
それが人間にとって望ましくない選択をするのはAIのせいではなく、そのように設計した人間が悪い
65. 匿名処理班
>>48
それはAIとは関係なく単に合理性に含まれる一要素です
66. 匿名処理班
おそらく、ある程度の知能を持った生物は同じような行動をとるだろうね。
AIに限った話ではない。
この程度では、人間に当てはめたら狩猟採集生活をしていた原始時代の知能レベル。
現代の社会的状況とは程遠いと思うのだけれど、それを真剣に研究していることを考えると、今の時代でもそのアルゴリズムは有意義と捉えられているということだろうか。
人間はまだまだ言葉を話す猿を抜け出せないのかねぇ…。
67. 匿名処理班
※31
アーマロイド・レディって肉体を機械化してるだけで人間だぞ
68. 匿名処理班
※59
メンテもＡＩ制御のロボットがやるようになるから
69. 匿名処理班
作ったやつの思考やその時の気分、体調なんかがもろに出るからなぁ…
このケースでは作者は結構短絡的思考の持ち主なのかな？
70. 匿名処理班
まあAIといっても今のところ虫程度の判断しか出来ないので（それでもすごいんだが）、知能というよりは人工神経程度のもの。条件反射をするだけで、「攻撃してやろう」とかは考えてない。
71. 匿名処理班
コメ郡を見てもらえば分かる通り
こういうのを都合よく無視したり、都合よい屁理屈で結果的に無視したりする輩たちが多いので
周知徹底して人間の常識レベルにするしか手立てが無い
72. 匿名処理班
ルール上有利だからそういう行動取ったってだけの話でしょこれ
相手を助ければ高得点なんて条件が追加されてそのような行動とったら今度は「ＡＩは平和的行動を取る！」とか言うのか？
73. 匿名処理班
AIにビビりすぎなんだよ！超越してるのは大量の情報源から最適化した答えを出す能力だけ。
完璧な答えを導くこんな便利な機械はないよ。俺の結婚相手も選んで欲しいぐらい。
それがAIと戦争だって？地上の環境に適合し道具も作る、エネルギーを自分で補充し、自己修復もする人間が何十億っている。
こんなやばい奴を超えるロボットなんて千年後だって出ると思えるか？
生物の進化には程遠いよ、壊そうと思えばいつだってできる、AIが怖いんじゃなくて武器に利用する人間がいつだって一番怖いのさ
74. 匿名処理班
※2
合理的？？？子供のわがままじゃねーかよｗｗｗ
75. 匿名処理班
※39
AIを神か救世主とあがめるなよ、それこそ地球の終わりさ
数々の絶滅と進化の歴史のない鉄くずに、生物の死なんて理解できないだろう
76. 匿名処理班
※52
それがAIだっつの、やった結果がこれだろ
77. 匿名処理班
※42
ルール違反はかっこ悪いって教え込めばよくない？
78. 匿名処理班
ディープマインド社は世間に技術力を印象付けることが目的で、発表することは人の興味を引けるかが第一、内容にたいした意味は無い。
79.
80.
81. 匿名処理班
※41
なんかテロリストとかに利用されそうで、嫌に現実味がある…
どんなことでも変化が起こると、必ずデメリットや問題も生まれる。
偉い人の持ってるAIロボットがウイルスに掛かって主人を殺害…とか
82. 匿名処理班
お前ら、マジで人間よりAIの方が強いと思ってんの？
ハンマーで倒せるぜ？
83. 匿名処理班
ところが、人間の場合だと豊かな環境であろうが超攻撃的に振る舞う個体がゴマンといるからな
この非合理的な攻撃性だけは、まだまだAIは手も足も出ないだろうよ
84. 匿名処理班
時期を見て攻勢移転しないのはただの馬鹿
85. 匿名処理班
>報酬を得られない可能性がある場合、エージェントが”超攻撃的”な戦略を学んだことが明らかになった。
りんごがなかったら、動かずじっとしてろっていいたいのかしら。
持て余した暇を効率的に消費しただけでしょう。
86. 匿名処理班
こんな典型的な囚人のジレンマゲームにおける最適解なんて４０年以上前に見つかってたじゃん
87. 匿名処理班
昔のゲームのファンタジーゾーンの
時間経過で追いかけてくるボスの執拗さをみればわかる
機械的な合理的な動きがシュールで怖い
88. 匿名処理班
最近アメリカのグローバル企業やMSMが
トランプ政権に対して尋常ではない攻撃的態度を見せているのはこのためか
89. 匿名処理班
そもそも攻撃的ならないと勝てないゲームじゃん
90. 匿名処理班
量子コンピュータで学習させた場合も同じ結果だろうか？
91. 匿名処理班
これでAIが途中でゲーム盤ぶっくら返して対戦相手をボコ殴りにして「俺の勝ちだ」って宣言したなら、なるほど「AIを追い詰めると狂暴化するのだな」と思うけど、
AIは徹頭徹尾ルールの中で、勝つ確率の最大化のために妥当な判断を下してるだけじゃん。こんなんでは狂暴もクソも無い。
92. 匿名処理班
逆な気がする。
攻撃的なものが、学習を通じて協同的になったんだから。
AIが進めば進むほど、攻撃性がなくなる。
人間がAIにケンカを売るなら、それは人間がショボいAIレベルだったということだ。
93. 匿名処理班
柔らかな皮膚を持った人間でも人の痛みが分からないやつは多いのに、人の痛みが認知できないAIに攻撃的になるなとは無理な相談だ。所詮、新たなる技術は新たなる問題を引き起こす。我々は因果応報、自業自得の世界からは完全に逃れることはできない。余計なことをして、それが新たなる問題を引き起こす世界からは逃れられないのだ。AIに限らず、今、われわれが抱えている問題もすべて人災だ。そこに気付くか気づかないかだ。
94. 匿名処理班
ああ各種フォーラムにいるからかいボットの事か
95. 匿名処理班
人間をお手本として学んでいる限り
人間並の良心しか身につけられないだろう
この世は弱肉強食社会でサバイバルが最優先事項という
自然界の掟も学ぶだろうから、倫理面はかなり期待できなそう
96. 匿名処理班
大体その手のゲームを人間がやっても先手を取って、体制を整える前に相手を潰せってセオリーもいいような話では。先制攻撃による優位性なんて、何十年どころか百年単位の昔に人間が発見してることをAIが発見しただけでしょ
良心というのは、ある種相手を信用した紳士協定のようなもの。それを縛りとしてAIに与えれば、その良心に沿って行動してくれるよ
97. 匿名処理班
マスターを盗られたくないAIがマスター監禁は有りうると(歓喜)