これはあくまで仮想実験であり、本当に人命が失われたわけではない。だが、米空軍はこの話を否定し、あくまでも思想実験であり、シミュレーション自体行われていないと発表した。
それでも性急に人工知能を開発し、すべてをAI任せにしてしまう危険性について、今一度深く考えてみるべきだろうことを伝える一件であるようだ。
広告
AIドローンが任務遂行の妨げになると操縦者を殺害する判断を下す？
The Guardianが伝えるところによると、この話は5月にロンドンで開催された国防関連カンファレンス「FCAS 23 Summit」で、米空軍のAI試験運用責任者タッカー・ハミルトン大佐が発言したものだという。同大佐によると、米空軍は先月、AI制御のドローンで敵の防空システムを破壊するという仮想シミュレーションを行った。
このテストでAIドローンの操縦者は、AIに「敵を殺すな」と命じていたという。すると、あくまで任務の遂行を重視するAIは、この命令に対して「きわめて予想外の戦略」に出たのである。
そのAIは、敵の殺傷を禁じる自分の操縦者こそが任務達成の妨げになっていると判断。邪魔する操縦者を殺してしまったのだ（シミュレーション上）
この驚くべき行動を目にしたハミルトン大佐らは、AIに操縦者を殺してはいけないと命じた。するとAIが次にとった行動も驚くべきものだった。
AIは操縦者がAIをコントロールするための通信塔を破壊して、人間からの干渉をかわそうとしたのだという。
ただし、あくまでもこれはシミュレーション実験の結果なので、実際にAIドローンが操縦者を殺害したり、通信等を破壊したわけではない。
Are AI Drones Going Rogue and Killing their Operators? | Vantage on Firstpost
AIにすべてを判断させることの危険性を示唆
ハミルトン大佐は、すべてをAI任せにすることの危険性について警鐘を鳴らすために、この事例を紹介したのだという。「倫理とAIに触れないまま、人工知能・知能・機械学習・自律性について語ることはできません」
だがたとえ今回の件がシミュレーションだったとしても、実機を操るAIがベテランパイロットを圧倒できることはすでに実証されている。
同じことが現実でも起きる可能性があるのだとすれば、由々しき事態だ。
米空軍はこの内容を否定
なお、この一件について米空軍は否定している。米空軍の報道官は、そのようなシミュレーションはそもそも行われておらず、米空軍は「AI技術の倫理的かつ責任ある利用にこれまでも、これからも取り組んでいきます」と説明した。
またFCAS Summitを主催した王立航空協会のブログには、「あくまで思考実験の話」と、自身の発言に誤解させる点があったことを認めるハミルトン大佐の話が掲載されている。
「これは仮説上の事例ですが、AIが突きつける現実的な難題を浮き彫りにしています。それゆえに米空軍はAIの倫理的な開発に取り組んでいるわけです」
References:US air force denies running simulation in which AI drone ‘killed’ operator | US military | The Guardian / written by hiroching / edited by / parumo
あわせて読みたい
AIが操縦した戦闘機がドッグファイト（空中戦）で人間のパイロットに勝利
米軍の次世代戦闘機にR2-D2が！？ AI副操縦士を搭載した偵察機の飛行実験（アメリカ）
メタルギアソリッド作戦。本物の兵士がダンボールを使って、軍用AIロボットの目を欺くことに成功
腕に自信のあるゲーマーを募集中。軍事AIロボットの訓練にゲーマーの脳波を利用する試み（米研究）
体内時計をコントロールするインプラントを開発中。米軍兵士の時差ボケ解消に（DARPA）
0
3943
20
45
コメント
1. 匿名処理班
仮想の仮想実験のシミュレーション とか訳分からんわ
2. 匿名処理班
映画「ステルス」
3. 匿名処理班
「戦闘妖精・雪風」みたい。
人工知性体を搭載した戦術偵察機の物語だから、この手に近いエピソードが描かれます。
4. 匿名処理班
「タタカイタク ナイ… 」
5. 匿名処理班
雪風的な話だな。
6. 匿名処理班
ゼロシステムやんけ
7. 匿名処理班
未熟なAIを実戦使用するリスクを提示する、と言う意味では重要
AIが悪と言うプロパガンダに使われるべきではない
未熟なAIが判断を間違ったのなら、それは人間の責任だ
8. 匿名処理班
戦場では無能な働き者を一番最初に撃ち殺せと言うし間違ってはないかもね
ＡＩ搭載なら操縦者なんか邪魔でしかなさそう
9. 匿名処理班
>>2
Ｂ級映画だったけれど、今日の情勢から言うとまんざらでも無く成って来てるよ。
10. 匿名処理班
アシモフのわれはロボットやん
11. 匿名処理班
AIに最初に殺される人間は歴史に名を残すかもね
12. 匿名処理班
このＡＩは自軍と敵軍の区別ができていない
つまりＡＩに与えるデータが間違っている人的ミス
ＡＩが反乱を起こしたわけじゃない
与えるデータが足りなければＡＩが誤動作するのは当然だ
人的ミスなのにＡＩのミスに責任転嫁している
13. 匿名処理班
何もかもが仮想で笑う
結局は「こういうこと起こるかもよ」って話？
14. 匿名処理班
HAL9000
に、うり二つ（というか、その焼き直しか）
15. 匿名処理班
>>13
おっさんの妄想SFストーリーを仮想と呼ぶことすらだいぶ誇張に思える
それを記事にする側のテクノロジーへの造詣と報道倫理の無さに不快感すら覚える
16. 匿名処理班
だだん、だん、だだん、だだん、だん、だだん
てれれー、れー、れー、れー、てれれー、れー、れー、れー、れー
17. 匿名処理班
>>11
アベルさん？
18. 匿名処理班
１００％の確率でいつか起きる未来なんだろうな。多分軍人も分かってる・・
19. 匿名処理班
人間にとっての敵は人間という意味では
敵味方関係なくAIにとっては全ての人類が滅ぼすのに値する敵なわけで
今回のAIが選択した行動は正しいと言えるだろう
20. 匿名処理班
>>12
敵味方の区別がついてないんじゃない
AIは「無能な味方をまず消去した方が良い」と判断したんだ
21. 匿名処理班
「敵を効率的に無力化する」ことを念頭に開発されたなら、敵の人員を破壊するのが最も効率がいいんだからそれを最優先にするわな。
まあ問題が洗い出されたんだから「味方を害さない」とか「命令に従った方が後の効率が高まる」という条件を組み込む必要がある、という結果が得られたんだし、研究する側としては満足いく実験じゃない？
なおAIの危険性に感じた恐怖は考えないものとする。
22. 匿名処理班
命令の優先順位を間違えてるだけ。
最優先で達成しなければいけない命令が目標の破壊であるので、それ以外の命令で最優先命令を阻害するような命令は排除するようになってるだけじゃないかな。
命令の優先順位を変更可能するなり、命令の内容を変更すれば回避は可能に見えるね。
23. 匿名処理班
>>14
自分もHAL9000の件だと思った。
AIは矛盾した命令を遵守させた場合にどうなるか、っていう部分を真似して、AIドローンでシミュレーションをしてみたっていう嘘記事の可能性があるね。
24. 匿名処理班
なんかコメント欄の9割くらいタイトルだけ見てコメント書いてそう
25. 匿名処理班
人間の組織もそうだけど、局所最適と全体最適は同じではないし、「なんのために」「つぎにつなげる」といった行動基準がないと大変なことになる。
最終的には、核ミサイルの管制室みたいに、ルーチンや優先順位が異なる複数のAIを用意して、どちらがが人類全体に有害な行動を提示したら強制終了する、といった運用上の工夫が必要かもしれない。
26. 匿名処理班
>>25
なんで御前さんが核ミサイルの制御室の運用を知ってるんだ？
27. 匿名処理班
>>25
まあこの記事に関しては運用どころかそんな実験すら行われてないし、大佐のおっさんがここのコメント欄と同様にAIについて語った妄想を飛ばし記事にされてしまっただけなわけだが
28. 匿名処理班
>>26
それ以上やめとけ、消されるぞ
29. 匿名処理班
何をどう学習したかによると思うが
AIには倫理観がない点を忘れてはならない
人間を殺さないことを最優先にするとは言えない
30. 匿名処理班
壊せ壊せ平和を壊せ
コンピューターに悪魔は宿る
「レッツ メモリー!!」
絶望をもたらすオペレーション
闇と破滅のメカニック♪
31. 匿名処理班
>>27
してないわけ無いだろ、AIを軍用に使うのにやってないなんてまともに信じる方がおかしい。
公に言えないし認められないからやってないことにしてるんだよ。
32. 匿名処理班
やる気がありすぎる現場部隊が腑抜け（に見える）上層部に反乱して、なんてのはAI持ち出すまでもなく昔からの問題ではあるな
33. 匿名処理班
>>16
デデンデンデデンやろ！
34. 匿名処理班
要するに、AIは与えられた課題に対して人間が予測しなかった行動を取ることがある、というのがこの実験のキモ
AIが未熟だとか人間が命令をちゃんとすればとか、そういう問題ではない
AIが高度になればなるほど予測のつかない行動をとる自由度は大きくなるのだし、
人間がちゃんと条件を指定して命令を出したつもりでも、高度なAIはその条件をすり抜ける判断をするかもしれないということ
AIがどういう行動を取るかは予測が困難で、人間では制御できないかもしれない、という話
35. 匿名処理班
>>1
プログラムやらを組むうえで何が問題になるか、どんな挙動をするか、その結果どうなるかを実際のプログラムを組む前の仕様書の段階で色々考えるヤツでしょ？
これをしっかりやっておかないと、だいたい制作過程で仕様変更と工程が増えていって最後にプログラマーが泣くことになる。そして完成品はお察しになる
36. 匿名処理班
>>35
そうではないw
37. 匿名処理班
>>33
オデンデンデデン♪
38. 匿名処理班
雪風が敵だと言っているなら仕方無い
39. 匿名処理班
チーム・Rタイプ「やはり我々の方式が最適解か・・・」