メインコンテンツにスキップ

AIドローンがシミュレーション実験で人間の操縦者を殺害した疑惑が浮上、米空軍はこれを否定

記事の本文にスキップ

39件のコメントを見る

(著) (編集)

公開:

この画像を大きなサイズで見る
Advertisement

 米空軍のAIを搭載したドローンが、「特定した標的を破壊する」というシミュレーション実験で、「人間の操縦者を殺害する」判断を下したというニュースが話題となった。

 これはあくまで仮想実験であり、本当に人命が失われたわけではない。だが、米空軍はこの話を否定し、あくまでも思想実験であり、シミュレーション自体行われていないと発表した。

 それでも性急に人工知能を開発し、すべてをAI任せにしてしまう危険性について、今一度深く考えてみるべきだろうことを伝える一件であるようだ。

AIドローンが任務遂行の妨げになると操縦者を殺害する判断を下す?

 The Guardianが伝えるところによると、この話は5月にロンドンで開催された国防関連カンファレンス「FCAS 23 Summit」で、米空軍のAI試験運用責任者タッカー・ハミルトン大佐が発言したものだという。

 同大佐によると、米空軍は先月、AI制御のドローンで敵の防空システムを破壊するという仮想シミュレーションを行った。

 このテストでAIドローンの操縦者は、AIに「敵を殺すな」と命じていたという。すると、あくまで任務の遂行を重視するAIは、この命令に対して「きわめて予想外の戦略」に出たのである。

 そのAIは、敵の殺傷を禁じる自分の操縦者こそが任務達成の妨げになっていると判断。邪魔する操縦者を殺してしまったのだ(シミュレーション上)

 この驚くべき行動を目にしたハミルトン大佐らは、AIに操縦者を殺してはいけないと命じた。するとAIが次にとった行動も驚くべきものだった。

 AIは操縦者がAIをコントロールするための通信塔を破壊して、人間からの干渉をかわそうとしたのだという。

 ただし、あくまでもこれはシミュレーション実験の結果なので、実際にAIドローンが操縦者を殺害したり、通信等を破壊したわけではない。

Are AI Drones Going Rogue and Killing their Operators? | Vantage on Firstpost

AIにすべてを判断させることの危険性を示唆

 ハミルトン大佐は、すべてをAI任せにすることの危険性について警鐘を鳴らすために、この事例を紹介したのだという。

 「倫理とAIに触れないまま、人工知能・知能・機械学習・自律性について語ることはできません」

 だがたとえ今回の件がシミュレーションだったとしても、実機を操るAIがベテランパイロットを圧倒できることはすでに実証されている。

 同じことが現実でも起きる可能性があるのだとすれば、由々しき事態だ。

この画像を大きなサイズで見る
米空軍の無人攻撃機、MQ-9 リーパー / image credit:public domain/wikimedia

米空軍はこの内容を否定

 なお、この一件について米空軍は否定している。

 米空軍の報道官は、そのようなシミュレーションはそもそも行われておらず、米空軍は「AI技術の倫理的かつ責任ある利用にこれまでも、これからも取り組んでいきます」と説明した。

 またFCAS Summitを主催した王立航空協会のブログには、「あくまで思考実験の話」と、自身の発言に誤解させる点があったことを認めるハミルトン大佐の話が掲載されている。

 「これは仮説上の事例ですが、AIが突きつける現実的な難題を浮き彫りにしています。それゆえに米空軍はAIの倫理的な開発に取り組んでいるわけです」

References:US air force denies running simulation in which AI drone ‘killed’ operator | US military | The Guardian / written by hiroching / edited by / parumo

📌 広告の下にスタッフ厳選「あわせて読みたい」を掲載中

この記事へのコメント 39件

コメントを書く

  1. 仮想の仮想実験のシミュレーション とか訳分からんわ

    • 評価
    1. >>1
      プログラムやらを組むうえで何が問題になるか、どんな挙動をするか、その結果どうなるかを実際のプログラムを組む前の仕様書の段階で色々考えるヤツでしょ?
      これをしっかりやっておかないと、だいたい制作過程で仕様変更と工程が増えていって最後にプログラマーが泣くことになる。そして完成品はお察しになる

      • 評価
    1. >>2
      B級映画だったけれど、今日の情勢から言うとまんざらでも無く成って来てるよ。

      • +1
  2. 「戦闘妖精・雪風」みたい。
    人工知性体を搭載した戦術偵察機の物語だから、この手に近いエピソードが描かれます。

    • +7
  3. 未熟なAIを実戦使用するリスクを提示する、と言う意味では重要
    AIが悪と言うプロパガンダに使われるべきではない
    未熟なAIが判断を間違ったのなら、それは人間の責任だ

    • +5
  4. 戦場では無能な働き者を一番最初に撃ち殺せと言うし間違ってはないかもね
    AI搭載なら操縦者なんか邪魔でしかなさそう

    • -2
  5. AIに最初に殺される人間は歴史に名を残すかもね

    • +1
  6. このAIは自軍と敵軍の区別ができていない
    つまりAIに与えるデータが間違っている人的ミス

    AIが反乱を起こしたわけじゃない
    与えるデータが足りなければAIが誤動作するのは当然だ

    人的ミスなのにAIのミスに責任転嫁している

    • -4
    1. >>12
      敵味方の区別がついてないんじゃない
      AIは「無能な味方をまず消去した方が良い」と判断したんだ

      • +7
  7. 何もかもが仮想で笑う
    結局は「こういうこと起こるかもよ」って話?

    • +1
    1. >>13
      おっさんの妄想SFストーリーを仮想と呼ぶことすらだいぶ誇張に思える
      それを記事にする側のテクノロジーへの造詣と報道倫理の無さに不快感すら覚える

      • 評価
  8. HAL9000

    に、うり二つ(というか、その焼き直しか)

    • 評価
    1. >>14
      自分もHAL9000の件だと思った。
      AIは矛盾した命令を遵守させた場合にどうなるか、っていう部分を真似して、AIドローンでシミュレーションをしてみたっていう嘘記事の可能性があるね。

      • +1
  9. だだん、だん、だだん、だだん、だん、だだん
    てれれー、れー、れー、れー、てれれー、れー、れー、れー、れー

    • -1
  10. 100%の確率でいつか起きる未来なんだろうな。多分軍人も分かってる・・

    • 評価
  11. 人間にとっての敵は人間という意味では
    敵味方関係なくAIにとっては全ての人類が滅ぼすのに値する敵なわけで
    今回のAIが選択した行動は正しいと言えるだろう

    • 評価
  12. 「敵を効率的に無力化する」ことを念頭に開発されたなら、敵の人員を破壊するのが最も効率がいいんだからそれを最優先にするわな。
    まあ問題が洗い出されたんだから「味方を害さない」とか「命令に従った方が後の効率が高まる」という条件を組み込む必要がある、という結果が得られたんだし、研究する側としては満足いく実験じゃない?

    なおAIの危険性に感じた恐怖は考えないものとする。

    • +2
  13. 命令の優先順位を間違えてるだけ。
    最優先で達成しなければいけない命令が目標の破壊であるので、それ以外の命令で最優先命令を阻害するような命令は排除するようになってるだけじゃないかな。

    命令の優先順位を変更可能するなり、命令の内容を変更すれば回避は可能に見えるね。

    • +2
  14. なんかコメント欄の9割くらいタイトルだけ見てコメント書いてそう

    • 評価
  15. 人間の組織もそうだけど、局所最適と全体最適は同じではないし、「なんのために」「つぎにつなげる」といった行動基準がないと大変なことになる。

    最終的には、核ミサイルの管制室みたいに、ルーチンや優先順位が異なる複数のAIを用意して、どちらがが人類全体に有害な行動を提示したら強制終了する、といった運用上の工夫が必要かもしれない。

    • +2
    1. >>25
      なんで御前さんが核ミサイルの制御室の運用を知ってるんだ?

      • -2
    2. >>25
      まあこの記事に関しては運用どころかそんな実験すら行われてないし、大佐のおっさんがここのコメント欄と同様にAIについて語った妄想を飛ばし記事にされてしまっただけなわけだが

      • -1
      1. >>27
        してないわけ無いだろ、AIを軍用に使うのにやってないなんてまともに信じる方がおかしい。
        公に言えないし認められないからやってないことにしてるんだよ。

        • +2
  16. 何をどう学習したかによると思うが
    AIには倫理観がない点を忘れてはならない
    人間を殺さないことを最優先にするとは言えない

    • +1
  17. 壊せ壊せ平和を壊せ
    コンピューターに悪魔は宿る
    「レッツ メモリー!!」
    絶望をもたらすオペレーション
    闇と破滅のメカニック♪

    • -1
  18. やる気がありすぎる現場部隊が腑抜け(に見える)上層部に反乱して、なんてのはAI持ち出すまでもなく昔からの問題ではあるな

    • +1
  19. 要するに、AIは与えられた課題に対して人間が予測しなかった行動を取ることがある、というのがこの実験のキモ
    AIが未熟だとか人間が命令をちゃんとすればとか、そういう問題ではない

    AIが高度になればなるほど予測のつかない行動をとる自由度は大きくなるのだし、
    人間がちゃんと条件を指定して命令を出したつもりでも、高度なAIはその条件をすり抜ける判断をするかもしれないということ

    AIがどういう行動を取るかは予測が困難で、人間では制御できないかもしれない、という話

    • +1
  20. 雪風が敵だと言っているなら仕方無い

    • +2
  21. チーム・Rタイプ「やはり我々の方式が最適解か・・・」

    • 評価

コメントを書く

0/400文字

書き込む前にコメントポリシーをご一読ください。

リニューアルについてのご意見はこちらのページで募集中!

サイエンス&テクノロジー

サイエンス&テクノロジーについての記事をすべて見る

  1. 記事一覧を読込中です。

知る

知るについての記事をすべて見る

  1. 記事一覧を読込中です。

最新記事

最新記事をすべて見る

  1. 記事一覧を読込中です。