メインコンテンツにスキップ

AIが誤認。お菓子の袋と銃を間違え無実の10代少年が警察に拘束される

記事の本文にスキップ

55件のコメントを見る

(著) (編集)

公開:

この画像を大きなサイズで見る
Advertisement

 お菓子を食べて友人とおしゃべりしてた10代の少年が、20分後に警官に銃を突きつけられ手錠をかけられる恐ろしい事件が起きた。
 
 アメリカで放課後の高校に武装警官が突入。銃の所持者がいる恐れからパトカー8台が駆けつけ、その銃口が高校生のアレン君を取り囲み手錠をかけられた。
 
 とっさに「死ぬかもしれない」と感じたアレン君。だが、そこにあったのは空っぽのお菓子の袋だけだ。

 安全どころか恐怖をもたらすAI銃探知システムが波紋を呼んでいる。

AI銃検知システムに疑いをかけられた高校生

 事件は2025年10月20日午後7時ごろ、メリーランド州ボルチモア郡のケンウッド・ハイスクールで起きた。

 放課後のサッカー練習後を終え、友人と迎えを待ちながらスナック菓子のドリトスを食べていたタキ・アレン君は、空いた袋を丸めてポケットに入れた。

 すると直後、彼の身に恐ろしい災難が降りかかることとなる。

 その瞬間、同校のAI銃検知システムが、アレン君が「銃を所持している可能性あり」と誤検知。アラートが即座に学校安全部門を経由し、警察へと伝えられた。

AI detection mistakes student’s chips for a weapon

20分後に武装警官に銃を向けられ手錠をかけられる

 午後7時20分、校外にパトカー8台が到着。武装した警官たちが銃を構え、さっきまで友だちと話していたアレン君に歩み寄る。

いきなり「地面に伏せろ!」って言われて。マジで何が起きてるのかわからなかった (タキ・アレン君)

 彼はその場でひざまずかされ、両手を背後に回され、手錠をかけられた。 「その瞬間、本当に『やばい、殺されるかも』って思った」

この画像を大きなサイズで見る
AI銃検知システムの動作(左)と10代の少年が持っていたお菓子の袋/image credit:youtube

「銃に見えるだろ」「チップスだよ」事件後もトラウマに

 身体検査の結果、当然ながら銃など見つからず、現場にはアレン君が食べていたドリトスの袋が残った。

 警官が見せた写真には、袋を両手で持ち、人差し指を伸ばした姿が映っていた。信じがたいことにAIがそれを銃のシルエットと誤認したのだ。

警官に写真を見せられて「これ銃に見えるだろ」って言われた。けど、僕は「いや、ただのチップスだよ」って答えた

内心不安でしょうがなかったし、学校が守ってくれるなんてとても思えなかった。終わった後も、声をかけてくる人なんていなかった。校長含めてね

 ある日いきなりだしぬけに突入してきた武装警官と彼らが構える銃口に囲まれて、死にそうな思いをしたアレン君。

 事件を振り返りながら彼は沈んだ声でこう語る。

もう外に出たくない。チップス食べたり飲み物持ったりしたら、また警官が来るんじゃないか、って思うんだ

この画像を大きなサイズで見る
アレン君が持っていて銃と間違えられたドリトスの袋/image credit:youtube

家族の怒りと高校・警察の対応

 アラン君の祖父、 ラモント・デイビスさんは「16歳の子どもに銃を突きつける必要なんてなかった!」と怒りをあらわにする。

 高校側は翌日、保護者に向けて「安全確保が最優先」とする説明文を送付し、関係した生徒に対するカウンセリングを案内。

 教育長が「非常に不幸な出来事」と述べる一方、警察からの公式謝罪はなく、代わりにこんな声明を出した。

当時の情報に基づき適切に対応した。脅威はなかったと確認したのち、安全に解決した

誤検知によるAIの限界や人種バイアスの懸念

 問題のシステムはバージニア州の新興企業、オムニラート社が開発した銃検知AIだ。

 仕組みは監視カメラの映像を解析し、銃の可能性がある物体を検出すると即座に警報を発するというもの。

この画像を大きなサイズで見る
AI銃検知システムの動作/image credit:youtube

 しかし今回のような誤検知(False Positive)は、人命を守るどころか無実の人間を危険にさらす。しかも過去には実際の銃撃事件を防げなかった事例もあり、精度や有効性に疑問が残る。

この画像を大きなサイズで見る
image credit:youtube

 加えて、監視カメラによる常時モニタリングはプライバシー問題を引き起こし、AIの判断が人種バイアスを助長する懸念も指摘されている。

 標的となったのが黒人のアレン君だったことで、地域メディアも敏感に反応している。

Teen detained after AI system mistakes chips for weapon outside Kenwood High School

「警察を訴えろ!」「この先が怖い」の声

 「ただチップスを食べてただけ。なのに銃を向けられて、手錠までかけられた。こんなの誰にも起きてほしくない」と話すアレン君。

 何もしてない高校生が、突如として学校の監視システムから「銃の所持者」という濡れ衣を着せられ、無実のまま死を覚悟するまで警察に追い詰められた今回の事件。

この画像を大きなサイズで見る
image credit:youtube

 地域メディアやXなどのSNSでも「この袋が銃に見える?」と拡散されている

この画像を大きなサイズで見る
image credit:FOXBaltimore/X

 報道を視聴したユーザーからは、アラン君を気の毒に思い、AIの判断をうのみにした警察やシステムを導入した同校への非難や訴訟を勧める声が相次いた。

 また、AIシステムの信頼性への疑問や人種差別の見解などが巻き起こり、社会的にもさまざまな波紋が広がっている。

  • 彼は一歩間違えば(警察の正当防衛みたいな名目で)殺されたり殴られたかもしれないんだぞ。警察を訴えるべき!
  • 「警察が身の危険と判断した」ってやつを考えたらゾッとする
  • 「プロセスは意図通りだった」だと!?無実の子どもを恐がらせることが?ふざけんな!
  • AI銃検知システムが人間の判断の補完目的で設計されたのなら、なぜ人間のオペレーターがカメラ映像を確認しなかったのか?
  • 彼はお菓子の袋をポイ捨てしないように持っていた。なのに殺されかけるという恐怖
  • ソフトウェアエンジニアだがこのようなツールは非常に危険だ。信頼性を確保するにはデータが不十分。同じアルゴリズムが月を飛行機と誤認したり、車を犬と誤認したりするのを見たことがある。意思決定にまったく適していない
  • 高価なAIモデルだろうと、意思決定の前には厳密な評価が要る。単なる数学に基づく推測なだけで、知性など一切関係ないんだ
  • AI開発者は間もなく多額の訴訟賠償金を支払うことになる
  • 彼が身体的に無事だったのは良かった。もしそのAIが武装ロボットに搭載されていたら…AIは大きな問題になるだろう
  • 人間を学習したAIが人種差別的なのもうなずける
  • 学校は彼に謝罪する義務がある
  • AIは人類にとって必ず無視できない重大な問題になるだろう。今すぐにでも大規模な訴訟を起こし、この問題を制御できるよう働きかけるべき
  • これがエスカレートしたらどうなる?未来を想像してみてよ
  • コンピューターの指示に従っただけ、なんて言い訳は通用しないだろ!

迅速なAI銃検知システムの誤報が命を脅かす

 確かにアメリカでは学校内での銃乱射事件が社会問題となっている。

 同校が安全のために採用したAI銃検知システムは、人間よりも「迅速な対応」が可能だが、その一方で、皮肉にも誤報が命を脅かす、という現実を突きつけることとなった。

この画像を大きなサイズで見る
image credit:youtube

 どれほど便利で先進的なシステムだろうと誤検知ゼロなどまずありえない。

 特に命に関わる銃器を検出する目的ならなおさら、その精度を把握し、状況に応じたプロトコールを作っておく必要があったのではないだろうか?

 人間の代わりにAIを使うシステムは増加の一途をたどっているが、今後は扱う人間側の慎重さや配慮がより問われる時代になりそうだ。

References: Foxbaltimore / Futurism

📌 広告の下にスタッフ厳選「あわせて読みたい」を掲載中

この記事へのコメント 55件

コメントを書く

  1. AIによる検知の結果をよく確認したり、疑ったり出来ないのなら、そこに人間が居る価値がないじゃない…。

    • +105
    1. 実際、この分野に人間の価値はない
      画像のパターン認識についてはだいぶ昔に人間とAIの性能が逆転しており、AIの判定結果に人間のチェックが介入するとむしろ正答率が下がる事がわかってる
      この冤罪事件をきっかけに人間の確認が挟まるようになったら、冤罪件数は逆に跳ね上がると思うよ

      • -22
      1. 少なくともこの件は「動画」で見たら絶対に人間は間違えないと断言できるぞ?
        なぜかというとAIが銃と誤認したのは「銃に見えるような一瞬の切り取られたコマ」を見たからだ。
        動画だとあっこれ銃じゃねえな立体じゃなく平面の包装だもんってなる角度が発生する。
        それがわかんない限り人間とAIの性能は全然逆転してないし人間のチェックが介在すると正答率下がるなんてのはデマもしくはデータを恣意的に曲解した捏造論文の類なんですよ。

        • +18
  2. AIが銃と誤認して警報を出した画像を見たいね

    • +53
  3. アメリカには銃に関してそんなシステム導入するより真っ先にやることがあるだろうに
    まあ暴力と差別をむしろ率先して助長するような政府は市民の命や権利なんてどうでもいいか
    もう民主主義国家じゃないよ

    • +37
    1. でもそれやろうとしたり主張すると社会主義だー表現の自由だー銃の権利だーがアメリカ人だからそんな有権者の結果があの政府ですし・・・

      • +14
  4. アメリカってAIと無関係に「銃を持ってると思った」で警官が一般人を射殺する国だから、この事件を見て「AIが悪い」とは思えない
    AIの言うことを真に受けてろくに確認せずに銃を突きつける警察と、そこら中に銃が存在しているアメリカ社会の問題

    • +46
    1. だからこそ「AIがそう判断したから」で責任感覚が希薄になるのがなおさらヤバい気がする
      事実、公平性や正確性を鑑みずにAIにめんどくさい思考を丸投げしたがってる人間多そうだし

      • +67
    2. いや、明らかにAIがそういうアメリカ社会の問題を助長させてるでしょ
      AIは無罪!みたいに考えるのは流石に思考停止ですね、例えば包丁だって適切に扱わなければ危険なんだから、今後はAIといえども適切なあり方や扱い方を考えないといけない

      • +11
  5. AIがお菓子の空き袋を銃と勘違いした、その時の画像が見て見たい様な気はする。

    • +34
  6. ネイティブアメリカン
    「俺たちもそのセンサー欲しかったわ」

    • +2
  7. これ透明傘でライフルみたいな持ち方してたらやっぱり誤認されるのかね?

    • +14
    1. んなことしたら撃たれても文句言えない国やで?

      • +7
  8. 「お菓子の空袋をポケットに入れて歩くデモ」とか
    開催してみたらどうだろう

    • +9
  9. 取り押さえる手段が穏当ならいいんだけど、銃の場合はお巡りさんも容赦ないだろうからね
    ヒヤリハットの一例だから、いずれは、起こるべきことが、当然に起こるでしょうね

    • +21
  10. google AI もしょっちゅう嘘を吐き出す。
    文言だけ謝罪や訂正してくるけど、全く改善しない。
    イライラさせるだけで不愉快極まりないわ。

    • +17
    1. AIは知識を共有してくれる存在ではなく、人間との会話を学習する存在だってAIが言ってた。だから不確かな情報でも会話を優先するんだって。

      • +6
  11. AI誤認だから責任の所在が無いの草
    便利だから絶対やめないだろこんなん

    • +35
  12. かわいそうに
    PTSDになっちゃったんじゃないか
    「黒人だから」っていうのも絶対あるだろうしな

    • +29
  13. 警官が無能だったってことかな。
    アメリカの警官、ヤバい人多い気がする…

    • 評価
  14. AI「お菓子の袋はわかるよそっちじゃねえよ、左腕の先っぽ辺りに黒い銃持ってるだろ見えねえのかよ」

    • -11
  15. そういや前にチャットGPTと会話してた時に、人間が考え続ける力を維持できるかが鍵だとか言われたわ。これは考えなかった事例なんだろうか?

    • +4
  16. ドライヤーとかでも誤認しそう
    形はお菓子の袋より似てるし

    • +18
  17. お菓子の袋を中指と薬指で、もしくは親指の付け根でつまんで人差し指を伸ばしたら、たまたまお菓子の袋の色・柄と合わせて拳銃と誤認された、って事かもしんないけど、それが事実でも成立する要素として『肌が黒い』が含まれてる可能性があったらそれはそれで正直に言ってもすごい荒れそう。

    • +22
  18. 警察や学校を訴えたところで大した金にはならない
    企業を訴えてみ
    大人の社会の理不尽さを垣間見るいい社会勉強にもなるわ

    • -21
    1. なんかあるとすぐ気軽に「訴えてみ」とか言う奴いるけど、お前訴訟したことあるの?ものすごい手間と時間と金と精神力がかかるんだよ。社会勉強するのはお前だよ。

      • +19
    2. 低評価すごいけどアメリカだしマジメに訴える意味はあると思う、
      近いうちにAI画像認識システムを警察に提供した企業あたりが訴えられたりして
      画像認識に問題あったわけだし

      • +6
  19. 4分程度のボディカム動画がニュースサイトのYouTubeなどで出てきてますけど冷静に進行してる雰囲気ではあるのですね
    そこに居合わせた子らはそれぞれに拘束されてたみたいで生きた心地しないよなあ…「逃げないでくれていてよかったよ 逃げてたら大変なことになるとこだった」的な言葉には、ちょっと展開が異なっていたらと…
    Baltimore County police release body cam of teen beingとかBody cam footage shows police response to false AIとか

    • +4
    1. 現場は出動指令が出たら手順に従ってやるしか無いものな
      今回は手順が不味かったんで直せば良いというか、アメリカってマニュアル主義だからある意味平常運転なのかも
      マニュアルの熟成が進めば飛行機みたいに信頼できる仕組みになるって事か

      • 評価
      1. 警察は直せませんよ
        銃がどこにでもある世界なんですから
        偶発的に銃が使われることも考えて行動しなければならないんですよ
        学校に沢山の警官が出動したのも、そういったことを防ぐ意味があったんだと思います
        それに、高校生なら銃ぐらい扱えて当然と考えなければなりません
        つまり、通報を行った学校に責任があるってことです

        • -2
  20. なにがあったらお菓子の空の袋と銃を誤認するんだよと言いたいな

    • +4
  21. その画像はどこ?
    どうしても別の物に見えてしまう画像ってあるけどそんな感じなのかな
    肉眼ではどうなんだろ

    • +1
  22. 銃に銃に見えないようにする迷彩を施すやつが出てくるだろうな

    • +10
  23. 学校はメンタルケアを全力でやってくれ
    起こったことは取り消せないから

    • +2
  24. なんでまともに動かない段階で導入を急ぐ必要があるんだろうね。まず銃規制しろよ

    • +12
  25. これ、逆に銃をお菓子の袋とか別のものに誤認することもあり得るんじゃなかろうか・・・・せや!ひらめいた!銃をお菓子の袋の柄にペイントすればワンちゃんありそうやで!

    • +4
  26. そういや見た目おもちゃの銃(ナーフとか)はどう反応するんだ?

    • +1
    1. 見た目おもちゃに見えるように改造した実銃もあるのでそんなもん公共の場で振り回すなっていう結論になってるんじゃね?

      • +7
  27. 金があったら弁護士雇ってシステム作った会社と自治体相手に裁判起こす事案なんだけどなあ
    そんなお金ないだろうしなあ

    • +6
  28. AIの認知能力を疑えっていうけども今までアメリカの歴史で警官の目視誤認による誤射で亡くなった人がどんだけいたかって考えると人間の目ではもはや信用低いからAI導入しろってなってこの結果でしょ。
    たった一件の誤認を楯にとってAIを止めろとかいう方が万倍危険だよ。

    • -6
    1. 人間なら間違えるかもと皆思ってるし責任の所在も明確だが、
      AIは機械だから間違えないはずという思い込みを誘発しやすい上に責任の所在が曖昧。
      どう考えても普及した時に危険なのはAIの方。

      それは社会的な意味で危険度が大きいのだということ。
      単純な誤認件数とか正答率みたいな次元の話は誰もしていない。

      • +10
      1. 自動運転の車が事故を起こしたらどこが責任を取るのか、と問題は共通してるよね
        問題点の洗い出しも不十分なままAIが一般的になっちゃった感ある

        • +11
    2. 誤審が相次いだからVAR導入したみたいな話だね。
      AIの正答率の低さと、双方の命に関わる重大問題なんだから短絡的に使うか引っ込めるかじゃなくて一時的に運用を休止してテスト改修の徹底だってありじゃんよ。
      まあアメリカじゃ未だに白人様以外の命なんて塵に等しいんだろうけどな。

      • -2
    3. 銃かどうかを瞬時に判断しなければならない現場ではなく
      現場に移動する間の時間で写真を確認できる余裕があるんですよ
      それでも、どう見ても銃でなくても出動要請に従って行動するしかない状況に
      AIが警官を追い込んでいる方が万倍危険tってことです

      • +2
      1. 実際スワッティングもよくよく考えたらこの通報怪しいよな…ってなるところを
        一分一秒でも対処しないとならないと焦るが故に通報即出動家宅侵入制圧逮捕(射殺も起こる)ってなってしまった体制の不備が背景にあり、スワッティングする側も意図してそれを悪用したのだしね
        人間オンリーの組織でもそうなのにまだまだ未完成な部分の多いAIとかなおさら不味いよ

        • +2
  29. 法整備が追い付かないまま急激にAI技術が世の中に浸透してく流れはもはや止まりようがないし、ただ功罪両面ありそうだぞってだけなんだが

    最近はAI絵飽きたとかそのレベルの話ですら、なぜか「人類の進歩に抗う敵め!」みたいな反応する奴がいるからな
    そういう早くもAIに帰依した信者みたくなってる人たち見てると、人類この先大丈夫かよって思うわ

    • +8
  30. >警官に写真を見せられて「これ銃に見えるだろ」って言われた。けど、僕は「いや、ただのチップスだよ」って答えた
    確認を求める確信のない質問に警官も違うよなって思っていたことは明らかなんだよね
    それでも、実銃だと考えて出動しなければならないわけですよ

    • +2
  31. 「未来世紀ブラジル」だっけ?
    冒頭でコンピューターに読ませるカードにハエが付いてたせいで、テロの犯人とは無関係の男がテロ犯として強制連行されてたな。

    • +1
  32. AIで検知してすぐ出動するまではいいけど
    その間に検知した映像を人の目で確認するだろ普通

    • 評価
  33. こういうときに肝心の「AIが銃を持っていると判断した画像そのもの」が公開されないのはなんでかね。
    人の目であったら絶対間違えないような鮮明な画像だったとしたら管理する人間が仕事をさぼっていたって証拠になっちゃうから出せないのかね。

    • +2

コメントを書く

0/400文字

書き込む前にコメントポリシーをご一読ください。

リニューアルについてのご意見はこちらのページで募集中!

動物・鳥類

動物・鳥類についての記事をすべて見る

  1. 記事一覧を読込中です。

料理・健康・暮らし

料理・健康・暮らしについての記事をすべて見る

  1. 記事一覧を読込中です。

最新記事

最新記事をすべて見る

  1. 記事一覧を読込中です。