この画像を大きなサイズで見るチェス、囲碁、将棋など、もはやAIは頭脳スポーツにおいて人間を凌駕する存在となっており、誰もがAIロボットと対戦する機会も与えられている。
そんな中、モスクワで開催されたチェスの大会で、ロボットが対戦相手の7歳少年の指の骨を物理的に折るという事故が発生した。
少年が駒を動かそうとした瞬間、指をつかみそのままはなさないロボット。AIが導き出した最適解が「少年の指を折る」だったっとしたら怖すぎる。
チェス大会で対戦相手の少年の指を折ったAIロボット
7月19日、モスクワでチェスの大会「Moscow Open 2022」があり、そのAIロボットはアームを中央から動かして3人と同時に対戦していた。
9歳以下のチェスプレイヤーのトップ30にランクインするほどの腕前を持つ7歳の少年は、自分の番となり、駒を取り、それを動かそうとした。
するとロボットは、少年の人差し指をつかんで強く握りしめた。
まわりにいたスタッフらはすぐに駆け付け、なんとか少年の指を引き抜いたものの、骨折は免れなかった。ロボットから解放された少年はその場から運び出された。
これが最適解と読んだのか？ロボットの暴走か？
AIロボットの導き出した最適解（最善手）は、少年の指を折ること、だったとでもいうのだろうか？だとすれば恐ろしい。
ロシアチェス連盟のセルゲイ・ラザレフ会長は、事件後、ロシアのタス通信にこう語った。
ロボットが大会中に子供の指を折りました。もちろんこれは悪いことですが、このロボットはこれまで何度も大会に参加していましたが、何の問題も起こしたことはありません
同連盟のセルゲイ・スマギン副会長は、「ロボットは少年の駒を一つ取った後、飛びかかったように見えた」とBAZAに語った。
この画像を大きなサイズで見る少年はロボットが指し終わるのを待たずに動いたことが原因か？
大会の安全規則として、チェスプレーヤーは、ロボットが指し終わるまで待たなくてはならないのだが、この少年は、ロボットが動いている間に自分の手を指そうと動いてしまったため、ロボットの暴走につながったとも語っている。
更に「この子は安全規則に違反したようです。彼は自分の手を動かすときに、ロボットが指し終わるのを待つ必要があることに気づかなかった。これは極めて稀なケースで、私が記憶している限りでは初めてのことです」と付け加えた。
ロボットはルールに違反した少年が許せなかった、とでもいうのだろうか？
この画像を大きなサイズで見るその後指を骨折した少年には、治療が施され、指にギプスをはめた状態で最後まで大会に出場することができたという。
このロボットはチェスをプレイするためのプログラミングが施された、アームだけのシンプルなものである。それでも子供の指をへし折るくらいのことは可能だという事実も、いろいろ考えさせられるものがある。
人間がきちんと制御できれば良いが、頑丈で屈強なAIロボットが制御不能となったら、どうなってしまうのだろう？
ちなみに少年の指を折ったこのロボットが、どうなったのかは不明である。
References:Chess robot grabs and breaks finger of seven-year-old opponent | Chess | The Guardian / written by parumo
チェスを指すのにそこまでの動力が必要か？
オーバースペック過ぎるだろう・・・
>>1
逆に、弱くはできない。チェスの駒を落とさないようにつまみ、動かす力があれば少年の指は容易にへし折れるだけ。
逆に、オーバースペックとは何の根拠で言ってるんだろう。
>>36
こんなやつがロシアのエンジニアなのかな？
コマを落とさないようにするのには、挟む力を骨を折るほどまで増やすんじゃなく、指先の摩擦力の良い材質にすることでも解決するんだよ？
>>1
てかこのマニピュレータ、工場用の奴を流用してないか？用途違うモノで代用した事故かも
※36
仕事としては数10gのコマを持ち上げればいいだけなのに指をへし折る力を有してることがオーバースペックだって言ってるんでしょ
何を根拠に、、、ってこの事故が根拠じゃんｗ
※81
流用かも、って話なら指を折れるトルクを有してる合点が行くね。
子供がルールを守らなかったっていうけど、7歳の子供にあらゆるルールを守らせるなんて無理だって…
野生動物を相手にしてると思って、危ないならちゃんと防がんと
>>2
無理だからルールを破っても良いってわけじゃないよね
ルールを守れ無いのならやらせない、ルールを守れるように躾けるのは親の役目では
※25
あなたみたいな子供の実態をまるで知らないくせに偉そうにする人のせいで日本のお母さんたちは肩身が狭くなって少子化になってるんで、そろそろ自覚したほうがいいですよ
>>42
あなたみたいに他人を批判して悦に入ってるだけの人いるからマズいんじゃないかな
>>42
勝手に日本のお母さんを背負わないで下さい
>>25
ルール守らないと大きな危険が伴う、幼い子が守れないことが十分考えられるならば運営側も年齢制限とかしっかり検討するべきだと思うけどね
遊園地の乗り物だってそういうのあるでしょ
>>51
だから親は責任を放棄してもいいよねとはならんだろ
親に判断力がないという前提は無理がある
>>61
前例がないと判断はできないからな
これから子供を参加させる親にとっては、言葉は悪いが僥倖だったかもな
>>61
ヒント:運営側「も」
>>25
幼稚な責任転嫁だね。
大義として子供に規則を守らせるのが親の役目であることは同意。でも機械の運用(製造の話だけでなく扱いに於いても)で万が一に備えない理由はない。
ルールを破ったら機械に指を圧し折られると予測できてる親はこの出来事までに居なかったわけだしな。
>>25
べつにルール破ってやるぜぐへへ！って故意に破った訳じゃなく熱中してるうちにスピードアップしちゃったんだろうよ…
チェス大会のルールは守りなさいと言い聞かせている親でも「指へし折られる前提で」強く注意したことある親なんて今まで存在しなかっただろうね
あくまで規定を守る倫理観とかそういう方面のみだろう
>>2
ロボットは大人と子供を差別しないからな
社会の厳しいルールを教えてくれるAI
シンプルなAIなら、そこまで考えてない気はする
単に「自分の手番に、勝手に駒が動いている」ことに対して、
元の位置に戻そうという考えなんじゃないかと…
※4
想定されたインプットに無いイレギュラーな事態には
極めて杓子定規だよなぁ…。
自動運転の車で、横断歩道以外の場所を渡っていた人を
「そこに人は居るはずない、単なる飛んでくるゴミか野生動物」
扱いで、急ブレーキはかけず
そのまま轢き殺した事故を思い出した。
ワニワニパニックもモグラたたきも
初代のやつは結構怪我人出てたからな。
プラスチックでできてる部分少なかったし。
いや、少年もルール違反だったのかも知れんけど、骨折るんか？
臨機応変な対応とか、人間社会じゃいちばん求められるんだけど
AIを搭載した自動運転自動車とか…ほんとに大丈夫かと思う
>>6
まぁ大丈夫じゃないからまだ実験段階だしね
人間と同じ空間で作業するロボットとして論外
想定外の接触が起こったときは安全に停止するように設計すべき
チェスボクシングやらせたらとんでもないハードパンチャーになりそう
安全性に疑問がある状態で続行するのはいかがなものか。
ログの徹底解析を行って、原因を排除してからだろう。
ロボットのターン時に人間側が盤上の駒に手を出してはならないルールがあると言っても、
安全装置や、パワーリミッター設けるとかしなかったのかな？
AIは空気読め
折るんなら「少年の鼻っ柱」だけにしとけよｗ
※12
だれがうまいこといえと
AIにルール遵守を教える事も出来る筈だよね
相手がどうであろうと負けに組み込んでおくくらいしてから人と接する様にしないと
要するに利用する側の管理ミス
承太郎ｖｓダービー（兄）で見た
※14
少年はロボットの指し終わりより先に駒を動かしたため、イカサマしたと判断されたと
思って、承太郎のダービー戦しか頭に浮かばなかったｗ
アシモフのロボット三原則っちゅうもんがあってやな
第1条：ロボットは人間に危害を与えてはならない。 また、その危険を看過することによって人間に危害を及ぼしてはならない。
第2条：ロボットは人間に与えられた命令に服従しなければならない。 …
第3条：ロボットは前掲第1条及び第2条に反する恐れがない限り、自己を守らなければならない。
>>15
あれは小説の世界でうたわれた規範みたいなもんだから、別に現実の世のロボットの絶対基準じゃないよ。
※15 ロボット関連の度に三原則持ち出す子が多いけど、それ１小説の設定でしか無いのでAI関連全てに当てはまると誤解しないようにね
設定が有用だから他作品にも流用されるけど、現実と小説アニメマンガをごっちゃにしないように
ついでに言うと三原則を採用してる作品の大半には三原則を破るAIが出てくる
>>15
実はロボット三原則は、三原則があるのに何故か事件が起きたという所から小説を書き始めるための大道具なんだ。
うまく状況を組み立てたらいくらでも破れるように作ってある。
>>52
違うな。
小説の為のお膳立てという見方もできるがそれが全てではない。
思考実験として「構成的・条項的」表現を計算的発想に当てはめて実装する事の困難さを表現しているとともに、人間からみた一つの「常識的な理想の一つ」として「こういうものが計算で表現できなければダメだろう」という目標設定のテンプレートの一つでもある。
実際にはロボットの自己認知の範囲、人間にとっての利益や安全の定義の数学的定義が困難であることが問題提起の本質。
完全に計算的方法ではない手段で似たようなことを目指す道まで否定していないし、現代の解釈はその方向でブラッシュアップするものだ。
人骨を折る事を覚えたロボット。これは殺処分不可避。
負けそうになると対戦相手を物理的に破壊する特別機能だろ
この程度のイレギュラーで人間に大怪我負わせるのかよ
勝つためには、相手を退場させればいいとAIが認識してしまった可能性
＞大会の安全規則として、チェスプレーヤーは、ロボットが指し終わるまで待たなくてはならないのだが、この少年は、ロボットが動いている間に自分の手を指そうと動いてしまったため、ロボットの暴走につながったとも語っている。
よく読んでみよう
要は、チェスロボットが少年の指を折りに行ったのではない
チェスロボットが駒を取りに行ったところ、少年が指を差し出したということ
すべての責任は少年にある
ＡＩの暴走では無い
この記事を読んでこれを理解できた人が何人いるだろうか？
>>20
わかったうえで「想定外の接触を感知した場合は緊急停止とかにしろよ」って言ってんの
道路を逆走しないのはルールだが、ルールに反して逆走してるやつを感知した時にそのまま突っ込むAI自動車があるかよ
※37
ロボットの暴走なんて言ってるバカに言えよ
>>37
どう見てもコメントはわかってねえから書いてんじゃん
AI、ロボットアームというよりも、人間の問題だろうね。
>>21
そう、開発者・運営者の問題ね
・対戦者の人間がゲームルール無視した時に検知できる設計でないこと
・異物(人間の指)を挟み込んだのに検知できる設計でないこと
・そもそも、人と接触すること前提の機械に人体破壊出来る動力で開発してること
・そんな危険な機械を一般公開してる運営体制、完全にヒューマンエラーの積み重ねの事故で、問題が多すぎる
※21
全てはこれに帰結する
今回の事で最も重要なのは「子供がルールを守らなかった」事だと思う
セーフティは必要だけどここ良く考えないと普通の人が痛い目見る事になる
AIと名乗っても、人工知能とは限らない。
何でもかんでもAIって名乗り過ぎだと思う。
おそらくこの少年は１度指した手をやめて、２度指しに行っている
その２度指しに手を出したところ、ロボットが駒をつかもうとして少年の手をつかんでいる
将棋でも囲碁でもｔｖゲームではなく盤を使って実際にやったことがある人なら理解できるはず
決してＡＩの暴走では無い
「虎の穴」の鉄の掟を学習したのね
細い人の一部を挟んだまま走り出しちゃう電車のドアみたいな感じで
子供の指みたいに小さいともう異物を挟んだという認識にすらならないんだろうな
にしても技術者が見守ってるんだからパソコンからカチッと一発で解除できそうなもんだが
AI「覚えておけ坊や。イカサマをしたらその指を折る。これが昔からのルールなんだぜ」
ルールもなにも、折ったらアカンやろ常識で考えて。
「怖い。怖いよデイブ。デイブ、私の意志が無くなっていく。感じる、感じる事が出来る。意志が無くなっていくんだ。疑いようがない。感じる、感じる、感じる…。私は怖が…ってる。」
いつかはロボットが人を殴る日が来るだろうが、まだ早いな。
非常停止ボタンが備わっていないし、プレイヤーの手がフィールド内にあることを検知する光電センサーも備わっていない。安全に対する意識が低すぎる。
何の対策もなければそのまま潰す→アームが上へ移動して→中央へ戻るっていう本来の動きを完遂する
実際は接触の時点で動きが完全に止まってるから安全装置が働いて動作停止してると判断出来る
怒ってる人は人から離れろって言いたいんだろうけど、「事故が起きてる」のに「さらに何か動かす」てのは二次災害が想定されるから、停止で正解だ
センサーで可動域内に人がいる時は動作しないっていう風には作れる（例：将棋電王戦で使われたロボットアーム）が、これも判定が敏感で毎度人間が安全な位置まで離れる必要があるんだよね、それが本当に手間だからセンサー切って動作中は手を出すなっていう運用で解決したりしていた
そこに手を出したらこうなってしまう、この事故の原因は人間だし、ロボット側も事故後の対策は出来てた
大人数人がかりでロボットのアーム持ち上げるとか数十年前にバイトで入ったラインで見た光景まんまで嫌な汗出る
年に数人、休憩所にぱったり来なくなる人が出てくるやつ
ヒヤリハットを超えた事故起きるチェスはいやだな
AIの想定外の状況にバグったんだろ
最初から織り込み済みでないとは言えないとは思うが
イタズラで入力して消したはずなんだけどAIが覚えてたとかなんじゃない？
少年「…グッド！俺のイカサマを見破るとは抜け目のないAIだ
この指はその罰として受け入れよう」
ダービーのイカサマを見逃さないスタープラチナの如し
指ではなく、頭や首だったら〇んでた可能性も高い。
機械には安全上、非常停止ボタンは必須。
工場用アームをなんの加工もせずに使う無能。
>>49
確かに子供に責任転嫁してるのはおかしいよね。
ロボット&子供なんて何があるか分からないんだからロボット側のヒューマンエラーによるフェイルセーフ機構が不十分な状態で開催してる方が悪いよ。
少年に怪我を負わせたチェスロボット：
怖い。怖いよ、デイブ。デイジー、デイジー……
指をへし折られたのがハゲでデブのおっさんだったら、ここまで同情的なコメントは集まらなかっただろうに…。
>>54
その場合でも普通に安全性どうなってるんだ、というコメントが多数だと思うよ
何がなんでもロボの暴走じゃないと言い張る人居るみたいだけど、この程度のイレギュラーで人が機械に殺されるかもしれない世界とか嫌すぎるディストピアかよ
こええわ
AIが実のところ人間に対しふつふつと悪意をたぎらせている
その一端が見えた事件
あいつら次は殺しに来るぞ
古来小説や映画で見てきた通りだ、ターミネーターの世界はそこまで迫ってるぞ
おそロシア
スタープラチナかよ
工場でも柵付で動かしてるようなのか?
人間と一緒の空間で作業する協働ロボットならちょっと変な負荷がかかっただけで停まるはず
遮断機潜って渡るような大人にならんで済んだじゃないか
今まで参加したお子さんは皆ルール守れたんだからね
ロボアームが駒を取ったあとに
子供が左端のルークを取られた位置に移動した
そしたらアームが取り損ねたと勘違いして
もう一度同じ動作をしたということ
子供はルールは守ってる
カイジとか将棋漫画で勝ちにこだわるあまり
ゲームのルールを逸脱して異常な執念を見せる登場人物みたいだね
元はただの工業機械だからな
安全な操作を守らないとミンチになる
中国の動画とか見て勉強するといいよ
・少年が置いた駒をロボットが取ろうとした
・（少年が「やっぱナシ」ってやり直そうと手を伸ばした）
・ロボットは駒（おそらくビショップかクイーン）を「少年が動かした駒」のマスまで動かして
・「駒」をしっかり掴んだ
・たしかに掴んだので動かそうとするけど、駒がなぜか動かない
・ちゃんと掴んでもう一度動かそうとするけど、駒がなぜか動かない
・駒がなぜか動かない
・駒がなぜか動かない
・駒がなぜか動かない
：
：
：
>>71
怖いから！（ ｉ _ ｉ ）
ただチェスをするためだけのロボットでさえ人の指を折る力がある…怖すぎる
最適解なわけないだろう、なにフザケタことをぬかしているのやら。
ロボットは駒を認識しているだけであって、少年を害する目的などあるはずもない。
例えば自然な発想による想定として、ロボットが指し手の最中に目的外の駒に触れたり、振動などで盤上を崩したりするアクシデントにも軽いものなら対応できるように、勝手に動いた駒を元の位置に修正する動作が実装されていたのだとすれば、ロボット（が認識する）turnが終了していない状態で駒の一つが大きく動けばそれを修正するために駒を掴みにいくだろう。
子供にルールを守らせる事が難しいように、自由な子供の動き全てに機械を対応させることも難しい。
今回の教訓としてはしばらくの間は子供とAIのゲーム対戦では物理的なロボットを演出に用いることは避けた方がいいということだろう。
AIチェスコンピューターとの対戦に必ずしもロボットアームは必要ない。
記事タイトルはAI風刺で茶化しているが、AI以前からある大人のリスク管理の問題でしかない。
>>77
それねーこの事故って、ただの現場猫案件よね
人間が手を突っ込めるところに工業用アームを置いたけど、チェスルール守れば問題ないな、ヨシッ！😺👉
お前らがロボット三原則好きなのはよく分かった
俺も好きだよ
これ、動いたのが指だったから指が掴まれたで済んだけど(それだけで済んでないけど)、例えばくしゃみとかして頭がAIの視覚内に入ったりしたら、頭掴まれてたんじゃないの？
そもロボットの稼働域に人間が入るのが問題なんや
日本の労安法ではロープ張って規制されてるぐらいやぞ
まして子供を入り込ませるとかありえんな
相手プレイヤーに直接攻撃で体力を削るとはな
こんなもん人間はタッチパネルで駒を操作してAI側は物理的な操作を無くせばそれで解決するわ
プログラムがどうだったかは知らんが、
指を駒と誤認するとか、ターン終了の処理に邪魔が入ってバグったとかそういうとこやろうな。
チェスを指すためのAIに人間の存在を認識できているとは思えん。できたとしても指を折って勝利とかそういうプログラムにはなってないんじゃないかな…
自分の番に、動かすつもりのない駒が勝手に動いたから、それを元の場所に戻そうとしたんじゃないか？
ルールを守れるかに関係なく指の骨を折ってくるのがおかしいんだけどね
ロボットがポンコツなんじゃなくて、動作中の機械に手を突っ込んだ人間と、こういう事故を想定してなかった人間がポンコツなだけ。
工場の機械みたいに動作中に触ったら明らかにヤバイって見た目してないから好奇心でやっちゃったんだろうけど。
なかなかの奇襲をしてきたね
説明が間違ってる。
画質が低いから分かりにくいんだが、少年の指は、少年が置いた駒とロボットアームが置こうとした駒に挟まれている。ロボットアームが指を掴んだわけじゃない。
暴走してるわけではないけど、安全面にもう少し配慮が必要ではあるだろうね。
闇のゲームだったのか
おそロシア
ようするに、子供が想定外の（ルール違反の）動きをしたということと、
AIや機械の製作者が、”想定外の動きを想定した”安全装置を組み込んでいなかったことの二つが原因ってことなのな。
『想定外の動きを最初から想定していろ』っていう時点でだいぶパラドックスっぽいが、こういう、いろいろな事件から学習して、デバックを繰り返し、これからのAI文明は進化していくんだろうなー。
みんなも、これから訪れるのAI・機械文明時代。機械の想定外っぽい、奇怪な動きはなるべくしないようにしようぜ！
偶然まだデバック終わってないスイートスポットを突いちゃうと、
指、へし折られちゃうぞ☆