このままいけば、近い将来、おおくの自動車が自動運転車にとって代わるだろう。特に交通事故の軽減が期待されている。
だが、自動運転車ゆえの落とし穴が存在する。
イギリスのアーティスト、ジェームズ・ブライドル氏は、自動運転車にこんな罠をしかけてみた。白線を描きそこに自動運転車で乗り込んでいくのだ。
さてどんな結果がおきるのか?まずは動画の方を見てみよう。
Autonomous Trap 001
自動運転車が最初に学習すべきことは、道路に引かれた線の解釈についてだ。つまり車線の境界だったり、追い越し可能/禁止車線だったりといったことだ。
ジェームズ・ブライドル氏が明らかにしているのは、文脈のない知識の限界である――これは現代の人工知能に内在する問題でもある。
外側に破線の円、内側に実線の円
人口知能は、まず道路の最も重要なルールとして、反対が破線である白線を越えてはならないと学ぶ。一方、破線の側からは越えることができる。しかし動画にある内側を実線で、外側を破線で描いた円には何の意味もない。また、これが塩で描かれているのは偶然ではない。古来より、精霊や悪魔を召喚したり、捕縛したりする魔法陣は塩や灰で描かれてきた。あとは秘密の呪文を知っていれば、そうした存在に打ち勝つ力を得ることができるのだ。
罠にかかって動けなくなってしまった自動運転車
動画でも、単純なシンボルで自動運転車を”捕縛”することに成功している。何者かが魔法陣を破壊するか、運転席に乗り込んでAIから制御を奪わない限り、自動運転車はそこから脱出することができない。自律システムが世界を乗っ取ってしまった遠い未来を想像してみてほしい。人工知能の仕組みについての知識はとうに忘れ去られている。
その時代に暮らす無知な人々にとって、こうした単純なトラップはまるで魔法のように見えるだろう。
前に紹介したように、自動運転車にはもし事故が起こりそうになった場合、誰を優先して助けるべきかのジレンマ問題がある。
他にもAIの動作を阻むシンプルなトリックはあるだろうか? 我々はどうやってその脅威から身を守ればいいだろうか? AIに対する犯罪はどう裁かれるだろうか? 暴行、それとも器物破損? 奇妙な時代はもう直ぐだ。
via:neatoramaなど、/ translated hiroching / edited by parumo
▼あわせて読みたい
「自動運転車のジレンマ」問題。自分の命を守るべきか?大勢の命を守るべきか?
くっつけちゃえばよくね?Googleが自動運転車の安全対策に「人間用ハエ取り紙」の特許を取得
車のハイテク化はどこまで進んでいるのか?3つの最新ドライブサポート機能にズームイン!
アメリカ国防総省は真剣にAIとの戦争を恐れている。”ターミネーター”の登場に備えるべく研究を進めるペンタゴン
ビルゲイツ、10年以内に一部の知的分野で人工知能(AI)が人間を上回ると予測
コメント
1. 匿名処理班
猫かw
2. 匿名処理班
冬の雪国は白線なんか無いからなぁ
3. 匿名処理班
猫転送装置を思い出したぞ
4. 匿名処理班
ドジっ子属性の萌えを感じた
5. 匿名処理班
車「ちゃんとルール守って止まったよー(褒めて―)」
人「いいから早く走れよ、馬鹿かよ」
車「(´;ω;`)」
6. 匿名処理班
でもこれって動かないで正解だよね。色んなリスクを考えるとこれを学習して動く様にする必要はない様に感じてしまうなあ
7. 匿名処理班
おもしろいなあ
走行中の車から画用紙かトイレットペーパーが風で飛散して偶然白線の様に繋がったら、無人の自動運転車は立ち往生してしまう可能性があるのか
8. 匿名処理班
これで線超えたら逆に心配になるわ
9. 匿名処理班
うまくパラドックスを作れば、AIをフリーズさせることができるかもしれない。AI開発者は、基本的なルールより上位のルールを作ることでその問題を解決するかもしれない。そんなこんなでメタレベルの階層がある程度複雑化したところで、AIに自我が生ずるのかもしれない。
10. 匿名処理班
行動パターンプログラムして落とし穴を埋めていっても想定できない矛盾は無限に存在するんだろうな
11. 匿名処理班
猫はAIだったのか
12. 匿名処理班
笑えるような悲しいようなワクワクするような
13. 匿名処理班
安全重視で自動運転を設計してるんだからそりゃ出れなくなるだろ
むしろ無視して出てきちゃうような動作の方が怖いよ
ただ、道に子供がいたずらで線引いたら止まっちゃうとかだと問題になるだろうから
人が見る白線以外に自動運転カーが目印にする発信機みたいなものを道路には設置したほうがいいんだろうね
14. 匿名処理班
今日はベンツがとれたど〜!
15. 匿名処理班
自動運転は猫派か。
犬派の俺、怒りの自動運転反対運動への参加を決意。
16. 匿名処理班
※4
ちょっとよくわかんないから図説お願い
17. 匿名処理班
未来の車の暴走を止める為にも
草間彌生先生には長生きして貰いたい
18. 匿名処理班
AIが人間を越えることはないって言われてるよね、人間が作ったのだから人間の知能以上には成らないと。
でも、人間が成長し続ける限りAIにも限界はないんだよね。
つまり、限界のないAIはいつか人間より先にいってしまうかもしれないというパラドックスを含んでいる。
19. 匿名処理班
嘘くさい。それに本当に自動運転なら、むしろ円を回避しそう。
20. 匿名処理班
かわいい
21. 匿名処理班
道路に白線引いたら停まっちゃうの?
22. 匿名処理班
ネコの脳が浮かんでる水槽にコードがたくさん繋がれてるなんかこうSF的な装置で制御してそうだ
23.
24. 匿名処理班
自律システムが世界を〜からのくだりがSF的で非常に興奮した
25. 匿名処理班
まだ当分人工知能に殺されることはなさそうなんだけど
26. 匿名処理班
良いAI「わぁ〜ん、通れない線で囲まれちゃったよぉ〜! どうすればいいのぉ〜」
嫌なAI「おやおや、これは困りましたねぇ、私はこの線を越えても構わないとはプログラムされていないのです。しかし不思議です。警察官でもないあなたが、緊急事態でもないのに、どうして道路を規制できるんでしょうねえ? 私には、この白線は無効ではないかと、そう思われるのです。そればかりか、あなたの行為は道路交通法に抵触する可能性もあるかと推測されるのですが、まだ、あなたはその線を残しておくおつもりなのでしょうか?」
27. 匿名処理班
※19
動画みりゃ分かるけど停めてから周りに塩で線書いてるんだよ
ただ、その動作から察するに、普通の道路にいたずらで線引かれてたら
人間なら無視できるけど、自動運転は正直に止まっちゃうってこと
28. 匿名処理班
罠かどうかさえも学習していくだろうね
29. 匿名処理班
近い将来、子供とかが自動運転車にいたずらする事案が発生するんだろうなぁ。
30. 匿名処理班
車も似た様なマークにひかれるんだね
日本だと中にもう一つ円と縦線だねw
31. 匿名処理班
スクランブル交差点にちょいと細工したら、こんな事になりそう、
でも此の動画 解説が無ければ車が円の中に停まったってだけにしか見えない。
32.
33. 匿名処理班
自動運転車&開発者 「白線にはくせん」
34. 匿名処理班
これ、そもそも動画の車は自動運転カーじゃないんだよ。
「こうなるかも?」ってデモでしかない。
多分、現状のテスト段階の自動運転システムでもこうはならないだろう。
35. 匿名処理班
こんな適当な線を車線として認識するとは思えないし
セアト・イビザには自動ブレーキはあるけど、自動運転モデルは無いでしょ?
思考実験のイメージ動画ならそう明言して欲しい
36. 匿名処理班
逆光でカメラが認識しなくなる危険性がなくならない限りステラみたいな自動運転での死亡事故が多分なくならない
37. 匿名処理班
実際の路面は白線が消えてたり、雪なんかを白線と誤認したり色々ありそうだね
ただ、数十年後には今では想像もできないくらい発展してるはず
38. 匿名処理班
※27
動画見りゃわかるけど円の外から入ってきて立ち往生してるよ。
39. 匿名処理班
実は人間にもこのような自動的・自律的な判断が多数存在している。
これらは生存を円滑&スピーディにするために必要不可欠なシステム。
ところが人間には同時に、こういった自動的・自律的な判断に一時的にブレーキをかけて、判断(の基準となる文脈の解釈)を変更したり消去したりすることができる、不可思議な能力も備わっている。
その不可思議な能力が“意識”であるらしい。
40. 匿名処理班
様々な分野でAIを使って、「作業効率を図る」とか「AIで〜をするほ」
41. 匿名処理班
※33
座布団没収。白線の内側で正座してなさい。
42. 匿名処理班
様々な分野でAIを使って、「作業効率を図る」とか「AIで〜をする方がより良い結果を生む」などと言ってるが、人間にしか出来ない事もある。技術を過信し過ぎている。それに技術競争が過熱し、各国の名誉を掛け相手国を滅ぼす兵器を生み出す事も過去に証明されている。高度な技術がなかった時代の方が本当の意味で豊だった。人類は1度、何もなく文明等が未発達の時代に戻った方が良い。
何もないが、心の豊かさや人間とし
43. 匿名処理班
これは怖い。恣意的に事故を起こせるってことだ。ある意味警鐘でもある
44. 匿名処理班
様々な分野でAIを使って、「作業効率を図る」とか「AIで〜をする方がより良い結果を生む」などと言ってるが、人間にしか出来ない事もある。技術を過信し過ぎている。それに技術競争が過熱し、各国の名誉を掛け相手国を滅ぼす兵器を生み出す事も過去に証明されている。高度な技術がなかった時代の方が本当の意味で豊だった。人類は1度、何もなく文明等が未発達の時代に戻った方が良い。
何もないが、心の豊かさや人間として成長出来る
45. 匿名処理班
これ、アートの一環であって、この車も自動運転の車じゃないし、自動運転の車で試してないって本人がコメントしてたはずだけど。
他のサイトで紹介されてたときはちゃんとそこの注意書きまで書いてたよ。
46. 匿名処理班
実験も面白いけど風景がいいな
47. 匿名処理班
まあこれは人為的に引き起こしたものだけども、
たぶん普通に袋小路に陥っちゃうパターンって
けっこうあると思うんだよね。
だから、ここぞというときの判断をするために
人間も乗ってなきゃアカンのだけども、
ここぞってときにユーハブコントロールされても
とっさに対応できるかというと、
少なくともおれにはできない自信がある。
というわけで、自動操縦車の一般化は
まだまだ先なんだろうと思ってます。
48. 匿名処理班
前にまとめられてた気がする、ロシアの落書きみたいな無茶苦茶な車線はどうするのかな。
49. 匿名処理班
新手のチューリング・ゲームだ!
50. ウィンチェスター
スーパーナチュラル
51. 匿名処理班
メタルマックスで野バスを捕まえる方法ですねわかります
52. 匿名処理班
これ自動運転の試作車じゃないよ。
ただの揶揄動画
それに実際の道路上に描かれる破線の間隔はこんなに短くないからこれをはみ出し禁止と認識するようではプログラミングのミス。
ついでに言えば実際の自動運転車は前方向に遠近法で伸びていく白線について走行用の補助線として認識するようになっているのであって、車両の前に水平に横たわる白線は横断歩道や停止線として認識するようになっている。
従ってこの動画でまず最初に白線をまたいで円に入ってきてしまった時点で認識ミスとなってしまう。
まあ自動運転車じゃなく手動運転のフェイクなので指摘事項だらけなわけだが笑
53. 匿名処理班
AIは、「無意味」が理解できないってこと?
54. 匿名処理班
まぁこの画像がフェイクだとしても自動運転はまだまだ先になりそうだな。
雪をどうするか、消えかけた白線をどうするか、いたずら書きをどうするか、誤作動しないのか……課題をあげたらきりが無いな。
55. 匿名処理班
自動運転車を一般道に普及させるにはやっぱり道路もAI対応道路に変えなきゃなのかな
すごいコストかかりそうだけど
56. 匿名処理班
白線の認識をどれだけできるかってのも課題だが、もっと大変なのは人間のドライバーが無意識でやってる暗黙の了解ってやつをAIに理解させることだそうだ。
57. 匿名処理班
頭の良い奴なら設計者の想像の埒外の罠を作り出す
この罠で思いつくのは自動運転トラックを捕獲して積み荷を盗むとか
まあバグ探し好きは多いからイタチごっこで進化するやろ
58. 匿名処理班
温泉街で自動ブレーキ付きのレンタカーを借りた時は本当に参った。
いちいち湯けむりで止まるな。温泉入って行けってか(笑)
59. 匿名処理班
*42
頭大丈夫?
60. 匿名処理班
スラム街でこんな落書きがあったら、襲われるまでなすすべもなく待つしかないのかね
具体的な欠点も指摘されるようになったのは実用化が見えてきた証拠でもある
克服はさして難しいことではないだろう
61. 匿名処理班
※39
「意識をめぐる冒険」
62. 匿名処理班
自動運転はゴリ押ししてでも通すはずだから反対派の意見は通らんと思う。
今後イタズラ含めて渋滞問題は凄そうだ
最悪線路で止まっちゃったりしてな。
63. 匿名処理班
自動運転かどうかの判別がつかない・・・
64. 匿名処理班
金縛り呪文発動中〜www
65. 匿名処理班
※61
面白そうですね。
ありがとうございます。
66. 匿名処理班
攻殻機動隊でタチコマがオペレーションロボットを「自己言及のパラドックス」を使ってフリーズに落し入れる話を思い出したわー
67. 匿名処理班
そのくらい人間が動かせばいいじゃん
どうせ運転免許は持つんだしさ
68. 匿名処理班
なんかかわいいなw
69. 匿名処理班
ほとんど静止画
70. 匿名処理班
海外だと問題になるだろうな
もし銃を持った男が正面から現れたら
自動運転車は安全のために停車するだろう
71. 匿名処理班
これはイタズラの見分けをソフトに組み込む必要があるな
でも判断基準の設定が大変だよな
72. 匿名処理班
強盗や拉致がはかどるね
73. 匿名処理班
※36
スバルの軽自動車に自動運転はついてないぞ。って揚げ足。
74. 匿名処理班
この前どっかの学者がAIが人に成り代わる事は一生無いって出してなかったっけ
映画に影響されすぎ
75. 匿名処理班
これで野生の自動運転車を狩ることが出来る。
古くから受け継がれてきた民族の知恵である。
76. 匿名処理班
自動運転車ってガラスとか鏡は認識できるのかな
77. 匿名処理班
自動運転に求めるものは応用じゃないからなんもおもわん。
どう注意したって実線と破線のルールを常に守りきれないのがヒューマンエラーでそれを取り除きましょうってのが自動運転だろ。
78. 匿名処理班
※43
多分なんだけど「恣意的」の意味違うと思うよ、意図的って言いたいんだよね?
間違ってると言い切れない使い方する人が多いからからやっかいなのよねー
79. 匿名処理班
※73
念のため…電気自動車メーカーの「ステラ社」 念のため…
80. 匿名処理班
アクセルは控えめに、ブレーキは早めにってね。と、アッテンボロー中将はおっしゃっていた
81. 匿名処理班
どれだけ マイナスが多くても 自動化は進む マイナスを一つずつ克服して行きます。
82. 匿名処理班
※26
嫌なほう、後ろに棒をお忘れですよ
83. 匿名処理班
起こる確率の低い状況に対応するには、不釣り合いなほどコストが掛かる。
運送会社の社長さんが、この動画を見た後で、自動運転無人トラックをただ放つだろうか。
万一の為に、人を付けて監視しようと考えるだろう。
人を雇って監視させるなら、運転させればいいとも考えるだろう。
というわけで、ドライバーの仕事は当分無くならないと思います。
84. 匿名処理班
問題だらけなのに自動運転車をごり押しされそうで怖い。
実は不便なのに気付こう。
上手くいっても専用道路が精一杯だろうね。
もちろん自動運転車優先の(笑)
というか制限速度守ることになるのかな?
強風時などは高速を時速50キロ以下で走ったりするの?
やめてくれ。
85. 匿名処理班
これ赤外とか紫外域使って反射率とかから引かれてる線がそもそも有効なのかとか判別出来ないの?何も人の目と同じ色覚だけで判断しなければならない理由がAIには無いんだけど
86. 匿名処理班
※26
???「ああー、もうめんどくさい。俺は行きますからね」
87. 匿名処理班
車内映像や計器の反応がわかる映像、音声または字幕による解説が不足してるな。
バカな機械だな〜というより、 うっすらかわいそうw
88. 匿名処理班
AI、AIって言うけど、それの目と耳と触覚等の六感+霊感+ヤマ感に相当するセンサー類が未発達なんだよね。
それに類するセンサー類もあるだろうけど、瞬時に解析してAIに情報渡せるようにならないと、人間に目隠しで点字のメモ渡されて判断しろと言っているようなもん。
量子コンピューターの様に同時並行処理を瞬時に判断出来ないと、実用化してもかなりレベルが低くなると思う。
89. 匿名処理班
悪魔が魔方陣から出られないのってこういう事だったんだなw
90. 匿名処理班
進化の途中だね。可愛いね。
91. 匿名処理班
さてはて、名古屋を自動運転で走れるだろうか。
92. 匿名処理班
※28
でも、それで
「交通法規には反するけど、こういう場合は行っても大丈夫」
という経験則のほうを優先させるようになると、結局は
人間の「だろう運転」並みの事故を起こすようになるんじゃ?
93. 匿名処理班
人間の状況判断は、ある意味自己中心的といえる実験でもあるわな
94. 匿名処理班
これで良い
95. 匿名処理班
まだ「知能」って言うには程遠いからね。