今や私たちは、お店や職場にいる間にもAIによって顔や体を見つめられているかもしれないのだ。
国によっては、こうした技術を警察や監視体制の中に積極的に採用しようとするところもある。まさにビッグブラザーが見ているような社会だ。
なんだか息苦しくなってくる話だが、ベルギーのルーヴェン・カトリック大学の研究者によれば、ちょっとしたカラーの印刷物でかんたんにAI監視システムの目を騙せるという。
広告
カラープリントを持つとAIに人物認証されない
実験に用いられたのは、オープンソースの物体認識システムとしてよく使われる「YOLO v2」である。動画では、まず、左側の男性はYOLOによって「人（person）」と認識されているが、右側の男性はまったく無視されてしまっている。
Generating adversarial patches against YOLOv2
AIの盲点、ブラックボックス
研究者によれば、なぜこんなことでAIが人を認識できなくなるのかはっきりとはわからないそうだ。ほとんどのAIの認識能力は、ニューラルネットワークに物体のサンプルを与え、それがきちんと対象を判断できるようになるまでパラメーターを調整することで完成される。
ところが、このパラメーターは数百万という膨大なものである。
そのため、AIの訓練を行なっている人にとってすらも、その中身はブラックボックス化しており、具体的にどのように物体を認識しているのかわからないのだ。
さあ、いたちごっこの始まりだ
これによるセキュリティの穴は結構深刻だ。今回、カラーの印刷物でAIをごまかせるという欠陥が明らかになった。だから、その印刷物を持っていても人であるとAIに教えることはできるだろう。
なのでこの動画が出回るころには既に対処されているはずだ。
しかし、ほかにも欠陥があるだろうことはまず間違いない。そしてAIがブラックボックスと化してしまっている以上、それらすべての欠陥を修正することは至難の技である。
AIを騙す方法はほかにもあるはずだ。
それが発見されれば修正される。だがまた別の欠陥が――。
さあ、いたちごっこのはじまりだ。
References:KU Leuven researchers make themselves invisible to AI cameras – KU Leuven News/ written by hiroching / edited by parumo
あわせて読みたい
汚職を取り締まるために導入したAI（人工知能）が高性能すぎてお蔵入りに（中国）
驚愕！この世に存在しない人物の顔をクリック一つで次から次へと生成するサイトが登場
お前は常に見張られている。生徒の行動を監視するため、中国の学校で採用された顔認証カメラ
顔認証アプリで本人を特定。地下鉄で見かけた人を撮影しSNSから本人を特定するプロジェクト（ロシア）
悪用の危険性を考慮して、Googleが顔認証技術の販売を中止
0
3225
14
65
コメント
1. 匿名処理班
これに関しては、AIの認識を、瞬間ではなく時間軸を持って緩やかにすることで、
静止画と動画を切り分けられるからどうにかなるだろうけど。
人間は、なぜ「紙を持った人間」を、静止画からきちんと認識できるんだろう。
2. 匿名処理班
我ら大勢なる故に(´･ω･｀)
3. 匿名処理班
上半身と下半身が写真によって分断されてしまっているから、人として認識されないのかな。個々のパーツがつながっていないように見える工夫をすれば、ＡＩを騙せるのかな。
4. 匿名処理班
こういうの見るとAIが人間を支配する――なんてこと起こらないのでは？と思っちゃうのは早計すぎる？
5. 匿名処理班
妙な印刷物でカモフラージュするスパイや殺し屋の映画が出てくるのかな
6. 匿名処理班
少し動かしただけで認識が復活するなら
画面を横切る時にどこかで補足されるだろ
7. 通りすがり
>>3
AIに最適化された迷彩を作る事は可能
しかし運営さんと貴方の言う通り迷彩を見破る様にする事も後手から可能
運営さんの考えるのいたちごっこになるにはちょっと難しい
繰り返してるうちに最終的には人間の出来る事は学習させられ予測がたってしまう
人間である事を排除してデザインが特殊な機械を潜り込ませるとかの話しになってしまう
8. 匿名処理班
※4
今後一世紀くらいは無理だと思う、やってみて失敗しちゃったって例が続くと思うよ。
全ての物質(生物)の構造、機能、動き、日照や気候、環境による変化、予想される重なりからターゲットを選り分ける、これらが数百万程度の観察で完遂出来るとは思えない。
9. 匿名処理班
そもそも人間がどうやって人や物を認識してるのかというのかというのを未だに理解できていないって事だよな
10. 匿名処理班
Catch me. If you can．
11. 匿名処理班
逆にＡＩにしか認識できない何かを感知することもあると
12. 匿名処理班
モデルなんかは町中で全身写った広告とかあるけれど、ああいうのを人間だと誤認したりはしないのだろうか？
13. 匿名処理班
AIはノイマン型プログラムではないから
修正が簡単にはできないんですね
ブラックボックス化はこわいですね。
14.
15. 匿名処理班
※1
もしかするとこの撮影した場所にいたのは一人で
もう一人は精巧な合成かもしれない
16. 匿名処理班
んじゃプリントTシャツ売れば大儲け出来るってこと！？
17. 匿名処理班
人間には認識できるけどAIには認識できない、まさにこの状況を描いたアニメがありましてね。
『電脳コイル』というのですが。
2007年の作品でございます。
18. 匿名処理班
優秀な御子息を持つかもしれない貴方に朗報！
このお札でAI搭載ターミネーターから守ります！！
「シュワルツェネッガー要らず」今なら更に1枚付けてこのお値段！
19. 匿名処理班
子供が鳥の写真を見て「あ！鳥さんだ！うふふ」って言ってるみたいだね。
人によっては「鳥の写真」や「写真」と言うのかもしれない。
興味や触れてきた環境の差で認知の優先順位がひっくり返っちゃうの。
ＡＩにとって人間って写真よりも認識しにくいものなのかな？(笑)
20. 匿名処理班
さっそくこの写真でＴシャツ作ろう
21. 匿名処理班
こういう柄のTシャツでいんじゃない？
いろいろ試せそうで面白
22. 匿名処理班
でっかいポスターを持ってる奴があやしい！
23. 匿名処理班
こんなのＡＩの進化の過程でしかないんじゃないの？
基本のアルゴリズム作った人ならすぐに修正可能でしょう
24. 匿名処理班
人物の写真やイラストを除外する機能によって持っている人物も写真の一部として処理されているんだと思う
25. みあきち
※5
ゴルゴの「BEHOLDER」で金で雇った少年に、街中に自分の顔写真を貼らせて
顔認証システムを攪乱してた
現実のシステムでもそうなるかはとにかく、仕組み的にはあり得そうだ。
26. 匿名処理班
萌えキャラがプリントされたTシャツを着ればいいのか
27. 匿名処理班
※23
今のAIのトレンドはアルゴリズムじゃなくて、力業で「それっぽい」パラメータを
捜すことだから、簡単には修正できない
28. 匿名処理班
中華人民共和国では、実際に活用されてるもんな
29.
30. 匿名処理班
大阪のおばちゃんはネコ科動物として判定されるんだろうか？
31. じょん・すみす
AI：「人間さん、これなんだろ？
人間：「あぁ、これは問題無い
なんて事になるんですかね？
32. 匿名処理班
人が写った写真に「人間には判別できるけどAIには判別できない加工」を施して再度学習させれば認識できるようになるんじゃないかな。
こればかりはひたすらAIが認識できなくなるパターンの作成と人力でのラベル付で対応するしかなさそう。
33. 匿名処理班
※4
支配まではしなくてもじきに思考の大部分を占める
ぐぐったら最初に出てくるものは誰が探してる？
34. 匿名処理班
ＡＩの分際で学習能力ゼロ？
看板下ろせ
35. 匿名処理班
逆に、何もない空間に「person」って出てたら怖いな。
研究者「おいAI間違ってるぞ」
AI「間違いありません」
研究者「二人だぞ」
AI「横縞の男性、ひげの男性、髪の長い女性、三人です。」
36. 匿名処理班
＞いたちごっこの始まりだ
それはない
ａｉの認知の野は赤ちゃんの水準
成人の人間には全くかなわない
37. 匿名処理班
えーと、顔に隈取りメイクをほどこせば、個人を特定できないのではないか？w
38. 匿名処理班
AIに対抗して、デジタルなディスプレイをアナログな手縫いで形にした迷彩服がパリコレに登場。
AIをかいくぐる技術が芸術やファッションの中で模索・追求されようとしている。
人間がAIの性質を知るために必要な試みであることは確か。
39. 匿名処理班
この記事の問題は誰でも触れられるオープンソースのYOLOの問題だが、こういう物体認識システムの誤認識問題の効率的な解決法としては、別々に作り上げた他の複数の物体認識システムを協働させ、異なる認識に至った物体があったら互いに訂正し合う仕組みを構築したらどうだろう。これはGANの発想に似ているが、より正確を期すためにはシステムは２つより３つ４つと多い方が良い。
40. 匿名処理班
>>2
…レギオンシステム！
41.
42. 匿名処理班
※3
輪郭を誤魔化して、認識阻害させてるんだろうね、
このソフトだと、森の中で迷彩服でも認識できなさそう
最近のカメラにある、瞳認識も使えると、もっと良くなりそうな気もする
43. 匿名処理班
これ確か、画像認識に誤認を与える加工を施した特殊なイラストで実験してる。
前に話題になってた、「写真データにごくわずかなある加工をすると、人の目にはパンダにしか見えないのに画像認識ソフトは「99.3％の確率でテナガザル」と判定する」という話と原理的には同じ、って言ってたような…
44.
45. 匿名処理班
ダサいTシャツは時代を先取りしてるのかもね
46. 匿名処理班
※33
人間が作ったデータを人間が作ったソフトで引っ張ってきてるに過ぎない
つまり人間だよ
47. 匿名処理班
オープンソースの物体認識システムなんてあるのね。未来やなあ。
48. 匿名処理班
AIって結局人間が作って人間の行動をデータにしているのだから人間と同じくポンコツさは消えない気もする。
49. 匿名処理班
※35
とりあえず「横縞の男性」はフレディで「長髪の女性」は貞子でいいとして、「髭の男性」は誰だろう。
まさか、サンタじゃないよね。
ひげ面のホラーのキャラって、思い付かないんだけど。
50. 匿名処理班
これだと町中の自動運転は100年とは言わないがまだ20年は無理やな。
51. 匿名処理班
そのうち、ブラックボックス化したAIの中身を人間に理解できる形に逆コンパイルしてくれる AI-人間インターフェイス 的なAIが必要になるな
52. 匿名処理班
隣の国だとAIが認識できないという理由で逮捕されそう
我が国もそろそろかもしれんが
53.
54. 匿名処理班
単純に「人が写ってる写真で持っている人と横幅が同じくらいの大きさのものを、股間付近において見せるように持つ人」のサンプルが現実にないからでしょ
Tシャツにプリントがあるもので、そのプリントが胸になくて股間付近まであるものを着てる人なんて見たことがないし、あったとしてもTシャツなら真っ直ぐの写真と違い、たわみで影ができるわけで
下半身でパンツにプリントがあっても足のたわみができて、平面にならない
55. 匿名処理班
※32
AIは学習量が多くなりすぎてもダメになる
56. 匿名処理班
※38
>人間がAIの性質を知るために必要な試みであることは確か。
人間が作ったAIが既に人間にとって未知のモノとなりつつあるってのはなんか興味深いですね。まあ、子の心親知らずですかね。
57. 匿名処理班
※8
＞これらが数百万程度の観察で完遂出来るとは思えない。
そう。
しかも、それらはただの「見た経験」だけでは完全ではない。
「触る」「味わう」「聞く」「においをかぐ」も含めたうえでようやく人間と同じレベルの「トータル的な認識・識別」になる。
Aiにも身体が無ければダメなんだ。
（しかも、「触る」ひとつとっても、「感触」だけではなく、「熱い、冷たい」とかの要素も必要で、さらにさらに「触ったら手が切れた」とかの「手：センサーに危険」とかの「経験」も必要なんだぜ…）
※19
多分、視覚データ（画像データ）だけからの学習なんだろうね。
下手すると距離（2つの物体のどちらが前にあるか）さえ理解できていないかも。
58. 匿名処理班
※24
俺もそう思った。
グーグルストリートビューで看板の文字が ぼかされるのと同じ。
（あれ、手動で ぼかしてるんじゃないよな？）
59. 匿名処理班
わーった。
モニターに映された人間と勘違いするんだな。
色が多い平面を液晶と判断して、後ろの人まで除外しちゃうのか？
60.