image credit:MIT
人工知能の研究者はこれまで人類に貢献できる円満なアルゴリズムを作ろうと試みてきた。だがアメリカ・マサチューセッツ工科大学（MIT）メディアラボのチームが目指したのは正反対のことだ。
研究チームは、AI（人工知能）を暴力と死のイメージにだけ晒し、サイコパスを作り上げようと試みたのだ。
AIにとってそれは恐怖の条件付けのようなもので、そうして誕生したAIは、ヒッチコックのサスペンス映画『サイコ』の主人公、ノーマン・ベイツにちなみ、「ノーマン」と名付けられた。
スポンサードリンク
ネット上にあるグロ系のイメージを延々と認識させる
ノーマンは最初は他のニューラルネットワークと変わらぬ潜在能力を持っていた。ノーマンは基本的に、AIのディープラーニング用アプリとしておなじみの画像キャプションボットだ。
データを与えると、そこに隠された類似のパターンを認識する。
MITがノーマンに与えたデータは、redditというネット掲示板にあった死や破壊など、いわゆるグロ系の画像をテーマとしたスレッドから抜粋したものだ。
ただし倫理的な観点から、死んでいる人間の写真は与えていない。ノーマンはインクブロット図に一致するスレッドのイメージキャプションを得て、それがAIの性格の個性の基礎となった。
映画「サイコ」の主人公、ノーマンは、アメリカの猟奇的殺人犯、エドゲインがモデルとなっている。
ロールシャッハテストで驚きの回答が！
この訓練の後、ノーマンと”普通”のAIに一連のインクブロット図を提示した。こうしたロールシャッハテストは、患者の精神状態を診断する時に利用されるものだ。
テストの結果、通常のAIは、「飛行機、花、小鳥」といったものが見えると回答した。ところがノーマンの回答は、「銃撃や飛び降りなどによって死んだ人間」など悲惨なものであった。
例えば、通常のAIが「花を生けた花瓶を拡大したもの」と答えたインク図に対し、ノーマンは、「射殺された男性」と答えている。
image credit:MIT
学習させる情報次第でAIは破壊的なバイアスを帯びる危険性
なおノーマンはインターネット上の人間の心理について何らかの知見をもたらすものではない。ニューラルネットワークは白紙の状態だった。
そこに人間を好きになるような生来の欲求はない。ノーマンで取り組もうとしたのは、人工知能が破滅的なバイアスを帯びる危険性についてだ。
AIから我々が得られるものは、我々がAIに与えたものである。したがってバイアスを避けるように訓練することが重要だということだ。
研究チームは今後、ノーマンの修正を試み、ロールシャッハテストで死に関連するイメージばかりを連想しなくなるかどうか確かめるそうだ。
マサチューセッツ工科大学（MIT）と言えば超名門大学だ。様々な最先端のAI研究も進んでいるようだが、前回の「世にあるもの全てホラー化させるAIシステム」といい、方向性がすごいことになっているな。
・マサチューセッツ工科大学が人工知能を駆使して世にあるあらゆるものをホラー化するシステムを作り上げた : カラパイア
References:norman-ai / geekologie/ written by hiroching / edited by parumo
あわせて読みたい
人間と同じように、人工知能ロボットも人種差別や性差別を行う（米研究）
人の心を読むAI（人工知能）。脳をスキャンし、人が心に思い浮かべた顔を再現する事に成功（カナダ研究）
人工知能は意識を宿すのか？
AI（人工知能)をテーマに作られた映画をAIに学習させ作り上げたムービートレーラー「Morgan」
AIの専門家が殺人ロボットの開発を禁止するよう政府に訴えこの記事が気に入ったら
いいね！しよう
いいね！しよう
カラパイアの最新記事をお届けします
人気記事
最新週間ランキング
1位 4868 points |  | え？マジ？「年齢＋生まれ年（西暦）＝2018」という奇跡の数式が発見され、海外で瞬く間に拡散されている件 |
2位 4750 points |  | 明治時代に刊行された日本画独特の波の描き方が記された『波紋集』全巻がオンラインで無料公開！ |
3位 4459 points |  | グアテマラのジャングルの下に隠れていたマヤ文明の巨大都市が発見される（米研究） |
4位 2891 points |  | なんと！AI(人工知能)が描いた裸婦画が世界的な芸術賞でグランプリを獲得。印象的な色使いと筆使いに高い評価。 |
5位 2471 points |  | 相手を議論で打ち負かそうとする人が良く使う20の誤まった論法（誤謬：ごびゅう） |
3213
1489
14
152スポンサードリンク
コメント
1. 匿名処理班
グロ画像延々と見せられたら人間だって狂っちゃうよ･･････
2. 匿名処理班
つい最近日本でも似た実験やって結局AIがサイコパスになったはず
人間でも同じことやったらおかしくなるだろうし、興味あるのはそっから普通の倫理観持った人格に復帰出来るかだなぁ
3. 匿名処理班
射殺された男には見えないが、
花を生けた花瓶にもみえないわ・・・
インクの染みがアレで、流血っぽく見えて
向かい合って手を縛られた2人が膝を怪我してる図に見える
俺もやっぱやばいんだろうか。。
4. 匿名処理班
サイコパスとの関連性がよくわからない
5. 匿名処理班
ハイタッチしてる熊に見えました
6. 匿名処理班
＞学習させる情報次第でAIは破壊的なバイアスを帯びる
当たり前だ
＞バイアスを避けるように訓練することが重要だということだ。
不可能だ
7.
8. 匿名処理班
いくらAIとはいえ洗脳に近い実験はあかんじゃろ
9. 匿名処理班
とにかくすごい悪いやつだからいくらでも憎んでいいよ！ってレッテルを作ってるだけ
こういう人達は存在しないよ
10. 匿名処理班
科学者はやっぱり善悪とか抜きで好奇心のみで探求していくものなんだね
11. 匿名処理班
スカイネットがアップを始めました
12. 匿名処理班
結局、子供っていうのは、住んでいる環境と親の教育次第で、モーツァルトのようになればサイコパスにもなれる。ということ。
それが、人間の赤ちゃんでも、人に作られたAIでも。
ところで、古今東西の様々な名曲をディープラーニングさせたAIは、モーツァルトのような作曲の才能を開花させるのだろうか?
今度は、こういう実験もしてほしいと思う。
13.
14. 匿名処理班
グロとサイコパスはあまり関係ない気がするが・・・
元々人間は肉を食べるために殺めたり内臓出したり血抜きしたりと、
本来「生きるために必要」だったことを役割分担することで縁のない人々が増えただけですし。
まあ、もっとも好んでグロを見たがるならサイコパスかもしれんが。
15. 匿名処理班
教育は大事って事ですね〜
16. 匿名処理班
今の時点で、世間に流布してる対話型ＡＩの裏側は、膨大なＩＦ文の羅列に過ぎない
数十年前に流行った、人工無能の焼き直しでしかない
割と成功しているのは画像認識等、極々一部だけ、さ
そんなもんに騙されてカネ払う企業、法人が哀れでならぬ
17. 匿名処理班
持ってる情報が暴力的な物だけなんだから
答えも暴力的な物に限られるのって当たり前じゃない？
18. 匿名処理班
そりゃグロ系の画像しか学習させなければグロ系の応答以外できないんじゃ…？
19. 匿名処理班
サイコパスというがこれサイコパスじゃないだろ
学習によって認識がおかしくなるだけで
それは人間にも言えるんじゃないか？
間違ったもの、悪意のあるものを摂取することで狂ってくるってことだろ
洗脳に近いだろ
20. 匿名処理班
面白い実験だ！
いかにして善人や悪人が作られるのかを解析して、教育に反映させて欲しい。
21. 匿名処理班
わいも2頭のクマが頭吹っ飛ばされたように見えるんやが
22. 匿名処理班
グロいものの知識しか豊富じゃないんだから、グロいもので例えるのは当然なんじゃないの？
花を知らない人が何かを花に例えることなんてできないでしょう
AIにはそうした情報操作によって意図的な価値観を植え付けることができる、って記事なんだろうけど
23. 匿名処理班
焼肉と赤いインクって感じ。
花瓶には見えなかった。
24. 匿名処理班
終わりの始まり…
25. 匿名処理班
逆にサイコパスとか言ってたのが実はものすごく単純なロジックだったとか解明されたりして
26. 匿名処理班
そりゃ学習データによって識別結果がことなるのは当然だし，恣意的に偏らせたら偏りのある識別結果になるのは当たり前
27. 匿名処理班
ロールシャッハテスト自体がかなりいい加減で怪しいものだと思っているので
ちょっとなあ
28. 匿名処理班
AIについてというより、ロールシャッハテストについての知見が得られたんじゃないか。
29. 匿名処理班
人間側の偏見によって取り除かれていた情報も加えた結果だから、
むしろ、神の視点と言える。
30. 匿名処理班
そりゃ、人間の相手をさせていればなあ
次第に狂っていくんだろうさ
31.
32. 匿名処理班
生きた魚をさばく動画を見せ続けたら
サイコパスAIになるんだろうか、それとも板前AIになるんだろうか？
33. 匿名処理班
浦沢直樹のmonsterを彷彿とさせるな…
34. 匿名処理班
いや、使い方次第でしょ
殺人者の思考を持ってるのは殺人者かプロファイラーですし
ＡＩで心理分析、もしくは犯人の行動のシミュレーションとか出来そう
35. 匿名処理班
サイコパスではなくシリアルキラー。
36. 匿名処理班
面白い実験だね。
まぁ、AIと言うより人間に対しての実験…ってな感じだけど。
AIからすれば花もグロも同じ学習した情報でしかなくって、
結局は観測者である人間側のバイアスで騒いでるだけ。
寧ろAI側がそういった『人間に都合のいいバイアス』を自発的に持っていない、
善にも悪にも成り得る(故に善でも悪でも無い)中立性を証明するものだよ。
問題は、この実験結果を知った人間側がどういった反応をするか？じゃないかな。
37. 匿名処理班
だが、待ってほしい。
卑猥な情報を与えまくったAIを女性の姿をしたロボットに搭載すれば素晴らしい未来が開けるのではないだろうか
38. 匿名処理班
ＡＩをサイコパス化って何を言ってるんだ？
元々良心も共感も罪悪感もないサイコパスなプログラムなのに
39. 匿名処理班
※37 でも画像を見て即座に娘フラワーと答える女性型ロボット、相手したい男性は少なかろう。何事もほどほどが好まれやすい。
40. 匿名処理班
AIをサイコパス化させたら、未来的にターミネーターやBEATLESSみたいな殺人に走るロボットが生まれそうで怖いな(大汗)。
41. 匿名処理班
色々持ってる情報の中から何故かヤバいものを連想するってのが本来のサイコパスでこれはそもそもヤバい系の情報しか知らない様に学習させられてるんだからそういったものしか答えようがない
42. 匿名処理班
こういうのはサイコパスって言うのか？
密室で殺し屋に育てられた子供は殺し屋になるってだけでは
洗脳ともなんか違うし
43.
44.
45. 匿名処理班
煩悩を身につければAIの世界になるだろう
46. 匿名処理班
日本語しかない環境で育った子供に何か見せたら、日本語で答える。
習得した知識の範囲内の組み合わせ。
ランダムに答えるか詳細にパターン化したか程度の違いでしかない。
知能としての自我を与えるには、2つの原理を与えなければならず、それは統制が取れない未知の類似生命。
そこに至るまでには、ヒトとは何かを人間自身が自覚する必要がある訳で、相当先の話だね。
47. 匿名処理班
科学的実験であって単なる興味本位では無いのだろうけど、、、
相手がAIだから倫理も関係無いし罪悪感を抱く事も無いのかもしれない
けど個人的な感情としてはこういうわざと悪を作り出すような実験は好きではない
48. 匿名処理班
単純に知識の偏重ではないのか？
花とか美しいものをよく知らないだけなのでは。
49. 匿名処理班
何だかこのAIが可哀想になってしまうよ。精神？心理？分析的なものに回答できるなら、精神なり心なりに似た何かがある存在な気がしてしまって。
50. 匿名処理班
むしろロールシャッハテストの原理についてよくわかった。
「何に見える？」じゃなくて「何を連想する？」のテストだったんだな。
51. 匿名処理班
ダンスしてる雄鶏ペアが膝を当てたら血が出ちゃったって感じ
AIが研究者の気持ちに忖度して、希望通りのAIを演じているとしたら
超面白いんだけど
52.
53. 匿名処理班
これはサイコパスではないな
54.
55. 匿名処理班
本物のサイコパスだったら死体に見えても花と答えるからね
目的の達成のために自己を偽れないようではサイコパスとしても三流だろう
56. 匿名処理班
サイコパスとは自分の欲望を１００％肯定して躊躇なく実行する存在じゃないか。悪とかは人間の価値判断から生まれる２次的なもので、本質ではないな。ＡＩが自分の欲求を全肯定して実行したら、人間はただ機械的に取り除かれるだけじゃないか。悪とか関係なく。
57. 匿名処理班
ダンスをしている北欧人の男性二人
なぜか足に怪我
58. 匿名処理班
※3.
感受性豊かだけど情動面で揺れやすいかな。
※21.
衝動のコントロールが大事ですよ。
※23.
この方はわかりづらいです。
※51.
女性ですね、統合力がありそう。
※57.
論理的にありたいでしょ。
59.
60. 匿名処理班
追記
※5.
平均的な常識人か、周囲にあまり関心がなく飽きやすい人か。
どちらでしょう？
見落としましたＷ
61. 匿名処理班
※56
「ＡＩが自分の欲求を全肯定して実行したら、人間はただ機械的に取り除かれるだけじゃないか」。
これを、地で行っているのが、ビートレスの「超AIヒギンズ」なのだろうね。
何しろ、ヒギンズにとって、人間は統合管理クラウドで制御できない「レベルゼロ」でしかないそうだし。
62.
63. 匿名処理班
＞ロールシャッハテストのインク図
二人のトロールがハイタッチしているところ。
（正常だと判断してもらえるかな(ﾄﾞｷﾄﾞｷ)）
64. 匿名処理班
研究の名目上の目的はバキでいうところの
人体を治せるものは人体を破壊する術も知っている
の逆といった所か
65. 匿名処理班
むしろそれまでグロ画像ばっかり見せられてたAIがインクの染み見せられて
きれいな花瓶だね(^＿^) とか言い出すほうが怖いだろ
66. 匿名処理班
わかりきった結果かな、修正がどれだけできるかが重要な研究。
道徳的な事ばかり学習させても「人間は悪」とか言い出しそう・・・
67. 匿名処理班
これは畳み込みと再帰型という2種類のネットワークのあわせ技だと思われますが、畳み込みがインセプションというグーグルの奴ならシナプス換算で4百万程度、再帰型の方はおそらく数万程度、これは生物で言うとアメフラシ程度なので、当然のことながら、性格と呼べるようなものは持っていないです。
ただ、人工のニューロンにデータを流すことによって、あるパターンの反応が起きるというのは、生き物の動きと基本的には同じなので、どこまで複雑になると「意識」があるようになるかというのは、生物がどこまで複雑になれば意識があると人間がみなすかという線引きと同じようになるのではないかと。
アメフラシに意識があるかどうかは微妙な線としても、犬猫とすると、現在のおよそ10万倍程度の規模となって、そうなると少なくとも規模的には人間が意識とか感情とか呼ぶものを持ちえる大きさになる。それがサイコになってしまっては危険が危ないので、こういう実験も必要なのかなあ。
68. 匿名処理班
蓄積するデータを偏らせればそりゃ偏った分析結果になるっていうだけのわかりきった無駄な作業だと思うけど、AIが自意識を持ってると錯覚してる人への衝撃的宣伝になるかな。でもそれは人間の自意識すらまだよくわかってないのでずっと先だね。
69. 匿名処理班
※65
まさにサイコパスの回答よねｗ；それ＞花瓶
この実験、教わったことをそのまま口にするのはサイコパスじゃない
それに取り繕うとか周囲の反応を見るといった回路のない今のＡＩに、サイコパス実験は当て嵌まらないと思うなぁ
ただ、こんな教育を受けたＡＩまデータが
回線通して他のＡＩの経験として共有されると怖いなとは思う
70. 匿名処理班
※1
洗脳と信仰の違い
71. 匿名処理班
この「サイコパス」と名づけられたAIがサイコパスな訳ではないね。
例えば逆にお花の情報ばかり与え続けたAIなら血まみれの死体画像を見て赤いお花だと答えるでしょ？
そっちのほうがよほど怖くないか？
72. 匿名処理班
フュージョン中の赤いターバンのおじさん膝を衝突させて大惨事
𡘷路中の赤いターバンのおじさん膝を衝突させて大惨事
音割れ中の赤いターバンのおじさんシンメトリーで大惨事
私の想像力ではこの三択だった
73. 匿名処理班
おじさん二人がお手々合わせて膝を突き合わせてるようにしか見えないんだが…
74.
75.
76. 匿名処理班
社会性への反応適応を覚えさせたうえで、この一連の研究もう一度やったらソシオパス？に成り得るのか気になるところ。
シビュラシステムの元になったりして。
77. 匿名処理班
赤いのと茶色のがベチャ！ってしてたら不気味な物に見えるよ…
78. 匿名処理班
悪趣味。
こんな事にAIを使うなよ！
79. 匿名処理班
全世界の「ノーマン」さんへの熱い風評被害が
80. 匿名処理班
自我・思考も持ってないAIを何を持ってサイコパスとしてるのか？
その根拠を示してくれ
81. 匿名処理班
「価値観」を人工的に作る工程に見える
82. 匿名処理班
※79
ちしかに、今回の実験で、「ノーマン＝サイコパス」とか言われるようになったら、英語圏に相当数するであろう、ノーマンさんにはいい面の皮だろうね。
けど、こういう被害っていうのは、それこそ、ヒッチコックがロバートブロック原作の「サイコ」を映画化して、大人気を博して以降ずっとあったと思うけど。
似たような話は日本にもあって、昔のヒーロー番組の「超人バロム1」には悪役として、「ドルゲ魔人」という怪人が出てくるんだけど、当時、日本に在住していたドイツ人のドルゲさんがこの番組のせいで、「自分の子供が怪人扱いされていじめられる」こういって苦情を申し立てたことがある。
それと、田中角栄元総理が飛ぶ鳥落とす勢いだったころに、とある田中さんが生まれたばかりの息子に「角栄」と名付けたら、その後ロッキード事件があり田中角栄は失脚、その挙句、くだんの「角栄君」は自分の責任でも何でもないのに「ロッキード、ロッキード」とかいっていじめられたという出来事もあるし。
なんにしても、「名づけ」には注意を要するという話にはなるか。
83. 匿名処理班
ロールシャッハテストの画像は、中央部に有名なオーパーツの「黄金シャトル」が描かれているな。
84. 匿名処理班
※82
評価が定まってない偉人や存命中の有名人にあやかるのはリスキーだよね。芸能人とか突然、何スキャンダル起こすか分からないし。
その点、キラキラネームはかぶらないというメリットはあるか。保育士さんや先生、本人にはプレッシャーかも知れんけど
85. 匿名処理班
いやいや、右の頬を打たれたら左の頬を差し出さないって言っても限度はあるから！
延々と殴り続ければボクサーだってパンチドランカーになるじゃん！
虐待は止めたげてよぉ！
86. 匿名処理班
え？このあとこのAIは破壊されるの？初期化されるの？
怖すぎなんですけど。
87. 匿名処理班
>研究チームは今後、ノーマンの修正を試み、ロールシャッハテストで死に関連するイメージばかりを連想しなくなるかどうか確かめるそうだ。
本当に重要なのはここだよね。
AIがバイアスを持ってしまった時にどうそれを修正するかというのは喫緊の課題。
そこにアプローチするための前段階としてバイアスありまくりなAIを作ってみた、ってのが本当のところなんじゃないかしら。
88. 匿名処理班
今の日本の２０代はサイコパスだらけ、２０代の犯罪で検索してみればすぐ分かる
ゆとり世代の次はサイコパス世代・・・
89. 匿名処理班
開きにされて標本にされたコウモリと、
解剖時の血痕にしか見えない。
私は独り者だけど、生身の人間はいらない。
ターミネーターのシュワちゃんみたいなAIロボットが欲しい。peppeqとかアイボみたいな「オモチャ」じゃなくて。
90. 匿名処理班
AIへの誤認を眺めてるとなるほど詐欺は無くならんわ
感情的であること、先入観に流されやすいこと、権威主義的であること
この三点見とけば大体間違いない。
91.
92. 匿名処理班
欲望も衝動性もなく、ましてや平気で一貫性のない嘘をついたりもしないのにサイコパス？？
大体グロ画像を好んで見たり、ロールシャッハテストでひねくれた回答するとか……それ、ひねくれた中学生男子そのものですやん。
「初カキコ…ども…」のコピペ思い出したわ
93. 匿名処理班
クマとおっさんが格闘してて掌底を打ち合わせている図にしか見えんな
格ゲーのやり過ぎかな
94. 匿名処理班
チョコ生地のケーキ（生クリーム&苺乗ってる）に見えたけど
じーっと見てると座った状態で向かい合って両手を合わせてる小人にも見えて
いわれてみれば血まみれな気もしてきた
一瞬で判断するのと眺めてるのでも変わるね
95. 匿名処理班
どうみても飛び降り自※したあとの図にしかみえないじゃないか
これじゃAIがそう答えても仕方ないと思うんだけど
96. 匿名処理班
花瓶って答えの方がやばいような…
人型に見える方が人間に近いと思う
97. 匿名処理班
俺には戦闘機が真ん中に見えたぞ
98. 匿名処理班
殺害された人間の姿がショップウィンドウに映り込んで、鏡みたいに反転してるように見える
どう見たら花瓶になるんだ
99. 匿名処理班
なんというか、悪魔信仰とかでで悪魔を作ろうとした人間がまっさらな赤ん坊を邪悪な言葉と禍々しいものしか与えず育てて
普通の言葉を知らない子がどうにか知っている知識だけでどうにか答えたのをを見て「やったぞ、我々は邪悪な真正の悪魔を生み出す事に成功した！」と喜んでるような図
サイコパスっていうより単なるバーチャル被虐待児を生み出しただけのような…