
これは、「畳み込みニューラルネットワーク」──つまり、人間の脳と同じように情報を処理し、画像を分析処理するタイプのAIによって作られたものだ。
広告
Few-Shot Adversarial Learning of Realistic Neural Talking Head Models
生き生きとした表情を見せるモナリザの絵画
研究者たちがAIのアルゴリズムを訓練して、人の顔の特徴の一般的な形状と、それがどのように互いに連携して動くかを理解させ、その情報を静止画に当てはめた。その結果、一枚の絵画から、新たな顔の表情が連続して動くリアルな動画ができあがった。
このモナリザ動画を作るために、AIは生きた人間の被験者3人分のデータセットから顔の動きを学び、3つのまるで異なるアニメーションを作り出した。

3つそれぞれのビデオクリップは、見る者がモナリザとして認識でき、訓練モデルの外見や動きの変化が、生きているかのような肖像にはっきりしたパーソナリティを与えた。スコルコボ研究所とサムスンAIセンター(両方ともモスクワにある)の技術者、イゴール・ザカロフはこう説明した。
また、ザカロフらは、アルベルト・アインシュタインやマリリン・モンロー、サルバドール・ダリといった、20世紀を代表する文化の象徴たちの写真からも、こうしたアニメーションを作っている。

AIによる人物画像合成技術
このような画像は、ディープフェイクとして知られるAIによる人物画像合成技術によって生み出される。これは、「敵対的生成ネットワーク(GANs)」と呼ばれる機械学習技術を利用して、既存の画像や映像を、元となる画像または映像に重ね合わせて(スーパーインポーズ)結合すること。
だが、これは簡単なことではない。人間の頭部は、幾何学的に複雑で、かなり動的なので、3Dモデルで作った頭部には、非常に多くのパラメーター(外部から投入されるデータ)が組み込まれている。
さらに、生身の人間の視覚システムは、こうした3Dモデルの頭部のほんのわずかなズレでさえ見抜くほど優秀だ。

これは、外見的に人間にそっくりの人工的な像を生身の人間が目にすると、それが精巧であればあるほど、ある時点で、好感とは正反対の違和感や嫌悪感を覚えるという現象だ。
これまでAIは、かなり説得力のあるディープフェイクを作り出すことが可能なことを示してきたが、それには、望まれている被写体の複数のアングルが必要になる。

1枚の絵から表情を与えられる技術を
新たな研究のために、技術者たちは、動いている人間の顔が映っている参照ビデオの大容量データセットとAIを結びつけた。研究者たちは、どんな顔にも当てはめられる、いわば顔の目印を確立し、ニューラルネットワークに一般的に顔がどのように動くのかを教えている。
AIを訓練して、参考にする表情を使い、ソースとなる目鼻立ちの動きを写像した。こうすると、作業対象の元画像がひとつしかなくても、AIはディープフェイクを作成することができるという。
もっとソース画像があれば、最終的にできるアニメーションはさらに精密なものになる。これらの動画は32のイメージから作られていて、"完璧なリアルさ"を達成できたという。
References:telegraph / theregisterなど/ written by konohazuku / edited by parumo
あわせて読みたい





コメント
1. 匿名処理班
エロ画像に使えると思った人怒らないから手を上げなさい
2. 匿名処理班
ジイちゃんの遺影をこっそりコレにしてバアちゃんを喜ばせてあげたいな
3. 匿名処理班
モナ500年前と比べてなんか痩せた?
4. 匿名処理班
しゅげー!
5. 匿名処理班
モナリザはあの謎の微笑のままの方がいいな
動き出すと神秘性が消えて普通のおばちゃんだw
6. 匿名処理班
伝記映画の製作がはかどりそうだな
7. 匿名処理班
うおおおおお、モナリザが喋ってる!!!
すげええええ!!!!
8. 匿名処理班
※1
モナリザのエロ画像なんてマニアックな(違
9. 匿名処理班
日本じゃ遥か昔から夜の学校でモナリザが動いてたぜ
10. 匿名処理班
アニメ絵を処理させたらほぼ確実にクリーチャーになりそうやなw
画像データが一体何の画像なのかという理解までは出来ないだろうから
アニメ絵はアニメ絵で学習させなあかんやろうなw
11. 匿名処理班
モナリザに関しては元の絵の状態でも動いてるように見える
12. 匿名処理班
モナリザすごーいって思ったけどモンロー見たら本物と全然違ってて魔法が解けた
13. 匿名処理班
ビックリした。
表情や仕草(眉上げるとかのクセ)でかなり印象が変わって別人みたい。
あれだね。人格が変わると本当に人間って別人になれるのかもしれない。
14. 匿名処理班
ダリ、イケメンやなぁ・・
15. 匿名処理班
うわ、これすげぇ。全然違和感がない。
16.
17. 匿名処理班
モナリザ「私がしゃべり出すなんて流石のダビンチさんも予想してなかったでしょうね、まったく凄い世の中になったものね、フフ 、」
18. 匿名処理班
うーん…なんともだな
19. 匿名処理班
本当の所はともかく、3パターンのモナリザの表情に個性が感じられて興味深いです。
左はちょっとアンニュイな有閑マダム風。
中央はアクティヴな女性風。
右は凛としたキャリアウーマン風。に見えます。
たった一つの絵画なのに、表情ひとつでこんなに違って見えるんですね_
20. 匿名処理班
インタビューや会見の捏造とか捗りそうだね
21. 匿名処理班
モナリザみたいなお局様がいそう
22. 匿名処理班
よし、岡本太郎さんに
『芸術は大爆発だ!』を言わせてみよう
23. 匿名処理班
モナリザの元の絵は…落ち着いた感じの女性だね
と思っていたのだが…動画にすると…
何かと説教されそう…というイメージになるのはどうして?
(でも、モナリザに説教されるなら許せるかな?)
24. 匿名処理班
指名手配犯とかの写真とかに使えば検挙率上がったりするかな?
25. 匿名処理班
ハリーポッターの世界の動く新聞写真のようなものが出来る日も近いかもしれない・・・
26. 匿名処理班
アニメ映画とか作りやすくなる?
27. ???
>>1
≡\(・ω・)/ シュタッ
28. 通りすがり
>>10
ぷるんぷるん天国の混沌から学ぼう
将来的には人間がイメージを書くと機械がミミズの走った後でも地図として伝える事が出来るような物に仕上がる
29. 匿名処理班
すでに俺よりも自然で豊かな表情がつくれてますよ。ニッコリ
30. 匿名処理班
能面でやってみたい。
31. 匿名処理班
※12
顔の影の付き方が動きによっては微妙に変わってるから顔の輪郭も本物と違うように感じるよね....表情から表情への変化も見慣れたものとは違うし.
そう考えると脳って本当にアナログで観察側としてはかなり細かい変化を認識してるんだなぁ.
32. 匿名処理班
行方不明者の現在の顔予想図なんかもどんどん発達していくんだろうな
33.
34. 匿名処理班
モナリザ、喋ると可愛いとか思ってしまった。神秘性は薄れるが親近感は増すな
35. 匿名処理班
>>2
素敵な考えだが…
吃驚しすぎて爺様の所へ行ってしまわないか心配だ…
36. 匿名処理班
動いている表情を見た後に元の画を見ると「撮影のために黙らされた」って感じがする
37. 匿名処理班
モナリザのアニメーションを見ていたらだんだんプーチンに似ている気がしてきた
38. 匿名処理班
以前の人の顔のCGって、ひとめでCGって解ったけど、コレはスゴイッッ!!!
モナリザの表情や視線の動きが、超リアルで素晴らしい。
じっと見ていると彼女の声が、聞こえるようだ。
39. 匿名処理班
モナリザかわいいwww
40.
41. 匿名処理班
顔しか知らないご先祖様の動く姿を見られる日も近いのかもしれない
42. 匿名処理班
>>34
うん、モナリザ可愛い!
43.
44. 匿名処理班
三つ並んだモナリザの顔、真ん中がどことなく、アリアナグランデに似てる。
45. 匿名処理班
ああ、未来がすぐそこに
46.
47. 匿名処理班
既に亡くなってる往年の俳優とか、年を取って若い頃の役が出来なくなった俳優を銀幕でよみがえらせることが出来るようになるな
例えばターミネーターのシュワルツェネッガーを若い頃のように演技させてみたり
48. 匿名処理班
サンプルにした人で印象変わりそう
49. 匿名処理班
凄いのは分かるけど、顔が動き出した途端別人になるよね。
50.
51. 匿名処理班
日本人の場合、しゃべるときにこんなに表情筋使わないから不自然な感じになるんじゃないかな
坂本竜馬とか日本人の写真でも一度試してほしい
アインシュタインを見る限り表情の変化が少なくてもそう違和感はないかもしれないけど
52. 匿名処理班
技術としてすごいんだろうけどモナリザでやる必要ある?
53. 匿名処理班
絵画が動いてる方のが印象深いですね。
これを見てる人が、表情が移り変わる荒い1コマ1コマの間を補正してる
脳味噌もすごいね。やばいわ。
これフロップス上るとやばいわ、騙されるぞ。
もっと騙されたいわ〜
54. 匿名処理班
※47に同じようなこと書かれてますが、サンプルを基にした推量にはなるけど、正面写真一枚からめっちゃ自然に動く3D モデル作成可能ということですね。
そこにいなかった筈の人を、いろんな場面の映像や写真に登場させることもできそう。
ひたすらすごい。
55. 匿名処理班
技術が進歩したら
故人のインタビューの捏造ができてしまいそうで怖い
56. 匿名処理班
動くモナリザ 撮影終了後のモデルみたいやな
57. 匿名処理班
映画『スターシップ・トゥルーパーズ3』(2008年)で描かれていたCG技術だね。こんなに早く実現されるなんてもうビックリ!
58. 匿名処理班
ダリというよりクラーク・ゲーブルに見える
59. 匿名処理班
ここまで写実的なデータを動かさないで済むアニメーションなら、より低データ量で中割をつくって動かせることになるから、
作画監督と原画班さえいればアニメが作れるって事になる??
中割の画をどのタイミングの絵にするかは才覚だけど、過去の作品から方法をを抽出していけば、ホント近い将来 たとえば宮崎監督の絵コンテと原画があれば、スタジオAI(機械)が自動で映画をつくってしまうようになるのか!? まるでドラ〇もんの世界!!
60. 匿名処理班
※26
アニメでもAIをアニメ向きに訓練すればできそうだね。
おそらく動きや色の情報数は実写より少なくて済みそう。
すると人が基本となる絵を数枚描くだけでAIが動かしてくれて、色付けも既にあるペイントチェイナーみたいAIが基本的にやってくれる。
そうなるとアニメ制作の敷居がずっと低くなるから個人製作の同人アニメとかたくさん出てくるかも。
61. 匿名処理班
※34
ちょっと幼い感じになってカワイイよね
62. 匿名処理班
※10
それも研究してるところあるよ
63. 匿名処理班
オリジナルと見比べると違和感があるけど、最初から動画だけ見てたら違和感ないと思う。
よくあるGIF動画と一緒に見える。スゴイ
64. 匿名処理班
モナリザはオリジナルより綺麗で可愛い
モンローのエラが目立つのは親会社への配慮かな
65. 匿名処理班
モーションのデータに絵をスキンとして被せてるだけだろ。
こんなのゲームや映画のCGで普通に使われてる技術じゃん。
66. 匿名処理班
モナリザの声が故ダイアナ妃で再生されダリはジュリー
同じ感想の人がきっといるはずw
67. 匿名処理班
ハリーポッター世界の新聞じゃん…
68. 匿名処理班
何と戦ってはるんやろ・・・。
69. 匿名処理班
仏像や仁王像でやってみようか
70.
71. 匿名処理班
本物のマリリンとは全然違ってる
つかマリリンのモノマネしてるオカマさんにしか見えない謎
72. 匿名処理班
骨格ごとぐにぐに変形するから、なんかキモチワルイ
そのへんも学習が進んで、もっと進化したものになることに期待
73. 匿名処理班
凄いなぁ
あと数年進歩したらゲームのイラストとかこれでワキワキ動くんじゃろか
74. 匿名処理班
元のモデルの動きが、違うと全然別人に見える。
75. 匿名処理班
モナリザ見てすげえええ!!!って思ったけど
モンローの映画を見てきた自分にはモンローのやつ一切受け付けない
映画の中の彼女は艶かしいのに淑女で純粋で可愛いんだよ
76. 匿名処理班
※10※29※59※60
もうアニメは原画を2枚描いただけで
その2枚の間の動きを計算するソフトがあるんだよ・・・
77. 匿名処理班
>>28
は?
78. 匿名処理班
すげえ
アインシュタインの頭は背景扱いか
79. 匿名処理班
すごいねー
せっかくなのでダリをモナリザ風にするとかもAIなら得意そうなので
みてみたいなー