この映像はもともと、1911年、スウェーデンの製作会社Svenska Biografteaternが、アメリカを訪れた際、ニューヨークの様子をフィルムにおさめたものだ。
広告
1911年の臨場感あふれるニューヨークの様子
[4k, 60 fps] A Trip Through New York City in 1911
この動画は、ニューラルネットワーク（脳の神経回路をモデル化した分散情報処理システム）を使って画質を高めカラー化したものである。
色をつけただけでなく、フィルムスピードを毎秒60フレームに速めて、画像の解像度を4Kに上げ、よりシャープな映像を復活させた。
これは、プラットフォームGitHubで利用可能なオープンソースのAIツールで、AIアルゴリズムの一種である敵対的生成ネットワーク（Generative Adversarial Networks＝GAN)を使用して、動画や画像を修正する。generatorとcriticというふたつのニューラルネットワークを使っている。
「カラー化されるモデルが次のモデルcriticを取り込んでいくよう学習させることから始まります。criticがカラー化を評価し、それをgeneratorに教えて、より解像度の高い画像を生み出していくというプロセスが基本です」クリエーターのジェイソン・アンティックは言う。
「criticモデルもまたニューラルネットワークなので、単純な方法ではできない"本物"らしさを生み出すニュアンスをたくさん理解することができるのです」
AI技術で復元されるかこの映像
昨今、AIで復元された昔の映像がもてはやされている。今年始め、リュミエール兄弟が撮影した1896年の「ラ・シオタ駅に到着する列車」という映像が復元された。列車が駅に到着する場面は、とくにスリリングなものではないが、オリジナルのこの映像が初めて公開されたとき、観客は驚いてのけぞったらしい。
The first video in history, and people's reaction to it
初めてこれを見た人々は、パニックになって、列車に轢かれないよう映画館から逃げ出したという逸話すらある。実際に観客が映画館から逃げ出した証拠はないが、だが、もし当時の人々が、以下のカラー化復元されたバージョンを見たら、本当に逃げ出したかもしれない。
リマスターされたカラー映像
[DeOldified] Arrival of a Train at La Ciotat (The Lumiere Brothers, 1896)
他にもかつての歴史的映像が次々とリマスターされている。
マーティン・ルーサー・キングの演説
DeOldify Colorization Experiment: Martin Luther King - I Have A Dream Speech [HD]
映画『メトロポリス』
Metropolis (1927) - DeOldify Restoration Demo. Based on Deep Learning
written by konohazuku / edited by parumo
あわせて読みたい
4Kで鮮明に蘇る、ワム!のラストクリスマスのミュージックビデオのリマスターバージョン
脳が騙される案件。モノクロ写真がカラー写真に見えてしまう錯視
HDフルカラーで見る、敗戦直後のドイツ・ベルリンの風景（1945年7月
あのダンシング・ベイビーが20年の時を経て高精細度（HD)になって帰ってきた
バーガーキングがAI(人工知能)に脚本を書かせたCMを公開。キングの扱いが残念なことに...
0
4331
223
53
コメント
1. 匿名処理班
こうやって文明は受け継がれてくんだね。強く生きてきてくれてありがとう、先人たち。
2. 匿名処理班
走行中の車体への環境光の写り込みまで考慮された着色すごい
3. 匿名処理班
しかしディープラーニングがこの辺の技術を発展させるとは思わなかったわ。やっぱディープラーニングって汎用性激高だな
4.
5. 匿名処理班
列車の映像に驚いて観客が逃げ出したという
逸話は有名で発明や技術の歴史を勉強した人なら
いろんなところで見かけたことがあると思うから
最低でも「驚いて立ち上がって叫んだ人がいた」
くらいまでは間違いのない事実だと思われる。
現代でもＶＲゴーグルを装着してビルから落ちる
映像を観て叫ぶオッサンの動画とかあるけど
ああいう感じだったんだと思うよ。
6. 匿名処理班
想像してたより違和感ないね〜。特に洋服とか帽子の色。
ご婦人方のお帽子素敵。
7. 匿名処理班
当時の男は、山高帽、カンカン帽、ハンチングをかぶっていたんだな。
8. 匿名処理班
議論が続く恐竜の色もこれで一発
9. 匿名処理班
将来的には通信速度が遅くて低解像度で色空間も狭い画像しか送れないような状況でも、
端末側で綺麗にして表示できるようになるだろうな。
10. 匿名処理班
っつかみんなスラッとしてるな
やっぱ移動手段と食生活か…
11. 匿名処理班
モノクロの動画は2018年4月の記事「1911年。100年以上前のニューヨークの街並みを撮影した貴重なモノクロ映像」にあるので見比べてみるのもいいですね。4K化とスピード調整はその時点でされているのでDeOldifyによるカラー化の具合がわかりやすいかも。
12. 匿名処理班
他のカラー化した物も見たけど、まだまだ伸び代が有りそうな技術だよな。
今後、ただカラー化させるだけだ無くて、動きとかも調整出来て、モヤモヤ
した画質も今の映像と遜色ない位まで再現できそう。
そして、AIとかで音声も再現出来て・・・。
13. 匿名処理班
コンピュータで扱う資料としての『画像』そのものの信用性が問われる時代がもうすぐ来る
熟達した人なら現代でもごく自然に見えるように加工、合成、改ざんできるけど
これが知識が無くてもオートでできる機能が更に高性能化したらあらゆる事が可能になる
14. 匿名処理班
ゴッドファーザー２やん
15. 匿名処理班
男性の乳首透けについての議論をする時に「男性はシャツが下着のようなもので、上着か少なくともベスト着用が常識だった」と聞くけど、確かにほとんどの成人男性が上着を着てるね。女性の帽子のデカさも目立つんだが、あれも一種のエチケットなのか、ただのオシャレなのか、どっちなんだろう。
16. 匿名処理班
車のハンドル位置が右だけど
これ映像が左右反転してね？
17. 匿名処理班
なんつうか、イメージ通りの「古き良きアメリカ」って感じだな
18. 匿名処理班
※8
人工知能「あ、これジュラシックパークにいたやつだ！じゃあ赤だな！」
19. 匿名処理班
古き良き時代のノスタルジック、というやつかな。何か好きだこういう映像。
やっぱり当時は、列車に乗って旅をするというのは、ちょっとした非日常なイベントだったんだろうな。今だったら国際線の飛行機で、遠い海外へ旅行に行くみたいな。
乗客の皆さん、紳士淑女なファッションでキメキメにしてるもんな。
20. 匿名処理班
※8
相対的に明度差がわかるような画像さえないからなぁ
当時の大気組成から空気こんな色かなぁとか予想は出来るけど
なんだかんだこっちは写真や映像があるからねえ
21. 匿名処理班
服の柄については日本のほうがおしゃれだったのでは？
日本ではこの当時でも矢絣や絣をはじめ多種多様な柄を楽しんでいたと思うけど
22. 匿名処理班
カラー化&高画質化された映像がなんだか７０年代の動画のような雰囲気あって良いなぁ、なんて
23. 匿名処理班
白黒写真の時代でも、現実の世の中はカラーだったというのは、
当たり前なんだけど、すごく不思議な感じがする。
白黒の時代でも、人々は我々と同じ色を見ていたんだよね。
24. 匿名処理班
この映像に映ってる人々の99%が既に亡くなってるって考えるとすごく悲しく虚しくなる
25. 匿名処理班
1911年だとまだギリ明治だねぇ
26. 匿名処理班
O・ヘンリの小説の世界みたい！
27. 匿名処理班
服装がオシャレだな。
2120年の人々が今の日本を観たらどう思うかな？
28. 匿名処理班
※20
写真は無くとも壁画くらいは残ってないのかな
29. 匿名処理班
我々もすぐに「100年前に亡くなった人々」になってるよ。
30. 匿名処理班
この程度？
31. 匿名処理班
映っているそれぞれの人にそれぞれの人生があって
そして今はもう誰もいない
なんだか不思議だ
32. 匿名処理班
(ひょっとすると、この映像内での音声は後から付加した効果音的なものなのかもしれないけど。)
カッポ、カッポ、カッポ、、、という馬車馬のヒズメの音が印象的だ。
映画なんかでヒズメの音がリアルに再現されないのは、うるさ過ぎてセリフも聞き取りづらくなって雰囲気ぶち壊しだからなんだろうなあw
33. 匿名処理班
>>29
200年後の世界かな〜、その頃は平和なのかな
34. 匿名処理班
汽車の映像に当時の人は驚いたって言うけど、今だってこっちにボール飛んでくる映像見たらビクッってなるじゃん。
35. 匿名処理班
※34
そらそうよな〜っていう情報省いたら、つまらないじゃん
36. 匿名処理班
人種によっては、肌の色の調整がセンシティブだね。
キング牧師も、実際はもっと黒いと思う…
37. 匿名処理班
これバイリンガルニュースで聞いて調べたけど見つからなかった奴だ
記事にしてくれてありがとー！
38. 匿名処理班
やっぱりカラーのほうが生活感が伝わってくるね
39. 匿名処理班
白黒だとはるか昔の映像の世界って感覚だったけどカラーだと現実感が湧くなあ
あと「メトロポリス」の偽マリア誕生シーンはこんなにも美しかったのか
博士が着てる服も結構かっこいいデザインだったんだ
この映画リマスター版は出てるけどぜひ全編カラー版も出してほしいな
40. 匿名処理班
映像だけじゃなくて 音がいい 馬の蹄 自動車のエンジン音やホーン 路面電車のベル 人々の喧騒 ものすごくリアル
41. 匿名処理班
※5
VRは相当慣れないと、ローポリCGみたいな世界でも、
足を踏み外したり、物が飛んできたりすると、するとビクッとするわ。
立体視＋視線追従があると、
「チープなハリボテの遊園地のアトラクションルーム」と「3dの絵」の差は
もう無いようなもんだからね。