この画像を大きなサイズで見る画像を自動生成してくれるAIが人気だが、Meta（旧Facebook）が発表したのは、動画を自動生成するAI「Make-A-Video」だ。簡単な説明文（文字）を入力するだけで、AIがそれにあった動画を生成してくれる。
「肖像画を描くテディベア」や「スーパーマンのような犬」などの文字列を入力すると、自動的にそのシチュエーションの動画を生み出してくれる。
今にところ、不鮮明さや歪みがあるなど不自然さが目立つが、それでも近い将来、動画制作の方法がガラリと変わるだろうことを予感させるものだ。
文字列だけで世界に一つだけの動画を生成
Metaはブログの中で次のように説明する。
生成AIの研究は、新しいコンテンツを素早く簡単に作成可能なツールを提供し、創造的表現を前進させます
「Make-A-Video」は、ほんの数文字か数行のテキストを入力するだけで、想像力に命を吹き込み、鮮やかな色彩や風景に満ちた世界に一つだけの動画を作成します
Metaのマーク・ザッカーバーグCEOは、Facebookの投稿で「驚くべき進歩」と述べ、個々のピクセルを生成するだけでなく、それが時間によってどう変化するのか予測する高度な技術であると説明する。
「Make-A-Video」で自動生成した動画
AIモデルの性能は、実際に動画を目にすれば一目瞭然だ。生成されたものは、長くても5秒程度で音声もないが、バラエティ豊かでクリエイティブだ。
その一方、AIモデル自体が公開されていない点にも注意が必要だ。つまり、生成された動画の中でベストなものだけを選んで公表された可能性もあるということだ。
Facebookに投稿された動画は、順に「肖像画を描くテディベア」「火星に降り立つ宇宙船」「ノートブックパソコンを使う、ニット帽をかぶったナマケモノの赤ちゃん」「海の波でサーフィンするロボット」という文字列から生み出されたものだ。
今の段階では不自然なところもたくさんあるが、近い将来急激に改善する可能性は高い。
実際、画像生成AIはわずか数年のうちに、抽象画のような線を書くだけだったものが、写実的な画像を生成できるようになった。
動画生成はそれよりもずっと複雑なので、進歩はもう少し遅いかもしれないが、より多くの企業や研究者のチャレンジ精神を掻き立てるに違いない。
動画生成AIの問題点
Metaは「Make-A-Video」について、「クリエーターやアーティスト」に欠かせないものになると述べているが、懸念される点がないわけでもない。
フェイクやプロパガンダとして使われる危険性は周知の通りだし、画像生成AIなどで散見されるように、嫌がらせや脅迫などに使われかねない非合法ポルノが生成される可能性も高い。
Metaは「こうした新型生成AIシステムの作り方についてはよく検討する」と述べ、今のところAIモデルの論文を公開しただけだ。
それでも、いずれデモ版を公表する予定であるとのことだ（時期や方法は不明）。
動画生成AIが今熱い
なお、動画生成AIを開発するのはMetaだけではない。今年初め、清華大学と北京智源人工知能研究院（BAAI）もまた、Metaに先んじて「CogVideo」を発表している。
CogVideoによって生成された動画
更に最近では、匿名の研究者が動画生成AI「Phenaki」を発表した。長い文章から最大2分の動画が作れるそうだ。
動画生成AIの今後の課題
Make-A-Videoの論文によると、同AIは画像とキャプションのペアや説明のない動画で学習したという。学習教材は、数十万時間におよぶ数百万本の動画でなる2種のデータセット（WebVid-10MおよびHD-VILA-100M）で、そのほかにShutterstockやネットで入手できる動画も使用されたとのこと。
論文では、映像の不鮮明さや歪み以上の技術的課題があるとも指摘されている。
たとえば今回の学習法では、手を振っている人が、右から左に振っているのか、それともその逆なのか、学ぶことができない。
さらには4秒以上の動画、複数のシーンがある動画、より高画質の動画の生成にも難がある。
現時点でMake-A-Videoが生成できるのは、解像度64×64ピクセルの16フレーム動画だけだ。これをまた別のAIで、768×768の動画に画質アップしているのだという。
また有害なものをはじめ、社会的なバイアスを学習し、それを誇張してしまう可能性もあるという。
実際、画像生成AIは、こうしたバイアスに基づき社会的な偏見を助長する危険性がある。たとえば、「テロリスト」の画像を生成しろと命じると、「タリバンの格好をした人物」が描かれがちだ。
だがAIがどのようなバイアスを学習したのかは、自由にアクセスできねば検証できない。
Metaは、「この生成AI研究と結果をコミュニティと共有してフィードバックを得つつ、今後も責任あるAIフレームワークに則り、この新しい技術のアプローチを洗練・進化させていきます」と述べている。
References:Make-A-Video / Introducing Make-A-Video: An AI system that generates videos from text / written by hiroching / edited by / parumo
あらすじからマンガ自動生成とかもいつか出てくるんだろうな
楽しみなような怖いような
５０話とか１００話以上あるアニメの
キャラや背景のパターンを全部叩き込んだら
完全オリジナルの１話作れそうだな。
これ、今後は間違いなくエログロ表現や差別的表現で過度な規制が入って潰れる奴
特にGAFA主導であれば、既に現時点でLGBTだのフェミだので干渉を受けて表現規制入ってるから今後も厳しいだろうな
逆にロシア中国あたりの方は政治的表現の規制が厳しくなるだろうし、正直こういうのは一過性のブームで終わりそう
こう言うAIに小説を一冊読ませて映像化させてみたい。最初は支離滅裂になりそうだけど、何年か経つ内に精度が上がって素人でも小説の実写映画風の動画が作れる様になりそう
今では当たり前のワンクリックで指定範囲をムラなく
色塗りできる技術だって７０年前は夢の技術だった。
マンガのトーンもシール貼ってナイフで削って濃淡出してた。
レイヤー分けもなかったから一発描き。今のお絵かきソフトで
使える当たり前の機能の多くは少し前まで夢の技術だった。
きっとこの技術もフリーや業務用でソフト化されて身近になる。
「昔は絵を勉強した人しか作品を発表できなかったんだよ」
という時代も来るかもね。インクのペンでのペン入れに挫折して
漫画家あきらめた人も大勢いた。
ついにパンドラの箱を作ってしまったか
この技術はどんどん進化していき、そのうち見分けがつかないものになる
人類の英知と発想はすべてAIの中で管理されていくんだろうね
※7
こういうモノを作って喜んでるなら人格を持たせたAIなんか余裕で作り始めるだろうね
はーやだやだ
この短い動画だけでもつなぎ合わせて短編作品作れそうなのすごい
どうせなら参考にした、と言うか引用元作品を全部上げてくれると面白いのにな
一から作ったってのは流石に違うでしょ
AIって色々な物を混ぜて条件満たした物を作るプログラムなんだから
※10
>>学習教材は、数十万時間におよぶ数百万本の動画でなる2種のデータセット（WebVid-10MおよびHD-VILA-100M）で、そのほかにShutterstockやネットで入手できる動画も使用されたとのこと。
もう混ぜ物とかそういうレベルではないよ
人間の様に学習して一から作ってる
AI「ね、簡単でしょう ? 人間のあなたにだって素敵な絵が描けるんですよ」
規制なしの自由なんて無いんだから何処かで線引きされるでしょ
ニコ動だって昔は無法地帯、Youtubeも然り
脚本をAIノベリスト的なものに書かせてキャラデザをmid journey的なものに描かせてボイスロイド的なものにセリフを喋らせて、あとは絵コンテを入力するだけで完璧なアニメを作ってくれるAIがあれば完璧。
現状では違和感が強くて、でもリアルなせいか、怖いな…。
AIが観察した、人間の潜在意識を取り込んだ、凄い恐ろしい映像見せられてるような気がしてくる。
こういう物が出始めた以上、今後どんどん進化していくんだろうな
見分けがつかなくなった時どうやって真贋を見極めるべきかを考えると今から怖すぎる
肖像画を描くテディベア「どうです、簡単でしょう？」
「ボブの絵画教室」で脳内再生余裕
数年したら立派なアニメや映画が作れそうだね
アニメーターはブラックだとか言ってるし良かったじゃん
すごい怖いのに、そういう意見が少なくて意外
この不完全さが逆にいい
と思うのは古い日本人だからですかね？
完全になったらつまんなさそう
犯罪に使うには良いかもしれんが。
犯罪だから良くないか。
今から20年以上前に見た海外のドキュメンタリーで「いずれ人間が想像するだけでCGを自動で作れる未来がやって来る」と言ってたのを良く覚えている。
それを見た当時は、まさかそんな事が出来るなんてと眉唾だったけど、最近のAIの進歩を見ているといよいよその時代がやって来たのかと驚くと同時に怖さも感じる。