Googleがテキストから動画生成するAI「Lumiere」を発表
これまでにテキストの指示から画像を生成してくれるAIはいくつかこのブログでもご紹介してきましたが、今回はテキストの指示から動画を生成してくれるAIの紹介です。
Google Researchが2024年1月23日に「リアルな動画生成のための時空拡散モデル」として動画生成AI「Lumiere（ルミエール）」を発表しました。
論文によると
“Lumiereはビデオ合成における極めて重要な課題である、リアルで多様かつ一貫した動きを描写するビデオを合成するために設計された、テキストからビデオへの拡散モデル”
引用先：Lumiere公式ホームページより
とあります。
公式ホームページでも紹介されていますが、具体的にどのようなことができるのか見てみましょう！
Text-to-Video（テキストから動画生成）
「Text-to-Video」は入力したプロンプト（ユーザーからの指示）から動画を生成します。
画像（Lumiere公式ホームページより）
例えば上記の生成された動画のうち ↓こちらの動画のプロンプトは以下の通り
テキストで指示をするだけで、それに合わせた動画の生成が可能。
Image-to-Video（画像から動画生成）
「Image-to-Video」はユーザーが用意した画像に対して、入力したプロンプトを元に動画を生成します。例えば熊が立っているだけの写真に対して、「走る熊」といったプロンプトを入力するだけで、画像の熊が走りだす動画が生成されるというイメージです。
Stylized Generation（指定されたスタイルをもとに動画生成）
「Stylized Generation」は、参考画像をもとにその画像のスタイルに合わせて、入力されたプロンプトをもとに動画を生成します。
↓左にあるスタイル参考画像を元にそれぞれ指定されたプロンプトに合わせた動画を生成しています。
画像（Lumiere公式ホームページより）
画像（Lumiere公式ホームページより）
Video Stylization（決められた編集方法を使って動画編集）
「Video Stylization」は、元となる動画に対して「木のブロック」や「折り紙のペーパーアート」、「カラフルなおもちゃのブロック」などの既製の編集方法を使った動画の編集をします。
画像（Lumiere公式ホームページより）
Cinemagraphs（ユーザーが指定した領域のみアニメーション化）
「Cinemagraphs」は画像の中のユーザーが指定した箇所にのみアニメーションの加工を行います。
画像（Lumiere公式ホームページより）
Video Inpainting（欠損している動画を修復）
「Video Inpainting」は元となる動画の中の欠損している部分を補い動画を修復します。
画像（Lumiere公式ホームページより）
最後に
「Lumiere」はまだ発表のみで一般公開されていませんが、詳しく知りたい方は公式ホームページやYouTubeで動画も公開されていますので、ぜひチェックしてみてください。非常にリアルで滑らかな動画生成が可能なAI「Lumiere」の公開が待ち遠しいですね。
公式ホームページ
https://lumiere-video.github.io
↓YouTube
筆者Y.S
