人工知能（AI）による画像生成の人気が高まり、そこから動画生成という次なるフロンティアが出現した。GoogleやOpenAIをはじめとするAI分野の主要プレーヤーがこぞって、テキストから動画を生成するAIの開発を進めている。そんな中、Stability AIが発表した最新のAI動画モデルは、切り口がほかと少し違なる。
Stability AIが米国時間7月24日に発表した「Stable Video 4D」は、1つのオブジェクトを撮影した1本の動画を、そのオブジェクトをさまざまな視点から捉えた新たなビューからなる複数の動画に変換できる。次のように、たった1本の動画から、実際に複数のアングルから撮影したかような動画を生成できる。
We are pleased to announce the availability of Stable Video 4D, our very first video-to-video generation model that allows users to upload a single video and receive dynamic novel-view videos of eight new angles, delivering a new level of versatility and creativity.
— Stability AI (@StabilityAI) July 24, 2024
In… pic.twitter.com/1YbI2W514K
利用の際は、まず1本の動画をアップロードして、レンダリングに使用する3Dカメラの配置を詳しく指定する。すると、Stable Video 4Dが40秒で、8個のビューについて5つのフレームを生成する。ブログ記事によると、4D最適化にかかる時間は全体で20〜25分だという。
近い将来、Stable Video 4Dはさまざまな分野で働く専門職の助けになりえるツールだと、Stability AIでは考えている。
「われわれのチームは今後、ゲーム開発、動画編集、バーチャルリアリティーなどの用途を想定している。こうした分野のプロは、オブジェクトを複数の視点から描き出し、製品の現実感と没入感を高められることで大きな恩恵を得られる」（Stability AI）
同社はこれまでに、画像を動画に変換する「Stable Video Diffusion」、1枚の画像から3Dオブジェクトを生成する「Stable Video 3D」など、AI動画生成ツールを発表してきたが、動画から動画を生成するツールはこれが初めてであり、「画期的な出来事」だとしている。
Stability AIは今回、Stable Video 4Dと併せて、モデル開発の方法論や課題などを示した技術レポートを公開している。
現在、Stable Video 4Dは「Hugging Face」で入手できる。Stability AIは、モデルの改善に積極的に取り組んでいくという。
提供：Stability AI
この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。
