Sora（テキストから動画への変換モデル）

SoraはOpenAIが開発中のテキストから動画を生成するモデルです。このモデルはユーザーのプロンプトに基づいて短い動画クリップを生成し、既存の短い動画を拡張することもできます。2024年12月現在、未リリースであり、まだ一般には公開されていません。^[1] OpenAIはSoraの公式リリース日を発表していません。

Sora以前にも、MetaのMake-A-Video、RunwayのGen-2、GoogleのLumiereなど、テキストから動画を生成するモデルがいくつか作成されていましたが、2024年2月現在、Lumiereも^[update]まだ研究段階にあります。^[2] Soraの開発元であるOpenAIは、 2023年9月にDALL-Eテキストから画像を生成するモデルの3番目であるDALL·E 3をリリースしました^。[3]

ソラを開発したチームは、その「無限の創造力」を意味する日本語の「空」にちなんでソラと名付けた。^[4] 2024年2月15日、OpenAIは、山道を走るSUV、ろうそくの横にある「短くてふわふわしたモンスター」のアニメーション、雪の中を東京を歩く2人、カリフォルニアのゴールドラッシュの偽の歴史的映像など、作成した高解像度のビデオの複数のクリップを公開してソラを初めてプレビューし、最大1分間のビデオを生成できると述べた。^[2]同社はその後、モデルのトレーニングに使用された方法を強調した技術レポートを共有した。^{[5] [6]} OpenAIのCEOサム・アルトマンも、Twitterユーザーのプロンプトにソラで生成されたプロンプトのビデオで応答する一連のツイートを投稿した。

OpenAIは、Soraを一般公開する予定であると述べていますが、すぐには公開できないと述べており、いつ公開するかは明らかにしていません。^{[2] [1]}同社は、誤情報や偏見の専門家を含む小規模な「レッドチーム」に限定的なアクセスを提供し、モデルの敵対的テストを実施しました。 ^[3]同社はまた、ビデオ制作者やアーティストを含むクリエイティブプロフェッショナルの小グループとSoraを共有し、クリエイティブ分野での有用性に関するフィードバックを求めました。^[7]

2024年11月24日、Hugging FaceのテスターグループがSoraにアクセスするためのAPIキーを漏洩し、 Soraが「アートウォッシング」に使用されていることに抗議する声明を投稿した。OpenAIは漏洩が公開されてから3時間後にアクセス権を取り消し、「何百人ものアーティスト」が開発を形作っており、「参加は任意である」という声明を発表した。^[8]

Sora の背後にある技術は、DALL-E 3 の背後にある技術を応用したものです。OpenAI によると、Sora は拡散トランスフォーマー^[9]です。これは、1 つのトランスフォーマーをデノイザーとして使用するノイズ除去潜在拡散モデルです。ビデオは、3D「パッチ」のノイズ除去によって潜在空間で生成され、その後、ビデオ解凍器によって標準空間に変換されます。再キャプションは、ビデオからテキストへのモデルを使用してビデオに詳細なキャプションを作成することにより、トレーニング データを拡張するために使用されます。 ^[6]

OpenAIは、公開されている動画と、この目的のためにライセンスされた著作権で保護された動画を使用してモデルをトレーニングしたが、動画の数や正確な出所は明らかにしなかった。^{[4] OpenAIはリリース時に、複雑な物理法則をシミュレートすること、}因果関係を理解すること、左右を区別することなど、Soraの欠点のいくつかを認めた。 ^[10]一例では、オオカミの子のグループが増殖して収束しているように見え、理解しにくいシナリオを作り出している。^[11] OpenAIはまた、同社の既存の安全対策を遵守し、Soraは性的、暴力的、憎悪的、または有名人の画像、および既存の知的財産をフィーチャーしたコンテンツに関するテキストプロンプトを制限すると述べた。^[3]

Soraの研究者であるティム・ブルックス氏は、モデルがデータセットのみから3Dグラフィックスを作成する方法を理解したと述べ、同じくSoraの研究者であるビル・ピーブルズ氏は、モデルが指示なしに自動的にさまざまなビデオアングルを作成したと述べました。 ^{[2] OpenAIによると、Soraが生成したビデオには、AIによって生成されたことを示す}C2PAメタデータがタグ付けされています。^[4]

MITテクノロジーレビューのウィル・ダグラス・ヘブンは、デモ動画を「印象的」と評したが、厳選されたものであり、ソラの典型的な成果物ではないかもしれないと指摘した。^[7]アメリカの学者オレン・エツィオーニは、この技術が政治キャンペーンのためにオンラインで偽情報を作成する能力について懸念を表明した。 ^[4]ワイアード誌のスティーブン・レヴィも同様に、この技術は「偽情報の列車事故」になる可能性があると書き、プレビュー動画は「印象的」だが「完璧ではない」とし、自発的なショット変更により「映画の文法の新たな理解を示している」と論じた。レヴィは「テキストから動画への変換が実際の映画製作を脅かすようになるまでには、非常に長い時間がかかるだろう」と付け加えた。 ^[2] CNETのリサ・レイシーは、この例の動画を「驚くほどリアル - 人間の顔が間近に映ったり、海の生き物が泳いでいるときを除いて」と評した。^[3]

映画監督のタイラー・ペリーは、ソラが映画業界に及ぼす潜在的な影響について懸念を表明し、アトランタのスタジオの8億ドルの拡張計画を保留すると発表した。 ^{[12] [13]}

• VideoPoet  – Google によるテキストから動画への変換モデル
• ドリームマシン（テキストからビデオへのモデル）

ウィキメディア・コモンズには、ソラに関連するメディアがあります。

• 公式サイト