自由視点テレビ

フリービューポイントテレビ（FTV）は自然なビデオを視聴するためのシステムであり、ユーザーはインタラクティブに視点を制御し、任意の3D位置から動的なシーンの新しいビューを生成できます。 ^[1]コンピューターシミュレーションビデオ の同等のシステムは、バーチャルリアリティとして知られています。FTVでは、監督ではなく視聴者が注目の焦点を制御できるため、各視聴者は独自の視点を観察できます。FTVがグループ活動としてのテレビ視聴にどのような影響を与えるかはまだわかりません。

自然なシーンの任意のビューをレンダリングするシステムは、コンピューター ビジョンコミュニティでは長い間よく知られていましたが、速度と品質がエンド ユーザー システムとして真剣に検討できるレベルに達したのはごく最近のことです^{[いつからでしょうか]}。^{[引用が必要]}

名古屋大学（日本）の谷本正之教授は、「自由視点テレビ」という用語の使用を促進するために多大な貢献をしており、光線空間表現に関する多くの論文を発表しているが^{（[要出典] [要説明]）、}他の技術も FTV に使用可能であり、実際に使用されている。

QuickTime VR はFTV の前身と考えられる。^{[引用が必要]}

あらゆる角度からシーンを高品質にレンダリングするために必要なビューを取得するには、スタジオ環境またはスポーツ競技場などの屋外会場で、シーンの周囲に複数のカメラを配置します。出力マルチビュー ビデオ (MVV) は、データを圧縮できるように、またユーザーの表示デバイスが関連するビューに簡単にアクセスして新しいビューを補間できるように、適切にパッケージ化する必要があります。^{[引用が必要]}

撮影するシーンの周りにカメラを配置するだけでは十分ではありません。カメラ セットアップの形状は、コンピューター ビジョンで「カメラ キャリブレーション」と呼ばれるプロセスによって測定する必要があります。^[要出典]手動での調整は面倒すぎるため、通常は、キャリブレーション パラメータを生成するために使用されるテスト パターンをキャプチャする前に、「ベスト エフォート」調整を実行します。

大きな環境の制限された自由視点のテレビビューは、移動プラットフォームに取り付けられた単一の場所のカメラシステムからキャプチャできます。^[要出典]自由視点を生成するために必要な深度データもキャプチャする必要があります。Googleストリートビューキャプチャシステムは機能が制限された例です。最初の完全な商用実装であるiFlexは、2009年にReal Time Raceによって提供されました。^[2]

マルチビュー ビデオ キャプチャは、シーンの部分的 (通常は約 30 度) から完全な (360 度) カバレッジまでさまざまです。そのため、3D ディスプレイやその他の 3D 方式で表示するのに適した立体ビューを出力できます。物理カメラの数が多いシステムでは、表示可能なシーンをより広範囲にカバーした画像をキャプチャできますが、どの視点から見ても特定の領域が常に遮られる可能性があります。カメラの数が多いほど、補間の必要性が少なくなるため、高品質の出力を得ることができます。

カメラの数が増えるということは、マルチビュービデオの効率的なコーディングが必要になることを意味します。MVVの冗長性を排除できる表現方法があるため、これはそれほど大きな欠点ではないかもしれません。たとえば、MPEG-4やマルチビュービデオコーディングを使用したビュー間コーディング、レイスペース表現、ジオメトリビデオなどです。^{[3] [説明が必要]}などです。

ハードウェアに関しては、MVV をデコードして新しい視点を合成できる表示デバイスと、2D または 3D ディスプレイが必要です。

動画専門家グループ（MPEG）は、ハインリッヒ・ヘルツ研究所のAljoscha Smolic ^[4]が率いる「3DAV」（3Dオーディオおよびビジュアル）と呼ばれるグループの研究に倣い、2009年3月にMPEG-4 AVCのAnnex H「マルチビュービデオコーディング」を標準化しました。

• 3D再構築
• レンダリング（コンピュータグラフィックス）
• ボリューメトリックビデオ

• Carranza, Joel; Theobalt, Christian; Magnor, Marcus A.; Seidel, Hans-Peter (2003 年 7 月)。「人間俳優の自由視点ビデオ」(PDF) 。ACM Transactions on Graphics。22 ( 3)。ACM : 569–577。doi : 10.1145 /882262.882309。

• キヤノンは2017年9月21日にフリービューポイントテレビシステムの開発を発表し、Inter BEE 2017で展示する予定だ。
• iview は、 BBC、Snell & Wilcox、サリー大学が協力してFTV システムを開発する英国DTIプロジェクトです。
• Eye Vision は、CBS の第 35 回スーパーボウル中継のためにCMUのTakeo Kanade教授が開発したシステムです。ユーザーは視点を変更できませんが、カメラ オペレーターはアクティブ ビジョンシステムからの画像を合成することで、任意の仮想視点を選択できます。
• Replay Technologiesは、2012年ロンドンオリンピックで史上初のライブオンエア3D再構成を制作しました。同社のウェブサイトは現在、Intel freeD 360 Replayを指しているようです。