画像ベースのモデリングとレンダリング

コンピュータグラフィックスとコンピュータビジョンにおいて、画像ベースモデリングおよびレンダリング（IBMR）手法は、シーンの2次元画像のセットを利用して3次元モデルを生成し、そのシーンの新しい視点をレンダリングする。

従来のコンピュータグラフィックスの手法では、3D空間で幾何学的モデルを作成し、それを2次元画像に投影しようと試みてきました。一方、コンピュータビジョンは、与えられた画像に存在する特徴（エッジ、面など）を検出、グループ化、抽出し、それらを3次元の手がかりとして解釈することに主眼を置いています。画像ベースのモデリングとレンダリングでは、複数の2次元画像を用いて、手動によるモデリング段階を省略し、直接新しい2次元画像を生成することが可能です。

IBMR法は、固体の物理モデルのみを考慮するのではなく、通常は光のモデリングに重点を置いています。IBMRの根底にある概念は、光場のパラメータ化であるプレノプティック照明関数です。プレノプティック関数は、特定の体積内に含まれる光線を記述します。これは7次元で表現でき、光線はその位置によって定義されます。${\displaystyle (x,y,z)}$その向き${\displaystyle (\theta ,\phi )}$その波長${\displaystyle (\lambda )}$そしてその時が来た${\displaystyle (t)}$:${\displaystyle P(x,y,z,\theta ,\phi ,\lambda ,t)}$IBMR法は、プレノプティック関数を近似して、別の2次元画像から新しい2次元画像をレンダリングしようとします。この関数の次元が高いため、実際の方法では、この数を減らすためにパラメータに制約を設けます（通常は2～4）。ライトフィールドレンダリングとルミグラフで使用される一般的な簡略化では、プレノプティック関数を4次元ライトフィールドに縮小します。${\displaystyle P_{4}(u,v,s,t)}$、各光線は、オブジェクトの凸包の外側にある 2 つの平行平面との交点によってパラメータ化される。^{[ 1 ]}

• ビューモーフィングは画像間の遷移を生成する
• パノラマ画像処理は、個々の静止画像をモザイク状に合成してパノラマ画像を生成する。
• ルミグラフはシーンの高密度サンプリングに依存している
• 空間彫刻は、写真との整合性チェックに基づいて3Dモデルを生成する。

• 合成を見る
• 3D再構成
• 動きからの構造

• Quan, Long.画像ベースモデリング. Springer Science & Business Media, 2010.
• Ce Zhu; Shuai Li (2016). "深度画像に基づくビュー合成：穴生成と充填に関する新たな洞察と展望". IEEE Transactions on Broadcasting . 62 (1): 82–93 . doi : 10.1109/TBC.2015.2475697 . S2CID 19100077 . 
• Mansi Sharma; Santanu Chaudhury; Brejesh Lall; MS Venkatesh (2014). "未較正カメラに基づくマルチビュー3DTVの柔軟なアーキテクチャ". Journal of Visual Communication and Image Representation . 25 (4): 599–621 . doi : 10.1016/j.jvcir.2013.07.012 .
• Mansi Sharma; Santanu Chaudhury ; Brejesh Lall (2014). Kinect-Variety Fusion: アーティファクトのない 3DTV コンテンツ生成のための新しいハイブリッド アプローチ。第 22 回国際パターン認識会議 (ICPR)、ストックホルム、2014 年。doi : 10.1109/ICPR.2014.395。
• Mansi Sharma; Santanu Chaudhury; Brejesh Lall (2012).仮想パン/チルト/ズーム機能を備えた3DTVビュー生成. 第8回インドコンピュータビジョン、グラフィックス、画像処理会議議事録、ACMニューヨーク、NY、米国. doi : 10.1145/2425333.2425374 .