3D再構成

物体の 3D 幾何学的情報を取得するために両眼ステレオビジョンを使用するアプローチは、視覚的視差に基づいています。^{[ 19 ]}次の図は、水平方向の両眼ステレオビジョンの簡単な概略図を示しています。ここで、b は 2 つのカメラの投影中心間のベースラインです。

図に示すように、カメラの座標系の原点はカメラレンズの光軸中心にあります。実際には、カメラの像面はカメラレンズの光軸中心の後ろにあります。しかし、計算を簡略化するために、像はレンズの光軸中心の手前にfで描画されます。像の座標系のu軸とv軸は、${\displaystyle O_{1}uv}$これらはそれぞれカメラの座標系のx軸とy軸と同じ方向を向いています。画像の座標系の原点は、撮像面と光軸の交点にあります。このような世界点を${\displaystyle P}$対応するイメージポイントは${\displaystyle P_{1}(u_{1},v_{1})}$そして${\displaystyle P_{2}(u_{2},v_{2})}$それぞれ左と右の画像平面上。2台のカメラが同じ平面上にあると仮定すると、y座標は${\displaystyle P_{1}}$そして${\displaystyle P_{2}}$同一である、つまり、${\displaystyle v_{1}=v_{2}}$三角法の関係によれば、

${\displaystyle u_{1}=f{\frac {x_{p}}{z_{p}}}}$

${\displaystyle u_{2}=f{\frac {x_{p}-b}{z_{p}}}}$

${\displaystyle v_{1}=v_{2}=f{\frac {y_{p}}{z_{p}}}}$

どこ${\displaystyle (x_{p},y_{p},z_{p})}$は座標です${\displaystyle P}$左カメラの座標系では、${\displaystyle f}$カメラの焦点距離です。視覚視差は、2台のカメラで取得した特定の世界点の画像点位置の差として定義されます。

${\displaystyle d=u_{1}-u_{2}=f{\frac {b}{z_{p}}}}$

それに基づいて座標は${\displaystyle P}$解決できる。

したがって、画像点の座標が分かれば、2台のカメラのパラメータに加えて、その点の3次元座標を決定することができる。

${\displaystyle x_{p}={\frac {bu_{1}}{d}}}$

${\displaystyle y_{p}={\frac {bv_{1}}{d}}}$

${\displaystyle z_{p}={\frac {bf}{d}}}$

3D再構成は以下のセクションで構成されます。

2Dデジタル画像の取得は、3D再構成の情報源となります。一般的に用いられる3D再構成は、2枚以上の画像に基づいて行われますが、場合によっては1枚の画像のみを用いることもあります。画像取得方法には、用途や目的に応じて様々な種類があります。アプリケーションの要件を満たすだけでなく、視覚的なずれ、照明、カメラの性能、そして撮影環境の特徴なども考慮する必要があります。

両眼ステレオビジョンにおけるカメラキャリブレーションとは、画像点間のマッピング関係を決定することを指します。${\displaystyle P_{1}(u_{1},v_{1})}$そして${\displaystyle P_{2}(u_{2},v_{2})}$空間座標${\displaystyle P(x_{p},y_{p},z_{p})}$3Dシナリオにおいて、カメラキャリブレーションは、両眼ステレオビジョンによる3D再構成における基本的かつ不可欠な要素です。

特徴抽出の目的は、ステレオ対応処理の基盤となる画像の特性を取得することである。結果として、画像の特性はマッチング手法の選択と密接に関係する。特徴抽出には普遍的に適用できる理論が存在しないため、両眼立体視の研究においてステレオ対応の手法は非常に多様である。

ステレオ対応とは、画像内の基本要素間の対応関係を確立すること、つまり、${\displaystyle P_{1}(u_{1},v_{1})}$そして${\displaystyle P_{2}(u_{2},v_{2})}$2枚の画像から作成されています。照明、ノイズ、表面の物理的特性など、シナリオにおける特定の干渉要因に注意する必要があります。

正確な対応関係とカメラ位置パラメータを組み合わせることで、3D幾何学的情報を容易に復元できます。3D再構成の精度は対応関係の精度やカメラ位置パラメータの誤差などに依存するため、比較的精度の高い3D再構成を実現するには、上記の手順を慎重に行う必要があります。

診断、患者の経過観察、コンピュータ支援手術、手術計画などの臨床ルーチンは、人体解剖学的部位の正確な3Dモデルによって促進されます。3D再構築の主な動機は次のとおりです。

• 複数ビューの集約により精度が向上しました。
• 詳細な地表面積推定値。
• 外科医が医療処置を行う際の計画、シミュレーション、誘導、またはその他の支援に使用できます。
• 患者の解剖学的構造の正確な位置と向きを特定することができる。
• 放射線治療計画や治療検証、脊椎手術、股関節置換術、神経血管内治療、大動脈ステント留置術など、多くの臨床分野で役立ちます。

アプリケーション:

3D再構成は多くの分野で応用されています。例えば、以下のような分野が挙げられます。

• 舗装工学^{[ 7 ] [ 20 ]}
• 医学^{[ 4 ]}
• 自由視点ビデオ再構成^{[ 21 ]}
• ロボットマッピング^{[ 22 ]}
• 都市計画^{[ 23 ]}
• 断層再構成^{[ 24 ]}
• ゲーム^{[ 25 ]}
• 仮想環境と仮想観光^{[ 25 ]}
• 地球観測
• 考古学^{[ 26 ]}
• 拡張現実^{[ 27 ]}
• リバースエンジニアリング^{[ 28 ]}
• モーションキャプチャ^{[ 29 ]}
• 文化遺産のデジタル保存^{[ 30 ]}
• 3Dオブジェクト認識^{[ 31 ]} 、ジェスチャー認識とハンドトラッキング^{[ 32 ]}

問題提起：

3D再構成に利用できるアルゴリズムのほとんどは非常に処理速度が遅く、リアルタイムでの使用には適していません。今回紹介するアルゴリズムはまだ開発初期段階ですが、高速計算の可能性を秘めています。

既存のアプローチ：

ドロネーとアルファシェイプ

• ドロネー法では、初期点群から四面​​体表面を抽出します。空間内の点の集合の「形状」の概念は、アルファ形状の概念によって与えられます。有限点集合 S と実数パラメータ α が与えられた場合、S のアルファ形状は、凸でもなく、必ずしも連結でもない多面体 (2 次元多角形と 3 次元多面体の任意の次元への一般化) です。^{[ 33 ]}値が大きい場合、アルファ形状は S の凸包と同一になります。Edelsbrunner と Mucke ^{[ 34 ]}によって提案されたアルゴリズムは、α より小さい周囲の球によって区切られたすべての四面体を削除します。その後、結果として得られた四面体の外部三角形を使用して表面を取得します。^{[ 34 ]}
• Tight Cocone ^{[ 35 ]}と呼ばれる別のアルゴリズムでは、初期の四面体を内部と外部に分類します。内部と外部で見つかった三角形によって、結果として得られる表面が生成されます。

両方の方法は最近、ノイズのある点群の再構築に拡張されました。^{[ 35 ]}この方法では、点の品質が方法の実現可能性を決定します。正確な三角測量では、点群全体を使用するため、閾値を超える誤差のある表面上の点が再構築されたジオメトリ上に明示的に表現されます。^{[ 33 ]}

ゼロセット法

表面の再構成は、空間内の各点に表面Sまでの符号付き距離を割り当てる距離関数を使用して実行されます。輪郭アルゴリズムを使用してゼロセットを抽出し、それを使用してオブジェクトの多角形表現を取得します。したがって、無秩序な点群から表面を再構成する問題は、サンプリングされた点に対してゼロ値、それ以外の点に対してゼロ以外の値を持つ適切な関数fの定義に帰着します。マーチングキューブと呼ばれるアルゴリズムは、このような方法の使用を確立しました。^{[ 36 ]}与えられたアルゴリズムにはさまざまなバリアントがあり、離散関数fを使用するものもあれば、初期点セットを調整するために使用される多調和放射基底関数を使用するものもあります。^{[ 37 ] [ 38 ]}ポアソン方程式に基づく移動最小二乗法、ローカルサポート付き基本関数などの関数も使用されています。 ^{[ 39 ]}極端な曲率を持つ領域、つまりコーナーやエッジでの幾何学的精度の損失は、遭遇する主な問題の 1 つです。さらに、何らかのフィルタリング技術を適用して情報を前処理すると、角がぼやけることで、角の定義にも影響します。角の検出と精緻化のために再構成で使用される後処理技術に関する研究はいくつかありますが、これらの方法はソリューションの複雑さを増大させます。^{[ 40 ]}

VR技術

VR技術を用いて、対象物の体積全体の透明度を可視化します。画像は、体積データを通して光線を投影することによって生成されます。各光線に沿って、各ボクセルで不透明度と色を計算する必要があります。次に、各光線に沿って計算された情報が、画像平面上のピクセルに集約されます。この技術により、対象物のコンパクトな構造全体を包括的に見ることができます。この技術は膨大な量の計算を必要とするため、強力な構成のコンピュータが必要となり、低コントラストのデータに適しています。光線投影の主な方法は次の2つが考えられます。

• オブジェクト順序法：投影光線は、体積の奥から手前（体積から画像平面へ）へと通過します。
• 画像順序またはレイキャスティング法: 投影レイはボリュームを前から後ろへ (画像平面からボリュームへ) 通過します。画像を合成するための他の方法もいくつかあり、適切な方法はユーザーの目的に応じて異なります。医療画像でよく使われる方法には、MIP (最大強度投影)、MinIP (最小強度投影)、AC (アルファ合成)、NPVR (非フォトリアリスティックボリュームレンダリング) などがあります。

ボクセルグリッド

このフィルタリング手法では、入力空間を 3D ボクセルのグリッドを使用してサンプリングし、点の数を減らします。^{[ 41 ]}各ボクセルについて、すべての点の代表として重心が選択されます。 2 つのアプローチがあり、ボクセルの重心を選択するか、ボクセル内にある点の重心を選択します。 内部点を取得するには、平均の方が計算コストは​​高くなりますが、より良い結果が得られます。 したがって、入力空間のサブセットが得られ、これは基底表面を大まかに表します。 ボクセル グリッド法は、他のフィルタリング手法と同じ問題を抱えています。表面を表す最終的な点の数を定義できないこと、ボクセル内の点の削減による幾何学的情報の損失、ノイズの多い入力空間に対する感度などです。