Loading article…
複数画像からの3D再構成とは、一連の画像から3次元モデルを作成するプロセスです。これは、3Dシーンから2D画像を取得するプロセスとは逆のプロセスです。
画像の本質は、3Dシーンを2D平面に投影することであり、その過程で奥行きは失われます。特定の画像点に対応する3D点は、視線上に限定されます。1枚の画像からは、この視線上のどの点が画像点に対応するかを判断することはできません。2枚の画像があれば、2本の投影光線の交点として3D点の位置を求めることができます。このプロセスは三角測量と呼ばれます。このプロセスの鍵となるのは、複数のビュー間の関係性です。この関係性は、対応する点の集合が何らかの構造を持ち、その構造がカメラの姿勢とキャリブレーションに関連していることを示しています。
近年、コンピュータグラフィックス、仮想現実、コミュニケーションへの応用において3Dコンテンツに対する需要が著しく高まっており、3Dを作成するために必要なツールやデバイスにも変化が求められています。既存の3Dモデル構築システムのほとんどは、特殊なハードウェア（ステレオリグなど）を中心に構築されているため、コストが高くなります。このギャップにより、デジタルイメージング設備（カメラなど）の使用が促進されています。初期の手法はTomasiとKanadeによって提案され[ 2 ] 、アフィン分解アプローチを使用して画像シーケンスから3Dを抽出しました。しかし、正射影を仮定していることが、このシステムの大きな制約となっています。
複数の2D画像を3Dモデルに変換する作業は、一連の処理ステップから構成されます。
カメラキャリブレーションは、内部パラメータと外部パラメータから構成され、これらがなければ、いかなるアルゴリズムも機能しません。キャリブレーションと深度決定の間の点線は、深度を決定するには通常カメラキャリブレーションが必要であることを示しています。
深度判定は、画像から欠落している3D要素である深度を計算するため、全プロセスの中で最も難しい部分です。このプロセスにおける重要な課題は、対応関係の問題です。これは、2つの画像間の対応関係を見つけ出し、対応関係にある要素の位置を3D空間内で三角測量によって特定することです。
複数の深度マップを取得したら、深度を計算してカメラから投影することで、最終的なメッシュを作成するためにそれらを組み合わせる必要があります（レジストレーション）。カメラキャリブレーションは、深度マップによって作成された多数のメッシュをどこで組み合わせてより大きなメッシュを作成し、複数の視点から観察できるようにするために使用されます。
マテリアル適用段階では、すでに完全な3Dメッシュが作成されており、これが最終目標となる場合もありますが、通常は元の写真の色をメッシュに適用したいと考えるでしょう。その方法は、画像をメッシュにランダムに投影する方法から、テクスチャを組み合わせて超高解像度を実現する方法、そして最終的には鏡面反射や拡散反射などのマテリアルごとにメッシュを分割する方法まで多岐にわたります。
N 台のカメラで撮影された行列を持つ 3D 点群が与えられた場合、 定義する投影の同次座標である指し示すカメラ。再構成問題は次のように変更できます。ピクセル座標のグループが与えられた場合対応するカメラ行列のセットを見つけるそしてシーンの構造そのため
一般的に、さらなる制約がなければ、射影再構成が得られます。[ 4 ] [ 5 ]そして （１）を満たすそして任意の4 × 4非特異行列Tで (1) を満たす。
射影再構成は、事前の情報を一切必要とせず、点の対応関係のみに基づいて計算することができる。
自動キャリブレーションまたは自己キャリブレーションでは、まず剛性を用いてカメラの動きとパラメータが復元されます。その後、構造を容易に計算できます。この考え方を実装した2つの方法を以下に示します。
最低 3 つの変位があれば、Kruppa による多項式方程式のシステムを使用してカメラの内部パラメータを取得できます。[ 6 ]これは剛性制約の幾何学的解釈から導出されています。[ 7 ] [ 8 ]
マトリックスKruppa方程式では、Kruppa係数行列と呼ばれる未知のパラメータが存在します。KとCholesky分解法を用いることで、固有パラメータを容易に求めることができます。
最近、ハートレー[ 9 ]はより単純な形式を提案した。次のように書く、 どこ
この方法は、剛性制約の利用に基づいています。固有パラメータを引数、基本行列をパラメータとして考慮するコスト関数を設計してください。は基本行列として定義され、そして固有パラメータ行列として。
最近、階層化の概念に基づく新しい手法が提案されている。[ 10 ]対応関係のみから計算できる射影構造から始めて、利用可能なすべての制約を利用して、この射影再構成をユークリッド再構成にアップグレードする。この考え方により、問題を異なるセクションに階層化することができる。利用可能な制約の量に応じて、射影、アフィン、またはユークリッドの異なるレベルで分析することができる。
通常、世界は3Dユークリッド空間として認識されます。場合によっては、3D空間の完全なユークリッド構造を使用することはできません。最も単純なのは射影幾何学で、次に中間層を形成するアフィン幾何学、そして最後にユークリッド幾何学があります。階層化の概念は、幾何学的実体に対する一連の変換と密接に関連しています。射影層には一連の射影変換（ホモグラフィ）があり、アフィン層には一連のアフィン変換があり、ユークリッド層には一連のユークリッド変換があります。
固定されたシーンが2つ以上の透視カメラで撮影され、異なる画像内の可視点間の対応関係が既に与えられていると仮定します。しかし、実際には、マッチングはコンピュータビジョンにおいて不可欠かつ非常に困難な問題です。ここでは、3Dポイント観察される投影マトリックスを備えたカメラ点の位置もカメラの投影も不明です。投影のみが不明です。の地点画像は既知である。
単純な数え方では、独立した測定と未知数なので、十分な点と画像があれば問題は解けるはずです。同次座標での方程式は次のように表すことができます。
したがって、非特異な4 × 4変換Hを射影に適用できます。→および世界ポイント→したがって、さらなる制約がない場合、再構成は3次元世界の未知の射影変形にすぎない。
平面の無限遠点における位置の計算に関するより詳細な情報については、アフィン空間を参照してください。最も簡単な方法は、事前の知識を活用することです。 例えば、シーン内の線が平行であることや、ある点が他の2点の3分の1の位置にあることなどの情報です。
カメラの動きに関する事前制約も利用できます。同じ点の異なる画像を解析することで、動きの方向に沿った線を得ることができます。複数の線の交点は、動きの方向における無限遠点であり、アフィン構造に関する制約の一つとなります。
射影再構成を冗長なユークリッド制約群を満たすものにマッピングすることにより、式(2)の射影変換Hを見つけることができます。これらの式は非常に非線形であり、構造の適切な初期推定が必要です。これは、線形射影-平行射影を仮定することで得られ、SVD分解による容易な再構成も可能になります。[ 2 ]
測定データ（画像やワールド座標など）には必然的にノイズが含まれ、そのノイズは様々な原因から発生します。ノイズの影響を軽減するために、通常は必要以上に多くの式を用いて最小二乗法で解きます。
例えば、典型的なヌル空間問題の定式化 Ax = 0 (DLT アルゴリズムなど) では、最小二乗法によって残差の二乗 ||Ax|| が最小化されます。
一般に、||Ax|| が幾何学的実体 (点、線、平面など) 間の距離とみなせる場合、最小化されるのは幾何学的誤差であり、そうでない場合 (誤差に適切な幾何学的解釈がない場合) は代数的誤差と呼ばれます。
したがって、代数誤差と比較して、幾何学的誤差を最小化することを優先します。その理由は以下のとおりです。
これまで見てきた線形アルゴリズム（DLTなど）はすべて、代数誤差を最小化するものです。しかし実際には、実装の容易さ以外に代数誤差を最小化する正当な理由はありません。なぜなら、それは線形問題になるからです。幾何誤差の最小化は多くの場合非線形問題であり、反復解しか得られず、初期値が必要となります。
通常、代数残差に基づく線形解は、幾何学的コスト関数の非線形最小化の出発点として機能し、解に最終的な「仕上げ」を与えます。[ 11 ]
2次元画像では、解剖学的構造が重なり合ってしまい、異常を明らかにできないという問題がある。一方、3次元画像は診断と治療の両方の目的で使用できる。
3Dモデルは手術計画、形態計測研究に使用され、整形外科では信頼性が高い。[ 12 ]
複数の角度からカメラで撮影した2D画像から3D画像を再構成します。CTスキャンやMRIなどの医用画像技術は高価であり、CTスキャンは正確ではあるものの、特定の疾患を持つ患者にとってリスクとなる高線量の放射線を誘発する可能性があります。MRIに基づく方法は正確ではありません。MRIスキャン中は強力な磁場にさらされるため、この方法は強磁性金属インプラントを持つ患者には適していません。どちらの方法も、骨の全体的な構造が変化する横臥位でのみ実行可能です。そこで、立位で実行でき、低線量の放射線を必要とする以下の方法について説明します。
これらの技術は3次元画像化ではあるものの、関心領域はスライスに限定されており、データは時系列を形成するように取得される。
この方法はシンプルで、多方向のレントゲン写真で点を手動で識別することによって実装されます。最初のステップは、2 つの X 線画像で対応する点を抽出することです。2 番目のステップは、離散線形変換 (DLT) などのアルゴリズムを使用して画像を 3 次元で再構成することです。[ 13 ]再構成は、ステレオ対応点 (SCP) がある場合にのみ可能です。結果の品質は SCP の数に依存し、SCP が多いほど結果は良くなります[ 14 ]しかし、遅くて不正確です。オペレーターのスキルは、画像の品質に影響します。SCP ベースの手法は、識別可能なエッジのない骨構造には適していません。一般的に、SCP ベースの手法は、他の方法を含むプロセスの一部として使用されます。[ 15 ]
この方法は、X線画像を用いて3D再構成を行い、荷重のかかる姿勢で低線量の放射線を用いて3Dモデルを作成する。
NSCC アルゴリズムでは、最初のステップは初期解の計算です。まず、汎用オブジェクトから解剖学的領域が定義されます。次に、レントゲン写真上で手動で 2D 輪郭が識別されます。各レントゲン写真から、3D 初期解オブジェクトを使用して 2D 輪郭が生成されます。初期オブジェクト表面の 3D 輪郭は、対応するレントゲン写真に投影されます。[ 15 ]これら 2 つの設定点間で実行される 2D 関連付けは、点間の距離と輪郭の導出に基づいており、2D 輪郭と 3D 輪郭間の対応関係が構築されます。次のステップは、初期解の最適化です。最後に、最適化された解にクリギング アルゴリズムを適用して、最適化された解の変形が行われます。[ 16 ]最後に、2 つの設定点間の距離が所定の精度値を超えるまで最終ステップを繰り返すことにより、再構築されたオブジェクトが得られます。
この方法の利点は、連続した形状の骨格構造にも適用でき、人的介入も減らせることですが、時間がかかります。
サーフェスレンダリングは、3Dオブジェクトをアイソサーフェスと呼ばれる一連のサーフェスとして視覚化します。各サーフェスには、同じ強度（アイソ値と呼ばれる）を持つ点があります。この手法は通常、高コントラストのデータに適用され、分離された構造を視覚化するのに役立ちます。たとえば、頭蓋骨は頭部のスライスから作成でき、血管系は体のスライスから作成できます。主な方法は次の2つです。
他の手法では、統計的形状モデル、パラメトリックモデル、または両者のハイブリッドモデルを使用する。
