フォトメトリックステレオ

フォトメトリックステレオは、コンピュータビジョンにおける技術で、さまざまな照明条件（測光）で対象物を観察することにより、対象物の表面法線を推定します。これは、表面によって反射される光の量が、光源と観察者に対する表面の向きに依存するという事実に基づいています。^{[ 1 ]}カメラに反射される光の量を測定することで、可能な表面の向きの空間が制限されます。さまざまな角度から十分な数の光源があれば、表面の向きは単一の向きに制限されるか、あるいは過剰に制限される可能性があります。

この技術はもともと1980年にウッドハムによって導入されました。^{[ 2 ]} データが単一の画像である特殊なケースはシェーディングからの形状として知られており、1989年にBKPホーンによって分析されました。^{[ 3 ]}フォトメトリックステレオはその後、拡張光源や非ランバート面仕上げなど、他の多くの状況に一般化されました。現在の研究は、投影された影、ハイライト、および不均一な照明が存在する場合でもこの方法が機能するようにすることを目的としています。

フォトメトリックステレオは、考古学[ ^{4 ] [ 5 ]、文化}遺産の保存^{[ 6 ]、品質管理[7]}など、^{さまざまな分野で広く使用されています。現在では、Meshroom[8]}などの広く^使用されているオープンソースソフトウェアに統合されています。

ウッドハムの当初の仮定（ランバート反射率、既知の点状の遠方光源、均一なアルベド）の下では、この問題は線形方程式を逆算することで解決できる。${\displaystyle I=L\cdot n}$、 どこ${\displaystyle I}$は（既知の）ベクトルです${\displaystyle m}$観測された強度、${\displaystyle n}$は（未知の）表面法線であり、${\displaystyle L}$（既知の）${\displaystyle 3\times m}$正規化された光方向の行列。

このモデルは、問題を線形に保ちながら、不均一なアルベドを持つ表面にも容易に拡張できます。^{[ 9 ]}アルベド反射率を${\displaystyle k}$反射光強度の式は次のようになる。 $${\displaystyle I=k(L\cdot n).}$$ もし${\displaystyle L}$は正方形（ちょうど3つのライトがある）で非特異なので、反転させて $${\displaystyle L^{-1}I=kn.}$$ 法線ベクトルの長さは1であることがわかっているので、${\displaystyle k}$ベクトルの長さである必要があります${\displaystyle kn}$、 そして${\displaystyle n}$これは、そのベクトルの正規化された方向です。

もし${\displaystyle L}$が正方形でない場合（ライトが3つ以上ある場合）、ムーア・ペンローズ擬似逆行列[ ^{10 ]}を使用して逆行列の一般化を両辺に単純に掛けることで得ることができます^。$\displaystyle L^{T}}$与える $${\displaystyle L^{T}I=L^{T}k(L\cdot n),}$$$${\displaystyle (L^{T}L)^{-1}L^{T}I=kn,}$$ その後、上記のように法線ベクトルとアルベドを求めることができる。

古典的なフォトメトリックステレオの問題は、完全な拡散反射を伴うランバート面のみを対象としています。これは、金属、ガラス、滑らかなプラスチックなど、多くの種類の材料では非現実的であり、結果として得られる法線ベクトルに収差が生じます。

この前提を覆すための方法は数多く開発されてきた。本節では、そのうちのいくつかを紹介する。

非較正フォトメトリックステレオは、未知の照明条件下で撮影された画像から物体の3D形状を再構築することを目的としたフォトメトリックステレオの手法です^{[ 18 ]}。制御された照明設定や既知の照明設定を前提とする従来の手法とは異なり、この手法はこれらの制約を取り除き、多様な現実世界の環境に適応できるようにしています。

ディープラーニングの登場により、手作業で作成された仮定をデータ駆動型モデルに置き換えることで、ユニバーサルPSに革命がもたらされました^{[ 20 ]} 。最近のアプローチでは、 Transformerベースのアーキテクチャとマルチスケールエンコーダー・デコーダーネットワークを活用して、入力画像から表面法線を直接推定しています^{[ 21 ]}。

較正されていないフォトメトリックステレオは、画像のみから3D形状と照明条件を同時に復元しようとするため、本質的に不適切な問題です。これにより、再構成プロセスに根本的な曖昧さが生じ、復元されたジオメトリに系統的なエラーが発生します。これには、オブジェクトの全体的な形状の全体的な歪み^{[ 22 ]}や、表面の向きの誤解釈（凹面が凸面に見えたり、その逆になったりする）が含まれます^{[ 23 ] 。}

未較正のフォトメトリックステレオの課題に対処するために、マルチビューステレオとフォトメトリックステレオを組み合わせたハイブリッド手法が登場しました。これらのアプローチは、幾何学的信頼性や解像度など、両方の技術の強みを活用しています。^{[ 22 ] [ 19 ]}

• 光傾斜測定法
• 測光
• 立体視
• 3Dスキャナー