フォトメトリックステレオ

フォトメトリックステレオは、異なる照明条件（測光）下で物体を観察することによって物体の表面法線を推定するコンピュータビジョンの技術である。これは、表面で反射される光の量が光源と観察者に対する表面の向きに依存するという事実に基づいている。^[1]カメラに反射される光の量を測定することにより、可能な表面の向きの空間が制限される。異なる角度からの十分な光源が与えられると、表面の向きは単一の向きに制限されるか、または過度に制限される可能性がある。

この技術は、もともと1980年にウッドハムによって導入されました。^[2] データが単一の画像である特殊なケースはシェーディングからの形状抽出として知られ、1989年にBKPホーンによって分析されました。^[3]それ以来、フォトメトリックステレオは、拡張光源や非ランバート表面仕上げなど、他の多くの状況に一般化されています。現在の研究では、投影された影、ハイライト、不均一な照明がある場合でもこの方法を機能させることを目指しています。

基本的な方法

ウッドハムの元々の仮定、つまりランバート反射率、既知の点状の遠方光源、均一なアルベドの下では、線形方程式を逆転させることで問題を解くことができます。ここで、は観測された強度の（既知の）ベクトル、は（未知の）表面法線、は正規化された光の方向の（既知の）行列です。 $I=L\cdot n$ $I$ $m$ $n$ $L$ $3\times m$

このモデルは、問題を線形に保ちながら、不均一なアルベドを持つ表面に簡単に拡張できます。^[4]アルベド反射率をとすると、反射光強度の式は次のようになります。 $k$

I=k(L\cdot n)

が正方（ライトがちょうど 3 つある）かつ非特異である場合、これを反転して次の式を得ることができます。 $L$

L^{-1}I=kn

法線ベクトルの長さは 1 であることがわかっているので、はベクトルの長さでなければならず、はそのベクトルの正規化された方向です。が正方形でない場合 (3 つ以上のライトがある場合)、ムーア–ペンローズ擬似逆行列を使って一般化された逆行列を得ることができます。^[5]両辺にを掛けるだけで次のようになります。 $k$ $kn$ $n$ $L$ $L^{T}$

L^{T}I=L^{T}k(L\cdot n)

(L^{T}L)^{-1}L^{T}I=kn

その後、法線ベクトルとアルベドは上記のように解くことができます。

非ランバート面

従来のフォトメトリックステレオ問題は、完全に拡散反射するランバート面のみを対象としています。これは、多くの種類の材料、特に金属、ガラス、滑らかなプラスチックでは非現実的であり、結果として得られる法線ベクトルに異常が生じます。

この仮定を覆すために、多くの方法が開発されてきました。このセクションでは、そのうちのいくつかを紹介します。

鏡面反射

歴史的に、コンピュータグラフィックスでは、表面をレンダリングするために一般的に使用されるモデルは、ランバート表面から始まり、最初は単純な鏡面反射を含むように進化しました。コンピュータビジョンは、フォトメトリックステレオで同様の道をたどりました。鏡面反射は、ランバートモデルからの最初の逸脱の 1 つでした。これらは、開発されたいくつかの適応です。

多くの技術は、最終的には表面の反射率関数、つまり各方向にどれだけの光が反射されるかをモデル化することに依存しています。 ^{[6]この反射率関数は}可逆でなければなりません。カメラに向かって反射された光の強度を測定し、測定された強度に逆反射率関数を当てはめることで、法線ベクトルの一意の解が得られます。

一般的なBRDFとそれ以降

双方向反射分布関数(BRDF) モデルによれば、表面は、受け取った光の量を任意の外方向に分散させることができます。これは、不透明な表面の最も一般的な既知のモデルです。(ほぼ) 一般的な BRDF をモデル化するためのいくつかの手法が開発されています。実際には、これらすべてで信頼性の高いデータを取得するには、多くの光源が必要です。これらは、一般的な BRDF を持つ表面を測定できる方法です。

スキャンする前に明示的なBRDFを決定します。^[7]これを行うには、実際の形状（または少なくとも表面上の多くの点の法線ベクトル）が既にわかっている、同じまたは非常に類似したBRDFを持つ別の表面が必要です。^[8]次に、既知の表面にライトを個別に照射し、カメラへの反射量を測定します。この情報を使用して、各光源の反射強度を可能な法線ベクトルのリストにマッピングするルックアップテーブルを作成できます。これにより、表面が持つ可能性のある法線ベクトルに制約が課され、フォトメトリックステレオの問題が測定値間の補間にまで軽減されます。ルックアップテーブルを較正するための一般的な既知の表面は、表面の方向が多種多様である球体です。
BRDFを対称に制限する。^[9] BRDFが対称であれば、光の方向はカメラの方向を中心とした円錐に制限できます。どの円錐になるかは、BRDF自体、表面の法線ベクトル、測定された強度によって異なります。十分な測定強度と結果として得られる光の方向が与えられれば、これらの円錐を近似することができ、したがって表面の法線ベクトルを近似することができます。

空間的に変化する双方向分布関数（SVBRDF）、双方向表面散乱反射率分布関数（BSSRDF）、相互反射の考慮など、より一般的な表面のモデル化に向けていくつかの進歩が遂げられてきました。^[10]^{[11]しかし、このような方法はフォトメトリックステレオではまだかなり制限があります。}構造化光を用いることでより良い結果が得られています。^[12]

参照

参考文献

^ Ying Wu. 「放射測定、BRDF、測光ステレオ」(PDF)。ノースウェスタン大学。 2015年3月25日閲覧。
^ Woodham, RJ 1980. 複数の画像から表面の向きを決定する測光法。光学工学 19, I, 139-144。
^ BKP Horn、1989年。シェーディング情報から形状を取得する。BKP HornとMJ Brooks編『Shape from Shading』、121～171ページ。MIT Press。
^ S. Barsky および Maria Petrou、2003 年。ハイライトと影が存在する 3 次元表面の 4 ソースフォトメトリックステレオ法。IEEE Transactions on Pattern Analysis and Machine Intelligence、第 25 巻、第 10 号、1239-1252 ページ。IEEE。
^ Chaman Singh Verma および Mon-Ju Wu. 「Photometric Stereo」. ウィスコンシン大学マディソン校. 2015 年 3 月 24 日閲覧。
^ Hemant D. Tagare および Rui JP de Figueiredo、1991 年。「拡散非ランバート面のクラスのフォトメトリックステレオの理論」IEEE Transactions on Pattern Analysis and Machine Intelligence、vol. 13、no. 2。IEEE。
^ 池内克史、1981。「フォトメトリックステレオ法による鏡面の表面方向の決定」IEEE Transactions on Pattern Analysis and Machine Intelligence、vol. PAMI-3、第 6 号、661-669 ページ。IEEE。
^ Aaron Hertzmann および Steven M. Seitz、2005 年。「例に基づくフォトメトリックステレオ: 汎用的で異なる BRDF による形状再構成」。IEEE Transactions on Pattern Analysis and Machine Intelligence、vol. 27、no. 8。IEEE。
^ Michael Holroyd、Jason Lawrence、Greg Humphreys、Todd Zickler、2008 年。「法線と接線を推定するための測光アプローチ」。ACM SIGGRAPH Asia 2008 論文、133:1-133:9 ページ。ACM。
^ Shree K. Nayar、Katsushi Ikeuchi、Takeo Kanade、1991 年。相互反射からの形状。International Journal of Computer Vision、第 6 巻、第 3 号、173-195 ページ。
^ Miao Liao、Xinyu Huang、Ruigang Yang、2011。「スペクトル依存アルベドを使用したフォトメトリックステレオの相互反射除去」。2011 IEEE コンピュータービジョンおよびパターン認識会議、689-696 ページ。IEEE。
^ Tongbo Chen、Hendrik Lensch、Christian Fuchs、HP Seidel、2007 年。「半透明オブジェクトの 3D スキャンのための偏光と位相シフト」。IEEE コンピュータービジョンおよびパターン認識会議、2007 年、1 ～ 8 ページ。IEEE。

[1] Ying Wu. 「放射測定、BRDF、測光ステレオ」(PDF)。ノースウェスタン大学。 2015年3月25日閲覧。

[Woodham1980-2] Woodham, RJ 1980. 複数の画像から表面の向きを決定する測光法。光学工学 19, I, 139-144。

[BKPHorn89-3] BKP Horn、1989年。シェーディング情報から形状を取得する。BKP HornとMJ Brooks編『Shape from Shading』、121～171ページ。MIT Press。

[BarskyPetrou03-4] S. Barsky および Maria Petrou、2003 年。ハイライトと影が存在する 3 次元表面の 4 ソースフォトメトリックステレオ法。IEEE Transactions on Pattern Analysis and Machine Intelligence、第 25 巻、第 10 号、1239-1252 ページ。IEEE。

[5] Chaman Singh Verma および Mon-Ju Wu. 「Photometric Stereo」. ウィスコンシン大学マディソン校. 2015 年 3 月 24 日閲覧。

[6] Hemant D. Tagare および Rui JP de Figueiredo、1991 年。「拡散非ランバート面のクラスのフォトメトリックステレオの理論」IEEE Transactions on Pattern Analysis and Machine Intelligence、vol. 13、no. 2。IEEE。

[7] 池内克史、1981。「フォトメトリックステレオ法による鏡面の表面方向の決定」IEEE Transactions on Pattern Analysis and Machine Intelligence、vol. PAMI-3、第 6 号、661-669 ページ。IEEE。

[8] Aaron Hertzmann および Steven M. Seitz、2005 年。「例に基づくフォトメトリックステレオ: 汎用的で異なる BRDF による形状再構成」。IEEE Transactions on Pattern Analysis and Machine Intelligence、vol. 27、no. 8。IEEE。

[9] Michael Holroyd、Jason Lawrence、Greg Humphreys、Todd Zickler、2008 年。「法線と接線を推定するための測光アプローチ」。ACM SIGGRAPH Asia 2008 論文、133:1-133:9 ページ。ACM。

[10] Shree K. Nayar、Katsushi Ikeuchi、Takeo Kanade、1991 年。相互反射からの形状。International Journal of Computer Vision、第 6 巻、第 3 号、173-195 ページ。

[11] Miao Liao、Xinyu Huang、Ruigang Yang、2011。「スペクトル依存アルベドを使用したフォトメトリックステレオの相互反射除去」。2011 IEEE コンピュータービジョンおよびパターン認識会議、689-696 ページ。IEEE。

[12] Tongbo Chen、Hendrik Lensch、Christian Fuchs、HP Seidel、2007 年。「半透明オブジェクトの 3D スキャンのための偏光と位相シフト」。IEEE コンピュータービジョンおよびパターン認識会議、2007 年、1 ～ 8 ページ。IEEE。