動きからの構造

動きから構造を推定する（SfM）^{[1]は、局所的な}動き信号と結合している可能性のある2次元画像シーケンスから3次元構造を推定する写真測量 距離画像化技術であり、コンピュータビジョンと視覚知覚の分野で研究されています。

人間は、周囲を動き回ることで、周囲の3次元構造に関する多くの情報を知覚します。観察者が移動すると、周囲の物体は観察者からの距離に応じて異なる量移動します。これは運動視差として知られており、この深度情報を使用して、周囲の世界の正確な3D表現を生成することができます。^[2]

動きから構造を見つけることは、立体視から構造を見つけることと同様の問題を呈示します。どちらの場合も、画像と3D オブジェクトの再構築間の対応関係を見つける必要があります。

画像間の対応関係を見つけるために、コーナーポイント（複数方向に勾配があるエッジ）などの特徴を、ある画像から次の画像へと追跡します。最も広く使用されている特徴検出器の1つは、スケール不変特徴変換（SIFT）です。これは、ガウス分布の差（DOG）ピラミッドの最大値を特定の特徴として使用します。SIFTの最初のステップは、支配的な勾配方向を見つけることです。回転不変にするために、記述子はこの方向に合わせて回転されます。^[3] もう1つの一般的な特徴検出器は、SURF（高速化されたロバスト特徴）です。^[4] SURFでは、DOGはヘッセ行列ベースのブロブ検出器に置き換えられています。また、勾配ヒストグラムを評価する代わりに、SURFは勾配成分の合計とそれらの絶対値の合計を計算します。^[5]積分画像を使用することで、高い検出率で特徴を極めて迅速に検出できます。^[6]そのため、SIFTと比較すると、SURFは特徴位置の精度が低いという欠点はあるものの、より高速な特徴検出器です。^[5] 最近、構造から動きを推定するために実用化された別の種類の特徴は、一般的な曲線（たとえば、局所的に一方向に勾配を持つエッジ）であり、ポイントレスSfMと呼ばれる技術の一部です。^{[7] [8]}ポイント特徴が不十分な場合に役立ち、人工環境でよく見られます。^[9]

次に、すべての画像から検出された特徴をマッチングします。画像間で特徴を追跡するマッチングアルゴリズムの1つに、ルーカス・カナデトラッカーがあります。^[10]

時には、一致した特徴の一部が誤って一致していることがあります。そのため、一致もフィルタリングする必要があります。RANSAC (ランダム サンプル コンセンサス)は、通常、外れ値の対応を除去するために使用されるアルゴリズムです。Fischler と Bolles の論文では、RANSAC を使用して位置決定問題(LDP) を解決しています。その目的は、画像上に投影され、位置がわかっているランドマークのセットとなる空間内の点を決定することです。^[11]

その後、時間の経過に伴う特徴の軌跡を使用して、特徴の3D位置とカメラの動きを再構築します。 [ ^12] 代替案として、いわゆる直接アプローチがあります。これは、特徴やコーナーへの中間抽象化なしに、画像から幾何学的情報（3D構造とカメラの動き）を直接推定するものです。^[13]

動きから構造を推定する方法はいくつかある。増分SfMでは^[14] 、カメラの姿勢を解析してコレクションに1つずつ追加する。グローバルSfMでは^{[15] [16]} 、すべてのカメラの姿勢を同時に解析する。中間的なアプローチとしてアウトオブコアSfMがあり、複数の部分的な再構成を計算し、それをグローバルなソリューションに統合する。

マルチビューステレオによる構造からの動きによる写真測量は、さまざまなデジタルカメラから取得した画像と、オプションで地上コントロールポイントのネットワークを使用して、ハイパースケールの地形モデルを提供します。この技術は時間的周波数に制限がなく、わずかなコストで、地上および航空機によるレーザースキャンで生成されるものと密度と精度の点で匹敵する点群データを提供できます。^{[17] [18] [19]}構造からの動きは、地上レーザースキャンが機器の携帯性によって制限され、航空機によるレーザースキャンが地形の粗さによって制限され、データの損失と画像の短縮が発生する遠隔地または険しい環境でも役立ちます。この技術は、河川、^[20]荒地、^[21]砂浜の海岸線、^{[22] [23]}断層帯、^[24]地滑り、^{[25] [26]}珊瑚礁など、多くの環境に適用されています。^[27] SfMは、河川システムの変化^[28]や大量の木材の蓄積量^[29]、多孔度^[30]の評価、不連続面の方向や持続性などのいくつかの特性の決定による岩盤の特性評価にも効果的に適用されています。^{[31] [32]}また、岩盤切土斜面の安定性の評価にも使用されています。^[33]デジタル一眼レフ、コンパクトデジタルカメラ、スマートフォンなど、あらゆる種類のデジタルカメラを利用できます。ただし、一般的に、より高価なカメラを使用すると、より正確なデータが得られ、光学品質が向上します。したがって、この技術は、これまでにない詳細さで表面地形を特徴付け、複数の一時的データを使用して、地球表面プロセスの兆候である標高、位置、体積の変化を検出する刺激的な機会を提供します。動きからの構造は、他のデジタル測量方法のコンテキストに配置できます。

文化遺産はどこにでもあります。その構造管理、記録、保存は人類の主要な義務の 1 つです (ユネスコ)。この観点から、SfM は、状況を適切に推定し、計画と保守の取り組みとコスト、管理と修復を行うために使用されます。サイトへのアクセスのしやすさや、従来の測量ルーチン (トータル ステーションなど) の使用を許可しない侵襲的な測量柱の設置が不可能であることに関連する深刻な制約がしばしば存在するため、SfM は構造物とオペレーターとの直接的なやり取りなしに、構造物に対して非侵襲的なアプローチを提供します。定性的な考慮のみが必要なため、使用は正確です。記念碑の即時の管理ニーズに対応するのに十分な速さです。^[34] 最初の運用フェーズは、写真測量を正確に準備することです。ここでは、対象物からの最適な距離、焦点距離、地上サンプリング距離 (GSD)、センサーの解像度の関係を確立します。この情報を使用して、少なくとも 60% の垂直オーバーラップを使用してプログラムされた写真の取得を行う必要があります (図 02)。^[35]

さらに、構造から動きを読み取る写真測量は、歴史的文書をデジタル化するための非侵襲的で柔軟性が高く低コストな方法論である。^[36]

• Jonathan L. Carrivick、Mark W. Smith、Duncan J. Quincey (2016)。地質科学における構造と運動。Wiley - Blackwell。208 ページ。ISBN 978-1-118-89584-9 
• Richard Hartley & Andrew Zisserman (2003)。『コンピュータビジョンにおける複数ビュージオメトリ』。ケンブリッジ大学出版局。ISBN 978-0-521-54051-3。
• オリヴィエ・フォジェラス、クアン・トゥアン・ルオン、セオドア・パパドプロ（2001）。『多重画像の幾何学』 MIT 出版。ISBN 978-0-262-06220-6。
• Yi Ma、S. Shankar Sastry、Jana Kosecka、Stefano Soatto (2003 年 11 月) 。3D ビジョンへの招待: 画像から幾何学モデルへ。学際応用数学シリーズ、#26。Springer-Verlag New York、LLC。ISBN 978-0-387-00893-6。