バンドル調整

写真測量法とコンピュータ ステレオ ビジョンにおけるバンドル調整とは、さまざまな視点から多数の 3D ポイントを描写した画像のセットが与えられた場合に、シーンのジオメトリを記述する 3D座標、相対運動のパラメーター、および画像を取得するために使用されたカメラの光学特性を同時に調整することです。バンドル調整の名前は、各 3D フィーチャから発生し、各カメラの光学中心に収束する光線の幾何学的なバンドルを指し、すべてのポイントの対応する画像投影を含む最適性基準に従って最適に調整されます。

バンドル調整は、ほとんどの場合、特徴ベースの3D 再構成アルゴリズムの最後のステップとして使用されます^{[要出典] 。これは、3D 構造と表示パラメータ (カメラの}姿勢、場合によっては固有のキャリブレーションと放射状の歪み) に関する最適化問題に相当し、観測された^[1]画像の特徴に関連するノイズに関する特定の仮定の下で最適な再構成を取得します。画像エラーがゼロ平均ガウスである場合、バンドル調整は最大尤度推定量です。^{[2] : 2}バンドル調整は、1950 年代に写真測量の分野で最初に考案され、近年コンピューター ビジョンの研究者によってますます使用されています。 ^{[2] : 2}

バンドル調整は、観測された画像ポイントと予測された画像ポイントの画像位置間の再投影誤差を最小化することに帰着します。これは、多数の非線形の実数値関数の二乗の合計として表されます。したがって、最小化は非線形最小二乗アルゴリズムを使用して達成されます。これらのうち、Levenberg–Marquardt法は、実装が容易で、効果的な減衰戦略を使用しているため、最も成功している方法の 1 つであることが証明されています。これにより、幅広い初期推定値から迅速に収束することができます。Levenberg–Marquardt アルゴリズムでは、最小化される関数を現在の推定値の近傍で反復的に線形化することで、正規方程式と呼ばれる線形システムの解を求めます。バンドル調整のフレームワークで生じる最小化問題を解決する際、異なる 3D ポイントとカメラのパラメーター間の相互作用がないため、正規方程式はスパースブロック構造を持ちます。これを利用して、正規方程式のゼロパターンを明示的に利用し、ゼロ要素の格納と操作を回避するLevenberg-Marquardtアルゴリズムのスパースバリアントを使用することで、計算上の大きな利点を得ることができます。^{[2] : 3}

バンドル調整は、利用可能な画像セット内の観測点の位置を最も正確に予測するパラメータセットを見つけるために、カメラと構造の初期パラメータ推定値のセットを共同で改良することに相当する。より正式には、^[3]では、 3Dポイントがビューに表示され、が画像 上の 番目のポイントの投影であると仮定する。ポイントが画像に表示されている場合は1、そうでない場合は0になるバイナリ変数を で表す。また、各カメラはベクトル でパラメータ化され、各 3D ポイントはベクトル でパラメータ化されると仮定する。バンドル調整は、すべての 3D ポイントとカメラパラメータに関して、具体的には、総再投影誤差を最小化する。 ${\displaystyle n}$${\displaystyle m}$${\displaystyle \mathbf {x} _{ij}}$${\displaystyle i}$${\displaystyle j}$${\displaystyle \displaystyle v_{ij}}$${\displaystyle i}$${\displaystyle j}$${\displaystyle j}$${\displaystyle \mathbf {a} _{j}}$${\displaystyle i}$${\displaystyle \mathbf {b} _{i}}$

${\displaystyle \min _{\mathbf {a} _{j},\,\mathbf {b} _{i}}\displaystyle \sum _{i=1}^{n}\;\displaystyle \sum _ {j=1}^{m}\;v_{ij}\,d(\mathbf {Q} (\mathbf {a} _{j},\,\mathbf {b} _{i}),\;\mathbf {x} _{ij})^{2},}$

ここで、 は画像上の点の予測投影であり、 はベクトルとで表される画像点間のユークリッド距離を表します。最小値は多数の点と多数の画像に対して計算されるため、バンドル調整は定義上、画像投影の欠落を許容します。また、距離メトリックが適切に選択されている場合 (ユークリッド距離など)、バンドル調整は物理的に意味のある基準も最小化します。 ${\displaystyle \mathbf {Q} (\mathbf {a} _{j},\,\mathbf {b} _{i})}$${\displaystyle i}$${\displaystyle j}$${\displaystyle d(\mathbf {x} ,\,\mathbf {y} )}$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$

• 観察の調整
• 立体視
• レーベンバーグ・マルカートアルゴリズム
• スパース行列
• 共線性方程式
• 動きからの構造
• 同時位置特定とマッピング

• A. Zisserman。バンドル調整。CV Online。

• [1]: Apero/MicMac、無料のオープンソース写真測量ソフトウェア。Cecill-Bライセンス。
• sba: Levenberg–Marquardt アルゴリズムに基づく汎用スパース バンドル調整 C/C++ パッケージ ( C、MATLAB )。GPL。
• cvsba 2013-10-24 にWayback Machineにアーカイブされました : sba ライブラリ ( C++ )用の OpenCV ラッパー。GPL。
• ssba: Levenberg–Marquardt アルゴリズム (C++) に基づくシンプルなスパース バンドル調整パッケージ。LGPL。
• OpenCV: 画像ステッチ モジュールのコンピュータ ビジョン ライブラリ。BSD ライセンス。
• mcba: マルチコアバンドル調整 (CPU/GPU)。GPL3。
• libdogleg: Powell の dogleg 法に基づく、汎用スパース非線形最小二乗ソルバー。LGPL。
• ceres-solver: 非線形最小二乗法ミニマイザー。BSD ライセンス。
• g2o: 一般的なグラフ最適化 (C++) - スパース グラフ ベースの非線形エラー関数のソルバーを備えたフレームワーク。LGPL。
• DGAP: DGAP プログラムは、Helmut Schmid と Duane Brown によって発明されたバンドル調整の写真測量法を実装します。GPL。
• Bundler: Noah Snavely による、順序付けられていない画像コレクション (たとえば、インターネットからの画像) 用の構造からモーション (SfM) システム。GPL。
• COLMAP: グラフィカルおよびコマンドライン インターフェイスを備えた汎用 Structure-from-Motion (SfM) および Multi-View Stereo (MVS) パイプライン。BSD ライセンス。
• Theia: Structure from Motion (SfM) 用の効率的で信頼性の高いアルゴリズムを提供することを目的としたコンピューター ビジョン ライブラリ。新しい BSD ライセンス。
• Ames Stereo Pipeline にはバンドル調整用のツールがあります (Apache II ライセンス)。