画像のステッチ

画像ステッチングまたは写真ステッチングは、視野が重なり合う複数の写真 画像を組み合わせて、セグメント化されたパノラマ画像または高解像度画像を作成するプロセスです。一般的にはコンピュータソフトウェアを使用して実行され、画像ステッチングのほとんどのアプローチでは、シームレスな結果を生成するために、画像間のほぼ正確な重なりと同一の露出が必要ですが、^{[1] [2]}一部のステッチングアルゴリズムでは、重なり合う領域でハイダイナミックレンジイメージングを行うことで、異なる露出の画像から実際にメリットを得ています。 ^{[3] [4]}一部のデジタルカメラでは、写真を内部でステッチできます。

イメージ ステッチングは、次のような最新のアプリケーションで広く使用されています。

• 文書のモザイク化^[5]
• フレームレート画像調整を使用するビデオカメラの画像安定化機能
• デジタル地図と衛星画像の高解像度画像モザイク
• 医療画像
• 複数画像超解像イメージング
• ビデオステッチング^[6]
• オブジェクトの挿入

アルカトラズ島、画像合成によるパノラマ写真

画像ステッチングプロセスは、画像登録、キャリブレーション、ブレンディングという3 つの主要コンポーネントに分けられます。

画像の配置を推定するには、ある画像のピクセル座標を別の画像のピクセル座標に関連付ける適切な数学モデルを決定するアルゴリズムが必要です。ピクセル間の直接比較と勾配降下法 (およびその他の最適化手法) を組み合わせたアルゴリズムを使用して、これらのパラメータを推定できます。

各画像に特徴的な特徴が見つかり、効率的にマッチングされて、画像のペア間の対応関係が迅速に確立されます。パノラマに複数の画像が存在する場合、全体的に一貫した配置セットを計算し、どの画像が互いに重なり合っているかを効率的に検出する手法が開発されています。

すべての位置合わせされた画像をワープまたは投影変換して配置するための最終的な合成面が必要です。また、視差、レンズの歪み、シーンの動き、露出の違いがあっても、重なり合う画像をシームレスにブレンドするアルゴリズムも必要です。

2 つのビューの照明が同一であるとは限らないため、2 つの画像をつなぎ合わせると継ぎ目が見える場合があります。継ぎ目が生じるその他の理由としては、連続した前景が同じでも 2 つの画像間で背景が変わることが挙げられます。対処すべきその他の主な問題としては、視差、レンズの歪み、シーンの動き、露出の違いなどがあります。理想的ではない現実のケースでは、シーン全体の強度が異なり、フレーム間のコントラストと強度も異なります。さらに、視覚的に美しい合成画像を作成するには、パノラマ画像のアスペクト比を考慮する必要があります。

パノラマステッチングの場合、レンズの歪みを克服し、十分な検出可能な特徴を持つために、画像セットには適度なオーバーラップ (少なくとも 15 ～ 30%) が必要です。画像セットは、フレーム間で露出が一定であるため、継ぎ目が発生する可能性が最小限に抑えられます。

画像間の対応を自動的に見つけるには、特徴検出が必要です。画像を合成先の画像に合わせるために必要な変換を推定するには、堅牢な対応が必要です。コーナー、ブロブ、ハリス コーナー、ハリス コーナーのガウス分布の差は、繰り返し可能で明確なため、優れた特徴です。

関心点検出のための最初の演算子の 1 つは、1977 年に Hans P. Moravec によって、クラスター化された環境内でのロボットの自動ナビゲーションに関する研究のために開発されました。Moravec は、画像内の「関心点」の概念も定義し、これらの関心点を使用して、異なる画像内の一致する領域を検索できると結論付けました。Moravec 演算子は、関心点をすべての方向に大きな強度変化がある点として定義するため、コーナー検出器であると考えられています。コーナーでは、これがよく発生します。ただし、Moravec はコーナーを見つけることに特に関心があったわけではなく、連続する画像フレームを登録するために使用できる画像内の明確な領域のみに興味がありました。

ハリスとスティーブンスは、方向に対するコーナースコアの微分を直接考慮することで、モラベックのコーナー検出器を改良しました。彼らは、画像シーケンスに基づいてロボットの環境の解釈を構築するための処理ステップとして、この方法を必要としていました。モラベックと同様に、彼らは連続する画像フレーム内の対応するポイントを一致させる方法を必要としていましたが、フレーム間のコーナーとエッジの両方を追跡することに興味がありました。

SIFTとSURF は最近のキーポイントまたは関心ポイント検出アルゴリズムですが、SURF は特許取得済みであり、商用利用が制限されていることに注意してください。特徴が検出されると、SIFT 記述子などの記述子メソッドを適用して、後でそれらを一致させることができます。

画像登録には、画像セット内の特徴のマッチング^[7]や、重なり合うピクセル間の絶対差の合計が最小となる画像の位置合わせを検索する直接位置合わせ法の使用が含まれます。 ^[8]直接位置合わせ法を使用する場合、より良い結果を得るために、まず画像を較正する場合があります。さらに、ユーザーはパノラマの大まかなモデルを入力して特徴のマッチング段階を支援し、たとえば、一致する特徴について隣接する画像のみを検索する場合があります。マッチングの対象となる特徴のグループが小さいため、検索の結果はより正確になり、比較の実行が速くなります。

データから堅牢なモデルを推定するために、よく使用される方法はRANSACとして知られています。RANSAC という名前は、「 RAN dom SA mple Consensus 」の略語です。これは、外れ値を含む可能性のある観測データ ポイントのセットから数学モデルを適合させる堅牢なパラメータ推定の反復方法です。このアルゴリズムは、一定の確率でのみ妥当な結果を生成し、反復が実行されるにつれてこの確率が増加するという意味で非決定論的です。これは確率論的方法であるため、アルゴリズムが実行されるたびに異なる結果が得られます。

RANSAC アルゴリズムは、対応問題の同時解決や、ステレオ カメラのペアに関連する基本行列の推定など、コンピューター ビジョンで多くの用途が見出されています。この方法の基本的な前提は、データが「インライア」、つまり分布が何らかの数学モデルで説明できるデータと「アウトライア」、つまりモデルに適合しないデータで構成されているということです。アウトライアは、ノイズ、誤った測定、または単に不正確なデータから生じるポイントと見なされます。

ホモグラフィ推定の問題では、RANSAC はいくつかのポイント ペアを使用して複数のモデルを適合させ、モデルがほとんどのポイントを関連付けることができたかどうかを確認します。次に、最も多くの正しい一致を生成する最適なモデル (ホモグラフィ) が問題の答えとして選択されます。したがって、外れ値とデータ ポイントの数の比率が非常に低い場合、RANSAC はデータに適合する適切なモデルを出力します。

画像キャリブレーションは、理想的なレンズモデルと使用されたカメラとレンズの組み合わせとの差異、歪みなどの光学的欠陥、画像間の露出の差異、ケラレ、^[9]カメラの応答、色収差を最小限に抑えることを目的としています。特徴検出方法を使用して画像を登録し、特徴の絶対位置を記録および保存した場合、スティッチングソフトウェアは、画像をパノスフィアに配置するだけでなく、画像の幾何学的最適化にもデータを使用できます。Panotoolsとそのさまざまな派生プログラムは、この方法を使用しています。

画像を、合成する画像の視点に一致するように変換するには、位置合わせが必要になる場合があります。簡単に言えば、位置合わせとは、必要な視点に一致する画像を出力する新しい座標系を採用するように座標系を変更することです。画像が受ける変換の種類には、純粋な平行移動、純粋な回転、変換が必要な画像の移動、回転、スケーリングを含む相似変換、アフィン変換または射影変換があります。

射影変換は、画像を変換できる最も遠い変換です (2 次元平面変換のセット内)。変換された画像で保持される目に見える特徴は直線のみですが、アフィン変換では平行性が維持されます。

射影変換は数学的には次のように記述できる。

x' = H x${\displaystyle \cdot}$、

ここで、x は古い座標系の点、x' は変換された画像内の対応する点、H はホモグラフィ行列です。

点xとx'をカメラの固有値（KとK'）とその回転と平行移動[R t]を実世界の座標XとX'に表すと、次の式が得られます。

x = K [R t] X${\displaystyle \cdot}$${\displaystyle \cdot}$かつx' = K' [R' t'] X'${\displaystyle \cdot}$${\displaystyle \cdot}$。

上記の2つの式とx'とxのホモグラフィ関係を用いると、次の式が導かれる。

H = K' R' R ⁻¹ K ⁻¹${\displaystyle \cdot}$${\displaystyle \cdot}$ ${\displaystyle \cdot}$

ホモグラフィ行列Hは8つのパラメータまたは自由度を持ちます。ホモグラフィは、直接線形変換と特異値分解を使用して計算できます。

A h = 0${\displaystyle \cdot}$、

ここで、A は対応の座標を使用して構築された行列であり、h は再形成されたホモグラフィ行列の 9 つの要素の 1 次元ベクトルです。h を取得するには、SVD を適用するだけです。A = U S V ^T${\displaystyle \cdot}$${\displaystyle \cdot}$ で、h = V (最小の特異ベクトルに対応する列) です。これは、h が A のヌル空間にあるため当てはまります。自由度が 8 なので、アルゴリズムには少なくとも 4 つの点の対応が必要です。ホモグラフィを推定するために RANSAC が使用され、複数の対応が利用できる場合、正しいホモグラフィ行列は、インライアの数が最も多い行列です。

合成とは、補正された画像を、シーンの 1 ショットとして表示されるように配置することです。アルゴリズムはどの対応が重なり合っているかを認識するため、合成は自動的に実行できます。

画像のブレンドには、キャリブレーション段階で決定された調整の実行と、出力投影への画像の再マッピングが含まれます。露出の違いを補正するために、画像間で色が調整されます。該当する場合は、動き補正とゴースト除去とともに、ハイ ダイナミック レンジのマージが行われます。画像はブレンドされ、画像間の継ぎ目の視認性を最小限に抑えるために継ぎ目のライン調整が行われます。

継ぎ目は、ゲイン調整を単純に行うことで軽減できます。この補正は、基本的に重なり合うピクセルの強度差を最小限に抑えることです。画像ブレンディング アルゴリズムは、画像の中心に近いピクセルに重みを割り当てます。ゲイン補正された画像とマルチバンド ブレンディングされた画像は、最も優れています。IJCV 2007。

直線化は、画像を修正する別の方法です。Matthew Brown と David G. Lowe は、論文「不変特徴を使用したパノラマ画像の自動ステッチ」で、ベクトル u が垂直 (レンダリング フレーム内) になるようにグローバル回転を適用し、出力パノラマから波状効果を効果的に除去する直線化の方法について説明しています。このプロセスは、画像の直線化、およびより一般的には単一写真の光学歪みのソフトウェア補正に似ています。

ゲイン補正後でも、ビネット効果（画像の端に向かって強度が減少する）、光学中心の望ましくない動きによる視差効果、カメラの誤ったモデリングによる位置ずれエラー、放射状の歪みなど、モデル化されていないさまざまな効果により、一部の画像端がまだ見えます。これらの理由から、彼らはマルチバンドブレンディングと呼ばれるブレンディング戦略を提案しています。

空間内の同じ地点から撮影された画像セグメントについては、さまざまな地図投影のい​​ずれかを使用して、つなぎ合わせた画像を配置できます。

直線投影では、つなぎ合わせた画像が、パノスフィアと 1 点で交差する 2 次元平面上に表示されます。実際には直線である線は、画像上の方向に関係なく、直線として表示されます。約 120° 程度の広い視野では、画像の境界付近で著しい歪みが生じ始めます。直線投影の 1 つの例として、パノラマ表示に立方体マッピングによる立方体面を使用する方法があります。パノラマは 6 つの正方形にマッピングされ、各立方体面はパノラマの 90 x 90 度の領域を表示します。

円筒図法では、つなぎ合わせた画像に 360° の水平視野と限られた垂直視野が表示されます。この投影法によるパノラマは、画像が円筒に包まれて内側から見たかのように表示されます。2D 平面で見ると、水平線は湾曲して見えますが、垂直線は直線のままです。 ^{[10]パノスフィアの頂点に近づくと、垂直方向の歪みが急激に増加します。}メルカトル図法やミラー円筒図法など、パノスフィアの極付近での歪みが少ない円筒図法もいくつかあります。

球面投影または正距円筒図法（厳密には円筒図法の一種）では、つなぎ合わせた画像が水平360°、垂直180°の視野、つまり球体全体を表示します。この投影法によるパノラマは、画像が球体に包まれ、その内側から見ているかのように見えるようになっています。2D平面で見ると、水平線は円筒図法のように曲がって見えますが、垂直線は垂直のままです。^[10]

パノラマは基本的に球体の地図なので、必要に応じて地図製作者によるさまざまなマッピング投影法を使用することもできます。さらに、イタリアのヴェドゥティズム画家ジョヴァンニ・パオロ・パニーニ^[12]にちなんで名付けられたHuginのパニーニ投影法^[11]やPTGuiのヴェドゥティズム投影法[ ^13]など、通常の地図投影法よりも美的な利点がある特殊な投影法もあります。出力画像の最終的な外観を微調整するために、異なる投影法を同じ画像に組み合わせることもできます。^[14]

ステレオ投影または魚眼投影を使用すると、仮想カメラを真下に向け、視野を地面全体とその上の一部の領域を表示できる大きさに設定することで、小さな惑星のパノラマを作成できます。仮想カメラを上に向けると、トンネル効果が作成されます。ステレオ投影の等角性により、ステレオ投影の記事で説明されているように、等面積魚眼投影よりも視覚的に美しい結果が得られる可能性があります。

同じ場所（カメラの入射瞳を軸にして）から撮影されていない画像を使用すると^{[15] 、最終製品に}視差エラーが発生する可能性があります。撮影されたシーンに急速な動きやダイナミックな動きがある場合、画像セグメント間の時間差によりアーティファクトが発生する可能性があります。手動選択とステッチングとは対照的に、特徴ベースの位置合わせ方法による「ブラインドステッチング」（オートステッチを参照）は、パノラマの組み立てに不完全な部分を引き起こす可能性があります。

専用プログラムには、Autostitch、Hugin、Ptgui、Panorama Tools、Microsoft Research Image Composite Editor、CleVR Stitcherなどがあります。他の多くのプログラムでも複数の画像をステッチできます。よく知られている例としては、Adob​​e SystemsのPhotoshopがあります。これにはPhotomergeと呼ばれるツールが含まれており、最新バージョンでは新しいAuto-Blend が含まれています。 VideoStitch などの他のプログラムではビデオのステッチが可能で、 Vahana VR ではリアルタイムのビデオ ステッチが可能です。 QuickPHOTO 顕微鏡ソフトウェアのイメージ ステッチ モジュールを使用すると、カメラのライブ ビューを使用して顕微鏡からの複数の視野をインタラクティブにステッチできます。また、顕微鏡サンプル全体を手動でステッチするためにも使用できます。

• アクションショットパノラマ写真
• アナグリフ3D
• 派生作品
• デジタル画像モザイク
• ドキュメントのモザイク
• パノグラフィー
• パノラマ写真
• VR写真（インタラクティブパノラマ）

• ウィキメディア・コモンズのステッチング関連メディア