
画像レジストレーションとは、異なるデータセットを1つの座標系に変換するプロセスです。データには、複数の写真、異なるセンサーからのデータ、時間、深度、または視点などが含まれます。[ 1 ]コンピュータビジョン、医用画像処理、[ 2 ]軍事自動目標認識、衛星からの画像とデータのコンパイルと分析などに使用されます。レジストレーションは、これらの異なる測定から得られたデータを比較または統合するために必要です。
画像レジストレーションまたは画像アライメントアルゴリズムは、強度ベースと特徴ベースに分類できます。[ 3 ]画像の1つはターゲット、固定画像、またはセンシング画像と呼ばれ、他の画像は移動画像またはソース画像と呼ばれます。画像レジストレーションでは、ソース/移動画像を空間的に変換してターゲット画像に合わせます。ターゲット画像の参照フレームは静止しており、他のデータセットはターゲットに一致するように変換されます。[ 3 ]強度ベースの方法は、相関メトリックを使用して画像の強度パターンを比較しますが、特徴ベースの方法は、点、線、輪郭などの画像の特徴間の対応関係を見つけます。 [ 3 ]強度ベースの方法は、画像全体またはサブ画像をレジストレーションします。サブ画像がレジストレーションされる場合、対応するサブ画像の中心が対応する特徴点として扱われます。特徴ベースの方法は、画像内の特に特徴的な多数の点間の対応関係を確立します。画像内の多数の点間の対応関係がわかれば、ターゲット画像をリファレンス画像にマッピングするための幾何学的変換が決定され、それによってリファレンス画像とターゲット画像間の点ごとの対応関係が確立されます。[ 3 ]強度ベースの情報と特徴ベースの情報を組み合わせた方法も開発されている。[ 4 ]
画像位置合わせアルゴリズムは、ターゲット画像空間と参照画像空間を関連付けるために使用する変換モデルによって分類することもできます。変換モデルの最初の大きなカテゴリには、回転、拡大縮小、平行移動、せん断を含むアフィン変換が含まれます。 [ 5 ]アフィン変換は本質的にグローバルであるため、画像間の局所的な幾何学的差異をモデル化することはできません。[ 3 ]
2 番目のカテゴリの変換では、「弾性」または「非剛体」変換が可能です。これらの変換は、ターゲット画像を局所的に変形して参照画像に合わせることができます。非剛体変換には、放射基底関数(薄板または表面スプライン、多重二次曲面、コンパクトサポート変換[ 3 ] )、物理連続体モデル (粘性流体)、および大変形モデル (微分同相写像) が含まれます。
変換は一般的にパラメータ化によって記述され、モデルによってパラメータの数が決まります。たとえば、画像全体の平行移動は、平行移動ベクトルパラメータによって記述できます。これらのモデルはパラメトリックモデルと呼ばれます。一方、非パラメトリックモデルはパラメータ化に従わず、各画像要素を任意に移動させることができます。[ 6 ]
あるいは、空間正規化のための多くの高度な手法は、構造を保持する変換である同相写像と微分同相写像に基づいて構築されています。これは、これらの変換が滑らかな部分多様体を変換中に滑らかに運ぶためです。微分同相写像は、微分同相写像が群を形成するものの加法的ではなく、関数合成の法則の下で群を形成するため、現代の計算解剖学の分野ではフローに基づいて生成されます。このため、加法的群の考え方を一般化したフローは、トポロジーを保持する大きな変形を生成し、1対1および全射変換を提供します。このような変換を生成するための計算手法は、しばしばLDDMM [ 7 ] [ 8 ] [ 9 ] [ 10 ]と呼ばれ、計算解剖学の測地線フローに対応する座標系を接続するための主要な計算ツールとして微分同相写像のフローを提供します。
微分同相写像によって座標の微分同相変換を生成するプログラムは多数あり、MRI Studio [ 11 ]や MRI Cloud.org [ 12 ]などがある。
空間的手法は画像領域で動作し、画像内の輝度パターンや特徴を照合します。特徴照合アルゴリズムの中には、オペレーターが画像内の対応する制御点(CP)を選択する、従来の手動画像位置合わせ手法から派生したものもあります。制御点の数が適切な変換モデルを定義するために必要な最小数を超える場合、RANSACなどの反復アルゴリズムを使用して、画像の位置合わせに必要な特定の変換タイプ(アフィン変換など)のパラメータをロバストに推定できます。
周波数領域法は、変換領域で作業しながら画像のレジストレーションのための変換パラメータを見つけます。このような方法は、並進、回転、スケーリングなどの単純な変換に有効です。位相相関法を一対の画像に適用すると、単一のピークを含む第 3 の画像が生成されます。このピークの位置は、画像間の相対的な並進に対応します。多くの空間領域アルゴリズムとは異なり、位相相関法は、医療画像や衛星画像によく見られるノイズ、遮蔽、その他の欠陥に対して耐性があります。さらに、位相相関法は高速フーリエ変換を使用して2 つの画像間の相互相関を計算するため、一般的にパフォーマンスが大幅に向上します。この方法は、まず画像を対数極座標に変換することで、2 つの画像間の回転とスケーリングの差を決定するように拡張できます。[ 13 ] [ 14 ]フーリエ変換の特性により、回転とスケーリングのパラメータは並進に不変な方法で決定できます。
もう一つの分類として、単一モダリティ方式とマルチモダリティ方式がある。単一モダリティ方式は、同じスキャナ/センサタイプで取得された同じモダリティの画像を位置合わせする傾向があるのに対し、マルチモダリティ方式は、異なるスキャナ/センサタイプで取得された画像を位置合わせする傾向がある。
マルチモダリティレジストレーション法は、被験者の画像がさまざまなスキャナから取得されることが多いため、医療画像処理でよく使用されます。例としては、腫瘍の位置特定のための脳CT / MRI画像または全身PET / CT画像のレジストレーション、解剖学的構造の特定部分のセグメンテーションのための造影CT画像と非造影CT画像のレジストレーション[ 15 ] 、放射線治療における前立腺の位置特定のための超音波画像とCT画像のレジストレーションなどがあります。
位置合わせ方法は、自動化のレベルに基づいて分類できます。手動、対話型、半自動、自動の各方法が開発されています。手動方法は、画像を手動で位置合わせするためのツールを提供します。対話型方法は、特定の重要な操作を自動的に実行することでユーザーの判断ミスを減らしつつ、位置合わせの手順をユーザーがガイドできるようにします。半自動方法は、位置合わせの手順の多くを自動的に実行しますが、位置合わせの正確性を確認するのはユーザーの役割となります。自動方法は、ユーザーの操作を一切許可せず、すべての位置合わせ手順を自動的に実行します。
画像類似性は医用画像処理で広く使用されています。画像類似性尺度は、 2 つの画像の強度パターン間の類似性の度合いを定量化します。[ 3 ]画像類似性尺度の選択は、登録する画像のモダリティによって異なります。画像類似性尺度の一般的な例としては、相互相関、相互情報量、強度差の二乗和、および比率画像均一性があります。相互情報量と正規化相互情報量は、マルチモダリティ画像の登録に最もよく使用される画像類似性尺度です。相互相関、強度差の二乗和、および比率画像均一性は、同じモダリティの画像の登録によく使用されます。
計算解剖学の分野では、大きな変形によるマッチング方法に基づくコスト関数の多くの新機能が開発されており、対応関係のない点群やランドマークである計測マッチング、数学的流れや可変多様体による曲線マッチングや表面マッチングなどが含まれます 。
空間的・時間的な差異のある画像を位置合わせする際には、一定の不確実性が伴います。医療診断など、多くの変化検出アプリケーションにおいては、不確実性を考慮した確実な位置合わせが不可欠です。
デジタル画像のピクセルが数キロメートルの空間距離を表すリモートセンシングアプリケーション(NASAのLANDSAT画像など)では、不確実な画像レジストレーションは、解が真値から数キロメートル離れる可能性があることを意味します。いくつかの注目すべき論文は、結果を比較するために画像レジストレーションの不確実性を定量化しようと試みています。[ 16 ] [ 17 ]しかし、不確実性を定量化したり変形を推定したりする多くのアプローチは、計算負荷が高かったり、限られた空間変換のセットにしか適用できなかったりします。

画像位置合わせは、リモートセンシング(地図更新)やコンピュータビジョンなどの分野で応用されています。画像位置合わせの適用範囲は非常に広いため、あらゆる用途に最適化された汎用的な手法を開発することは不可能です。
医療画像のレジストレーション(例えば、変化検出や腫瘍モニタリング(縦断研究)など、異なる時点で撮影された同一患者のデータ)では、多くの場合、被験者の変形(呼吸、解剖学的変化などによる)や被験者間の大きな解剖学的差異に対処するために、弾性(非剛体とも呼ばれる)レジストレーションが追加的に使用されます。 [ 18 ] [ 19 ] [ 20 ]医療画像の非剛体レジストレーションは、神経画像用のTalairachアトラスなどの解剖学的アトラスに患者のデータをレジストレーションするためにも使用できます。医療画像に対する画像レジストレーションのもう1つの応用は、コホートごとの分析のために、複数の被験者を単一の参照空間にレジストレーションすることです[ 21 ]。その他の場合、剛体レジストレーション法は基礎となる形状を保持するため、非剛体レジストレーションは明示的に使用されません。たとえば、内耳の画像化の場合です。[ 22 ]これは、研究対象のコホートで解剖学的変動が少ない構造に好まれます。
放射線治療において、剛体画像レジストレーション(RIR)は、ほとんどの画像処理ソフトウェアシステムの基本要素です。RIRは、並進および回転調整を適用して画像を位置合わせするもので、最大6自由度(x、y、z軸に沿った並進に3自由度、これらの軸を中心とした回転に3自由度)まで対応します。RIRは、これらの6つのパラメータを使用して画像を適切に位置合わせし、正確な治療計画と照射を可能にします。[ 23 ]
天体写真では、暗い天体の信号対雑音比を高めるために、画像の位置合わせとスタッキングがよく用いられます。スタッキングを行わなくても、惑星の自転や太陽面通過などの現象をタイムラプス撮影するために使用できます。コンピュータは、制御点(自動または手動で入力)を使用して、1枚の画像に対して変換処理を行い、主要な特徴を2枚目または複数の画像と位置合わせします。この技術は、異なるサイズの画像にも使用でき、異なる望遠鏡やレンズで撮影された画像を合成することも可能です。
クライオTEMでは、不安定性により試料がドリフトするため、高解像度を維持し、高信号対雑音比の画像を得るには、正確な画像位置合わせを伴う高速な取得を多数行う必要があります。低SNRデータの場合、最適な画像位置合わせは、画像スタック内の画像のすべての順列を相互相関させることによって達成されます。[ 24 ]
画像位置合わせは、パノラマ画像作成において不可欠な要素です。リアルタイムで実装可能な様々な技術があり、カメラやカメラ付き携帯電話などの組み込み機器上で実行できます。