Loading article…
画像融合プロセスは、複数の画像から重要な情報をすべて収集し、それらをより少ない画像（通常は1つの画像）に統合することと定義されます。この単一の画像は、どの単一のソース画像よりも情報量が多く正確であり、必要なすべての情報を含んでいます。画像融合の目的は、データ量を削減するだけでなく、人間と機械の知覚により適し理解しやすい画像を構築することです。[ 1 ] [ 2 ]コンピュータビジョンでは、マルチセンサー画像融合は、2つ以上の画像からの関連情報を1つの画像に結合するプロセスです。[ 3 ]結果として得られる画像は、入力画像のどれよりも情報量が多くなります。[ 4 ]
リモートセンシングの応用分野では、宇宙搭載センサーの利用可能性が高まるにつれ、さまざまな画像融合アルゴリズムの開発が進んでいます。画像処理では、単一画像で高い空間分解能と高い分光分解能が求められる場面が数多くあります。しかし、現在利用可能な機器のほとんどは、そのようなデータを十分に提供できるものではありません。画像融合技術を用いることで、異なる情報源を統合することが可能になります。融合された画像は、相補的な空間分解能と分光分解能の特性を持つことができます。ただし、標準的な画像融合技術では、マルチスペクトルデータを統合する際に、その分光情報が歪んでしまう可能性があります。
衛星画像では、2種類の画像が利用可能です。衛星が取得したパンクロマチック画像は、利用可能な最大解像度で送信され、マルチスペクトルデータは、より粗い解像度で送信されます。通常、解像度はパンクロマチック画像の2～4分の1程度です。受信局では、パンクロマチック画像とマルチスペクトルデータが統合され、より多くの情報が伝達されます。
画像融合を行う方法は数多く存在する。最も基本的な方法はハイパスフィルタリング技術である。より高度な技術としては、離散ウェーブレット変換、一様有理フィルタバンク、ラプラシアンピラミッドなどが挙げられる。
マルチセンサーデータ融合は、多くの応用事例に対してより一般的な形式的ソリューションを必要とする分野となっています。画像処理では、1枚の画像で高空間情報と高スペクトル情報の両方が必要となる状況がいくつかあります。[ 5 ]これはリモートセンシングにおいて重要です。しかし、機器は設計上または観測上の制約により、そのような情報を提供することができません。これに対する解決策の1つがデータ融合です。
画像融合手法は、大きく分けて空間領域融合と変換領域融合の2つのグループに分類できる。
平均化、Brovey法、主成分分析（PCA）、IHSベースの手法などの融合方法は、空間領域アプローチに分類されます。もう1つの重要な空間領域融合方法は、ハイパスフィルタリングベースの手法です。ここでは、高周波の詳細がMS画像のアップサンプリングバージョンに注入されます。空間領域アプローチの欠点は、融合画像に空間歪みが生じることです。スペクトル歪みは、分類問題などの後続処理に進む際にマイナス要因となります。空間歪みは、画像融合における周波数領域アプローチによって非常にうまく処理できます。マルチ解像度解析は、リモートセンシング画像の解析に非常に有用なツールとなっています。離散ウェーブレット変換は、融合に非常に有用なツールとなっています。ラプラシアンピラミッドベース、カーブレット変換ベースなど、他の融合方法もあります。これらの方法は、他の空間融合方法と比較して、融合画像の空間的およびスペクトル的品質において優れたパフォーマンスを示します。
画像融合に使用する画像は、既に位置合わせされている必要があります。位置ずれは、画像融合における主要なエラー原因です。よく知られている画像融合手法には、以下のようなものがあります。
画像融合手法の比較分析によると、異なる指標は異なるユーザーニーズをサポートし、異なる画像融合手法に敏感であり、アプリケーションに合わせて調整する必要があることがわかります。画像融合指標のカテゴリは、情報理論[ 4 ]の特徴、構造的類似性、または人間の知覚に基づいています。[ 6 ]
マルチフォーカス画像融合は、入力画像の焦点深度が異なる画像から有用かつ必要な情報を収集し、理想的には入力画像からすべての情報を含む出力画像を作成するために使用されます。[ 2 ] [ 7 ]ビジュアルセンサーネットワーク（VSN）では、センサーは画像とビデオシーケンスを記録するカメラです。VSNの多くのアプリケーションでは、カメラはシーンのすべての詳細を含む完璧な描写を提供することはできません。これは、カメラの光学レンズに存在する焦点深度が限られているためです。[ 8 ]そのため、カメラの焦点距離にあるオブジェクトのみが焦点が合って鮮明になり、画像の他の部分はぼやけます。VSNは、複数のカメラを使用してシーン内の焦点深度の異なる画像をキャプチャする機能を備えています。圧力センサーや温度センサーなどの他のセンサーと比較してカメラによって生成されるデータ量が多く、帯域幅、エネルギー消費、処理時間などの制限があるため、伝送データ量を減らすためにローカル入力画像を処理することが不可欠です。上記の理由により、マルチフォーカス画像融合の必要性が強調されます。マルチフォーカス画像融合とは、入力された複数のフォーカス画像を、入力画像の重要な情報をすべて含み、個々の入力画像よりもシーンをより正確に説明する単一の画像に結合するプロセスです。[ 2 ]
リモートセンシングにおける画像融合には、いくつかの応用分野があります。重要な分野の一つは、マルチ解像度画像融合（一般にパンシャープニングと呼ばれる）です。衛星画像には、次の2種類の画像があります。
SPOT PAN衛星は高解像度（10mピクセル）のパンクロマティックデータを提供します。一方、LANDSAT TM衛星は低解像度（30mピクセル）のマルチスペクトル画像を提供します。画像融合は、これらの画像を統合して単一の高解像度マルチスペクトル画像を生成する技術です。
画像融合の標準的な方法は、赤・緑・青（RGB）から強度・色相・彩度（IHS）への変換に基づいています。衛星画像融合における一般的な手順は以下のとおりです。
パンシャープニングはPhotoshopで行うことができます。[ 9 ]リモートセンシングにおける画像融合の他のアプリケーションも利用可能です。[ 10 ]
画像融合は、医療診断および治療において一般的に使用される用語となっています。[ 11 ]この用語は、患者の複数の画像を登録して重ね合わせたり融合したりして追加情報を提供する場合に使用されます。融合画像は、同じ画像診断モダリティからの複数の画像から作成することも、[12 ]磁気共鳴画像(MRI)、コンピュータ断層撮影(CT)、陽電子放出断層撮影(PET)、単光子放出コンピュータ断層撮影(SPECT)など、複数のモダリティからの情報を組み合わせることによって作成することもできます。[13]放射線学および放射線腫瘍学では、これらの画像は異なる目的で使用されます。たとえば、CT 画像は組織密度の違いを確認するためによく使用されますが、MRI 画像は一般的に脳腫瘍の診断に使用されます。
正確な診断を行うためには、放射線科医は複数の画像フォーマットからの情報を統合する必要があります。特に、解剖学的に整合性のある融合画像は、がんの診断と治療において非常に有効です。これらの新技術の登場により、放射線腫瘍医は強度変調放射線療法（IMRT ）を最大限に活用できるようになりました。診断画像を放射線治療計画画像に重ね合わせることで、 IMRTの標的腫瘍体積をより正確に設定することが可能になります。