医用画像処理

医用画像処理（MIC）とは、医用画像に関する問題解決や、生物医学研究および臨床ケアにおける医用画像の利用を目的として、計算手法や数学的手法を用いる学際分野である。コンピュータ科学、情報工学、電気工学、物理学、数学、医学といった複数の分野が交わる学際的な領域である。

MICの主な目的は、医用画像から臨床的に関連のある情報や知識を抽出することです。医用画像処理の分野と密接に関連していますが、MICは画像の取得ではなく、画像の計算解析に焦点を当てています。その方法は、画像セグメンテーション、画像レジストレーション、画像ベースの生理学的モデリングなど、いくつかの大まかなカテゴリに分類できます。^{[ 1 ]}

医用画像処理は通常、規則的な xyz 空間間隔で均一にサンプリングされたデータ (2D では画像、3D ではボリューム、総称して画像と呼ばれる) に対して動作します。各サンプル ポイントでは、データは一般的に符号付きおよび符号なし short (16 ビット) などの整数形式で表現されますが、符号なし char (8 ビット) から 32 ビット float までの形式も珍しくありません。サンプル ポイントでのデータの具体的な意味は、モダリティによって異なります。たとえば、CT 取得では放射線密度値が収集されますが、MRI 取得ではT1またはT2強調画像が収集される場合があります。縦方向の時間変化する取得では、規則的な時間ステップで画像が取得される場合とされない場合があります。湾曲アレイ超音波などのモダリティによる扇状の画像も一般的であり、処理には異なる表現およびアルゴリズム技術が必要です。その他のデータ形式には、取得中のガントリーの傾きによるせん断画像などがあります。また、六面体や四面体などの非構造メッシュは、高度な生体力学的解析（例えば、組織変形、血管輸送、骨インプラント）に使用されます。

セグメンテーションとは、画像を異なる意味のあるセグメントに分割するプロセスです。医用画像では、これらのセグメントは多くの場合、異なる組織クラス、臓器、病理、またはその他の生物学的に関連する構造に対応します。^{[ 2 ]}医用画像のセグメンテーションは、低コントラスト、ノイズ、およびその他の画像上の曖昧さによって困難になります。画像セグメンテーションのためのコンピュータビジョン技術は多数ありますが、その一部は医用画像処理に特化して適用されています。以下に、この分野の技術の例を示します。実装は、臨床医が提供できる専門知識に依存します。

• アトラスベースのセグメンテーション：多くのアプリケーションでは、臨床専門家が複数の画像を手動でラベル付けできます。未知の画像のセグメンテーションは、これらの手動でラベル付けされたトレーニング画像から外挿することになります。このスタイルの方法は、通常、アトラスベースのセグメンテーション方法と呼ばれます。パラメトリックアトラス法は通常、これらのトレーニング画像を単一のアトラス画像に結合しますが、^{[ 3 ]}非パラメトリックアトラス法は通常、すべてのトレーニング画像を個別に使用します。^{[ 4 ]}アトラスベースの方法では通常、アトラス画像または複数の画像を新しい未知の画像に位置合わせするために、画像レジストレーションを使用する必要があります。
• 形状ベースのセグメンテーション：多くの手法では、特定の構造のテンプレート形状をパラメータ化し、境界に沿った制御点に依存することが多い。その後、形状全体が変形され、新しい画像に一致する。最も一般的な形状ベースの手法の 2 つは、アクティブシェイプモデル^{[ 5 ]とアクティブアピアランスモデル[ 6 ]}である。これらの手法は非常に影響力があり、類似のモデルを生み出した^{[ 7 ] 。}
• 画像ベースのセグメンテーション：アクティブコンターモデルとそのバリエーションのように、画像データに基づいてテンプレートを初期化し、積分誤差尺度を最小化しながらその形状を洗練する手法もあります。 ^{[ 8 ]}
• 対話型セグメンテーション：対話型手法は、臨床医がシード領域やセグメンテーション対象領域の大まかな輪郭などの情報を提供できる場合に有用です。アルゴリズムは、臨床医の指示の有無にかかわらず、このようなセグメンテーションを反復的に改善できます。ペイントブラシなどのツールを使用して各ピクセルの組織クラスを明示的に定義する手動セグメンテーションは、多くの画像処理アプリケーションで依然としてゴールドスタンダードです。最近では、フィードバック制御理論の原理がセグメンテーションに組み込まれており、ユーザーにはるかに大きな柔軟性を提供し、エラーの自動修正を可能にしています。^{[ 9 ]}
• 主観的表面セグメンテーション:この方法は、移流拡散モデルによって支配されるセグメンテーション関数の進化の考え方に基づいています。^{[ 10 ]}オブジェクトをセグメント化するには、セグメンテーションシード (つまり、画像内のオブジェクトのおおよその位置を決定する開始点) が必要です。その結果、初期セグメンテーション関数が構築されます。主観的表面法^{[ 11 ] [ 12 ] [ 13 ]}の背後にある考え方は、シードの位置がこのセグメンテーション関数の形状を決定する主な要因であるということです。
• 畳み込みニューラルネットワーク（CNN）：機械学習モデルの進歩により、コンピュータ支援による完全自動セグメンテーションの性能が向上しました。SegNet ^{[ 14 ]}、UNet ^{[ 15 ]}、ResNet ^{[ 16 ]}、AATSN ^{[ 17 ]} 、 Transformers ^{[ 18 ]}、GANs ^{[ 19 ]}などのCNNベースのモデルは、セグメンテーション処理を高速化しました。将来的には、これらのモデルは優れた性能と速度により、手動セグメンテーションに取って代わる可能性があります。

画像分割方法には、上記と同様の分類もあります。方法の組み合わせに基づく別のグループは、「ハイブリッド」に分類できます。^{[ 20 ]}

画像レジストレーションは、画像の正しい位置合わせを探すプロセスです。^{[ 21 ] [ 22 ] [ 23 ] [ 24 ]}最も単純なケースでは、2 つの画像が位置合わせされます。通常、一方の画像をターゲット画像として扱い、もう一方をソース画像として扱います。ソース画像は、ターゲット画像に一致するように変換されます。最適化手順では、位置合わせの現在の品質を評価する類似度値に基づいて、ソース画像の変換を更新します。この反復手順は、（局所的な）最適解が見つかるまで繰り返されます。例として、構造情報と代謝情報を組み合わせるための CT 画像とPET画像のレジストレーションがあります（図を参照）。

画像位置合わせは、さまざまな医療用途で使用されています。

• 時間的変化の研究。縦断研究では、疾患の進行などの長期的なプロセスを研究するために、数ヶ月または数年にわたって画像を取得します。時系列データは、同じセッション（数秒または数分）内で取得された画像に対応します。これらは、認知プロセス、心臓の変形、呼吸の研究に使用できます。
• 異なる画像モダリティからの補完的な情報を組み合わせる。例としては、解剖学的情報と機能的情報の融合が挙げられる。構造のサイズと形状はモダリティによって異なるため、アライメントの品質を評価することはより困難である。このため、相互情報量などの類似度尺度が使用されるようになった。^{[ 25 ]}
• 被験者集団の特徴付け。被験者内登録とは対照的に、対象となる臓器の構造的変動性によっては、被験者間で1対1のマッピングが存在しない場合がある。計算解剖学におけるアトラス構築には、被験者間登録が必要である。^{[ 26 ]}ここでは、被験者間で臓器の解剖学的構造を統計的にモデル化することが目的である。
• コンピュータ支援手術。コンピュータ支援手術では、CTやMRIなどの術前画像を術中画像または追跡システムに位置合わせすることで、画像誘導やナビゲーションを容易にします。

画像位置合わせを行う際には、いくつかの重要な考慮事項があります。

• 変換モデル。一般的な選択肢としては、剛体変換モデル、アフィン変換モデル、変形変換モデルがあります。パラメータ化された変換場には、 Bスプラインモデルと薄板スプラインモデルがよく使用されます。非パラメトリックまたは密な変形場は、すべてのグリッド位置に変位ベクトルを持ちます。そのため、追加の正則化制約が必要になります。変形場の特定のクラスとして、微分同相写像があります。これは、滑らかな逆変換を持つ可逆変換です。
• 類似度指標。距離または類似度関数を使用して、位置合わせの品質を定量化します。この類似度は、元の画像または画像から抽出された特徴のいずれかで計算できます。一般的な類似度尺度は、二乗距離の合計 (SSD)、相関係数、および相互情報です。類似度尺度の選択は、画像が同じモダリティからのものであるかどうかに依存します。取得ノイズもこの決定に影響を与える可能性があります。たとえば、SSD は、ガウスノイズのある同じモダリティの画像に対する最適な類似度尺度です。^{[ 27 ]}ただし、超音波の画像統計はガウスノイズとは大きく異なるため、超音波固有の類似度尺度が導入されています。^{[ 28 ]マルチモーダル位置合わせには、より高度な類似度尺度が必要です。あるいは、構造表現[ 29 ]}や隣接する解剖学的構造の位置合わせなど、別の画像表現を使用することもできます。^{[ 30 ] [ 31 ]} 2020年の研究^{[ 32 ]}では、コントラスト符号化を用いて、コントラストマルチモーダル画像表現（CoMIR）と呼ばれる共有された密な画像表現を学習し、既存のレジストレーション手法では十分に類似した画像構造がないため失敗することが多いマルチモーダル画像のレジストレーションを可能にしました。これにより、マルチモーダルレジストレーションの問題が、一般的な強度ベースおよび特徴ベースのレジストレーションアルゴリズムを適用できるモノモーダルの問題に縮小されました。
• 最適化手順。連続最適化または離散最適化のいずれかが実行されます。連続最適化の場合、収束速度を向上させるために勾配ベースの最適化手法が適用されます。

医用画像処理において、可視化はいくつかの重要な役割を果たします。科学的可視化の手法は、本質的に時空間的な性質を持つ医用画像を理解し、伝達するために用いられます。データ可視化とデータ分析は、例えばアルゴリズム処理中に得られた統計的指標を評価する際など、非構造化データ形式にも適用されます。可視化プロセスの重要な特徴であるデータとの直接的なインタラクションは、データに関する視覚的なクエリの実行、画像の注釈付け、セグメンテーションおよびレジストレーションプロセスのガイド、そして（照明レンダリング特性や表示パラメータの制御による）データの視覚的表現の制御に用いられます。可視化は、初期探索だけでなく、分析の中間結果や最終結果の伝達にも使用されます。

図「医用画像の可視化」は、いくつかの種類の可視化を示しています。1. グレースケール画像として断面を表示する方法。2. グレースケール画像を再フォーマットした表示方法（この例では、矢状面表示は元の画像取得方向とは異なる向きになっています）。3.同じデータの3Dボリュームレンダリング。結節性病変は、それぞれの表示方法で明確に確認でき、白い線で注釈が付けられています。

臓器の形状や大きさは人によって異なるため、医療画像は個人によって大きく異なる可能性があります。したがって、この変動性を考慮して医療画像を表現することが重要です。医療画像を表現する一般的なアプローチは、1 つ以上のアトラスを使用することです。ここで、アトラスとは、トレーニングデータセットから学習されたパラメータを持つ画像群の特定のモデルを指します。^{[ 33 ] [ 34 ]}

アトラスの最も単純な例は、一般的にテンプレートと呼ばれる平均強度画像です。しかし、アトラスには、局所的な画像統計や特定の空間位置に特定のラベルが付与される確率など、より豊富な情報を含めることもできます。トレーニング中に使用されていない新しい医用画像は、セグメンテーションやグループ分析などの特定のアプリケーションに合わせて調整されたアトラスにマッピングできます。画像をアトラスにマッピングするには、通常、画像とアトラスの位置合わせが必要です。この変形は、医用画像のばらつきに対処するために使用できます。

統計的手法は、医用画像分野と最新のコンピュータビジョン、機械学習、パターン認識を組み合わせたものです。過去10年間で、様々な研究機関や研究センターの協力もあり、いくつかの大規模データセットが公開されてきました（例えば、ADNI、1000機能コネクトームプロジェクトなど）。データ量の増加に伴い、臨床上の疑問に対応するために、画像中の微細な変化をマイニングして検出できる新しいアルゴリズムが求められています。こうした臨床上の疑問は非常に多岐にわたり、グループ解析、画像バイオマーカー、疾患表現型解析、縦断研究などが含まれます。

従来、医用画像処理は、画像取得時点における構造的または機能的情報の定量化と融合を目的としていました。この点において、医用画像処理は、基礎となる解剖学的、物理的、または生理学的プロセスを定量的に感知するものと捉えることができます。しかし、ここ数年、疾患や治療経過の予測的評価への関心が高まっています。生体力学的または生理学的性質を問わず、画像ベースのモデリングは、画像処理の可能性を記述的な側面から予測的な側面へと拡張することができます。

STEP研究ロードマップによると、^{[ 50 ] [ 51 ]}仮想生理人間（VPH）は、確立されれば人体を単一の複雑なシステムとして調査することを可能にする方法論的および技術的フレームワークです。VPHコンセプトの根底には、国際生理科学連合（IUPS）が10年以上にわたりIUPS Physiomeプロジェクトを支援してきたというものがあります。 ^{[ 52 ] [ 53 ]}これは、人間の生理学を理解するための計算フレームワークを提供する世界的なパブリックドメインの取り組みです。遺伝子制御ネットワーク、タンパク質経路、統合的な細胞機能、組織および臓器全体の構造/機能関係を介して、遺伝子から生物全体に至るまで、生物学的組織のあらゆるレベルで統合モデルを開発することを目的としています。このようなアプローチは、現在の医療慣行を変革し、計算医学の新しい時代を支えることを目的としています。^{[ 54 ]}

このような状況において、医用画像処理と画像コンピューティングは、生体内の人間の構造情報と機能情報の両方を画像化、定量化、融合するためのシステムと方法を提供する点で、ますます重要な役割を果たしています。これら2つの広範な研究分野には、汎用的な計算モデルを特定の対象を表すように変換することが含まれており、それによって個別化された計算モデルへの道が開かれます。^{[ 55 ]} 画像処理による汎用的な計算モデルの個別化は、3つの相補的な方向で実現できます。

• 対象者固有の計算領域（解剖学）および関連するサブ領域（組織の種類）の定義。
• （動的および／または機能的な）画像から境界条件と初期条件を定義すること。
• 組織の構造的および機能的特性の解析。

さらに、イメージングは​​、ヒトおよび動物モデルにおけるこうしたモデルの評価と検証、そして診断と治療の両方の応用を伴う臨床現場へのモデルの応用において、極めて重要な役割を果たします。この特定の文脈において、分子、生物学的、および前臨床イメージングは​​、分子、細胞、組織、および動物モデルにおける基本的な構造と機能に関する追加データと理解をもたらし、必要に応じてヒトの生理機能に適用することができます。

画像ベースのVPH/フィジオームモデルの応用範囲は、基礎研究および臨床研究の両分野において非常に広範です。概して言えば、これらは新たな仮想イメージング技術となることが期待されています。実際には、観察可能なものの、時に疎で一貫性に欠けるマルチモーダル画像と生理学的測定値を統合することで、これまで観察できなかった多くのパラメータをコンピュータ上で画像化することが可能になります。計算モデルは、調査対象の生理学的または病態生理学的プロセスの根底にある生物物理学的、生化学的、または生物学的法則に準拠した方法で、測定値の解釈を可能にするでしょう。最終的に、このような調査ツールとシステムは、疾患プロセス、疾患の自然経過、および薬理学的および/または介入的治療手順が疾患の経過に及ぼす影響についての理解を深めるのに役立つでしょう。

画像処理とモデリングの相互交流は、生理学に合致した方法での測定値の解釈にとどまりません。画像に基づく患者固有のモデリングを、医療機器や薬物療法のモデルと組み合わせることで、予測画像処理への道が開かれ、それによって、コンピュータ上で介入を理解、計画、最適化することが可能になります。

高度な数学的手法が数多く医療画像処理に導入され、すでにさまざまなソフトウェア パッケージに実装されています。これらには、強調、セグメンテーション、レジストレーションのための偏微分方程式(PDE) と曲率駆動フローに基づくアプローチが含まれます。PDE を使用しているため、これらの手法は並列化や GPGPU 上での実装に適しています。これらの技術の多くは最適制御のアイデアから着想を得ています。したがって、ごく最近、制御のアイデアがインタラクティブな手法、特にセグメンテーションに取り入れられました。さらに、ノイズや、より動的に変化する画像に対する統計的推定技術の必要性から、カルマンフィルタ^{[ 56 ]}とパーティクルフィルタが使用されるようになりました。これらの手法の調査と広範な参考文献リストは^{[ 57 ]}に記載されています。

一部の画像診断法は、非常に特殊な情報を提供する。得られる画像は、通常のスカラー画像として扱うことができず、医用画像処理の新たな分野を生み出す。例としては、拡散MRIや機能的MRIなどが挙げられる。

拡散MRI

拡散MRIは、分子の拡散過程を測定できる構造磁気共鳴画像法です。拡散は、特定の方向に沿って磁場に勾配パルスを印加することで測定されます。一般的な撮像では、均一に分布した勾配方向のセットを使用して、拡散強調ボリュームのセットを作成します。さらに、同じ磁場下で勾配パルスを印加せずに、非強調ボリュームも取得します。各撮像には複数のボリュームが関連付けられているため、拡散MRIは医用画像処理において様々な特有の課題を生み出しています。

医学分野における拡散MRIには、主に2つの計算目標がある。

• 拡散率などの局所組織特性の推定。
• 局所的な拡散方向と全体的な拡散経路の推定。

拡散テンソル^{[ 58 ]}は、3×3の対称正定値行列であり、これら2つの目標に対する簡単な解決策を提供します。これは、正規分布する局所拡散プロファイルの共分散行列に比例し、したがって、この行列の支配的な固有ベクトルは、局所拡散の主方向です。このモデルは単純であるため、各場所で線形方程式系を個別に解くだけで、拡散テンソルの最尤推定値を求めることができます。ただし、体積には連続した組織線維が含まれていると想定されるため、基礎となるテンソル場に正則条件を課すことで、拡散テンソルの体積全体を推定する方が望ましい場合があります。^{[ 59 ]}拡散テンソルからは、分数異方性、平均拡散率、軸方向拡散率、半径方向拡散率などのスカラー値を抽出でき、これらは軸索線維の脱髄^{[ 60 ]}や浮腫の存在などの組織特性を間接的に測定します。^{[ 61 ]}レジストレーションやセグメンテーションなどの標準的なスカラー画像計算方法は、このようなスカラー値のボリュームに直接適用できます。しかし、拡散テンソルの情報を最大限に活用するために、これらの方法はレジストレーション^{[ 62 ] [ 63 ]およびセグメンテーション[ 64 ] [ 65 ]}を実行する際にテンソル値のボリュームを考慮するように適応されています。

ボリューム内の各位置における拡散の主方向が与えられれば、トラクトグラフィーと呼ばれるプロセスを通じて拡散の全体的な経路を推定することが可能です。^{[ 66 ]}しかし、拡散MRIの解像度が比較的低いため、これらの経路の多くは単一の場所で交差したり、接したり、扇状に広がったりする可能性があります。このような状況では、拡散テンソルの単一の主方向は、局所拡散分布の適切なモデルではありません。この問題に対する最も一般的な解決策は、より複雑なモデルを使用して局所拡散の複数の方向を推定することです。これには、拡散テンソルの混合^{[ 67 ]} 、 Qボールイメージング^{[ 68 ]} 、拡散スペクトルイメージング^{[ 69 ]}、およびファイバー配向分布関数^{[ 70 ] [ 71 ]}が含まれ、これらは通常、多数の勾配方向でのHARDI取得を必要とします。拡散テンソルと同様に、これらの複雑なモデルで評価されたボリュームは、レジストレーション^{[ 72 ] [ 73 ] [ 74 ]}やセグメンテーション^{[ 75 ]などの画像処理方法を適用する際に特別な処理が必要です。}

医用画像処理ソフトウェアは、入出力、可視化と対話、ユーザーインターフェース、データ管理、計算機能を提供するシステムが複雑に組み合わさったものです。通常、システムアーキテクチャは、アルゴリズム開発者、アプリケーション開発者、およびユーザーのニーズに合わせて階層化されています。最下層は、基本的な計算機能を提供するライブラリやツールキットであることが多く、最上層は、特定の医療問題、疾患、または身体システムに対応する専門的なアプリケーションです。

医用画像処理は、コンピュータビジョンの分野とも関連しています。国際学会であるMICCAI Societyは、この分野を代表し、年次会議と関連ワークショップを開催しています。この会議の議事録は、Springer社からLecture Notes in Computer Scienceシリーズで出版されています。^{[ 87 ]} 2000年に、N. AyacheとJ. Duncanは、この分野の現状を概説しました。^{[ 88 ]}

• 脳接続推定器
• 機能的接続ソフトウェアの一覧
• 画像情報学
• 神経画像処理ソフトウェア一覧

• 医用画像解析（MedIA）は、医用画像コンピューティングにおける最高峰の会議である年次MICCAI会議を主催するMICCAI協会 の公式ジャーナルでもある。
• IEEE医用画像処理トランザクション（IEEE TMI）
• 医用物理学
• Journal of Digital Imaging (JDI) ;画像情報学会 の公式ジャーナル
• コンピュータ化された医用画像処理とグラフィックス
• コンピュータ支援放射線学および外科ジャーナル
• BMCメディカルイメージング

さらに、以下のジャーナルでは、医用画像処理の方法や特定の臨床応用、あるいはモダリティ別の医用画像処理について記述した記事が時折掲載されます。

• 放射線学は、北米放射線学会の公式ジャーナルです。
• ニューロイメージ
• 磁気共鳴画像法ジャーナル（JMRI）
• 磁気共鳴医学（MRM）
• コンピュータ支援断層撮影ジャーナル（JCAT）
• 人間の脳マッピング