画像セグメンテーション

デジタル画像処理とコンピュータビジョンにおいて、画像セグメンテーションとは、デジタル画像を複数の画像セグメント（画像領域または画像オブジェクト（ピクセルの集合）とも呼ばれる）に分割するプロセスです。セグメンテーションの目的は、画像の表現を、より意味があり分析しやすいものに単純化および/または変更することです。^{[ 1 ] [ 2 ]}画像セグメンテーションは通常、画像内のオブジェクトと境界（線、曲線など）の位置を特定するために使用されます。より正確には、画像セグメンテーションとは、同じラベルを持つピクセルが特定の特性を共有するように、画像内のすべてのピクセルにラベルを割り当てるプロセスです。

画像セグメンテーションの結果は、画像全体をまとめてカバーするセグメントのセット、または画像から抽出された輪郭のセットです（エッジ検出を参照）。領域内の各ピクセルは、色、強度、テクスチャなどの何らかの特性または計算されたプロパティに関して類似しています^{[ 3 ]}。隣接する領域は、同じ特性に関して大きく異なります^{[ 1 ]} 。医療画像処理でよく見られる画像スタックに適用すると、画像セグメンテーション後の結果として得られる輪郭は、マーチングキューブなどの幾何学的再構成アルゴリズムを使用して3D再構成を作成するために使用できます^{[ 4 ]}。

画像セグメンテーションの実用的な応用例には、以下のようなものがあります。

• コンテンツベースの画像検索^{[ 5 ]}
• マシンビジョン
• 医用画像処理[ ^{6 ] [ 7 ] 、}およびコンピュータ断層撮影、磁気共鳴画像法によるボリュームレンダリング画像、FIB-SEMなどのボリューム電子顕微鏡技術を含む生物医学研究における画像研究^{[ 8 ] 。}
  • 腫瘍やその他の病変の位置を特定する^{[ 9 ] [ 10 ]}
  • 組織体積を測定する^{[ 11 ] [ 12 ]}
  • 診断、解剖学的構造の研究^{[ 13 ]}
  • 手術計画
  • 仮想手術シミュレーション
  • 手術中のナビゲーション
  • 放射線療法^{[ 14 ]}
  • デジタル病理学および組織病理学。さまざまな染色を施した全スライド画像（WSI）における核インスタンスセグメンテーションとは、個々の細胞の核境界を自動的に区別することを指します。このタスクはインスタンスセグメンテーションの特殊なサブ問題であり、生物医学研究および診断（細胞計数、形態計測特徴抽出、腫瘍グレード分類、予後バイオマーカー抽出など）において非常に実用的です。^{[ 15 ]}この問題に対する最新のアプローチは、重なり合った核や融合した核を分離するという主な課題を包含するように開発された深層学習アーキテクチャを使用することです。 ^{[ 16 ] [ 17 ] [ 18 ]}人間が注釈を付けたデータセットがほとんど入手できないことが、この問題に対する別の課題となっています。^{[ 19 ] [ 20 ] [ 21 ]}
• 物体検出^{[ 22 ]}
  • 歩行者検知
  • 顔検出
  • ブレーキランプ検出
  • 衛星画像内の物体（道路、森林、農作物など）の位置を特定する。
• 認識タスク
  • 顔認識
  • 指紋認証
  • 虹彩認識
  • 空港の保安検査場で持ち込み禁止品
• 交通管制システム
• ビデオ監視
• ビデオオブジェクトの共同セグメンテーションとアクションの局所化^{[ 23 ] [ 24 ]}

画像セグメンテーションのために、汎用的なアルゴリズムや手法が数多く開発されてきた。これらの手法を効果的に活用するには、通常、その分野特有の知識と組み合わせることで、その分野におけるセグメンテーション問題を効率的に解決する必要がある。

セグメンテーション手法には2つの種類がある。

• 古典的なコンピュータビジョン手法
• AIベースの技術

• セマンティックセグメンテーションは、各ピクセルについて、そのピクセルが属するクラスを検出する手法です。^{[ 25 ]}例えば、多くの人が写っている図では、人物に属するすべてのピクセルは同じクラスIDを持ち、背景のピクセルは背景として分類されます。^{[ 26 ]}
• インスタンスセグメンテーションは、各ピクセルについて、オブジェクトの特定のインスタンスを識別するアプローチです。画像内の関心のある個々のオブジェクトを検出します。^{[ 27 ]}たとえば、図中の各人物が個々のオブジェクトとしてセグメント化される場合などです。
• パノプティックセグメンテーションは、セマンティックセグメンテーションとインスタンスセグメンテーションの両方を組み合わせたものです。セマンティックセグメンテーションと同様に、パノプティックセグメンテーションは、各ピクセルについて、そのピクセルが属するクラスを識別するアプローチです。さらに、インスタンスセグメンテーションと同様に、パノプティックセグメンテーションは同じクラスの異なるインスタンスを区別します。^{[ 28 ]}

画像分割の最も単純な方法は、閾値処理法と呼ばれます。この方法は、クリップレベル（または閾値）に基づいて、グレースケール画像を二値画像に変換します。

この手法の鍵は、閾値（複数レベルを選択する場合は複数の値）を選択することです。業界では、最大エントロピー法、バランス型ヒストグラム閾値処理、大津法（最大分散法）、k平均クラスタリングなど、いくつかの一般的な手法が用いられています。

近年、コンピュータ断層撮影（CT）画像の閾値処理方法が開発されている。重要なアイデアは、大津の方法とは異なり、閾値は（再構成された）画像ではなく、レントゲン写真から導出されることである。^{[ 29 ] [ 30 ]}

新しい手法では、多次元のファジールールに基づく非線形閾値の使用が提案されている。これらのアプローチでは、各ピクセルがセグメントに属するかどうかの決定は、画像の照明、環境、アプリケーションなどの要因を考慮したファジー論理と進化アルゴリズムから導出された多次元ルールに基づいている。^{[ 31 ]}

元画像

k = 16でk -means を実行した後の画像。大きな画像のパフォーマンスを向上させる一般的な手法として、画像をダウンサンプリングし、クラスタを計算し、必要に応じて値をより大きな画像に再割り当てする方法があることに注意してください。

K平均法は、画像をK個のクラスターに分割するために使用される反復手法です。^{[ 32 ]}基本的なアルゴリズムは次のとおりです。

1. K個のクラスター中心を、ランダムに、またはK-means++などのヒューリスティックな方法に基づいて選択します。
2. 画像内の各ピクセルを、そのピクセルとクラスター中心との距離を最小にするクラスターに割り当てます。
3. クラスター内のすべてのピクセルの平均をとって、クラスター中心を再計算します。
4. 収束が達成されるまで（つまり、ピクセルのクラスターが変化しなくなるまで）、手順2と3を繰り返します。

この場合、距離はピクセルとクラスタ中心との差の二乗または絶対値です。この差は通常、ピクセルの色、強度、テクスチャ、位置、またはこれらの要素の加重組み合わせに基づいています。Kは手動で、ランダムに、またはヒューリスティックによって選択できます。このアルゴリズムは収束することが保証されていますが、最適な解を返すとは限りません。解の質は、初期のクラスタセットとKの値に依存します。

平均シフトアルゴリズムは、画像を事前に未知の数のクラスターに分割するために使用される手法です。この手法の利点は、そのようなパラメータの初期値を推定する必要がないため、より多様なケースに対応できる汎用性の高いソリューションとなることです。

モーションベースセグメンテーションとは、画像内の動きを利用してセグメンテーションを行う手法です。

考え方は単純だ。2枚の画像間の差分を調べる。対象物が動いている場合、その差分はまさにその対象物となる。

このアイデアを改良し、Kenneyらはインタラクティブセグメンテーションを提案した。彼らはロボットを使って物体を突くことで、動きに基づくセグメンテーションに必要な動き信号を生成する。

インタラクティブセグメンテーションは、Dov Katz が提唱したインタラクティブ知覚フレームワークに従う。そしてオリバー・ブロック。

動きに基づいた別の手法として、剛体運動セグメンテーションがある。

圧縮ベースの手法では、最適なセグメンテーションは、考えられるすべてのセグメンテーションの中で、データの符号化長を最小化するものであると仮定しています。^{[ 33 ] [ 34 ]}これら2つの概念の関連性は、セグメンテーションは画像内のパターンを見つけようとし、画像内の規則性は圧縮に利用できるということです。この手法では、各セグメントをそのテクスチャと境界形状で記述します。これらの各要素は確率分布関数でモデル化され、その符号化長は次のように計算されます。

1. 境界符号化は、自然画像における領域が滑らかな輪郭を持つ傾向があるという事実を利用しています。この事前情報は、ハフマン符号化において、画像内の輪郭の差分連鎖コードを符号化するために用いられます。したがって、境界が滑らかであればあるほど、符号化長は短くなります。
2. テクスチャは、最小記述長（MDL）原理に似た方法で非可逆圧縮によって符号化されますが、ここでは、モデルが与えられた場合のデータの長さは、サンプル数とモデルのエントロピーの積で近似されます。各領域のテクスチャは、エントロピーが閉形式で表現される多変量正規分布によってモデル化されます。このモデルの興味深い特性は、推定エントロピーがデータの真のエントロピーを上から制限することです。これは、与えられた平均と共分散を持つすべての分布の中で、正規分布が最大のエントロピーを持つためです。したがって、真の符号化長は、アルゴリズムが最小化しようとする値を超えることはありません。

画像の任意のセグメンテーションに対して、この方式は、そのセグメンテーションに基づいて画像をエンコードするために必要なビット数を生成します。したがって、画像のすべての可能なセグメンテーションの中から、最短の符号化長を生成するセグメンテーションを見つけることが目標です。これは、単純な凝集型クラスタリング法によって実現できます。非可逆圧縮における歪みはセグメンテーションの粗さを決定し、その最適値は画像ごとに異なる場合があります。このパラメータは、画像のテクスチャのコントラストから経験的に推定できます。たとえば、迷彩画像のように画像のテクスチャが似ている場合、より高い感度、つまりより低い量子化が必要になります。

ヒストグラムベースの手法は、通常ピクセルを一度通過するだけで済むため、他の画像セグメンテーション手法に比べて非常に効率的です。この手法では、画像内のすべてのピクセルからヒストグラムが計算され、ヒストグラムのピークと谷を使用して画像内のクラスターの位置を特定します。 ^{[ 1 ]}色または強度を尺度として使用できます。

この手法の改良版は、画像内のクラスターにヒストグラム探索法を再帰的に適用して、それらをより小さなクラスターに分割することです。この操作は、クラスターが形成されなくなるまで、より小さなクラスターで繰り返されます。 ^{[ 1 ] [ 35 ]}

ヒストグラム探索法の欠点の1つは、画像中の重要なピークと谷を特定するのが難しい場合があることである。

ヒストグラムベースのアプローチは、単一パスの効率性を維持しながら、複数のフレームに迅速に適用できるように調整することもできます。複数のフレームを考慮する場合、ヒストグラムは複数の方法で作成できます。1つのフレームで採用したアプローチを複数のフレームに適用し、結果を統合すると、以前は識別が困難だったピークと谷がより識別しやすくなります。ヒストグラムはピクセル単位でも適用でき、その結果得られた情報を使用して、ピクセル位置で最も頻繁に出現する色を決定します。このアプローチは、アクティブなオブジェクトと静的な環境に基づいてセグメント化するため、ビデオトラッキングに役立つ異なるタイプのセグメンテーションが得られます。

エッジ検出は、画像処理分野においてそれ自体が十分に発展した分野である。領域境界とエッジは密接に関連しており、領域境界ではしばしば輝度が急激に変化する。そのため、エッジ検出技術は、他のセグメンテーション技術の基礎として利用されてきた。

エッジ検出によって識別されるエッジは、しばしば不連続です。しかし、画像からオブジェクトをセグメント化するには、閉じた領域の境界が必要です。必要なエッジは、そのようなオブジェクトまたは空間分類群間の境界です。^{[ 36 ] [ 37 ]}

空間分類群^{[ 38 ]}は情報顆粒^{[ 39 ]}であり、階層的に入れ子になったシーン アーキテクチャ内の抽象レベルに配置された、鮮明なピクセル領域で構成されています。これらは、ゲシュタルト心理学の図と地の区別に似ていますが、前景、オブジェクト グループ、オブジェクト、および顕著なオブジェクト パーツを含むように拡張されています。エッジ検出方法は、シルエットに適用するのと同じように、空間分類群領域に適用できます。この方法は、切断されたエッジが錯覚的な輪郭の一部である場合に特に役立ちます^{[ 40 ] [ 41 ]}

セグメンテーション手法は、エッジ検出器から得られたエッジにも適用できます。LindebergとLi ^{[ 42 ]は}、部分ベースの物体認識のためにエッジを直線エッジセグメントと曲線エッジセグメントに分割する統合手法を開発しました。この手法は、最小記述長（M _DL）基準に基づいており、相補的な接合キューから得られた候補ブレークポイントを使用した分割マージのような手法によって最適化され、異なるセグメントへの分割を検討する可能性の高いポイントを取得します。

画像中の孤立点の検出は、画像セグメンテーションの基本的な部分です。このプロセスは主に2階微分に依存しており、ラプラシアン演算子の使用を示しています。関数のラプラシアン${\displaystyle f(x,y)}$次のように与えられます。

$\displaystyle \nabla ^{2}f(x,y)={\frac {\partial ^{2}f}{\partial x^{2}}}+{\frac {\partial ^{2}f}{\partial y^{2}}}}$

ラプラシアン演算子は、偏微分が特定の式から導出されるように使用されます。${\displaystyle f(x,y)}$に関して${\displaystyle x}$そして${\displaystyle y}$は次のように与えられます。

${\displaystyle {\frac {\partial ^{2}f(x,y)}{\partial x^{2}}}=f(x+1,y)+f(x-1,y)-2f(x,y)}$

${\displaystyle {\frac {\partial ^{2}f(x,y)}{\partial y^{2}}}=f(x,y+1)+f(x,y-1)-2f(x,y)}$

これらの偏微分を用いて、ラプラシアンを次のように計算します。

${\displaystyle \nabla ^{2}f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)}$

この数式は、適切なマスクとの畳み込み演算によって実現できます。この式を3次元（x、y、z）に拡張すると、中心ピクセル（x、y、z）周辺の各ピクセル位置における輝度は、それぞれの対応する値に置き換えられます。この式は、すべてのピクセルが各軸に沿って単位間隔で配置されていると仮定する場合に特に有用です。

3次元データセットで使用するための球面マスクが開発されました。この球面マスクは、計算時に整数演算のみを使用するように設計されているため、浮動小数点ハードウェアやソフトウェアは不要です。

これらの概念を数値配列として表現された実際の画像に適用する場合、端または境界領域に到達したときに何が起こるかを考慮する必要があります。${\displaystyle g(x,y)}$は次のように定義されます。

${\displaystyle g(x,y)={\begin{cases}1&{\text{if }}|R(x,y)|\geq T\\0&{\text{otherwise}}\end{cases}}}$

上記の式は、応答の大きさに基づいて画像内の点が孤立点であるかどうかを判断するために使用されます。${\displaystyle |R(x,y)|}$そして閾値${\displaystyle T}$応答の大きさが閾値以上であれば、関数は 1 を返し、孤立点の存在を示します。そうでなければ 0 を返します。これは、画像内の孤立点の効果的な検出とセグメンテーションに役立ちます。^{[ 43 ]}

孤立点の検出は、X線画像処理を含むさまざまな分野で重要な応用があります。たとえば、タービンブレードの元のX線画像をピクセルごとに検査して、ブレードの右上象限の多孔性を検出できます。このX線画像にエッジ検出器の応答を適用した結果を近似することができます。これは、単一ピクセルプローブを使用して画像内の孤立点をセグメント化することを示しています。^{[ 43 ]}

この方法は、画像の 3 つの特性の組み合わせです。ヒストグラム分析に基づく画像の分割は、クラスタ (オブジェクト) の高いコンパクト性と境界の高い勾配によってチェックされます。そのためには、2 つの空間を導入する必要があります。1 つの空間は、輝度の 1 次元ヒストグラムH = H ( B ) です。2 番目の空間は、元の画像自体の双対 3 次元空間B = B ( x , y ) です。最初の空間では、最小クラスタリング kmin を計算することで、画像の輝度がどれだけコンパクトに分布しているかを測定できます。 kmin に対応するしきい値輝度 T は、バイナリ (白黒) 画像、つまりビットマップb = φ ( x , y ) を定義します。ここで、 φ ( x , y ) = 0 はB ( x , y ) < Tの場合、φ ( x , y ) = 1 はB ( x , y ) ≥ Tの場合です。ビットマップbは双対空間のオブジェクトです。そのビットマップ上で_、黒（または白）ピクセルの分布がどれほどコンパクトであるかを反映する尺度を定義する必要があります。したがって、目標は境界が良好なオブジェクトを見つけることです。すべてのTについて、尺度MDC = G /( k × L )を計算する必要があります（ここで、 kはオブジェクトと背景の明るさの差、Lはすべての境界の長さ、Gは境界上の平均勾配です）。MDCの最大値がセグメンテーションを定義します。^{[ 44 ]}                   

領域拡張法は、主に同一領域内の隣接ピクセルが類似した値を持つという仮定に基づいています。一般的な手順は、あるピクセルをその隣接ピクセルと比較することです。類似性基準が満たされれば、そのピクセルは1つ以上の隣接ピクセルと同じクラスタに属するように設定できます。類似性基準の選択は重要であり、結果は常にノイズの影響を受けます。

統計的領域マージ法^{[ 45 ]}（SRM）は、輝度差の絶対値で重み付けされたエッジを持つ4連結性を使用してピクセルのグラフを構築することから始まります。最初は、各ピクセルが1つのピクセル領域を形成します。次に、SRMはこれらのエッジを優先度キューでソートし、統計的述語を使用してエッジピクセルに属する現在の領域をマージするかどうかを決定します。

領域拡張法の1 つは、シード付き領域拡張法です。この方法は、画像とともに一連のシードを入力として受け取ります。シードは、セグメント化される各オブジェクトをマークします。領域は、割り当てられていないすべての隣接ピクセルを領域と比較することによって反復的に拡張されます。ピクセルの強度値と領域の平均との差、${\displaystyle \delta }$は類似性の尺度として使用されます。このように測定された差が最小のピクセルが、それぞれの領域に割り当てられます。このプロセスは、すべてのピクセルが領域に割り当てられるまで続きます。シード付き領域成長法では、追加の入力としてシードが必要となるため、セグメンテーションの結果はシードの選択に依存し、画像内のノイズによってシードの位置が悪くなる可能性があります。

もう一つの領域拡張法は、シードなし領域拡張法です。これは、明示的なシードを必要としない改良アルゴリズムです。単一の領域から始まります。${\displaystyle A_{1}}$ここで選択されたピクセルは、最終的なセグメンテーションに大きな影響を与えません。各反復では、シード領域成長と同様に、隣接するピクセルを考慮します。シード領域成長と異なる点は、最小値が${\displaystyle \delta }$事前定義されたしきい値よりも小さい${\displaystyle T}$そして、それぞれの領域に追加されます。${\displaystyle A_{j}}$そうでない場合は、そのピクセルは現在のすべての領域とは異なるとみなされます。${\displaystyle A_{i}}$そして新しい地域${\displaystyle A_{n+1}}$このピクセルで作成されます。

HaralickとShapiro（1985）^{[ 1 ]}が提案したこの手法のバリエーションの一つは、ピクセル強度に基づいています。領域の平均と散布図、および候補ピクセルの強度を使用して検定統計量を計算します。検定統計量が十分に小さい場合、ピクセルが領域に追加され、領域の平均と散布図が再計算されます。そうでない場合、ピクセルは拒否され、新しい領域の形成に使用されます。

特別な領域成長法は${\displaystyle \lambda }$-連結セグメンテーション（ラムダ連結性も参照）。これは、ピクセル強度と近傍リンクパスに基づいています。連結度（連結性）は、ピクセルによって形成されるパスに基づいて計算されます。特定の値の場合、${\displaystyle \lambda }$2つのピクセルは${\displaystyle \lambda }$-接続済み 2 つのピクセルを結ぶパスが存在し、そのパスの接続性が少なくとも${\displaystyle \lambda }$。${\displaystyle \lambda }$-連結性は同値関係である。^{[ 46 ]}

分割結合セグメンテーションは、画像のクワッドツリー分割に基づいています。これは、クワッドツリーセグメンテーションと呼ばれることもあります。

この方法は、画像全体を表すツリーのルートから始まります。画像が不均一（均質でない）と判断された場合、4つの子正方形に分割され（分割プロセス）、以下同様に処理されます。一方、4つの子正方形が均質である場合は、複数の連結成分としてマージされます（マージプロセス）。ツリー内のノードはセグメント化されたノードです。このプロセスは、これ以上分割やマージができなくなるまで再帰的に続きます。^{[ 47 ] [ 48 ]}この方法のアルゴリズムの実装に特殊なデータ構造が関与する場合、その時間計算量は最大で${\displaystyle O(n\log n)}$、この方法の最適なアルゴリズム。^{[ 49 ]}

偏微分方程式(PDE) に基づく方法を使用し、数値スキームで PDE 方程式を解くことで、画像をセグメント化できます。^{[ 50 ]}曲線伝播はこのカテゴリでよく使われる手法で、オブジェクト抽出、オブジェクト追跡、ステレオ再構成などに多数の応用があります。中心となるアイデアは、初期曲線をコスト関数の最小ポテンシャルに向かって進化させることで、その定義は対処すべきタスクを反映しています。ほとんどの逆問題と同様に、コスト関数の最小化は自明ではなく、解に一定の滑らかさの制約を課します。この場合、それは進化する曲線に対する幾何学的制約として表現できます。

変分法の目的は、特定のエネルギー汎関数に関して最適なセグメンテーションを見つけることです。汎関数は、データ適合項と正則化項から構成されます。古典的な例としては、画像に対して定義されるポッツモデルが挙げられます。${\displaystyle f}$による

${\displaystyle \operatorname {argmin} _{u}\gamma \|\nabla u\|_{0}+\int (uf)^{2}\,dx.}$

ミニマイザー$\displaystyle u^{*}}$これは、与えられた画像との二乗L2距離との間で最適なトレードオフを持つ区分的に定数な画像です。${\displaystyle f}$そしてそのジャンプセットの全長。$\displaystyle u^{*}}$セグメンテーションを定義します。エネルギーの相対的な重みはパラメータによって調整されます。${\displaystyle \gamma >0}$ポッツモデルのバイナリバリアント、つまり、範囲が${\displaystyle u}$2つの値に制限され、しばしばChan- Veseモデルと呼ばれる。^{[ 57 ]}重要な一般化として、Mumford-Shahモデル^{[ 58 ]}がある。

${\displaystyle \operatorname {argmin} _{u,K}\gamma |K|+\mu \int _{K^{C}}|\nabla u|^{2}\,dx+\int (uf)^{2}\,dx.}$

機能値は、分割曲線の全長の合計です。${\displaystyle K}$近似の滑らかさ${\displaystyle u}$、そして元の画像からの距離${\displaystyle f}$平滑化ペナルティの重みは、${\displaystyle \mu >0}$ポッツモデルは、退化ケースと見なせるため、区分的定数マンフォード・シャーモデルと呼ばれることが多い。${\displaystyle \mu \to \infty }$最適化問題は一般的にNP困難であることが知られていますが、準最小化戦略は実際にはうまく機能します。古典的なアルゴリズムには、段階的非凸性法とアンブロシオ・トルトレッリ近似法があります。

グラフ分割法は、画像の均質性を仮定して、ピクセル近傍が特定のピクセル群またはピクセルに与える影響をモデル化するため、画像セグメンテーションに有効なツールです。これらの方法では、画像は重み付き無向グラフとしてモデル化されます。通常、ピクセルまたはピクセル群はノードに関連付けられ、エッジの重みは近傍ピクセル間の類似性（または非類似性）を定義します。次に、グラフ（画像）は、「良好な」クラスターをモデル化するように設計された基準に従って分割されます。これらのアルゴリズムから出力されるノード（ピクセル）の各分割は、画像内のオブジェクトセグメントとみなされます。セグメンテーションベースのオブジェクト分類を参照してください。このカテゴリの一般的なアルゴリズムには、正規化カット^{[ 59 ]} 、ランダムウォーカー^{[ 60 ]}、最小カット^{[ 61 ]}、等周分割^{[ 62 ]} 、最小全域木ベースのセグメンテーション^{[ 63 ]}、およびセグメンテーションベースのオブジェクト分類などがあります。

マルコフ確率場

画像へのマルコフ確率場(MRF)の適用は、1984 年初頭に Geman と Geman によって提案されました。^{[ 64 ]}強力な数学的基盤と、局所的特徴に基づいて定義された場合でもグローバル最適解を提供する能力は、画像解析、ノイズ除去、セグメンテーションの領域における新しい研究の基礎となりました。MRF は、事前確率分布、周辺確率分布、クリーク、平滑化制約、および値の更新基準によって完全に特徴付けられます。MRF を使用した画像セグメンテーションの基準は、与えられた特徴セットに対して最大の確率を持つラベル付けスキームを見つけることとして言い換えられます。MRF を使用した画像セグメンテーションの大きなカテゴリは、教師ありセグメンテーションと教師なしセグメンテーションです。

MRFとMAPを用いた教師あり画像セグメンテーション

画像セグメンテーションに関して言えば、MRF（マルコフ確率場）が最大化しようとする関数は、画像内で特定の特徴セットが検出された場合に、ラベル付けスキームを識別できる確率です。これは、事後確率最大推定法を言い換えたものです。

MAPを用いた画像セグメンテーションの汎用アルゴリズムを以下に示します。

1. 各特徴量（MRF用語では確率変数）の近傍を定義します。 一般的に、これには1次または2次の近傍が含まれます。
2. 各特徴量の初期確率P ( f _i ) > を 0 または 0 に設定します。
3. ここで、f _i ∈ Σはピクセルiに対して抽出された特徴を含む集合であり 、初期クラスターセットを定義します。
4. 訓練データを用いて、各ラベルの平均値（μℓi）と分散（σℓi）を計算します_。これ_はクラス統計_量と呼ばれます。
5. ベイズの定理と先に計算したクラス統計量を用いて、与えられたラベル付けスキームP ( f _i  | ℓ _i ) の周辺分布を計算します 。周辺分布にはガウスモデルを使用します。

   ${\displaystyle {\frac {1}{\sigma (\ell _{i}){\sqrt {2\pi }}}}e^{-(f_{i}-\mu (\ell _{i}))^{2}/(2\sigma (\ell _{i})^{2})}\,d\ell _{i}}$

6. 前述の近傍領域に基づいて、各クラスラベルの確率を計算します。 ラベリングにおける社会的影響をモデル化するために、クリークポテンシャルが使用されます。
7. 新たな事前確率を繰り返し計算し、これらの確率が最大化されるようにクラスタを再定義します。 これは、以下に説明する様々な最適化アルゴリズムを用いて行われます。
8. 確率が最大になり、ラベル付け方式が変わらない時点で停止します。 計算は対数尤度の観点からも実施可能です。

最適化アルゴリズム

各最適化アルゴリズムは、さまざまな分野のモデルを応用したものであり、それぞれ独自のコスト関数によって区別されます。コスト関数の共通の特徴は、ピクセル値の変化と、隣接ピクセルのラベルとの比較におけるピクセルラベルの差異の両方に対してペナルティを課すことです。

反復条件付きモード/勾配降下法

反復条件モード（ICM）アルゴリズムは、各反復で各ピクセルの値を変更し、以下のコスト関数を使用して新しいラベリングスキームのエネルギーを評価することにより、理想的なラベリングスキームを再構築しようとします。

$\displaystyle \alpha (1-\delta (\ell _{i}-\ell _{{\text{initial }}i})+\beta \Sigma _{q\in N(i)}(1-\delta (\ell _{i},\ell _{q(i)})).}$

ここで、αはピクセルラベルの変更に対するペナルティであり、βは隣接ピクセルと選択されたピクセル間のラベルの差に対するペナルティである。${\displaystyle N(i)}$はピクセル i の近傍であり、δはクロネッカーのデルタ関数です。ICM の大きな問題点は、勾配降下法と同様に、局所最大値にとどまりやすく、グローバルに最適なラベル付けスキームが得られない傾向があることです。

シミュレーテッドアニーリング（SA）

冶金における焼きなましの類似法として開発されたシミュレーテッドアニーリング（SA）は、反復処理におけるピクセルラベルの変化を利用し、新たに形成された各グラフのエネルギーと初期データのエネルギーの差を推定します。新たに形成されたグラフが、エネルギーコストが低いという点でより有利である場合、以下の式で表されます。

$\displaystyle \Delta U=U^{\text{new}}-U^{\text{old}}}$

${\displaystyle \ell _{i}={\begin{cases}\ell _{i}^{\text{new}},&{\text{if }}\Delta U\leq 0,\\\ell _{i}^{\text{new}},&{\text{if }}\Delta U>0{\text{ and }}\delta <e^{-\Delta U/T},\ell _{i}^{\text{old}}\end{cases}}}$

このアルゴリズムは、新たに形成されたグラフを選択します。シミュレーテッドアニーリングでは、システムの収束速度に直接影響を与える温度スケジュールと、最小化が発生するためのエネルギー閾値を入力する必要があります。

代替アルゴリズム

単純な MRF だけでなく、より高次の MRF を解くための他のさまざまな方法も存在します。それらには、事後周辺分布の最大化、マルチスケール MAP 推定^{[ 65 ]} 、多重解像度セグメンテーション^{[ 66 ]}などが含まれます。尤度推定の他に、最大フローを使用したグラフカット^{[ 67 ]}やその他の高度に制約されたグラフベースの方法^{[ 68 ] [ 69 ]}が MRF を解くために存在します。

MAPと期待値最大化法を用いた画像セグメンテーション

期待値最大化アルゴリズムは、トレーニングデータが利用できず、セグメンテーションモデルの推定値も形成できない場合に、ラベル付けの事後確率と分布を反復的に推定するために使用されます。一般的なアプローチは、ヒストグラムを使用して画像の特徴を表し、次の3ステップのアルゴリズムで簡単に説明するように進めることです。

1. モデルパラメータのランダム推定値が利用される。

2. Eステップ: 定義されたランダムセグメンテーションモデルに基づいてクラス統計を推定します。これらを使用して、ナイーブベイズの定理を使用して、特徴セットが与えられた場合にラベルに属する条件付き確率を計算します。

${\displaystyle P(\lambda \mid f_{i})={\frac {P(f_{i}\mid \lambda )P(\lambda )}{\Sigma _{\lambda \in \Lambda }P(f_{i}\mid \lambda )P(\lambda )}}}$

ここ${\displaystyle \lambda \in \Lambda }$可能なすべてのラベルの集合。

3. Mステップ：アルゴリズムの第2部では、特定の特徴セットとラベル付けスキームとの関連性が確立されているため、それを用いて特定のラベルの事前推定値を算出します。実際のラベルの総数は（トレーニングデータセットからは）不明であるため、計算にはユーザーが指定したラベル数の推定値が利用されます。

${\displaystyle P(\lambda )={\frac {\Sigma _{\lambda \in \Lambda }P(\lambda \mid f_{i})}{|\Omega |}}}$

どこ${\displaystyle \Omega }$これは、考えられるすべての特徴の集合です。

MAPおよびEMベースの画像セグメンテーションの欠点

1. 正確なMAP推定値を算出することは容易ではない。
2. 概算のMAP推定値は、計算コストが高い。
3. 複数クラスラベル付けへの拡張は、パフォーマンスを低下させ、必要なストレージ容量を増加させる。
4. EMアルゴリズムのパラメータを正確に推定することは、グローバル最適解を達成するために必要である。
5. 最適化手法によっては、セグメンテーションが局所的な最小値に収束する可能性がある。

流域変換では、画像の勾配の大きさを地形面として扱います。勾配の大きさの強度（GMI）が最も高いピクセルは流域線に対応し、これが領域の境界を表します。共通の流域線で囲まれたピクセルに置かれた水は、共通の局所強度最小値（LIM）に向かって下り坂を流れます。共通の最小値に流れ込むピクセルは集水域を形成し、これがセグメントを表します。

モデルベースのアプローチの中心的な仮定は、対象となる構造が特定の形状に向かう傾向があるというものです。したがって、形状とその変動を特徴付ける確率モデルを求めることができます。画像をセグメント化する際に、このモデルを事前情報として使用して制約を課すことができます。^{[ 70 ]}このようなタスクには、(i) トレーニング例を共通の姿勢に位置合わせすること、(ii) 位置合わせされたサンプルの変動を確率的に表現すること、(iii) モデルと画像間の統計的推論が含まれる場合があります。モデルベースのセグメンテーションに関する文献中の他の重要な方法には、アクティブシェイプモデルとアクティブアピアランスモデルがあります。

画像セグメンテーションはスケール空間内の複数のスケールで計算され、場合によっては粗いスケールから細かいスケールへと伝播されます。スケール空間セグメンテーションを参照してください。

セグメンテーション基準は任意に複雑にすることができ、グローバルな基準とローカルな基準の両方を考慮に入れることができる。共通の要件は、各地域が何らかの形でつながっている必要があるということである。

ある種のセグメンテーションでは、ユーザーがマウスをクリックして関心領域を輪郭線で囲み、アルゴリズムが適用されて画像のエッジに最もよく適合する経路が表示されます。

SIOX、Livewire 、Intelligent Scissors、IT-SNAPSなどの技術は、この種のセグメンテーションで使用されます。別の種類の半自動セグメンテーションでは、アルゴリズムは、ユーザーが選択した、または事前確率によって指定された空間分類群（前景、オブジェクトグループ、オブジェクト、またはオブジェクト部分）を返します。^{[ 86 ] [ 87 ]}

前述のセグメンテーション手法のほとんどは、画像内のピクセルの色情報のみに基づいています。人間は画像セグメンテーションを行う際に、はるかに多くの知識を利用しますが、この知識を実装するには、相当な人的エンジニアリングと計算時間が必要となり、現状では存在しない膨大なドメイン知識データベースも必要となります。ニューラルネットワークセグメンテーションなどの学習可能なセグメンテーション手法は、ラベル付けされたピクセルのデータセットからドメイン知識をモデル化することで、これらの問題を克服します。

画像分割ニューラルネットワークは、画像の小さな領域を処理して、エッジなどの単純な特徴を抽出できます。^{[ 88 ]}その後、別のニューラルネットワーク、または任意の意思決定メカニズムがこれらの特徴を組み合わせて、画像の領域に適切なラベルを付けることができます。このように設計されたネットワークの一種がコホーネンマップです。

パルス結合ニューラルネットワーク (PCNN)は、ネコの視覚皮質をモデル化して提案され、高性能な生体模倣画像処理用に開発されたニューラルモデルです。1989 年、ラインハルト・エックホルンはネコの視覚皮質のメカニズムを模倣するニューラルモデルを導入しました。エックホルンモデルは、小型哺乳類の視覚皮質を研究するためのシンプルで効果的なツールを提供し、すぐに画像処理において大きな応用可能性を持つことが認識されました。1994 年、エックホルンモデルは、ジョン L. ジョンソンによって画像処理アルゴリズムに適応され、このアルゴリズムはパルス結合ニューラルネットワークと名付けられました。^{[ 89 ]}過去 10 年間、PCNN は、画像セグメンテーション、特徴生成、顔抽出、動き検出、領域成長、ノイズ除去など、さまざまな画像処理アプリケーションに利用されてきました。PCNN は 2 次元ニューラルネットワークです。ネットワーク内の各ニューロンは入力画像の1つのピクセルに対応し、対応するピクセルの色情報（例えば輝度）を外部刺激として受け取ります。各ニューロンは隣接するニューロンとも接続し、そこから局所的な刺激を受け取ります。外部刺激と局所刺激は内部活性化システムで結合され、動的閾値を超えるまで刺激が蓄積され、パルス出力が生成されます。PCNNニューロンは反復計算によってパルス出力の時系列を生成します。パルス出力の時系列には入力画像の情報が含まれており、画像セグメンテーションや特徴生成など、さまざまな画像処理アプリケーションに利用できます。従来の画像処理手法と比較して、PCNNにはノイズに対する堅牢性、入力パターンの幾何学的変動に対する独立性、入力パターンのわずかな輝度変動を橋渡しする能力など、いくつかの重要な利点があります。

2015 年、畳み込みニューラルネットワークはセマンティックセグメンテーションの最先端に達しました。^{[ 90 ]} U-Net は、画像を入力として受け取り、各ピクセルのラベルを出力するアーキテクチャです。^{[ 91 ]} U-Net は当初、生体医用画像内の細胞境界を検出するために開発されました。U-Net は古典的なオートエンコーダーアーキテクチャに従っており、2 つのサブ構造が含まれています。エンコーダー構造は、従来の畳み込み層と最大プーリング層のスタックに従って、層を通過するにつれて受容野を拡大します。これは、画像のコンテキストを捉えるために使用されます。デコーダー構造は、転置畳み込み層を使用してアップサンプリングを行い、最終的な寸法が入力画像の寸法に近くなるようにします。同じ形状の畳み込み層と転置畳み込み層の間にはスキップ接続が配置され、そうでなければ失われていたであろう詳細を保持します。

各ピクセルに特定のカテゴリを割り当てるピクセルレベルのセマンティックセグメンテーションタスクに加えて、現代のセグメンテーションアプリケーションには、特定のカテゴリ内の各個体を一意に識別する必要があるインスタンスレベルのセマンティックセグメンテーションタスクや、これら2つのタスクを組み合わせてより完全なシーンセグメンテーションを提供するパノプティックセグメンテーションタスクが含まれます。^{[ 28 ]}

写真アルバムや一連のビデオフレームなどの関連画像には、意味的に類似したオブジェクトやシーンが含まれていることが多いため、このような相関関係を利用することが有益な場合が多い。^{[ 92 ]}関連画像やビデオフレームからシーンを同時にセグメント化するタスクは、コセグメンテーションと呼ばれ、^{[ 23 ]}通常は人間の動作の局所化に使用されます。従来のバウンディングボックスベースのオブジェクト検出とは異なり、人間の動作の局所化手法は、よりきめ細かい結果を提供し、通常は画像ごとのセグメンテーションマスクによって、対象となる人間のオブジェクトとその動作カテゴリを区別します（例：Segment-Tube ^{[ 24 ]} ）。動的マルコフネットワーク、CNN、LSTMなどの技術は、フレーム間の相関関係を利用するためによく使用されます。

DTI画像に基づくマルチスペクトルセグメンテーションや接続性に基づくセグメンテーションなど、他にも多くのセグメンテーション方法があります。^{[ 93 ] [ 94 ]}

• オブジェクトの同時セグメンテーション– コンピュータビジョンにおける画像セグメンテーション 
• コンピュータビジョン– 画像からのコンピュータによる情報抽出 
• 画像ベースのメッシュ生成
• 距離画像セグメンテーション
• ベクトル量子化– 信号処理における古典的な量子化手法 
• 画像量子化– 非可逆圧縮技術 リダイレクト先の簡単な説明を表示するページ 
• 色量子化– 画像処理技術 
• オブジェクトベースの画像解析– デジタル画像処理技術による画像からの情報抽出リダイレクト先の簡単な説明を表示するページ 
• 手動画像注釈ツール一覧
• 剛体運動のセグメンテーション
• テキスト分割– 人間の筆記習慣 

• 基本的なセグメンテーションを実行するサンプルコード（Syed Zainudeen著、マレーシア工科大学）。
• 画像セグメンテーションへの応用を目的とした、Forcadel らによる一般化高速マーチング法[2008]。
• 画像処理研究グループ オンラインのオープンな画像処理研究コミュニティ。
• 画像処理および解析におけるセグメンテーション手法と、MathWorksによる画像セグメンテーションのためのエネルギー最小化
• 詳細なアルゴリズムを用いた画像分割手法2019年11月1日にWayback Machineにアーカイブ済み 執筆者: Yu-Hsiang Wang (王昱翔)、国立台湾大学、台北、台湾、中華民国
• IPOL Journalによる区分的線形画像セグメンテーションのオンラインデモンストレーション