アクティブ輪郭モデル

アクティブ輪郭モデル（別名スネーク）は、マイケル・カス、アンドリュー・ウィトキン、デメトリ・テルゾポロス^[1]によって導入された、ノイズの多い可能性のある2D画像から物体の輪郭を描くためのコンピュータビジョンのフレームワークです。スネークモデルはコンピュータビジョンで人気があり、物体追跡、形状認識、セグメンテーション、エッジ検出、ステレオマッチングなどのアプリケーションで広く使用されています。

スネークは、エネルギーを最小化する変形可能なスプラインであり、物体の輪郭に向かって引っ張る拘束力とイメージ力、および変形に抵抗する内部力の影響を受けます。スネークは、エネルギー最小化によって変形可能なモデルをイメージに一致させる一般的な手法の特殊なケースとして理解できます。^[1] 2次元では、アクティブシェイプモデルはこのアプローチの離散バージョンを表し、ポイント分布モデルを利用して、トレーニングセットから学習した明示的なドメインに形状範囲を制限します。

Snake は、画像内の輪郭を見つけるという問題全体を解決できるわけではありません。この方法では、事前に目的の輪郭の形状に関する知識が必要になるからです。むしろ、ユーザーとのやり取り、より高レベルの画像理解プロセスとのやり取り、時間的または空間的に隣接する画像データからの情報など、他のメカニズムに依存します。

コンピューター ビジョンでは、輪郭モデルは画像内の形状の境界を記述します。特に、Snake は境界のおおよその形状がわかっている問題を解決するように設計されています。変形可能なモデルであるため、Snake はステレオ マッチングやモーション トラッキングにおける違いやノイズに適応できます。さらに、この方法では、欠落している境界情報を無視することで、画像内の 錯覚的な輪郭を見つけることができます。

従来の特徴抽出技術と比較して、スネークには複数の利点があります。

• 自律的かつ適応的に最小状態を探します。
• 外部のイメージの力は直感的に蛇に作用します。
• 画像エネルギー関数にガウス平滑化を組み込むと、スケール感度が導入されます。
• 動的なオブジェクトを追跡するために使用できます。

伝統的なヘビの主な欠点は

• これらは局所最小値状態に敏感であり、シミュレーテッドアニーリング技術によって打ち消すことができます。
• 輪郭全体にわたるエネルギー最小化の際には、微細な特徴が無視されることがよくあります。
• その精度は収束ポリシーに依存する。^[2]

単純な弾性スネークは、のn個の点、内部弾性エネルギー項、および外部エッジベースのエネルギー項によって定義されます。内部エネルギー項の目的は、スネークに加えられる変形を制御することであり、外部エネルギー項の目的は、輪郭が画像にフィットするように制御することです。外部エネルギーは通常、画像自体による力と、ユーザーによって導入された拘束力の組み合わせです。${\displaystyle \mathbf {v} _{i}}$${\displaystyle i=0,\ldots ,n-1}$${\displaystyle E_{\text{internal}}}$${\displaystyle E_{\text{external}}}$${\displaystyle E_{\text{image}}}$${\displaystyle E_{\text{con}}}$

ヘビのエネルギー関数は、外部エネルギーと内部エネルギーの合計、つまり

${\displaystyle E_{\text{snake}}^{*}=\int \limits _{0}^{1}E_{\text{snake}}(\mathbf {v} (s))\,ds=\int \limits _{0}^{1}(E_{\text{internal}}(\mathbf {v} (s))+E_{\text{image}}(\mathbf {v} (s))+E_{\text{con}}(\mathbf {v} (s)))\,ds}$

蛇の内部エネルギーは輪郭の連続性と輪郭の滑らかさから構成されます。 ${\displaystyle E_{\text{cont}}}$${\displaystyle E_{\text{curv}}}$

${\displaystyle E_{\text{internal}}=E_{\text{cont}}+E_{\text{curv}}}$ ^[3]

これは次のように展開できる。

${\displaystyle E_{\text{internal}}={\frac {1}{2}}(\alpha \,\!(s)\left|\mathbf {v} _{s}(s)\right\vert ^{2})+{\frac {1}{2}}(\beta \,\!(s)\left|\mathbf {v} _{ss}(s)\right\vert ^{2})={\frac {1}{2}}{\bigg (}\alpha \,\!(s)\left\|{\frac {d{\bar {v}}}{ds}}(s)\right\Vert ^{2}+\beta \,\!(s)\left\|{\frac {d^{2}{\bar {v}}}{ds^{2}}}(s)\right\Vert ^{2}{\bigg )}}$

ここで、 およびはユーザー定義の重みです。これらは、それぞれ、蛇の伸びの量と蛇の曲率の量に対する内部エネルギー関数の感度を制御し、それによって蛇の形状に対する制約の数を制御します。 ${\displaystyle \alpha (s)}$${\displaystyle \beta (s)}$

実際には、連続性項の重みが大きいと、輪郭内の点間の距離の変化が不利になります。滑らかさ項の重みが大きいと、輪郭の振動が不利になり、輪郭が薄い板のように動作します。 ${\displaystyle \alpha (s)}$${\displaystyle \beta (s)}$

画像のエネルギーは、画像の特徴の関数です。これは、微分法における最も一般的な変更点の 1 つです。画像の特徴や画像自体は、さまざまな方法で処理できます。

画像、画像内に存在する線、エッジ、終端について、画像によるエネルギーの一般的な定式化は次のようになる。 ${\displaystyle I(x,y)}$

${\displaystyle E_{\text{image}}=w_{\text{line}}E_{\text{line}}+w_{\text{edge}}E_{\text{edge}}+w_{\text{term}}E_{\text{term}},}$

ここで、、はこれらの顕著な特徴の重みです。重みが大きいほど、顕著な特徴がイメージ力に大きく寄与することを示します。 ${\displaystyle w_{\text{line}}}$${\displaystyle w_{\text{edge}}}$${\displaystyle w_{\text{term}}}$

線関数は画像の強度を表し、次のように表される。

${\displaystyle E_{\text{line}}=I(x,y)}$

の符号によって、線が暗い線に引き寄せられるか、明るい線に引き寄せられるかが決まります。 ${\displaystyle w_{\text{line}}}$

画像に何らかのスムージングやノイズ低減が使用される場合、線関数は次のようになります。

${\displaystyle E_{\text{line}}=\operatorname {filter} (I(x,y))}$

エッジ関数は画像の勾配に基づいている。その実装例の1つは

${\displaystyle E_{\text{edge}}=-\left|\nabla I(x,y)\right\vert ^{2}.}$

目的の物体の輪郭から遠く離れたところから始まるスネークは、誤って局所的最小値に収束する可能性があります。スケール空間の連続性は、これらの局所的最小値を回避するために使用できます。これは、画像にぼかしフィルターを使用し、計算が進むにつれてぼかしの量を減らしてスネークの適合を洗練させることによって実現されます。スケール空間の連続性を使用したエネルギー関数は次のとおりです。

${\displaystyle E_{\text{edge}}=-\left|G_{\sigma }\cdot \nabla ^{2}I\right\vert ^{2}}$

ここで、 は標準偏差 のガウス分布です。この関数の最小値は、Marr-Hildreth理論に従ってエッジを定義するゼロ交差に該当します。 ${\displaystyle G_{\sigma }}$${\displaystyle \sigma }$${\displaystyle G_{\sigma }\,\nabla ^{2}I}$

わずかに滑らかに された画像内の水平線の曲率を利用して、画像の角や終端を検出することができます。この方法を使用すると、${\displaystyle C(x,y)}$

${\displaystyle C(x,y)=G_{\sigma }\cdot I(x,y)}$

勾配角度付き

${\displaystyle \theta =\arctan \left({\frac {C_{y}}{C_{x}}}\right),}$

勾配方向に沿った単位ベクトル

${\displaystyle \mathbf {n} =(\cos \theta ,\sin \theta ),}$

勾配方向に垂直な単位ベクトル

${\displaystyle \mathbf {n} _{\perp }=(-\sin \theta ,\cos \theta ).}$

エネルギーの終結関数は次のように表される。

${\displaystyle E_{\text{term}}={\partial \theta \over \partial n_{\perp }}={\partial ^{2}C/\partial n_{\perp }^{2} \over \partial C/\partial n}={{C_{yy}C_{x}^{2}-2C_{xy}C_{x}C_{y}+C_{xx}C_{y}^{2}} \over (C_{x}^{2}+C_{y}^{2})^{3/2}}}$

オリジナルのスネーク実装を含む一部のシステムでは、ユーザーによるインタラクションによって、初期配置だけでなくエネルギー面でもスネークを誘導することができました。このような制約エネルギーは、 スネークを特定の特徴に近づけたり遠ざけたりするためにインタラクティブに誘導するために使用できます。 ${\displaystyle E_{con}}$

蛇の初期推定値が与えられると、蛇のエネルギー関数は反復的に最小化される。勾配降下法による最小化は、蛇のエネルギーを最小化するために使用できる最も単純な最適化の1つである。^[4]各反復では、制御されたステップサイズで点の負の勾配を1ステップ実行し、局所最小値を見つける。この勾配降下法の最小化は次のように実装できる。 ${\displaystyle \gamma }$

${\displaystyle {\bar {v}}_{i}\leftarrow {\bar {v}}_{i}+F_{\text{snake}}({\bar {v}}_{i})}$

エネルギー場の勾配の負によって定義される、ヘビにかかる力は どこにありますか。${\displaystyle F_{\text{snake}}({\bar {v}}_{i})}$

${\displaystyle F_{\text{snake}}({\bar {v}}_{i})=-\nabla E_{\text{snake}}({\bar {v}}_{i})=-{\Bigg (}w_{\text{internal}}\,\nabla E_{\text{internal}}({\bar {v}}_{i})+w_{\text{external}}\,\nabla E_{\text{external}}({\bar {v}}_{i}){\Bigg )}}$

重みとがに関して一定であると仮定すると、この反復法は次のように簡略化できる。 ${\displaystyle \alpha (s)}$${\displaystyle \beta (s)}$${\displaystyle s}$

${\displaystyle {\bar {v}}_{i}\leftarrow {\bar {v}}_{i}-\gamma {\Bigg \{}w_{\text{internal}}{\bigg [}\alpha {\frac {\partial ^{2}{\bar {v}}}{\partial s^{2}}}({\bar {v}}_{i})+\beta {\frac {\partial ^{4}{\bar {v}}}{\partial s^{4}}}({\bar {v}}_{i}){\bigg ]}+\nabla E_{\text{ext}}({\bar {v}}_{i}){\Bigg \}}}$

実際には、画像の解像度は有限であり、有限の時間ステップでのみ積分できます。そのため、スネークの実用的な実装には離散的な近似を行う必要があります。 ${\displaystyle \tau }$

ヘビのエネルギー関数は、ヘビ上の離散点を使用して近似できます。

${\displaystyle E_{\text{snake}}^{*}\approx \sum _{1}^{n}E_{\text{snake}}({\bar {v}}_{i})}$

その結果、蛇の力は次のように近似できる。

${\displaystyle F_{\text{snake}}^{*}\approx -\sum _{i=1}^{n}\nabla E_{\text{snake}}({\bar {v}}_{i}).}$

勾配近似は、有限差分など、sに関する任意の有限近似法を通じて実行できます。

アルゴリズムに離散時間を導入すると、スネークが引き寄せられる最小値を過ぎると更新が導入される可能性があります。これにより、最小値付近で振動が発生したり、別の最小値が見つかったりする可能性があります。

これは、イメージ力によりステップ サイズが 1 ピクセルを超えないように時間ステップを調整することで回避できます。ただし、エネルギーの低い領域では、内部エネルギーが更新を支配します。

あるいは、各ステップでイメージ力を正規化して、イメージ力がスネークを1ピクセルだけ更新するようにすることもできます。これは次のように定式化できます。

${\displaystyle F_{\text{image}}=-k{\frac {\nabla E_{\text{image}}}{\|\nabla E_{\text{image}}\|}}}$

ここで、はピクセルサイズの値に近い。これにより、時間ステップの調整から生じる支配的な内部エネルギーの問題を回避できる。^[5]${\displaystyle \tau k}$

連続画像内のエネルギーには、画像内のピクセルとして存在しないゼロ交差がある場合があります。この場合、スネーク内の点は、このゼロ交差に隣接する2つのピクセル間で振動します。この振動は、最近傍の代わりにピクセル間の補間を使用することで回避できます。^[5]

スネークのデフォルト メソッドにはさまざまな制限があり、収束のパフォーマンスが悪くなるコーナー ケースもあります。デフォルト メソッドの問題に対処する代替手段はいくつかありますが、それぞれにトレードオフがあります。ここではいくつかを示します。

勾配ベクトルフロー（GVF）スネークモデル^[6]は、スネークに関する2つの問題に対処します。

• 凹面境界での収束性能が悪い
• スネークが最小値から大きく外れて初期化されると収束性能が悪くなる

2次元では、GVFベクトル場はエネルギー関数を最小化する。 ${\displaystyle F_{\text{GVF}}}$

${\displaystyle E_{\text{GVF}}=\iint \mu (u_{x}^{2}+u_{y}^{2}+v_{x}^{2}+v_{y}^{2})+|\nabla f|^{2}|\mathbf {v} -\nabla f|^{2}\,dx\,dy}$

ここで、は制御可能な平滑化項である。これはオイラー方程式を解くことで解くことができる。 ${\displaystyle \mu }$

${\displaystyle \mu \,\nabla ^{2}u-{\Bigg (}u-{\frac {\partial }{\partial x}}F_{\text{ext}}{\Bigg )}{\Bigg (}{\frac {\partial }{\partial x}}F_{\text{ext}}(x,y)^{2}+{\frac {\partial }{\partial y}}F_{\text{ext}}(x,y)^{2}{\Bigg )}=0}$

${\displaystyle \mu \,\nabla ^{2}v-{\Bigg (}v-{\frac {\partial }{\partial y}}F_{\text{ext}}{\Bigg )}{\Bigg (}{\frac {\partial }{\partial x}}F_{\text{ext}}(x,y)^{2}+{\frac {\partial }{\partial y}}F_{\text{ext}}(x,y)^{2}{\Bigg )}=0}$

これは、定常値に向かって反復することで解決できます。

${\displaystyle u_{i+1}=u_{i}+\mu \,\nabla ^{2}u_{i}-{\Bigg (}u_{i}-{\frac {\partial }{\partial x}}F_{\text{ext}}{\Bigg )}{\Bigg (}{\frac {\partial }{\partial x}}F_{\text{ext}}(x,y)^{2}+{\frac {\partial }{\partial y}}F_{\text{ext}}(x,y)^{2}{\Bigg )}}$

${\displaystyle v_{i+1}=v_{i}+\mu \,\nabla ^{2}v_{i}-{\Bigg (}v_{i}-{\frac {\partial }{\partial y}}F_{\text{ext}}{\Bigg )}{\Bigg (}{\frac {\partial }{\partial x}}F_{\text{ext}}(x,y)^{2}+{\frac {\partial }{\partial y}}F_{\text{ext}}(x,y)^{2}{\Bigg )}}$

この結果はデフォルトの外部力を置き換えます。

${\displaystyle F_{\text{ext}}^{*}=F_{\text{GVF}}}$

GVF を使用する際の主な問題は、平滑化項によって輪郭のエッジが丸くなることです。 の値を小さくすると丸みは減りますが、平滑化の量は弱くなります。 ${\displaystyle \mu }$${\displaystyle \mu }$

バルーンモデル^[5]は、デフォルトのアクティブ輪郭モデルを使用してこれらの問題に対処します。

• ヘビは遠い端には引き寄せられません。
• 実質的なイメージの力が作用していない場合、蛇は内側に縮みます。
• 最小値の輪郭より大きいヘビは、最終的には最小値の輪郭に縮小しますが、最小値の輪郭より小さいヘビは最小値を見つけられず、縮小し続けます。

バルーンモデルは、ヘビに作用する力に膨張項を導入する。

${\displaystyle F_{\text{inflation}}=k_{1}{\vec {n}}(s)}$

ここで、は曲線の法線ユニタリベクトルであり、は力の大きさです。画像の端の力が膨張力を克服できるようにするには、は画像正規化係数と同じ大きさで、より小さい値である必要があります。 ${\displaystyle {\vec {n}}(s)}$${\displaystyle v(s)}$${\displaystyle k_{1}}$${\displaystyle k_{1}}$${\displaystyle k}$${\displaystyle k}$

バルーン モデルを使用すると、次の 3 つの問題が発生します。

• スネークは縮小する代わりに、最小値に向かって拡大し、それよりも小さい最小値の輪郭を見つけなくなります。
• 外向きの力により、輪郭は実際の最小値よりもわずかに大きくなります。これは、安定した解が見つかった後にバルーン力を減らすことで解決できます。
• インフレーション力は弱いエッジからの力を上回り、スネークが画像内の弱い特徴を無視するという問題を増幅する可能性があります。

拡散スネークモデル^{[7]は、ノイズ、乱雑さ、および遮蔽に対するスネークの感度を扱う。これは、}マンフォード・シャー関数とその漫画限界の修正を実装し、統計的形状知識を組み込んでいる。デフォルトの画像エネルギー関数は、 ${\displaystyle E_{\text{image}}}$

${\displaystyle E_{\text{image}}^{*}=E_{i}+\alpha E_{c}}$

ここで、は修正されたマンフォード-シャー関数に基づく。 ${\displaystyle E_{i}}$

${\displaystyle E[J,B]={\frac {1}{2}}\int _{D}(I({\vec {x}})-J({\vec {x}}))^{2}\,d{\vec {x}}+\lambda {\frac {1}{2}}\int _{D/B}{\vec {\nabla }}J({\vec {x}})\cdot {\vec {\nabla }}J({\vec {x}})\,d{\vec {x}}+\nu \int _{0}^{1}{\Bigg (}{\frac {d}{ds}}B(s){\Bigg )}^{2}\,ds}$

ここで は領域 の像の区分的に滑らかなモデルである。境界は次のように定義される。 ${\displaystyle J({\vec {x}})}$${\displaystyle I({\vec {x}})}$${\displaystyle D}$${\displaystyle B(s)}$

${\displaystyle B(s)=\sum _{n=1}^{N}{\vec {p}}_{n}B_{n}(s)}$

ここで、は 2 次 B スプライン基底関数であり、 はスプラインの制御点です。修正カートゥーン極限は として取得され、 は の有効な構成です。 ${\displaystyle B_{n}(s)}$${\displaystyle {\vec {p}}_{n}}$${\displaystyle \lambda \to \infty }$${\displaystyle E_{i}}$

この関数は、さまざまな輪郭の2値画像からのトレーニングに基づいており、パラメータによって強度が制御されます。平均制御点ベクトルと共分散行列を持つ制御点ベクトルのガウス分布の場合、ガウス確率に対応する2次エネルギーは ${\displaystyle E_{c}}$${\displaystyle \alpha }$${\displaystyle {\vec {z}}}$${\displaystyle {\vec {z}}_{0}}$${\displaystyle \Sigma }$

${\displaystyle E_{c}({\vec {z}})={\frac {1}{2}}({\vec {z}}-{\vec {z}}_{0})^{t}\Sigma ^{*}({\vec {z}}-{\vec {z}}_{0})}$

この方法の強さは、トレーニング データの強さと、修正された Mumford-Shah 関数の調整に依存します。スネークごとに、異なるトレーニング データ セットと調整が必要になります。

幾何アクティブ輪郭、または測地アクティブ輪郭（GAC）^[8]あるいは等角アクティブ輪郭^[9]は、ユークリッド曲線の短縮進化のアイデアを採用しています。輪郭は、画像内のオブジェクトの検出に応じて分割および結合されます。これらのモデルは、主にレベルセットからヒントを得ており、医療画像コンピューティングで広く採用されています。

例えば、GACの勾配降下曲線の進化方程式は^{[8]である。}

${\displaystyle {\frac {\partial C}{\partial t}}=g(I)(c+\kappa ){\vec {N}}-\langle \,\nabla g,{\vec {N}}\rangle {\vec {N}}}$

ここで、は停止関数、cはラグランジュ乗数、は曲率、は単位内向き法線です。この特定の曲線発展方程式は、法線方向の速度にのみ依存します。したがって、レベルセット関数を挿入することで、次のように オイラー形式で同等に書き直すことができます。${\displaystyle g(I)}$${\displaystyle \kappa }$${\displaystyle {\vec {N}}}$ ${\displaystyle \Phi }$

${\displaystyle {\frac {\partial \Phi }{\partial t}}=|\nabla \Phi |\operatorname {div} {\Bigg (}g(I){\frac {\nabla \Phi }{|\nabla \Phi |}}{\Bigg )}+cg(I)|\nabla \Phi |}$

このシンプルだが強力なレベルセット法は、動的輪郭が勾配降下曲線の進化中にトポロジーの変化を処理することを可能にする。これは関連分野で大きな進歩をもたらし、数値手法を使用してレベルセット法を解くことは、現在ではレベルセット法としてよく知られている。レベルセット法は動的輪郭を実装するための非常に一般的なツールとなっているが、WangとChanは、すべての曲線進化方程式をこれによって直接解くべきではないと主張した。^[10]

アクティブ コンターの最近の開発では、地域特性のモデリング、柔軟な形状事前条件の組み込み、完全自動セグメンテーションなどが取り上げられています。

局所的特徴と全体的特徴を組み合わせた統計モデルは、ランクトンとアレン・タンネンバウムによって策定された。^[11]

グラフ カット、または最大フロー/最小カットは、マルコフ ランダム フィールド (MRF) エネルギーと呼ばれる特定の形式のエネルギーを最小化する一般的な方法です。グラフ カット メソッドは画像セグメンテーションにも適用されており、モデルが MRF であるか、MRF で近似できる場合は、レベル セット メソッドよりもパフォーマンスが優れていることがあります。

• 境界ベクトル場

• デビッド・ヤング、1995年3月
• スネーク：アクティブコンター、CVOnline
• Chenyang Xu と Jerry Prince によるアクティブ コンター、変形可能モデル、勾配ベクトル フロー (コードのダウンロードを含む)
• ICBE、マンチェスター大学
• アクティブコンターの実装とテストプラットフォームのGUI
• クリス・ルエンゴ准教授によるスネークのシンプルな実装
• アクティブ輪郭を使用して画像をセグメント化するアクティブ輪郭の MATLAB ドキュメント

• 徐とプリンスが開発したさまざまなヘビの実例
• マンチェスター大学の Tim Cootes による、スネーク (アクティブ コンター モデル) を操作するための基本ツール
• GVF とバルーン フォースを含む 2D および 3D スネークの Matlab 実装
• Interval Research Corporation のChris Bregler 氏とMalcolm Slaney 氏による Matlab Snake デモ。
• Javaを使用したデモ
• アクティブ コンター実装とテスト プラットフォーム GUI (Nikolay S. と Alex Blekhman による「エッジのないアクティブ コンター」の実装)
• Shawn Lankton による「エッジのないアクティブ輪郭」を実装したアクティブ輪郭セグメンテーション
• Jarno Ralli による幾何学的アクティブ輪郭コード
• 形態学的ヘビ