スケールスペース実装

コンピュータビジョン、画像解析、信号処理の分野では、スケール空間表現の概念は、複数のスケールで測定データを処理し、特に異なるスケール範囲で画像の特徴を強調または抑制するために使用されます（スケール空間に関する記事を参照）。 特別なタイプのスケール空間表現はガウススケール空間によって提供され、 N次元の画像データがガウス畳み込みによって平滑化されます。 ガウススケール空間の理論のほとんどは連続画像を扱っていますが、この理論を実装する場合は、ほとんどの測定データが離散的であるという事実に直面する必要があります。 したがって、ガウスカーネルの選択につながる望ましい理論的特性を維持または十分に近似しながら、連続理論をどのように離散化するかに関する理論的な問題が生じます（スケール空間公理に関する記事を参照）。この記事では、文献で開発されている基本的なアプローチについて説明します。スケール空間理論におけるガウス平滑化操作とガウス微分計算の近似に関する詳細な説明については、 ^[1]も参照してください。

N次元連続信号のガウススケール空間表現、

${\displaystyle f_{C}\left(x_{1},\cdots ,x_{N},t\right),}$

は、 f _{C を}N次元ガウスカーネルで畳み込む ことによって得られる。

${\displaystyle g_{N}\left(x_{1},\cdots ,x_{N},t\right).}$

言い換えると：

${\displaystyle L\left(x_{1},\cdots ,x_{N},t\right)=\int _{u_{1}=-\infty }^{\infty }\cdots \int _{u_{N}=-\infty }^{\infty }f_{C}\left(x_{1}-u_{1},\cdots ,x_{N}-u_{N},t\right)\cdot g_{N}\left(u_{1},\cdots ,u_{N},t\right)\,du_{1}\cdots du_{N}.}$

しかし、実装では、この定義は連続的であるため実用的ではありません。スケール空間の概念を離散信号f _Dに適用する場合、さまざまなアプローチを取ることができます。この記事では、最も頻繁に使用される方法のいくつかを簡単にまとめています。

ガウスカーネルの 分離可能性を利用する

${\displaystyle g_{N}\left(x_{1},\dots ,x_{N},t\right)=G\left(x_{1},t\right)\cdots G\left(x_{N},t\right)}$

N次元畳み込み演算は、各次元に沿って 1次元ガウスカーネルGを持つ一連の分離可能な平滑化ステップに分解できる。

${\displaystyle L(x_{1},\cdots ,x_{N},t)=\int _{u_{1}=-\infty }^{\infty }\cdots \int _{u_{N}=-\infty }^{\infty }f_{C}(x_{1}-u_{1},\cdots ,x_{N}-u_{N},t)G(u_{1},t)\,du_{1}\cdots G(u_{N},t)\,du_{N},}$

どこ

${\displaystyle G(x,t)={\frac {1}{\sqrt {2\pi t}}}e^{-{\frac {x^{2}}{2t}}}}$

ガウス分布の標準偏差σは、t = σ ²に従って尺度パラメータtと関連しています。

次元の分離は、特に大規模では多次元スムージングを実装する最も実用的な方法であるため、カーネルが正確にガウス分布でない場合でも、以降のすべてにおいて分離可能性が想定されます。したがって、この記事の残りの部分では、1 次元の場合に焦点を当てます。

実際に1次元平滑化ステップを実装する場合、おそらく最も単純なアプローチは、離散信号f _{D を}サンプリングされたガウスカーネルで畳み込むことです。

${\displaystyle L(x,t)=\sum _{n=-\infty }^{\infty }f(xn)\,G(n,t)}$

どこ

${\displaystyle G(n,t)={\frac {1}{\sqrt {2\pi t}}}e^{-{\frac {n^{2}}{2t}}}}$

（t = σ ²）これは、端で切り捨てられ、有限インパルス応答を持つフィルタを与える。

${\displaystyle L(x,t)=\sum _{n=-M}^{M}f(x-n)\,G(n,t)}$

M が十分に大きい値（誤差関数を参照）で選ばれ、

${\displaystyle 2\int _{M}^{\infty }G(u,t)\,du=2\int _{\frac {M}{\sqrt {t}}}^{\infty }G(v,1)\,dv<\varepsilon .}$

一般的な選択肢は、Mを定数Cにガウスカーネルの標準偏差を掛けたもの に設定することである。

${\displaystyle M=C\sigma +1=C{\sqrt {t}}+1}$

ここで、Cは 3 から 6 の間で選択されることが多いです。

ただし、サンプリングされたガウスカーネルを使用すると、特にガウスカーネルのサンプリングされた導関数を適用してより細かいスケールで高次の導関数を計算する場合に、実装上の問題が発生する可能性があります。精度と堅牢性が主要な設計基準である場合は、代替の実装アプローチを検討する必要があります。

ε の値が小さい場合 (10 ⁻⁶～ 10 ⁻⁸ )、ガウス分布の切り捨てによって生じる誤差は通常無視できます。ただし、ε の値が大きい場合は、矩形ウィンドウ関数よりも優れた代替手段が多数あります。たとえば、特定の数の点に対して、ハミング ウィンドウ、ブラックマン ウィンドウ、またはカイザー ウィンドウを使用すると、単純な切り捨てよりもガウス分布のスペクトルやその他の特性に与えるダメージが少なくなります。ただし、ガウス カーネルは裾で急速に減少するため、主に推奨されるのは、切り捨ての効果が重要ではなくなるように ε を十分に小さくすることです。

より洗練されたアプローチは、元の信号を離散ガウスカーネル T（n、t）で畳み込むことである^{[2] [3] [4]}

${\displaystyle L(x,t)=\sum _{n=-\infty }^{\infty }f(x-n)\,T(n,t)}$

どこ

${\displaystyle T(n,t)=e^{-t}I_{n}(t)}$

は整数次数nの修正ベッセル関数を表す。これは離散拡散方程式（離散空間、連続時間）の解であるという点で連続ガウスの離散版であり、連続ガウスが連続拡散方程式の解であるのと同様である。^{[2] [3] [5]}${\displaystyle I_{n}(t)}$

このフィルタは、サンプリングされたガウス分布と同様に空間領域で切り捨てることができる。

${\displaystyle L(x,t)=\sum _{n=-M}^{M}f(x-n)\,T(n,t)}$

または離散時間フーリエ変換の閉形式表現を使用してフーリエ領域で実装することもできます。

${\displaystyle {\widehat {T}}(\theta ,t)=\sum _{n=-\infty }^{\infty }T(n,t)\,e^{-i\theta n}=e^{t(\cos \theta -1)}.}$

この周波数領域アプローチでは、スケール空間特性は離散領域に正確に転送されるか、または周期的拡張と適切に長い離散フーリエ変換を使用して優れた近似を行い、平滑化される信号の離散時間フーリエ変換を近似します。さらに、離散スケール空間表現に小さなサポートの中心差分演算子を適用することで、高次の微分近似を簡単に（スケール空間特性を保持しながら）計算できます。^[6]

サンプルされたガウス分布と同様に、無限インパルス応答の単純な切り捨ては、ほとんどの場合、ε の値が小さい場合には十分な近似値になりますが、ε の値が大きい場合には、離散ガウス分布を一般化二項フィルタのカスケードに分解するか、ウィンドウ関数を乗じて有限近似カーネルを構築する方が適切です。εを大きすぎる値に選択したために、切り捨て誤差の影響が現れ始める場合（たとえば、偽の極値や高次導関数演算子に対する偽の応答など）、サポートが非常に小さいところでカットオフしてより大きな有限カーネルが使用されるように ε の値を減らすか、テーパウィンドウを使用するというオプションがあります。

計算効率が重要になることが多いため、スケール空間平滑化には低次の再帰フィルタがよく使用されます。たとえば、Youngとvan Vliet ^{[7]は、1つの実}極と1対の複素極を持つ3次の再帰フィルタを使用し、前方および後方に適用して、任意の平滑化スケールに対して計算の複雑さが低いガウス分布の6次対称近似を作成します。

^{Lindeberg [2]}は、いくつかの公理を緩和することで、優れた平滑化フィルターは「正規化されたポリア周波数シーケンス」、つまり、0 < Z < 1 および/またはZ > 1 の実数極と、Z < 0の実数ゼロを持つすべてのフィルターを含む離散カーネルのファミリーであると結論付けました。近似方向の均一性につながる対称性のために、これらのフィルターは、ゼロ位相フィルターにつながる極とゼロのペアにさらに制限される必要があります。

離散ガウス分布のゼロ周波数における伝達関数の曲率に一致させるために、近似的に加法的な半群特性tが保証され、

${\displaystyle Z=1+{\frac {2}{t}}-{\sqrt {\left(1+{\frac {2}{t}}\right)^{2}-1}}}$

対称性と安定性のために、前方および後方に適用できます。このフィルターは、任意の平滑化スケールで機能する正規化ポリア周波数シーケンス カーネルの最も単純な実装ですが、複雑な極があるため、正規化ポリア周波数シーケンスでは ないYoung と van Vliet のフィルターほど優れたガウス近似ではありません。

対称極対再帰フィルタの伝達関数H _{1 は}、指数関数の一次近似を介して離散ガウスカーネルの 離散時間フーリエ変換と密接に関連しています。

${\displaystyle {\widehat {T}}(\theta ,t)={\frac {1}{e^{t(1-\cos \theta )}}}\approx {\frac {1}{1+t(1-\cos \theta )}}=H_{1}(\theta ,t),}$

ここでtパラメータは安定した極位置Z = pと次のように関係しています。

${\displaystyle t={\frac {2p}{(1-p)^{2}}}.}$

さらに、このセクションで説明した 2 つの極ペアのような N対の極を持つフィルタは、指数関数のさらに優れた近似値になります。

${\displaystyle {\frac {1}{\left(1+{\frac {t}{N}}(1-\cos \theta )\right)^{N}}}=H_{N}(\theta ,t),}$

ここで、安定した極の位置は次を解くことによって調整されます。

${\displaystyle {\frac {t}{N}}={\frac {2p}{(1-p)^{2}}}.}$

これらのフィルタのインパルス応答は、2 つ以上の極ペアが使用されない限り、ガウス分布にあまり近くなりません。ただし、スケールごとに 1 つまたは 2 つの極ペアしかない場合でも、スケールが増加するにつれて連続的に平滑化された信号は、ガウス分布で平滑化された信号に非常に近くなります。極ペアが少なすぎると、半群特性は十分に近似されません。

これらのフィルターによって満たされる スケール空間公理は次のとおりです。

• 直線性
• シフト不変性（整数シフト）
• 1次元における局所的極値（ゼロ交差）の非生成
• 任意の次元における局所極値の非強調
• 陽性
• 正規化

以下は近似的にのみ満たされ、極対の数が多いほど近似は良くなります。

• 無限小生成器 Aの存在（離散ガウス分布の無限小生成器、またはそれを近似するフィルタは、再帰フィルタの応答を無限小だけ大きいtの1つに近似的にマッピングする）
• 関連するカスケード平滑化特性を持つ半群構造（この特性は、カーネルが完全に等しくなくても、同じt値を持つ場合にカーネルが同等であると見なすことで近似されます）
• 回転対称性
• スケール不変性

この再帰フィルタ法と、ガウス平滑化とガウス導関数の両方を計算するためのバリエーションは、複数の著者によって説明されています。^{[7] [8] [9] [10]} Tanらはこれらのアプローチのいくつかを分析および比較し、Youngフィルタとvan Vlietフィルタは順方向フィルタと逆方向フィルタのカスケード（乗算）であるのに対し、DericheフィルタとJinらのフィルタは順方向フィルタと逆方向フィルタの合計であることを指摘しました。^[11]

細かいスケールでは、再帰フィルタリング アプローチやその他の分離可能なアプローチでは回転対称性に可能な限り近似できるとは限らないため、2D 画像の非分離実装を代替手段として検討する場合があります。

N ジェットで複数の導関数を同時に計算する場合、ガウス カーネルの離散類似体を使用した離散スケール空間スムージング、または小さなサポート差分演算子が続く再帰フィルター近似を使用した離散スケール空間スムージングは​​、各導関数演算子の再帰近似を計算するよりも高速で正確になる可能性があります。

スケールが小さい場合、低次FIR フィルタは再帰フィルタよりも平滑化フィルタとして適している可能性があります。t ≤ 0.5 の対称 3 カーネル[ t /2, 1- t , t /2]は、Z < 0の実数ゼロのペアを使用してt のスケールに平滑化し、 t が 小さい限界で離散ガウスに近づきます。実際、tが無限小の場合、この 2 つのゼロ フィルタまたはZ  = t /2 とZ  = 2/ tに極がある 2 極フィルタのいずれかを、上記の離散ガウス カーネルの無限小ジェネレータとして使用できます。

FIR フィルターのゼロを再帰フィルターの極と組み合わせて、一般的な高品質の平滑化フィルターを作成できます。たとえば、平滑化プロセスで、常に各データ行 (および 2D の場合は各列) に対して、双二次 (2 極、2 ゼロ) フィルターを前方に適用してから後方に適用する場合、極とゼロはそれぞれ平滑化の一部を実行できます。ゼロはペアあたりt = 0.5 ( Z = –1 のゼロ) で制限されるため、大規模な場合は極がほとんどの作業を実行します。より細かいスケールでは、極とゼロがそれぞれ平滑化の約半分を実行する場合、この組み合わせは離散ガウス分布の優れた近似になります。平滑化の各部分 (極、ゼロ、前方および後方への複数の適用など) のt値は、近似半群特性に従って加算されます。

FIRフィルタの伝達関数は、再帰フィルタと同様に、離散ガウス分布のDTFTと密接に関係しています。ゼロのペアが1つだけの場合、伝達関数は次のようになります。

${\displaystyle {\widehat {T}}(\theta ,t)=e^{-t(1-\cos \theta )}\approx {1-t(1-\cos \theta )}=F_{1}(\theta ,t),}$

ここで、tパラメータはゼロ位置Z = zと次のように関係します。

${\displaystyle t=-{\frac {2z}{(1-z)^{2}}},}$

 伝達関数を非負に保つには t ≤ 0.5が必要です。

さらに、N個のゼロのペアを持つこのようなフィルタは、指数関数のさらに優れた近似値であり、tのより高い値まで拡張されます 。

${\displaystyle \left(1-{\frac {t}{N}}(1-\cos \theta )\right)^{N}=F_{N}(\theta ,t),}$

ここで、安定したゼロ位置は次を解くことによって調整されます。

${\displaystyle {\frac {t}{N}}=-{\frac {2z}{(1-z)^{2}}}.}$

これらの FIR フィルターと極零フィルターは有効なスケール空間カーネルであり、全極再帰フィルターと同じ公理を満たします。

正規化された導関数に基づく自動スケール選択の話題に関しては、リアルタイムのパフォーマンスを得るためにピラミッド近似が頻繁に使用されます。 ^{[12] [13] [14]}ピラミッド内でスケール空間操作を近似することが適切である理由は、一般化二項カーネルを使用したカスケード平滑化を繰り返すと、妥当な条件下でガウス分布に近づく同等の平滑化カーネルが得られるという事実に由来します。さらに、二項カーネル（またはより一般的には一般化二項カーネルのクラス）は、スケールの増加に伴って局所的極値またはゼロ交差が生成されないことを保証する、有限サポートカーネルの唯一のクラスを構成することが示されています（詳細については、マルチスケールアプローチに関する記事を参照してください）。ただし、離散化アーティファクトを回避するために特別な注意を払う必要がある場合があります。

1 次元カーネルの場合、スケールの増加に伴って新しい局所的極値や新しいゼロ交差を生成しないフィルターに関する、マルチスケール アプローチの理論が十分に発達しています。連続信号の場合、 s平面に実数極を持つフィルターがこのクラスに属し、離散信号の場合、上記の再帰フィルターと FIR フィルターがこれらの基準を満たします。連続半群構造の厳格な要件と組み合わせると、連続ガウスと離散ガウスは、連続信号と離散信号に対する唯一の選択肢となります。

ウェーブレットやその他のさまざまなカーネルを使用する、他の多くのマルチスケール信号処理、画像処理、およびデータ圧縮技術がありますが、スケール空間記述と同じ要件を利用したり必要としたりしません。つまり、より細かいスケール (1D) では存在しなかった新しい極値を生成しない粗いスケール、または隣接するスケール レベル間のローカル極値が強調されないこと (任意の数の次元) に依存しません。

• スケールスペース
• ピラミッド（画像処理）
• マルチスケールアプローチ
• ガウスフィルタ

• pyscsp: GitHub の Python 用スケール空間ツールボックス (離散データのガウス平滑化を近似するためのさまざまな方法の実装を含む)