スケールスペースの実装

コンピュータビジョン、画像解析、信号処理の分野では、スケール空間表現の概念は、複数のスケールでの測定データの処理、特に異なるスケール範囲での画像特徴の強調または抑制に使用されます（スケール空間に関する記事を参照）。ガウススケール空間は、N次元の画像データをガウス畳み込みによって平滑化する特殊なタイプのスケール空間表現です。ガウススケール空間の理論のほとんどは連続画像を扱いますが、この理論を実装する際には、ほとんどの測定データが離散的であるという事実に直面する必要があります。したがって、ガウスカーネルの選択につながる望ましい理論的特性を維持または十分に近似しながら、連続的な理論をどのように離散化するかという理論的な問題が生じます（スケール空間の公理に関する記事を参照）。この記事では、文献で開発されてきた基本的なアプローチについて説明します。スケール空間理論におけるガウス平滑化操作の近似とガウス微分計算に関する詳細な説明については^{[ 1 ]}を、ハイブリッド離散化手法に関する補足的な説明については^{[ 2 ]を参照してください。}

N 次元連続信号のガウススケール空間表現、

${\displaystyle f_{C}\left(x_{1},\cdots ,x_{N},t\right),}$

f _{C を}N次元ガウスカーネルで畳み込む ことによって得られる。

${\displaystyle g_{N}\left(x_{1},\cdots ,x_{N},t\right).}$

言い換えると：

${\displaystyle L\left(x_{1},\cdots ,x_{N},t\right)=\int _{u_{1}=-\infty }^{\infty }\cdots \int _{u_{N}=-\infty }^{\infty }f_{C}\left(x_{1}-u_{1},\cdots ,x_{N}-u_{N},t\right)\cdot g_{N}\left(u_{1},\cdots ,u_{N},t\right)\,du_{1}\cdots du_{N}.}$

しかし、この定義は連続的であるため、実装上は実用的ではありません。スケール空間の概念を離散信号f _Dに適用する場合、さまざまなアプローチが考えられます。この記事では、最もよく用いられる方法のいくつかについて簡単にまとめています。

ガウスカーネルの分離可能性特性を利用する

${\displaystyle g_{N}\left(x_{1},\dots ,x_{N},t\right)=G\left(x_{1},t\right)\cdots G\left(x_{N},t\right)}$

N次元畳み込み演算は、各次元に沿って1次元ガウスカーネルGを持つ、分離可能な平滑化ステップのセットに分解できる。

${\displaystyle L(x_{1},\cdots ,x_{N},t)=\int _{u_{1}=-\infty }^{\infty }\cdots \int _{u_{N}=-\infty }^{\infty }f_{C}(x_{1}-u_{1},\cdots ,x_{N}-u_{N},t)G(u_{1},t)\,du_{1}\cdots G(u_{N},t)\,du_{N},}$

どこ

${\displaystyle G(x,t)={\frac {1}{\sqrt {2\pi t}}}e^{-{\frac {x^{2}}{2t}}}}$

また、ガウス分布の標準偏差σは、 t = σ ²に従ってスケールパラメータtと関係付けられます。

以降の議論では、カーネルが厳密にはガウス分布でない場合でも、次元の分離可能性を前提とする。なぜなら、次元の分離は、特に大規模な場合において、多次元平滑化を実装する最も実用的な方法だからである。したがって、本稿の残りの部分は一次元の場合に焦点を当てる。

実際に一次元平滑化ステップを実行する場合、おそらく最も単純なアプローチは、離散信号f _Dをサンプリングされたガウスカーネルで畳み込むことである。

${\displaystyle L(x,t)=\sum _{n=-\infty }^{\infty }f(x-n)\,G(n,t)}$

どこ

${\displaystyle G(n,t)={\frac {1}{\sqrt {2\pi t}}}e^{-{\frac {n^{2}}{2t}}}}$

（t = σ ²の場合）これは両端で切り捨てられ、有限のインパルス応答を持つフィルタが得られる。

${\displaystyle L(x,t)=\sum _{n=-M}^{M}f(x-n)\,G(n,t)}$

Mは十分に大きく選ばれており (誤差関数を参照)、

${\displaystyle 2\int _{M}^{\infty }G(u,t)\,du=2\int _{\frac {M}{\sqrt {t}}}^{\infty }G(v,1)\,dv<\varepsilon .}$

一般的な選択肢は、Mを定数Cにガウスカーネルの標準偏差を掛けた値に設定することである。

${\displaystyle M=C\sigma +1=C{\sqrt {t}}+1}$

ここで、Cは3から6の間で選択されることが多い。

しかし、サンプリングされたガウスカーネルを使用すると、特にガウスカーネルのサンプリングされた導関数を適用してより細かいスケールで高階導関数を計算する場合に、実装上の問題が発生する可能性があります。したがって、精度と堅牢性が主要な設計基準である場合は、代替の実装方法を検討する必要があります。

εの値が小さい場合（10⁻⁶ ^～ 10⁻⁸ ^）、ガウス関数を切り捨てることによって生じる誤差は通常無視できます。しかし、εの値が大きい場合は、矩形窓関数よりも優れた代替手段が数多く存在します。例えば、点数が一定の場合、ハミング窓、ブラックマン窓、カイザー窓を用いると、単純な切り捨てよりもガウス関数のスペクトル特性やその他の特性への影響が少なくなります。とはいえ、ガウスカーネルは両端で急速に減少するため、切り捨ての影響がもはや重要でなくなるほど十分に小さいεの値を用いることが依然として推奨されます。

より洗練されたアプローチは、元の信号を離散ガウスカーネルT ( n , t ) ^{[ 3 ] [ 4 ] [ 5 ]}で畳み込むことです。

${\displaystyle L(x,t)=\sum _{n=-\infty }^{\infty }f(x-n)\,T(n,t)}$

どこ

${\displaystyle T(n,t)=e^{-t}I_{n}(t)}$

そして${\displaystyle I_{n}(t)}$は整数次数nの変形ベッセル関数を表します。これは、連続ガウス関数が連続拡散方程式の解であるのと同様に、離散拡散方程式(離散空間、連続時間) の解であるという点で、連続ガウス関数の離散対応物です。^{[ 3 ] [ 4 ] [ 6 ]}

このフィルタは、サンプリングされたガウス分布と同様に、空間領域で切り捨てることができる。

${\displaystyle L(x,t)=\sum _{n=-M}^{M}f(x-n)\,T(n,t)}$

または、離散時間フーリエ変換の閉形式表現を用いてフーリエ領域で実装することもできます。

${\displaystyle {\widehat {T}}(\theta ,t)=\sum _{n=-\infty }^{\infty }T(n,t)\,e^{-i\theta n}=e^{t(\cos \theta -1)}.}$

この周波数領域アプローチでは、スケール空間特性は離散領域に正確に転送されるか、または周期拡張と適切な長さの離散フーリエ変換を使用して平滑化される信号の離散時間フーリエ変換を近似することで優れた近似が得られます。さらに、離散スケール空間表現に小さなサポート中心差分演算子を適用することで、高階微分近似を簡単に計算できます（スケール空間特性を保持します）。^{[ 7 ]}

サンプリングされたガウス関数と同様に、無限インパルス応答を単純に切り捨てるだけで、ほとんどの場合、ε の値が小さい場合は十分な近似となりますが、ε の値が大きい場合は、離散ガウス関数を一般化二項フィルタのカスケードに分解するか、またはウィンドウ関数を乗算して有限近似カーネルを構築する方が良いでしょう。ε が大きすぎて切り捨て誤差の影響が現れ始めた場合 (たとえば、偽の極値や高階微分演算子に対する偽の応答として)、ε の値を小さくして、サポートが非常に小さい場所でカットオフしてより大きな有限カーネルを使用するか、テーパーウィンドウを使用するかのいずれかの選択肢があります。

計算効率が重要な場合が多いため、スケール空間平滑化には低次の再帰フィルタがよく使用されます。たとえば、Youngとvan Vliet ^{[ 8 ]}は、1つの実極と一対の複素極を持つ3次再帰フィルタを順方向と逆方向に適用して、任意の平滑化スケールに対して計算複雑度が低い6次対称ガウス近似を作成します。

^{リンデバーグ[ 3 ]}は、いくつかの公理を緩和することで、優れた平滑化フィルタは「正規化ポリア周波数シーケンス」であると結論付けました。これは、0 < Z < 1 および/またはZ > 1に実極を持ち、 Z < 0に実零点を持つすべてのフィルタを含む離散カーネルのファミリーです。近似的な方向均一性につながる対称性のために、これらのフィルタは、ゼロ位相フィルタにつながる極と零点のペアにさらに制限する必要があります。

離散ガウス関数のゼロ周波数における伝達関数の曲率に合わせることで、加法的tの近似半群特性が保証され、2つの極が

${\displaystyle Z=1+{\frac {2}{t}}-{\sqrt {\left(1+{\frac {2}{t}}\right)^{2}-1}}}$

対称性と安定性を確保するため、順方向にも逆方向にも適用できます。このフィルタは、あらゆる平滑化スケールで機能する正規化ポリア周波数シーケンスカーネルの最も単純な実装ですが、複素極を持つため正規化ポリア周波数シーケンスではないYoungとvan Vlietのフィルタほどガウス関数への優れた近似ではありません。

対称極対再帰フィルタの伝達関数H ₁は、指数関数の一次近似を介して、離散ガウスカーネルの離散時間フーリエ変換と密接に関連している。

${\displaystyle {\widehat {T}}(\theta ,t)={\frac {1}{e^{t(1-\cos \theta )}}}\approx {\frac {1}{1+t(1-\cos \theta )}}=H_{1}(\theta ,t),}$

ここで、 tパラメータは、安定極位置Z = pと次の関係にある。

${\displaystyle t={\frac {2p}{(1-p)^{2}}}.}$

さらに、このセクションで説明した2つの極ペアのようなN個の極ペアを持つフィルタは、指数関数に対してさらに優れた近似値となります。

${\displaystyle {\frac {1}{\left(1+{\frac {t}{N}}(1-\cos \theta )\right)^{N}}}=H_{N}(\theta ,t),}$

ここで、安定極の位置は、以下の式を解くことによって調整されます。

${\displaystyle {\frac {t}{N}}={\frac {2p}{(1-p)^{2}}}.}$

これらのフィルタのインパルス応答は、2対以上の極対を使用しない限り、ガウス分布にはあまり近づきません。しかし、スケールごとに1対または2対の極対しか使用しない場合でも、スケールを段階的に上げて平滑化していく信号は、ガウス平滑化信号に非常に近いものになります。極対の数が少なすぎると、半群特性の近似精度が低下します。

これらのフィルターによって依然として満たされるスケール空間の公理は次のとおりです。

• 線形性
• シフト不変性（整数シフト）
• 一次元における局所極値（ゼロ交差）の非生成
• 任意の次元における局所極値の非増強
• 陽性
• 正規化

以下の条件は近似的に満たされるだけであり、極対の数が多いほど近似精度は向上する。

• 無限小生成器Aの存在(離散ガウス分布の無限小生成器、またはそれを近似するフィルタは、再帰フィルタの応答を無限小に大きいtの応答に近似的にマッピングする)
• 関連するカスケード平滑化特性を持つ半群構造（この特性は、カーネルが完全に等しくなくても、同じt値を持つカーネルを同等とみなすことで近似される）
• 回転対称性
• スケール不変性

この再帰フィルタ法と、ガウス平滑化とガウス微分を計算するための変種は、複数の著者によって説明されている。^{[ 8 ] [ 9 ] [ 10 ] [ 11 ]} Tanらは、これらのアプローチのいくつかを分析および比較し、Young フィルタと van Vliet フィルタは順方向フィルタと逆方向フィルタのカスケード (乗算) であるのに対し、Deriche フィルタと Jin らのフィルタは順方向フィルタと逆方向フィルタの和であることを指摘している。^{[ 12 ]}

微細なスケールでは、再帰フィルタリング手法やその他の分離可能な手法は、回転対称性に対する最良の近似値を与えることが保証されないため、2D画像に対する非分離的な実装を代替案として検討してもよい。

Nジェットで複数の導関数を同時に計算する場合、ガウスカーネルの離散アナログ、または再帰フィルタ近似を用いた離散スケール空間平滑化に続いて小さなサポート差分演算子を用いる方法は、各導関数演算子の再帰近似を計算するよりも高速かつ高精度になる可能性がある。

小さなスケールの場合、低次のFIR フィルタは再帰フィルタよりも優れた平滑化フィルタとなる可能性があります。t ≤ 0.5の場合、対称 3 カーネル[ t /2, 1- t , t /2]は、 Z < 0の実数ゼロのペアを使用してtのスケールに平滑化され、 tが小さい極限で離散ガウスに近づきます。 実際、tが無限小の場合、この 2 つのゼロフィルタ、またはZ = t /2 とZ = 2/ tに極を持つ 2 つの極を持つフィルタのいずれかを、上述の離散ガウスカーネルの無限小生成器として使用できます。    

FIRフィルタの零点と再帰フィルタの極を組み合わせることで、汎用的な高品質平滑化フィルタを作成できます。たとえば、平滑化処理で常にバイカッド（ 2極2零点）フィルタを各データ行（2Dの場合は各列）に順方向と逆方向に適用する場合、極と零点がそれぞれ平滑化の一部を行うことができます。零点はペアごとにt = 0.5（ Z = -1の零点）で制限されるため、大きなスケールでは極がほとんどの作業を行います。より細かいスケールでは、極と零点がそれぞれ約半分の平滑化を行う場合、この組み合わせは離散ガウス分布の優れた近似となります。平滑化の各部分（極、零点、順方向と逆方向の複数回適用など）のt値は、近似半群の性質に従って加算されます。

FIRフィルタの伝達関数は、再帰フィルタの場合と同様に、離散ガウス分布のDTFTと密接に関連しています。単一のゼロペアの場合、伝達関数は次のようになります。

${\displaystyle {\widehat {T}}(\theta ,t)=e^{-t(1-\cos \theta )}\approx {1-t(1-\cos \theta )}=F_{1}(\theta ,t),}$

ここで、 tパラメータは、ゼロ位置Z = zと次の関係にある。

${\displaystyle t=-{\frac {2z}{(1-z)^{2}}},}$

また、伝達関数が非負となるためには、t ≤ 0.5 という条件が必要です。 

さらに、N組のゼロを持つこのようなフィルタは、指数関数のより良い近似であり、t のより大きな値にも拡張されます。

${\displaystyle \left(1-{\frac {t}{N}}(1-\cos \theta )\right)^{N}=F_{N}(\theta ,t),}$

ここで、安定ゼロ位置は、以下の式を解くことによって調整されます。

${\displaystyle {\frac {t}{N}}=-{\frac {2z}{(1-z)^{2}}}.}$

これらのFIRフィルタと極零フィルタは有効なスケール空間カーネルであり、全極再帰フィルタと同じ公理を満たす。

正規化微分に基づく自動スケール選択のトピックに関して、リアルタイム性能を得るためにピラミッド近似がよく使用されます。 ^{[ 13 ] [ 14 ] [ 15 ]}スケール空間演算をピラミッド内で近似することの妥当性は、一般化二項カーネルによる繰り返しカスケード平滑化によって、妥当な条件下でガウス分布に近づく等価平滑化カーネルが得られるという事実から生じます。さらに、二項カーネル（またはより一般的には一般化二項カーネルのクラス）は、スケールの増加に伴って局所極値やゼロ交差が発生しないことを保証する有限サポートカーネルの唯一のクラスを構成することが示されています（詳細については、マルチスケールアプローチに関する記事を参照してください）。ただし、離散化アーティファクトを避けるために特別な注意が必要になる場合があります。

1次元カーネルについては、スケールの増加に伴って新たな局所極値や新たなゼロ交差を生じさせないフィルタに関する、マルチスケールアプローチの理論が確立されています。連続信号の場合、 s平面に実極を持つフィルタはこのクラスに属しますが、離散信号の場合は、上述の再帰フィルタとFIRフィルタがこれらの基準を満たします。連続半群構造という厳密な要件と組み合わせると、連続ガウス関数と離散ガウス関数は、連続信号と離散信号それぞれにとって唯一の選択肢となります。

ウェーブレットやその他さまざまなカーネルを用いた、スケール空間記述と同じ要件を必要としないマルチスケール信号処理、画像処理、データ圧縮技術は他にも多数存在します。つまり、より細かいスケール（1Dの場合）に存在しなかった新たな極値が粗いスケールで生成されないことや、隣接するスケールレベル間の局所的な極値が強調されないこと（任意の次元数の場合）に依存しません。

• スケール空間
• ピラミッド（画像処理）
• マルチスケールアプローチ
• ガウスフィルター

• pyscsp: GitHubにあるPython用スケール空間ツールボックス（離散データに対するガウス平滑化を近似するための様々な手法の実装を含む）