スケール空間

スケール空間理論は、コンピュータビジョン、画像処理、信号処理の分野において、物理学や生物学的視覚からの相補的な動機に基づいて開発された、マルチスケール信号表現のためのフレームワークです。これは、異なるスケールでの画像構造を扱うための形式的な理論であり、画像を、微細構造を抑制するために使用される平滑化カーネルのサイズによってパラメータ化された、平滑化された画像の1パラメータ族であるスケール空間表現として表現します。^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ]}パラメータ${\displaystyle t}$このファミリーでは、はスケールパラメータと呼ばれ、約よりも小さい空間サイズの画像構造は、と解釈されます。${\displaystyle {\sqrt {t}}}$スケール空間レベルでは、スケールにおいて大部分が平滑化されている${\displaystyle t}$。

スケール空間の主なタイプは線形（ガウス）スケール空間であり、これは幅広い適用性を持ち、少数のスケール空間公理から導出できるという魅力的な特性も備えています。対応するスケール空間フレームワークは、ガウス微分演算子の理論を包含しており、これは視覚情報を処理するコンピュータシステムの視覚操作の大きなクラスを表現するための基礎として使用できます。このフレームワークにより、視覚操作をスケール不変にすることもできます。これは、画像データで発生する可能性のあるサイズ変動に対処するために必要です。なぜなら、現実世界の物体はサイズが異なる場合があり、さらに物体とカメラ間の距離は不明であり、状況に応じて変化する可能性があるからです。^{[ 9 ] [ 10 ]}

スケール空間の概念は、任意の数の変数を持つ信号に適用されます。文献で最も一般的なケースは2次元画像に適用され、ここでもそのケースについて説明します。与えられた画像について考えてみましょう。${\displaystyle f}$どこ${\displaystyle f(x,y)}$は、位置にあるピクセルのグレースケール値です。 ${\displaystyle (x,y)}$線形（ガウス）スケール空間表現${\displaystyle f}$派生信号のファミリーである${\displaystyle L(x,y;t)}$畳み込みによって定義される${\displaystyle f(x,y)}$2次元ガウスカーネルを使用

${\displaystyle g(x,y;t)={\frac {1}{2\pi t}}e^{-(x^{2}+y^{2})/2t}\,}$

そのため

${\displaystyle L(\cdot ,\cdot ;t)\ =g(\cdot ,\cdot ;t)*f(\cdot ,\cdot ),}$

引数のセミコロンは${\displaystyle L}$これは、畳み込みが変数に対してのみ実行されることを意味します。${\displaystyle x,y}$スケールパラメータは${\displaystyle t}$セミコロンの後に続くのは、どのスケールレベルが定義されているかを示すだけです。${\displaystyle L}$連続的なスケールに対応する${\displaystyle t\geq 0}$しかし、通常、スケール空間表現における有限個の離散的なレベルのみが実際に考慮される。

スケールパラメータ${\displaystyle t=\sigma ^{2}}$はガウスフィルターの分散であり、${\displaystyle t=0}$フィルター${\displaystyle g}$次のようなインパルス関数になる${\displaystyle L(x,y;0)=f(x,y),}$すなわち、スケールレベルでのスケール空間表現${\displaystyle t=0}$画像${\displaystyle f}$それ自体として。${\displaystyle t}$増加、${\displaystyle L}$平滑化の結果${\displaystyle f}$フィルターを大きくしていくと、画像に含まれる詳細がどんどん失われていきます。フィルターの標準偏差は${\displaystyle \sigma ={\sqrt {t}}}$この値よりもかなり小さい詳細は、スケールパラメータで画像から大部分が削除されます。${\displaystyle t}$図解については、以下の図および^{[ 11 ]を参照してください。}

• 
  スケール空間表現${\displaystyle L(x,y;t)}$ 大規模に${\displaystyle t=0}$元の画像に対応${\displaystyle f}$
• 
  スケール空間表現${\displaystyle L(x,y;t)}$大規模に${\displaystyle t=1}$
• 
  スケール空間表現${\displaystyle L(x,y;t)}$大規模に${\displaystyle t=4}$
• 
  スケール空間表現${\displaystyle L(x,y;t)}$大規模に${\displaystyle t=16}$
• 
  スケール空間表現${\displaystyle L(x,y;t)}$大規模に${\displaystyle t=64}$
• 
  スケール空間表現${\displaystyle L(x,y;t)}$大規模に${\displaystyle t=256}$

与えられたデータセットのスケール空間表現を生成する動機は、現実世界の物体は異なるスケールで異なる構造で構成されているという基本的な観察に基づいています。これは、点や線などの理想化された数学的実体とは対照的に、現実世界の物体は観察のスケールに応じて異なる形で現れる可能性があることを意味します。たとえば、「木」という概念はメートル単位のスケールで適切ですが、葉や分子などの概念はより細かいスケールで適切です。未知のシーンを分析するコンピュータビジョンシステムの場合、画像データ内の興味深い構造を記述するのにどのスケールが適切かを事前に知る方法はありません。したがって、唯一合理的なアプローチは、発生する可能性のある未知のスケール変動を捉えることができるように、複数のスケールでの記述を考慮することです。極限まで考えると、スケール空間表現はすべてのスケールでの表現を考慮します。^{[ 9 ]}

スケール空間概念のもう一つの動機は、実世界のデータに対して物理的な測定を行うプロセスに由来する。測定プロセスから何らかの情報を抽出するには、非無限小サイズの演算子をデータに適用する必要がある。コンピュータ科学や応用数学の多くの分野では、問題の理論的モデリングにおいて測定演算子のサイズは無視されている。一方、スケール空間理論は、あらゆる測定、および実世界の測定に依存するその他の操作の不可欠な部分として、イメージ演算子の非無限小サイズの必要性を明示的に組み込んでいる。^{[ 5 ]}

スケール空間理論と生物学的視覚の間には密接な関連がある。多くのスケール空間操作は、哺乳類の網膜から記録された受容野プロファイルや視覚皮質の初期段階と高い類似性を示している。これらの点において、スケール空間フレームワークは初期視覚の理論的に十分に根拠のあるパラダイムと見なすことができ、さらにアルゴリズムと実験によって徹底的に検証されている。^{[ 4 ] [ 9 ]}

スケール空間内の任意のスケールにおいて、スケール空間表現に局所微分演算子を適用することができる。

${\displaystyle L_{x^{m}y^{n}}(x,y;t)=\left(\partial _{x^{m}y^{n}}L\right)(x,y;t).}$

微分演算子とガウス平滑化演算子の間には可換性があるため、このようなスケール空間微分は、元の画像をガウス微分演算子で畳み込むことによって等価に計算できます。このため、これらはしばしばガウス微分とも呼ばれます。

${\displaystyle L_{x^{m}y^{n}}(\cdot ,\cdot ;t)=\partial _{x^{m}y^{n}}g(\cdot ,\cdot$ ;\,t)*f(\cdot ,\cdot ).}

スケール空間表現から導出される局所演算としてのガウス微分演算子の一意性は、スケール空間平滑化のためのガウスカーネルの一意性を導出するのと同様の公理的導出によって得られる。^{[ 4 ] [ 22 ]}

ガウス微分演算子を用いて複数のスケールで計算された微分不変量で視覚操作を表現するという考え方に従って、勾配の大きさが次の条件を満たす点の集合からエッジ検出器を表現することができる。

${\displaystyle L_{v}={\sqrt {L_{x}^{2}+L_{y}^{2}}}}$

勾配方向に局所最大値が存在すると仮定すべきである

${\displaystyle \nabla L=(L_{x},L_{y})^{T}.}$

微分幾何学を解くことで、この微分エッジ検出器は、2 階微分不変量のゼロ交差から等価的に表現できることが示される^{[ 4 ]。}

${\displaystyle {\tilde {L}}_{v}^{2}=L_{x}^{2}\,L_{xx}+2\,L_{x}\,L_{y}\,L_{xy}+L_{y}^{2}\,L_{yy}=0}$

3階微分不変量に関して、以下の符号条件を満たすもの：

${\displaystyle {\tilde {L}}_{v}^{3}=L_{x}^{3}\,L_{xxx}+3\,L_{x}^{2}\,L_{y}\,L_{xxy}+3\,L_{x}\,L_{y}^{2}\,L_{xyy}+L_{y}^{3}\,L_{yyy}<0.}$

同様に、任意の固定スケールでのマルチスケールブロブ検出器^{[ 23 ] [ 9 ]}は、ラプラシアン演算子（ガウスのラプラシアンとも呼ばれる）の局所最大値と局所最小値から得ることができる。

${\displaystyle \nabla ^{2}L=L_{xx}+L_{yy}\,}$

またはヘッセ行列の行列式

${\displaystyle \operatorname {det} HL(x,y;t)=(L_{xx}L_{yy}-L_{xy}^{2}).}$

同様に、コーナー検出器、リッジ検出器、バレー検出器は、ガウス微分から定義されるマルチスケール微分不変量の局所最大値、最小値、またはゼロ交差として表現できます。ただし、コーナー検出演算子とリッジ検出演算子の代数表現はやや複雑であるため、詳細については、コーナー検出とリッジ検出に関する記事を参照してください。

スケール空間演算は、特に画像マッチングやマルチスケール画像セグメンテーションなどのタスクにおいて、粗密化手法を表現するためにも頻繁に使用されてきました。

これまで述べてきた理論は、複数のスケールで画像構造を表現するための確固たる枠組みを説明しています。しかし、多くの場合、さらなる分析のために局所的に適切なスケールを選択する必要もあります。このスケール選択の必要性は、主に次の2つの理由から生じます。(i) 現実世界の物体はサイズが異なる場合があり、そのサイズは視覚システムにとって未知である可能性があります。(ii) 物体とカメラの間の距離は変化する可能性があり、この距離情報も事前には未知である可能性があります。スケール空間表現の非常に有用な特性は、スケール正規化された導関数のスケール上の局所最大値（または最小値）に基づいて、自動的な局所スケール選択^{[ 9 ] [ 10 ] [ 23 ] [ 24 ] [ 25 ] [ 26 ] [ 27 ] [ 28 ]}を実行することにより、画像表現をスケールに対して不変にできることです。

${\displaystyle L_{\xi ^{m}\eta ^{n}}(x,y;t)=t^{(m+n)\gamma /2}L_{x^{m}y^{n}}(x,y;t)}$

どこ${\displaystyle \gamma \in [0,1]}$は、画像特徴の次元に関連するパラメータです。スケール正規化されたガウス微分演算子のこの代数式は、の導入に由来します。${\displaystyle \gamma }$-正規化された導関数は

${\displaystyle \partial _{\xi }=t^{\gamma /2}\partial _{x}\quad }$そして${\displaystyle \quad \partial _{\eta }=t^{\gamma /2}\partial _{y}.}$

この原理に従って動作するスケール選択モジュールは、以下のスケール共分散特性を満たすことが理論的に示せる。すなわち、あるタイプの画像特徴について、ある画像のあるスケールで局所最大値が存在すると仮定した場合、${\displaystyle t_{0}}$画像をスケールファクターで再スケーリングすると${\displaystyle s}$再スケーリングされた画像におけるスケールごとの局所最大値は、スケールレベルに変換されます。${\displaystyle s^{2}t_{0}}$[ ^{23 ]​}

画像ピラミッドは、空間とスケールの両方でスケール空間をサンプリングする離散表現です。スケール不変性を確保するには、スケール係数を指数関数的にサンプリングする必要があります。たとえば、2 または√ 2の整数乗です。適切に構築すると、空間とスケールのサンプリングレートの比率が一定に保たれるため、インパルス応答はピラミッドのすべてのレベルで同一になります。^{[ 40 ] [ 41 ] [ 42 ] [ 43 ]} スケール不変の画像ピラミッドを計算するための高速な O(N) アルゴリズムが存在し、画像または信号が繰り返し平滑化されてからサブサンプリングされます。ピラミッドサンプル間のスケール空間の値は、スケール内およびスケール間の補間を使用して簡単に推定でき、解像度以下の精度でスケールと位置の推定が可能になります。^{[ 43 ]}

スケール空間表現では、連続スケールパラメータの存在により、いわゆる深層構造につながるスケール上のゼロ交差を追跡することが可能になります。微分不変量のゼロ交差として定義される特徴については、陰関数定理によりスケールをまたぐ軌跡が直接定義され、^{[ 4 ] [ 44 ]}分岐が発生するスケールでは、局所的な振る舞いを特異点理論でモデル化できます。^{[ 4 ] [ 44 ] [ 45 ] [ 46 ] [ 47 ]}

線形スケール空間理論の拡張は、特定の目的により特化した非線形スケール空間概念の定式化に関するものです。^{[ 48 ] [ 49 ]}これらの非線形スケール空間は、多くの場合、スケール空間概念の等価拡散定式化から始まり、その後非線形的に拡張されます。さまざまな特定の要件に動機付けられて、多数の進化方程式がこのように定式化されています（詳細については、上記の書籍の参考文献を参照してください）。ただし、これらの非線形スケール空間のすべてが、線形ガウススケール空間概念と同様の「優れた」理論的要件を満たすわけではありません。したがって、予期しないアーティファクトが発生する場合があり、任意のタイプの1パラメータファミリーの画像に対して「スケール空間」という用語を使用しないように十分注意する必要があります。

等方性ガウス尺度空間の一次拡張は、アフィン（ガウス）尺度空間によって提供される。^{[ 4 ]}この拡張の動機の 1 つは、透視カメラ モデルの下で観察される実世界のオブジェクトの画像記述子を計算するという一般的なニーズに由来する。このような非線形変形を局所的に処理するために、局所的なアフィン変形に対する部分的な不変性（より正確には共変性）は、局所的な画像構造によって形状が決定されるアフィン ガウス カーネルを考慮することによって達成できる。^{[ 31 ]}理論とアルゴリズムについては、アフィン形状適応に関する記事を参照。実際、このアフィン尺度空間は、線形（等方性）拡散方程式の非等方性拡張から表現することもでき、線形偏微分方程式のクラス内にとどまる。

ガウススケール空間モデルをアフィンスケール空間および時空間スケール空間に拡張したより一般的なモデルが存在する。^{[ 4 ] [ 31 ] [ 18 ] [ 19 ] [ 50 ]}元のスケール空間理論が扱うように設計されたスケールに関する変動に加えて、この一般化されたスケール空間理論^{[ 19 ]}は、画像形成過程における幾何学的変換によって引き起こされる他のタイプの変動も包含しており、これには局所的なアフィン変換によって近似される視線方向の変動や、局所的なガリレオ変換によって近似される世界内の物体と観察者間の相対運動が含まれる。この一般化されたスケール空間理論は、生物学的視覚における細胞記録によって測定された受容野プロファイルと定性的によく一致する受容野プロファイルに関する予測をもたらす。^{[ 51 ] [ 52 ] [ 50 ] [ 53 ]}

スケール空間理論とウェーブレット理論の間には強い関連性があるが、これら二つのマルチスケール表現の概念は、やや異なる前提から発展してきた。また、ピラミッドやその他様々なカーネルなど、真のスケール空間記述と同じ要件を利用したり必要としたりしない、他のマルチスケールアプローチに関する研究も行われている。

スケール空間表現と生物学的視覚および聴覚の間には興味深い関係があります。生物学的視覚の神経生理学的研究では、哺乳類の網膜および視覚皮質には受容野プロファイルがあり、線形ガウス微分演算子によって適切にモデル化できることが示されています。場合によっては、非等方性アフィンスケール空間モデル、時空間スケール空間モデル、および/またはそのような線形演算子の非線形結合によって補完されることもあります。^{[ 18 ] [ 51 ] [ 52 ] [ 50 ] [ 53 ] [ 54 ] [ 55 ] [ 56 ] [ 57 ]}

生物学的聴覚に関しては、下丘と一次聴覚皮質に受容野プロファイルがあり、これは対数周波数のガウス微分と時間に関する窓付きフーリエ変換によってよくモデル化できるスペクトル時間受容野によってよくモデル化できます。窓関数は時間スケール空間カーネルです。^{[ 58 ] [ 59 ]}

古典的なコンピュータビジョンの分野では、スケール空間理論が初期ビジョンの理論的枠組みとして確立されており、ガウス微分が受容野の第 1 層の標準モデルを構成しています。ディープラーニングの導入に伴い、ガウス微分またはガウスカーネルをディープネットワークの受容野の一般的な基底として使用する研究も行われています。^{[ 60 ] [ 61 ] [ 62 ] [ 63 ] [ 64 ]}スケーリング変換の下でのガウス微分とガウスカーネルの変換特性を使用することで、このようにして、異なるスケールの画像構造を理論的に十分に根拠のある方法で処理するために、ディープネットワークのスケール共変性/等変性およびスケール不変性を取得することが可能です。^{[ 62 ] [ 63 ]}また、学習済みフィルタと複数のスケールチャネルを組み合わせることによってスケール共変性/等変性およびスケール不変性を取得するアプローチも開発されています。^{[ 65 ] [ 66 ] [ 67 ] [ 68 ] [ 69 ] [ 70 ]}具体的には、スケール共変性/等変性およびスケール不変性の概念を使用することで、トレーニングデータでカバーされていないスケールでもディープネットワークが頑健に動作し、スケール汎化が可能になります。^{[ 62 ] [ 63 ] [ 67 ] [ 69 ]}

事前に記録された時間信号やビデオを処理する場合、データは事前​​に記録されており、あらゆる方向で利用できるため、ガウスカーネルを使用して時間領域全体にわたって微細な構造を平滑化および抑制することもできます。ただし、リアルタイムの状況で時間信号やビデオを処理する場合、ガウスカーネルは将来のデータにアクセスすることになるため、明らかに利用できないことから、時間平滑化には使用できません。リアルタイムの状況で時間平滑化を行う場合、代わりに時間因果限界カーネルと呼ばれる時間カーネルを使用できます^{[ 71 ]}。これは、非因果の場合にガウスカーネルが従うのと同様の特性を時間因果の状況で持ちます（スケールの増加と時間スケールの共分散に向かって新しい構造を作成しない）。時間因果的極限カーネルは、時間スケール共分散を得るために特定の時間定数を選択した無限個の切り捨て指数カーネルをカスケード接続した畳み込みに対応します。離散データの場合、このカーネルはカスケード接続された少数の一次再帰フィルタによって数値的に良好に近似できることがよくあります。詳細については^{[ 71 ]を参照してください。}

時間因果的な方法で時間スケールを扱う以前のアプローチとしては、対数変換された時間軸上でガウス平滑化を実行する方法があるが、時間因果的極限カーネルのようなメモリ効率の良い時間再帰的な実装は知られていない。^{[ 72 ]を参照のこと。}

スケール空間平滑化を実際に実装する際には、連続ガウス平滑化または離散ガウス平滑化、フーリエ領域での実装、ガウス分布を近似する二項フィルタに基づくピラミッド、または再帰フィルタの使用など、さまざまなアプローチが考えられます。これに関する詳細は、スケール空間実装に関する別の記事で説明します。

• ガウス関数の差分
• ガウス関数
• mipmapping

• リンデバーグ、トニー（2008）。「スケール空間」。ワイリーコンピュータ科学・工学百科事典。pp . 2495–2504。doi : 10.1002 / 9780470050118.ecse609。ISBN  978-0-471-38393-2。
• Lindeberg, Tony (1994 年 1 月). 「スケール空間理論: 異なるスケールでの構造分析のための基本ツール」 . J​​ournal of Applied Statistics . 21 ( 1–2 ): 225–270 . Bibcode : 1994JApSt..21..225L . doi : 10.1080/757582976 .
• Lindeberg, Tony: スケール空間: 複数のスケールで画像構造を扱うためのフレームワーク、Proc. CERN School of Computing、96(8): 27-38、1996年。
• Romeny, Bart ter Haar: スケール空間理論入門: マルチスケール幾何画像解析、チュートリアル VBC '96、ドイツ、ハンブルク、第 4 回生物医学コンピューティングにおける可視化に関する国際会議。
• フロラック、LMJ;テル・ハール・ロメニー、BM;ケンダーリンク、JJ;マサチューセッツ州ヴィエルジェヴァー（1994 年 12 月）。 「線形スケール空間」。数学的イメージングとビジョンのジャーナル。4 (4): 325–351。ビブコード: 1994JMIV....4..325F。土井：10.1007/BF01262401。
• リンデベルク、トニー（1999）。「自動スケール選択の原理」。ベルント・イェーネ、ホルスト・ハウセッカー、ピーター・ガイスラー編『コンピュータビジョンと応用ハンドブック：信号処理とパターン認識』所収。アカデミック・プレス。pp. 239–274。ISBN  978-0-12-379772-8。
• リンデバーグ、トニー：「スケール空間理論」『数学百科事典』（ミヒール・ハゼウィンケル編）クルーワー、1997年。
• ウェブアーカイブのバックアップ：マサチューセッツ大学におけるスケール空間に関する講義（PDF）

• 分子式ウェブサイトにある、10のべき乗に関するインタラクティブなJavaチュートリアル
• 大沢泉「視覚ニューロンの時空間受容野」大阪大学。2006年2月18日時点のオリジナルよりアーカイブ。 2005年10月18日取得。
• pyscsp  : GitHub および PyPi で入手可能な Python 用スケール空間ツールボックス
• pytempscsp  : GitHub および PyPi で入手可能な Python 用時間スケール空間ツールボックス
• スケール空間アプローチを用いた1次元データのピーク検出（BSDライセンスのMATLABコード）