過剰完全性

過剰完全性は線形代数の概念であり、数学、コンピュータサイエンス、工学、統計学で広く使用されています（通常は過剰完全フレームの形で 使用されます）。これは1952年にRJダフィンとACシェーファーによって導入されました。^[1]

正式には、バナッハ空間のベクトルのサブセット（「システム」と呼ばれることもある）が完全であるとは、 のすべての要素が の要素の有限線形結合によってノルムで任意によく近似できる場合です。^[2]システムが完全であるために必要な数よりも多くのベクトルを含む場合、つまり、が完全のままになるようにシステムから削除できる が存在する場合、そのシステムは過剰完全と呼ばれます。信号処理や関数近似などの研究分野では、過剰完全性は、研究者が基底を使用するよりも安定した、より堅牢な、またはよりコンパクトな分解を達成するのに役立ちます。^[3]${\displaystyle \{\phi _{i}\}_{i\in J}}$ ${\displaystyle X}$${\displaystyle X}$${\displaystyle \{\phi _{i}\}_{i\in J}}$${\displaystyle \phi _{j}\in \{\phi _{i}\}_{i\in J}}$${\displaystyle \{\phi _{i}\}_{i\in J}\setminus \{\phi _{j}\}}$

フレーム理論は、ダフィンとシェーファーによる非調和フーリエ級数に関する論文に端を発する。^[1]フレームは、任意の に対して、 ${\displaystyle \{\phi _{i}\}_{i\in J}}$${\displaystyle f\in {\mathcal {H}}}$

${\displaystyle A\|f\|^{2}\leq \sum _{i\in J}|\langle f,\phi _{i}\rangle |^{2}\leq B\|f\|^{2}}$

ここで、は内積を表し、およびはフレームの境界と呼ばれる正の定数である。およびがとなるように選択できる場合、フレームはタイトフレームと呼ばれる。^[4]${\displaystyle \langle \cdot ,\cdot \rangle }$${\displaystyle A}$${\displaystyle B}$${\displaystyle A}$${\displaystyle B}$${\displaystyle A=B}$

であることが分かります。フレームの例は次のように示されます。 および のそれぞれを の正規直交基底とすると、 ${\displaystyle {\mathcal {H}}=\operatorname {span} \{\phi _{i}\}}$${\displaystyle \{\alpha _{i}\}_{i=1}^{\infty }}$${\displaystyle \{\beta _{i}\}_{i=1}^{\infty }}$${\displaystyle {\mathcal {H}}}$

${\displaystyle \{\phi _{i}\}_{i=1}^{\infty }=\{\alpha _{i}\}_{i=1}^{\infty }\cup \{\beta _{i}\}_{i=1}^{\infty }}$

は境界を持つのフレームです。 ${\displaystyle {\mathcal {H}}}$${\displaystyle A=B=2}$

フレーム演算子を次のように します。${\displaystyle S}$

${\displaystyle Sf=\sum _{i\in J}\langle f,\phi _{i}\rangle \phi _{i}}$

リース基底ではないフレームは、基底よりも多くの関数の集合で構成されており、過剰完備 または冗長であると言われています。^[5]この場合、 が与えられれば、フレームに基づいて異なる分解を持つことができます。上記の例で与えられたフレームは過剰完備フレームです。 ${\displaystyle f\in {\mathcal {H}}}$

フレームを関数推定に使用する場合、異なるフレームのパフォーマンスを比較したい場合があります。異なるフレームによる近似関数の簡素性は、それらのパフォーマンスを比較する1つの方法として考えられます。^[6]

許容誤差と内のフレームが与えられた場合、任意の関数 に対して、次を満たすすべての近似関数の集合を定義します。${\displaystyle \epsilon }$${\displaystyle F=\{\phi _{i}\}_{i\in J}}$${\displaystyle L^{2}(\mathbb {R} )}$${\displaystyle f\in L^{2}(\mathbb {R} )}$${\displaystyle \|f-{\hat {f}}\|<\epsilon }$

${\displaystyle N(f,\epsilon )=\{{\hat {f}}:{\hat {f}}=\sum _{i=1}^{k}\beta _{i}\phi _{i},\|f-{\hat {f}}\|<\epsilon \}}$

それでは

${\displaystyle k_{F}(f,\epsilon )=\inf\{k:{\hat {f}}\in N(f,\epsilon )\}}$

${\displaystyle k(f,\epsilon )}$は、フレームを利用して近似することの簡素さを示します。フレーム内の要素で近似することの難しさに基づいて、異なる が異なる場合があります。関数を推定する最悪のケースは次のように定義されます。 ${\displaystyle F}$${\displaystyle f}$${\displaystyle f}$${\displaystyle k}$${\displaystyle L^{2}(\mathbb {R} )}$

${\displaystyle k_{F}(\epsilon )=\sup _{f\in L^{2}(\mathbb {R} )}\{k_{F}(f,\epsilon )\}}$

別のフレーム について、 の場合、レベル ではフレーム はフレーム よりも優れています。また、各 に対してが存在する場合、 となり、概して はよりも優れています。 ${\displaystyle G}$${\displaystyle k_{F}(\epsilon )<k_{G}(\epsilon )}$${\displaystyle F}$${\displaystyle G}$${\displaystyle \epsilon }$${\displaystyle \gamma }$${\displaystyle \epsilon <\gamma }$${\displaystyle k_{F}(\epsilon )<k_{G}(\epsilon )}$${\displaystyle F}$${\displaystyle G}$

過剰完成フレームは通常、3 つの方法で構築されます。

1. ウェーブレット基底やフーリエ基底などの基底セットを組み合わせて、過剰完備フレームを取得します。
2. ガボール フレームやウェーブレットフレームなどの一部のフレームのパラメータの範囲を拡大して、オーバーコンプリート フレームを作成します。
3. 既存の完全な基底に他の関数をいくつか追加して、過剰完全なフレームを実現します。

以下にオーバーコンプリートフレームの例を示します。収集されたデータは 2 次元空間にあり、この場合は 2 つの要素を持つ基底ですべてのデータを説明できるはずです。ただし、データにノイズが含まれている場合、基底ではデータの性質を表現できないことがあります。図の 4 つの軸に対応する 4 つの要素を持つオーバーコンプリートフレームを使用してデータを表現すれば、各ポイントはオーバーコンプリートフレームによって適切に表現できるようになります。

• 
  過剰完了フレームの例

過剰完備フレームの柔軟性は、信号を表現したり関数を近似したりする際に使用される重要な利点の1つです。しかし、この冗長性のため、関数は過剰完備フレームの下で複数の表現を持つことができます。^[7]フレームが有限の場合、分解は次のように表すことができます 。

${\displaystyle f=Ax}$

ここで、 は近似したい関数、はフレーム内のすべての要素を含む行列、 はの表現におけるの係数です。他の制約がない場合、フレームはのノルムが最小となるようにを与えます。これに基づいて、方程式を解くときにスパース性などの他の特性も考慮される場合があります。そのため、さまざまな研究者が目的関数に他の制約を追加することでこの方程式を解くことに取り組んできました。たとえば、のノルムを で最小化する制約をこの方程式を解くときに使用できます。これは、統計コミュニティのLasso回帰と同等です。ベイジアン アプローチは、過剰完全フレームの冗長性を排除するためにも使用されます。Lweicki と Sejnowski は、過剰完全フレームを観測データの確率モデルと見なすことで、過剰完全フレームのアルゴリズムを提案しました。^[7]最近、過剰完全ガボール フレームはベイジアン変数選択法と組み合わされ、 の小さなノルム拡張係数と要素のスパース性の両方を実現しました。^[8]${\displaystyle f}$${\displaystyle A}$${\displaystyle x}$${\displaystyle f}$${\displaystyle A}$${\displaystyle x}$${\displaystyle L^{2}(\mathbb {R} )}$${\displaystyle x}$${\displaystyle L^{1}(\mathbb {R} )}$${\displaystyle L^{2}(\mathbb {R} )}$

信号処理やその他の工学分野における現代の解析では、さまざまなオーバーコンプリート フレームが提案され、使用されています。ここでは、一般的に使用されている 2 つのフレーム、ガボール フレームとウェーブレット フレームを紹介し、説明します。

通常のフーリエ変換では、時間領域の関数が周波数領域に変換されます。しかし、この変換では関数の周波数特性のみが示され、時間領域の情報は失われます。フーリエ変換を実行する前に、小さな区間でのみ非ゼロ値を持つウィンドウ関数 を元の関数に乗算すると、選択した区間で時間領域と周波数領域の両方の情報が残る場合があります。 の変換シーケンスが変換で使用される場合、時間領域の関数の情報は変換後も保持されます。 ${\displaystyle g}$${\displaystyle g}$

Let演算子

${\displaystyle T_{a}:L^{2}(R)\rightarrow L^{2}(R),(T_{a}f)(x)=f(x-a)}$

${\displaystyle E_{b}:L^{2}(R)\rightarrow L^{2}(R),(E_{b}f)(x)=e^{2\pi ibx}f(x)}$

${\displaystyle D_{c}:L^{2}(R)\rightarrow L^{2}(R),(D_{c}f)(x)={\frac {1}{\sqrt {c}}}f\left({\frac {x}{c}}\right)}$

におけるガボールフレーム（デニス・ガボールにちなんで名付けられ、ワイル・ハイゼンベルクフレームとも呼ばれる）は、の形式として定義され、 は固定関数である。^[5]しかし、と が 上のフレームを形成するとは限らない。例えば、 のとき、 は のフレームではない。 のとき、はフレームになる可能性があり、その場合、 はリース基底である。したがって、過剰完備フレームになる可能性のある状況は である。ガボール族もフレームであり、 と同じフレーム境界を共有する。${\displaystyle L^{2}(R)}$${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$${\displaystyle a,b>0}$${\displaystyle g\in L^{2}(R)}$${\displaystyle a}$${\displaystyle b}$ ${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$${\displaystyle L^{2}(R)}$${\displaystyle ab>1}$${\displaystyle L^{2}(R)}$${\displaystyle ab=1}$${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$${\displaystyle ab<1}$${\displaystyle \{E_{mb/c}T_{nac}g_{c}\}_{m,n\in Z}}$${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}.}$

ガボール フレームでは、さまざまな種類のウィンドウ関数を使用できます。ここでは 3 つのウィンドウ関数の例を示し、対応するガボール システムがフレームとなる条件を次に示します。 ${\displaystyle g}$

• 
  ガボール フレーム生成で使用される 3 つのウィンドウ関数。

（１）は 、${\displaystyle g(x)=e^{-x^{2}}}$${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$${\displaystyle ab<0.994}$

（２）は 、${\displaystyle g(x)={\frac {1}{cosh(\pi x)}}}$${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$${\displaystyle ab<1}$

(3)は指示関数である。 フレームがどうなるかは次のようになる。 ${\displaystyle g(x)=I_{[0,c)}(x)}$${\displaystyle I(x)}$${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$

1)または、フレームではない ${\displaystyle a>c}$${\displaystyle a>1}$

2)そして、フレームではない ${\displaystyle c>1}$${\displaystyle a=1}$

3) はフレームである ${\displaystyle a\leq c\leq 1}$

4)は無理数であり、 はフレームである。 ${\displaystyle a<1}$${\displaystyle c\in (1,2)}$

5) 、およびは互いに素であり、フレームではない ${\displaystyle a={\frac {p}{q}}<1}$${\displaystyle p}$${\displaystyle q}$${\displaystyle 2-{\frac {1}{q}}<c<2}$

6)および、ただしおよび は自然数であり、フレームではない。 ${\displaystyle {\frac {3}{4}}<a<1}$${\displaystyle c=L-1+L(1-a)}$${\displaystyle L\geq 3}$

7) 、、、（ はを超えない最大の整数）はフレームです。 ${\displaystyle a<1}$${\displaystyle c>1}$${\displaystyle |c-[c]-{\frac {1}{2}}|<{\frac {1}{2}}-a}$${\displaystyle [c]}$${\displaystyle c}$

^{上記の議論は[5]}の第8章の要約である。

ウェーブレットの集合は通常、以下の関数の集合を指します。${\displaystyle \psi }$

${\displaystyle \{2^{\frac {j}{2}}\psi (2^{j}x-k)\}_{j,k\in Z}}$

これは の正規直交基底を形成します。しかし、が の値をとることができる 場合、集合は過剰完備フレームを表し、非デシメーションウェーブレット基底と呼ばれます。一般に、ウェーブレットフレームは、 のフレームとして定義され、次の形式 になります。${\displaystyle L^{2}(R)}$${\displaystyle j,k}$${\displaystyle R}$${\displaystyle L^{2}(R)}$

${\displaystyle \{a^{\frac {j}{2}}\psi (a^{j}x-kb)\}_{j,k\in Z}}$

ここで、、、である。このフレームの上限と下限は次のように計算できる。をフーリエ変換すると、${\displaystyle a>1}$${\displaystyle b>0}$${\displaystyle \psi \in L^{2}(R)}$${\displaystyle {\hat {\psi }}(\gamma )}$${\displaystyle \psi \in L^{1}(R)}$

${\displaystyle {\hat {\psi }}(\gamma )=\int _{R}\psi (x)e^{-2\pi ix\gamma }dx}$

固定されている場合は定義する ${\displaystyle a,b}$

${\displaystyle G_{0}(\gamma )=\sum _{j\in Z}|{\hat {\psi }}(a^{j}\gamma )|^{2}}$

${\displaystyle G_{1}(\gamma )=\sum _{k\neq 0}\sum _{j\in Z}|{\hat {\psi }}(a^{j}\gamma ){\hat {\psi }}(a^{j}\gamma +{\frac {k}{b}})|}$

それから

${\displaystyle B={\frac {1}{b}}\sup _{|\gamma |\in [1,a]}(G_{0}(\gamma )+G_{1}(\gamma ))<\infty }$

${\displaystyle A={\frac {1}{b}}\inf _{|\gamma |\in [1,a]}(G_{0}(\gamma )-G_{1}(\gamma ))>0}$

さらに、

${\displaystyle \sum _{j\in Z}|{\hat {\psi }}(2^{j}\gamma )|^{2}=A}$

${\displaystyle \sum _{j=0}^{\infty }{\hat {\psi }}(2^{j}\gamma ){\overline {{\hat {\psi }}(2^{j}(\gamma +q))}}=0}$、すべての奇数に対して${\displaystyle q}$

生成されたフレームはタイトなフレームです。 ${\displaystyle \{\psi _{j,k}\}_{j,k\in Z}}$

このセクションの議論は^{[5]の第11章に基づいています。}

過剰完全ガボールフレームとウェーブレットフレームは、信号検出、画像表現、物体認識、ノイズ低減、サンプリング理論、演算子理論、調和解析、非線形スパース近似、擬似微分演算子、無線通信、地球物理学、量子コンピューティング、フィルタバンクなど、さまざまな研究分野で使用されています。^{[3] [5]}