近位演算子

数学的最適化において、近接演算子は、ヒルベルト空間からへの 適切な^{[注 1]}下半連続凸関数に関連付けられた演算子であり、次のように定義されます。^[1] ${\displaystyle f}$ ${\displaystyle {\mathcal {X}}}$${\displaystyle [-\infty ,+\infty ]}$

${\displaystyle \operatorname {prox} _{f}(v)=\arg \min _{x\in {\mathcal {X}}}\left(f(x)+{\frac {1}{2}}\|xv\|_{\mathcal {X}}^{2}\right).}$

このクラスのどの関数でも、上記の右辺の最小値は一意であるため、近似演算子は明確に定義されます。近似演算子は近似勾配法で使用され、全変動ノイズ除去などの微分不可能な最適化問題に関連する最適化アルゴリズムで頻繁に使用されます。

適切な下側半連続凸関数は、最適化に役立ついくつかの特性を備えています。 ${\displaystyle {\text{prox}}}$${\displaystyle f}$

• の不動点はの最小値です。${\displaystyle {\text{prox}}_{f}}$${\displaystyle f}$${\displaystyle \{x\in {\mathcal {X}}\ |\ {\text{prox}}_{f}x=x\}=\arg \min f}$
• 最小化関数への大域収束は次のように定義されます。 の場合、任意の初期点 に対して、再帰により として収束します。が無限次元の場合、この収束は弱くなる可能性があります。 ^[2]${\displaystyle \arg \min f\neq \varnothing }$${\displaystyle x_{0}\in {\mathcal {X}}}$${\displaystyle (\forall n\in \mathbb {N} )\quad x_{n+1}={\text{prox}}_{f}x_{n}}$${\displaystyle x_{n}\to x\in \arg \min f}$${\displaystyle n\to +\infty }$${\displaystyle {\mathcal {X}}}$
• 近接演算子は射影演算子の一般化として見ることができる。実際、が空でない閉じた凸集合の0特性関数である特定のケースでは、${\displaystyle f}$${\displaystyle \infty}$ ${\displaystyle \iota_{C}}$${\displaystyle C}$

${\displaystyle {\begin{aligned}\operatorname {prox} _{\iota _{C}}(x)&=\operatorname {argmin} \limits _{y}{\begin{cases}{\frac {1}{2}}\left\|xy\right\|_{2}^{2}&{\text{if }}y\in C\\+\infty &{\text{if }}y\notin C\end{cases}}\\&=\operatorname {argmin} \limits _{y\in C}{\frac {1}{2}}\left\|xy\right\|_{2}^{2}\end{aligned}}}$

近接演算子は実際に射影演算子の一般化であることを示しています。

• 関数が確実に非拡大的であるとは、次の場合です 。${\displaystyle (\forall (x,y)\in {\mathcal {X}}^{2})\quad \|{\text{prox}}_{f}x-{\text{prox}}_{f}y\|^{2}\leq \langle xy\ ,{\text{prox}}_{f}x-{\text{prox}}_{f}y\rangle }$
• 関数の近似演算子は、関数のモロー包絡線 の勾配と次の恒等式によって関連付けられます。${\displaystyle M_{\lambda f}}$${\displaystyle \lambda f}$${\displaystyle \nabla M_{\lambda f}(x)={\frac {1}{\lambda }}(x-\mathrm {prox} _{\lambda f}(x))}$

• の近接演算子はを含むことによって特徴付けられる。ここで はのサブ微分であり、次のように与えられる。${\displaystyle f}$${\displaystyle p=\operatorname {prox} _{f}(x)\Leftrightarrow xp\in \partial f(p)}$${\displaystyle \partial f}$${\displaystyle f}$

${\displaystyle \partial f(x)=\{u\in \mathbb {R} ^{N}\mid \forall y\in \mathbb {R} ^{N},(yx)^{\mathrm {T} }u+f(x)\leq f(y)\}}$特に、が微分可能な場合、上記の式は に簡約されます。${\displaystyle f}$${\displaystyle p=\operatorname {prox} _{f}(x)\Leftrightarrow xp=\nabla f(p)}$

• 近位勾配法

• 近接演算子リポジトリ: MatlabとPythonで実装された近接演算子のコレクション。
• ProximalOperators.jl:近似演算子を実装するJuliaパッケージ。
• ODL: 近似演算子を利用する逆問題用の Python ライブラリ。