凸関数

数学において、実数値関数は、そのグラフ上の任意の異なる2点間の線分が、その2点間のグラフ上またはグラフの上にある場合、凸関数と呼ばれます。言い換えれば、関数のエピグラフ（関数のグラフ上またはグラフの上にある点の集合）が凸集合である場合、その関数は凸関数です。簡単に言えば、凸関数のグラフはカップのような形をしています。${\displaystyle \cup }$（または線形関数のような直線）であるのに対し、凹関数のグラフはキャップのような形をしている。${\displaystyle \cap }$。

1変数の2回微分可能な関数は、その定義域全体で2階微分が非負である場合に限り凸関数である。^{[ 1 ]} 1変数の凸関数のよく知られた例としては、線形関数が挙げられる。${\displaystyle f(x)=cx}$（どこ${\displaystyle c}$は実数）、二次関数${\displaystyle cx^{2}}$（${\displaystyle c}$（非負の実数として）および指数関数$\displaystyle ce^{x}}$（${\displaystyle c}$（非負の実数として）。

凸関数は、数学の多くの分野で重要な役割を果たしています。特に最適化問題の研究において重要であり、多くの便利な性質によって区別されます。例えば、開集合上の厳密に凸な関数は、最小値を1つしか持ちません。適切な追加の仮定の下では、無限次元空間においても凸関数はこのような性質を満たし続け、その結果、変分法において最もよく理解されている汎関数となっています。確率論では、確率変数の期待値に適用される凸関数は、常に確率変数の凸関数の期待値によって上から抑えられます。この結果はイェンセンの不等式として知られており、算術平均と幾何平均の不等式やヘルダーの不等式などの不等式を導出するために使用できます。

させて${\displaystyle X}$を実ベクトル空間の凸部分集合とし、${\displaystyle f:X\to \mathbb {R} }$関数である。

それから${\displaystyle f}$凸関数と呼ばれるのは、以下のいずれかの同値条件が満たされる場合に限る。

1. すべての人にとって${\displaystyle 0\leq t\leq 1}$そしてすべて${\displaystyle x_{1},x_{2}\in X}$: $${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)\leq tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$$ 右側は直線を表しています${\displaystyle \left(x_{1},f\left(x_{1}\right)\right)}$そして${\displaystyle \left(x_{2},f\left(x_{2}\right)\right)}$グラフでは${\displaystyle f}$関数として${\displaystyle t;}$増加${\displaystyle t}$から${\displaystyle 0}$に${\displaystyle 1}$または減少${\displaystyle t}$から${\displaystyle 1}$に${\displaystyle 0}$この線を掃引します。同様に、関数の引数${\displaystyle f}$左側は直線を表しています${\displaystyle x_{1}}$そして${\displaystyle x_{2}}$で${\displaystyle X}$または${\displaystyle x}$グラフの軸${\displaystyle f.}$つまり、この条件は、曲線上の任意の2点間の直線が${\displaystyle f}$グラフより上か、グラフとほぼ接している。^{[ 2 ]}
2. すべての人にとって${\displaystyle 0<t<1}$そしてすべて${\displaystyle x_{1},x_{2}\in X}$そのため${\displaystyle x_{1}\neq x_{2}}$: $${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)\leq tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$$ 上記の第 1 条件とこの 2 番目の条件との違いは、この条件には交点 (例えば、${\displaystyle \left(x_{1},f\left(x_{1}\right)\right)}$そして${\displaystyle \left(x_{2},f\left(x_{2}\right)\right)}$曲線上の2点を通る直線と、${\displaystyle f}$（直線はこの条件の右側で表されます）そして曲線は${\displaystyle f;}$最初の条件には交点が含まれるので、${\displaystyle f\left(x_{1}\right)\leq f\left(x_{1}\right)}$または${\displaystyle f\left(x_{2}\right)\leq f\left(x_{2}\right)}$で${\displaystyle t=0}$または${\displaystyle 1,}$または${\displaystyle x_{1}=x_{2}.}$実際、凸条件では交点を考慮する必要はありません$${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)\leq tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$$なぜなら${\displaystyle f\left(x_{1}\right)\leq f\left(x_{1}\right)}$そして${\displaystyle f\left(x_{2}\right)\leq f\left(x_{2}\right)}$常に真である（したがって、条件の一部としては役に立たない）。

実数直線上に値をとる凸関数を特徴づける2番目の記述${\displaystyle \mathbb {R} }$これは、拡張された実数直線上で値をとる凸関数を定義するために使用される記述でもある。${\displaystyle [-\infty ,\infty ]=\mathbb {R} \cup \{\pm \infty \},}$このような関数${\displaystyle f}$持ち去ることが許可されています${\displaystyle \pm \infty }$値として。最初のステートメントは、${\displaystyle t}$取る${\displaystyle 0}$または${\displaystyle 1}$値として、その場合、${\displaystyle f\left(x_{1}\right)=\pm \infty }$または${\displaystyle f\left(x_{2}\right)=\pm \infty ,}$それぞれ、そして${\displaystyle tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$未定義になります (乗算のため)${\displaystyle 0\cdot \infty }$そして${\displaystyle 0\cdot (-\infty )}$（未定義）${\displaystyle -\infty +\infty }$も未定義なので、凸拡張実数値関数は通常、 のうちの 1 つだけを取ることが許されます。${\displaystyle -\infty }$そして${\displaystyle +\infty }$価値として。

2番目の記述は、厳密凸性の定義を得るために修正することもでき、後者はを置き換えることによって得られる。${\displaystyle \,\leq \,}$厳密な不平等を伴う${\displaystyle \,<.}$ 具体的には、地図${\displaystyle f}$は、すべての実数に対して が成り立つ場合に限り厳密に凸であると呼ばれる。${\displaystyle 0<t<1}$そしてすべて${\displaystyle x_{1},x_{2}\in X}$そのため${\displaystyle x_{1}\neq x_{2}}$: $${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)<tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$$

厳密に凸関数${\displaystyle f}$曲線上の任意の2点間の直線は、${\displaystyle f}$曲線より上${\displaystyle f}$直線と曲線の交点を除く。凸関数ではあるが厳密には凸関数ではない関数の例は次のとおりである。${\displaystyle f(x,y)=x^{2}+y}$この関数は厳密には凸関数ではありません。なぜなら、x座標を共有する任意の2点間には直線が存在し、x座標を共有しない任意の2点間の関数値は、それらの間の点間の値よりも大きくなるからです。

機能${\displaystyle f}$は、以下の条件を満たす場合に凹面（または厳密に凹面）であると言われます。${\displaystyle -f}$（${\displaystyle f}$−1 を掛けた値は凸（または厳密に凸）である。

「凸」という用語はしばしば「下向き凸」または「上向き凹」と呼ばれ、「凹」という用語はしばしば「下向き凹」または「上向き凸」と呼ばれます。^{[ 3 ] [ 4 ] [ 5 ]}「凸」という用語が「上」または「下」のキーワードなしで使用されている場合、それは厳密にはカップ型のグラフを指します。${\displaystyle \cup }$例えば、イェンセンの不等式は、凸関数または凸（下向き）関数を含む不等式を指します。^{[ 6 ]}

凸関数の多くの性質は、多変数関数においても一変数関数と同様に、同じ単純な式で表すことができます。多変数関数の場合の性質については、以下を参照してください。一変数関数の場合には記載されていない性質もいくつかあります。

• ${\displaystyle -f}$凹であるのは、${\displaystyle f}$凸型である。
• もし${\displaystyle r}$任意の実数である場合${\displaystyle r+f}$凸であるのは、${\displaystyle f}$凸型である。
• 非負の加重和：
  • もし${\displaystyle w_{1},\ldots ,w_{n}\geq 0}$そして${\displaystyle f_{1},\ldots ,f_{n}}$全て凸であれば、${\displaystyle w_{1}f_{1}+\cdots +w_{n}f_{n}.}$特に、2つの凸関数の和は凸関数である。
  • この性質は、無限和、無限積分、および期待値にも適用されます（ただし、それらが存在する場合に限ります）。
• 要素ごとの最大値:${\displaystyle \{f_{i}\}_{i\in I}}$凸関数の集合とする。${\displaystyle g(x)=\sup \nolimits _{i\in I}f_{i}(x)}$凸である。${\displaystyle g(x)}$は、式が有限となる点の集合です。重要な特殊ケース：
  • もし${\displaystyle f_{1},\ldots ,f_{n}}$凸関数であれば、${\displaystyle g(x)=\max \left\{f_{1}(x),\ldots ,f_{n}(x)\right\}.}$
  • ダンスキンの定理：もし${\displaystyle f(x,y)}$凸である${\displaystyle x}$それから${\displaystyle g(x)=\sup \nolimits _{y\in C}f(x,y)}$凸である${\displaystyle x}$たとえ${\displaystyle C}$凸集合ではない。
• 構成：
  • もし${\displaystyle f}$そして${\displaystyle g}$は凸関数であり、${\displaystyle g}$単変量領域で非減少である場合、${\displaystyle h(x)=g(f(x))}$凸関数です。たとえば、${\displaystyle f}$が凸であれば、${\displaystyle e^{f(x)}}$なぜなら${\displaystyle e^{x}}$凸関数であり、単調増加関数である。
  • もし${\displaystyle f}$凹面であり、${\displaystyle g}$が単変数領域で凸かつ非増加である場合、${\displaystyle h(x)=g(f(x))}$凸型である。
  • 凸性はアフィン写像の下で不変である。つまり、${\displaystyle f}$凸型で、定義域は${\displaystyle D_{f}\subseteq \mathbf {R} ^{m}}$ならば、${\displaystyle g(x)=f(Ax+b)}$、 どこ${\displaystyle A\in \mathbf {R} ^{m\times n},b\in \mathbf {R} ^{m}}$ドメイン付き${\displaystyle D_{g}\subseteq \mathbf {R} ^{n}.}$
• 最小化: もし${\displaystyle f(x,y)}$凸である${\displaystyle (x,y)}$それから${\displaystyle g(x)=\inf \nolimits _{y\in C}f(x,y)}$凸である${\displaystyle x,}$ただし、${\displaystyle C}$は凸集合であり、${\displaystyle g(x)\neq -\infty .}$
• もし${\displaystyle f}$凸であれば、その透視図${\displaystyle g(x,t)=tf\left({\tfrac {x}{t}}\right)}$ドメイン付き${\displaystyle \left\{(x,t):{\tfrac {x}{t}}\in \operatorname {Dom} (f),t>0\right\}}$凸型である。
• させて${\displaystyle X}$ベクトル空間とする。${\displaystyle f:X\to \mathbf {R} }$凸であり、${\displaystyle f(0)\leq 0}$かつその場合に限り${\displaystyle f(ax+by)\leq af(x)+bf(y)}$いかなる場合でも${\displaystyle x,y\in X}$および任意の非負の実数${\displaystyle a,b}$満足する${\displaystyle a+b\leq 1.}$

強凸性の概念は、厳密凸性の概念を拡張し、パラメータ化したものです。直感的に言えば、強凸関数とは、二次関数と同じ速さで増加する関数です。^{[ 11 ]}強凸関数は厳密凸関数でもありますが、その逆は成り立ちません。1次元関数の場合${\displaystyle f}$関数が2回連続微分可能であり、定義域が実数直線である場合、次のように特徴づけることができます。

• ${\displaystyle f}$凸であるのは、${\displaystyle f''(x)\geq 0}$すべての人々のために${\displaystyle x.}$
• ${\displaystyle f}$厳密に凸である場合${\displaystyle f''(x)>0}$すべての人々のために${\displaystyle x}$（注：これは十分ではあるが、必須ではない。）
• ${\displaystyle f}$強凸である場合に限る${\displaystyle f''(x)\geq m>0}$すべての人々のために${\displaystyle x.}$

例えば、${\displaystyle f}$厳密に凸であるとし、点の列があると仮定する${\displaystyle (x_{n})}$そのため${\displaystyle f''(x_{n})={\tfrac {1}{n}}}$。 それでも${\displaystyle f''(x_{n})>0}$関数は強凸ではない。${\displaystyle f''(x)}$は任意に小さくなるだろう。

より一般的には、微分可能な関数${\displaystyle f}$パラメータを持つ強凸型と呼ばれる${\displaystyle m>0}$すべての点について次の不等式が成り立つ場合${\displaystyle x,y}$その領域において：^{[ 12 ]}$${\displaystyle (\nabla f(x)-\nabla f(y))^{T}(x-y)\geq m\|x-y\|_{2}^{2}}$$ あるいは、より一般的には、 $${\displaystyle \langle \nabla f(x)-\nabla f(y),x-y\rangle \geq m\|x-y\|^{2}}$$ どこ${\displaystyle \langle \cdot ,\cdot \rangle }$は任意の内積であり、${\displaystyle \|\cdot \|}$は対応するノルムです。 ^{[ 13 ]}などの著者は、この不等式を満たす関数を楕円関数と呼んでいます。

同等の条件は次のとおりです。^{[ 14 ]}$${\displaystyle f(y)\geq f(x)+\nabla f(x)^{T}(y-x)+{\frac {m}{2}}\|y-x\|_{2}^{2}}$$

関数が強凸であるために微分可能である必要はない。パラメータを持つ強凸関数の3番目の定義^{[ 14 ]}${\displaystyle m,}$それは、すべての${\displaystyle x,y}$ドメインと${\displaystyle t\in [0,1],}$$${\displaystyle f(tx+(1-t)y)\leq tf(x)+(1-t)f(y)-{\frac {1}{2}}mt(1-t)\|x-y\|_{2}^{2}}$$

この定義は厳密凸性の定義に近づくことに注意してください。${\displaystyle m\to 0,}$そして、凸関数の定義と同一である。${\displaystyle m=0.}$それにもかかわらず、厳密に凸ではあるが、いかなる場合でも強凸ではない関数が存在する。${\displaystyle m>0}$（下記の例を参照）。

関数が${\displaystyle f}$が2回連続微分可能であれば、パラメータを持つ強凸関数となる。${\displaystyle m}$かつその場合に限り${\displaystyle \nabla ^{2}f(x)\succeq mI}$すべての人々のために${\displaystyle x}$領域では、${\displaystyle I}$アイデンティティと${\displaystyle \nabla ^{2}f}$はヘッセ行列であり、不等式は${\displaystyle \succeq }$つまり${\displaystyle \nabla ^{2}f(x)-mI}$は正半定値である。これは、の最小固有値が${\displaystyle \nabla ^{2}f(x)}$少なくとも${\displaystyle m}$すべての人々のために${\displaystyle x.}$ドメインが実数直線である場合、${\displaystyle \nabla ^{2}f(x)}$これは単に2階微分です${\displaystyle f''(x),}$そのため、条件は次のようになります。${\displaystyle f''(x)\geq m}$。 もし${\displaystyle m=0}$つまり、ヘッセ行列は正半定値行列である（または、定義域が実数直線の場合は、${\displaystyle f''(x)\geq 0}$これは、関数が凸関数であり、厳密に凸関数である可能性もあるが、強凸関数ではないことを意味する。

関数が2回連続微分可能であると仮定すると、下限は${\displaystyle \nabla ^{2}f(x)}$これ は、それが強凸であることを意味する。テイラーの定理を用いると、$${\displaystyle z\in \{tx+(1-t)y:t\in [0,1]\}}$$ そのため $${\displaystyle f(y)=f(x)+\nabla f(x)^{T}(y-x)+{\frac {1}{2}}(y-x)^{T}\nabla ^{2}f(z)(y-x)}$$ それから $${\displaystyle (y-x)^{T}\nabla ^{2}f(z)(y-x)\geq m(y-x)^{T}(y-x)}$$ 固有値に関する仮定により、上記の2番目の強凸性方程式を再現できます。

関数${\displaystyle f}$がパラメータmに対して強凸であるのは、関数が $${\displaystyle x\mapsto f(x)-{\frac {m}{2}}\|x\|^{2}}$$ 凸型である。

2回連続微分可能な関数${\displaystyle f}$コンパクトな領域上で${\displaystyle X}$満たす${\displaystyle f''(x)>0}$すべての人々のために${\displaystyle x\in X}$は強凸関数である。この主張の証明は、コンパクト集合上の連続関数は最大値と最小値を持つという極値定理から導かれる。

強凸関数は、一般的に凸関数や狭義凸関数よりも扱いやすい。なぜなら、強凸関数は対象となる関数のクラスが小さいためである。狭義凸関数と同様に、強凸関数もコンパクト集合上で一意の最小値を持つ。

一様凸関数、^{[ 16 ] [ 17 ]}絶対値が${\displaystyle \phi }$は関数です${\displaystyle f}$それは、すべての${\displaystyle x,y}$ドメインと${\displaystyle t\in [0,1],}$満たす $${\displaystyle f(tx+(1-t)y)\leq tf(x)+(1-t)f(y)-t(1-t)\phi (\|x-y\|)}$$ どこ${\displaystyle \phi }$は非負であり、 0 でのみゼロになる関数です。これは強凸関数の概念の一般化です。${\displaystyle \phi (\alpha )={\tfrac {m}{2}}\alpha ^{2}}$我々は強凸性の定義を回復する。

一部の著者はモジュラスを要求することに留意する価値がある。${\displaystyle \phi }$増加関数であること^{[ 17 ]}が条件となっているが、この条件はすべての著者によって要求されているわけではない^{[ 16 ] 。}

• Bertsekas, Dimitri (2003).凸解析と最適化. Athena Scientific.
• ボルウェイン、ジョナサン、ルイス、エイドリアン。（2000）。凸解析と非線形最適化。スプリンガー。
• ドノヒュー、ウィリアム F. (1969).分布とフーリエ変換. アカデミックプレス.
• Hiriart-Uruty、Jean-Baptiste、およびLemaréchal、Claude。 (2004)。凸分析の基礎。ベルリン：シュプリンガー。
• Krasnosel'skii MA、Rutickii Ya.B. （1961年）。凸関数と Orlicz 空間。フローニンゲン: P.Noordhoff Ltd.
• Lauritzen, Niels (2013).学部生向け凸性。World Scientific Publishing。
• ルーエンバーガー、デイビッド（1984）。線形計画法と非線形計画法。アディソン・ウェスリー。
• Luenberger, David (1969).ベクトル空間法による最適化. Wiley & Sons.
• Rockafellar, RT (1970).凸解析. プリンストン: プリンストン大学出版局.
• トムソン、ブライアン（1994）。実関数の対称性。CRC Press。
• ザリネスク、C. (2002).一般ベクトル空間における凸解析. リバーエッジ、 ニュージャージー州: ワールドサイエンティフィック出版 株式会社 . pp.  xx+367. ISBN 981-238-067-1. MR 1921556 . 

• 「凸関数（実変数）」、数学百科事典、EMS Press、2001 [1994]
• 「凸関数（複素変数）」、数学百科事典、EMS Press、2001 [1994]