損失関数

数学的最適化および意思決定理論において、損失関数またはコスト関数（誤差関数と呼ばれることもある）^[1]は、イベントまたは1つ以上の変数の値を、イベントに関連する何らかの「コスト」を直感的に表す実数にマッピングする関数です。最適化問題は、損失関数を最小化することを目指します。目的関数は、損失関数またはその反対（特定のドメインでは、報酬関数、利益関数、効用関数、適応度関数などと呼ばれる）のいずれかであり、後者の場合は最大化されます。損失関数には、階層の複数のレベルの項を含めることができます。

統計学では、通常、損失関数はパラメータ推定に使用され、問題のイベントは、データのインスタンスの推定値と真の値の差の何らかの関数です。ラプラスと同じくらい古いこの概念は、 20世紀半ばにアブラハム・ワルドによって統計学に再導入されました。 ^[2]たとえば、経済学 の文脈では、これは通常、経済的コストまたは後悔です。分類では、例の誤った分類に対するペナルティです。保険数理学では、特に1920年代のハラルド・クラマーの研究以来、保険の文脈で保険料に対して支払われる給付をモデル化するために使用されています。 ^[3]最適制御では、損失は望ましい値を達成できなかった場合のペナルティです。金融リスク管理では、関数は金銭的損失に対応付けられます。

レナード・J・サベージは、ミニマックス法などの非ベイズ法を使用する場合、損失関数は後悔の考えに基づくべきである、つまり、決定に関連する損失は、根本的な状況がわかっていた場合に下されたであろう最善の決定の結果と、それがわかる前に実際に下された決定の結果との差であるべきだと主張した。

2次損失関数は、例えば最小二乗法を用いる場合によく用いられる。分散の特性と対称性のため、他の損失関数よりも数学的に扱いやすいことが多い。目標値を上回る誤差は、目標値を下回る同じ大きさの誤差と同じ損失を引き起こす。目標値がtの場合、2次損失関数は

${\displaystyle \lambda (x)=C(tx)^{2}\;}$

ある定数Cについて、定数の値は決定に影響を与えず、1に設定することで無視することができます。これは二乗誤差損失（SEL）としても知られています。^[1]

t 検定、回帰モデル、実験計画法など、多くの一般的な統計では、二次損失関数に基づく 線形回帰理論を使用して適用される最小二乗法が使用されます。

二次損失関数は、線形-二次最適制御問題でも使用されます。これらの問題では、不確実性がない場合でも、すべてのターゲット変数の望ましい値を達成できない場合があります。多くの場合、損失は、目的の変数の望ましい値からの偏差の二次形式として表現されます。このアプローチは、線形一次条件をもたらすため扱いやすいです。確率制御のコンテキストでは、二次形式の期待値が使用されます。二次損失は、その平方の性質により、真のデータよりも外れ値に重点を置くため、データに大きな外れ値が多数ある場合は、 Huber、Log-Cosh、SMAE 損失などの代替手段が使用されます。

統計学と意思決定理論において、よく使われる損失関数は0-1損失関数である。

${\displaystyle L({\hat {y}},y)=\left[{\hat {y}}\neq y\right]}$

アイバーソン括弧表記法を使用します。つまり、 の場合は 1 に評価され、それ以外の場合は 0 に評価されます。${\displaystyle {\hat {y}}\neq y}$

多くの応用では、損失関数などの目的関数は、特定のケースとして、問題の定式化によって決定されます。他の状況では、意思決定者の選好を引き出し、最適化に適した形式のスカラー値関数（ 効用関数とも呼ばれる）で表現する必要があります。これは、ラグナル・フリッシュがノーベル賞受賞講演で強調した問題です。 ^[4] 目的関数を構築するための既存の方法は、2 つの専用会議の議事録にまとめられています。^{[5] [6]} 特に、アンドラニク・タンジャンは、最も使用可能な目的関数（二次関数と加法関数）は、いくつかの無差別点によって決定されることを示しました。彼は、コンピューター支援による意思決定者とのインタビューを通じて引き出された順序データまたは基数データからこれらの目的関数を構築するためのモデルでこの特性を使用しました。 ^{[7] [8]} とりわけ、彼は、16 のヴェストファーレン大学の予算^[9] と、271 のドイツ地域で失業率を均等化するための欧州補助金を最適に配分するための目的関数を構築しました。^[10]

いくつかの状況では、損失関数の値自体はランダム変数Xの結果に依存するため、ランダムな量になります。

頻度主義とベイズ統計理論はどちらも損失関数の期待値に基づいて決定を下すことを伴いますが、この量は 2 つのパラダイムで異なる方法で定義されます。

まず、頻度主義の文脈で期待損失を定義します。これは、観測データXの確率分布Pθに対する期待値を取ることで得られます。これは、決定ルールδとパラメータ_θのリスク関数^{[11] [12] [13] [14]}とも呼ばれます。ここで、決定ルールはXの結果に依存します。リスク関数は次のように表されます 。

${\displaystyle R(\theta ,\delta )=\operatorname {E} _{\theta }L{\big (}\theta ,\delta (X){\big )}=\int _{X}L{\big (}\theta ,\delta (x){\big )}\,\mathrm {d} P_{\theta }(x).}$

ここで、θは固定されているが未知の可能性のある自然の状態、Xは母集団から確率的に抽出された観測値のベクトル、はXのすべての母集団の値に対する期待値、dP _θはXのイベ​​ント空間上の確率測度（  θによってパラメータ化される）であり、積分はXの サポート全体で評価されます。 ${\displaystyle \operatorname {E} _{\theta}}$

ベイズアプローチでは、期待値はパラメータ θの事前分布 π ^{* を}使用して計算されます。

${\displaystyle \rho (\pi ^{*},a)=\int _{\Theta }\int _{\mathbf {X}}L(\theta ,a({\mathbf {x}}))\ ,\mathrm {d} P({\mathbf {x}}\vert \theta )\,\mathrm {d} \pi ^{*}(\theta )=\int _{\mathbf {X}}\int _{\Theta }L(\theta ,a({\mathbf {x}}))\,\mathrm {d} \pi ^{*}(\theta \vert { \mathbf {x}})\,\mathrm {d} M({\mathbf {x}})}$

ここで、m(x) は予測尤度と呼ばれ、θ は「積分除去」され、π ^* (θ | x) は事後分布で、積分の順序が変更されています。次に、この期待損失を最小化するアクションa ^{* を}選択する必要があります。これは、ベイズリスク ^[12]と呼ばれます。後者の式では、dx 内の積分関数は事後リスクと呼ばれ、決定aに関してこれを最小化すると、全体のベイズリスクも最小化されます。この最適な決定a ^*は、ベイズ (決定) ルールと呼ばれ、すべての可能な自然状態 θ とすべての可能な (確率加重) データ結果の平均損失を最小化します。ベイズアプローチの利点の 1 つは、実際の観測データに基づいて最適なアクションを選択するだけで、一様に最適なアクションが得られることです。一方、すべての可能な観測の関数として実際の頻度主義的最適決定ルールを選択することは、はるかに困難な問題です。同様に重要なのは、ベイズの定理は、さまざまな自然状態 θ における損失の結果を考慮していることです。

• スカラーパラメータθ 、出力がθの推定値である 決定関数、および二次損失関数（二乗誤差損失）の場合、リスク関数は推定値の平均二乗誤差になります。平均二乗誤差を最小化することによって見つかった推定子は、事後分布の平均を推定します。${\displaystyle {\hat {\theta }}}$$${\displaystyle L(\theta ,{\hat {\theta }})=(\theta -{\hat {\theta }})^{2},}$$$${\displaystyle R(\theta ,{\hat {\theta }})=\operatorname {E} _{\theta }\left[(\theta -{\hat {\theta }})^{2}\right].}$$
• 密度推定では、未知のパラメータは確率密度そのものである。損失関数は通常、適切な関数空間内のノルムになるように選択される。例えば、L ²ノルムの場合、リスク関数は平均積分二乗誤差となる。$${\displaystyle L(f,{\hat {f}})=\|f-{\hat {f}}\|_{2}^{2}\,,}$$ $${\displaystyle R(f,{\hat {f}})=\operatorname {E} \left(\|f-{\hat {f}}\|^{2}\right).\,}$$

経済学では、不確実性の下での意思決定は、多くの場合、期末の富など、関心のある不確実な変数のフォン・ノイマン・モルゲンシュテルンの効用関数を使用してモデル化されます。この変数の値は不確実であるため、効用関数の値も不確実です。つまり、効用の期待値が最大化されます。

決定ルールは、最適性基準を使用して選択を行います。一般的に使用される基準は次のとおりです。

• ミニマックス: 最悪の損失が最も少ない決定ルールを選択します。つまり、最悪の場合の（最大限可能な）損失を最小限に抑えます。$${\displaystyle {\underset {\delta }{\operatorname {arg\,min} }}\ \max _{\theta \in \Theta }\ R(\theta ,\delta ).}$$
• 不変性: 不変性要件を満たす決定ルールを選択します。
• 平均損失が最も低い（つまり、損失関数の期待値を最小化する）決定ルールを選択します。$${\displaystyle {\underset {\delta }{\operatorname {arg\,min} }}\operatorname {E} _{\theta \in \Theta }[R(\theta ,\delta )]={\underset {\delta }{\operatorname {arg\,min} }}\ \int _{\theta \in \Theta }R(\theta ,\delta )\,p(\theta )\,d\theta .}$$

健全な統計的実践には、特定の応用問題の文脈で経験される実際の許容可能な変動と一致する推定値を選択することが必要である。したがって、損失関数の応用的な使用において、応用問題をモデル化するためにどの統計的手法を使用するかを選択することは、問題の特定の状況下で誤りによって経験される損失を知ることに依存する。^[15]

一般的な例として、「場所」の推定があります。一般的な統計的仮定では、平均は二乗誤差損失関数で予想される損失を最小限に抑える場所の推定統計であり、中央値は絶対差損失関数で予想される損失を最小限に抑える推定値です。ただし、他のあまり一般的ではない状況では、異なる推定値が最適になります。

経済学では、エージェントがリスク中立である場合、目的関数は、利益、所得、または期末の富などの金銭量の期待値として単純に表現されます。リスク回避型またはリスクを好むエージェントの場合、損失は効用関数の負の値として測定され、最適化される目的関数は効用の期待値です。

コストの他の測定方法としては、公衆衛生や安全工学の分野における死亡率や罹患率などが考えられます。

ほとんどの最適化アルゴリズムでは、全体的に連続かつ微分可能な損失関数を持つことが望ましいです。

非常に一般的に使用される 2 つの損失関数は、二乗損失、と絶対損失、です。ただし、絶対損失は で微分できないという欠点があります。二乗損失は、外れ値によって支配される傾向があるという欠点があります。つまり、 のセット( のように) を合計すると、最終的な合計は平均a値の表現ではなく、いくつかの特に大きなa値の結果になる傾向があります。 ${\displaystyle L(a)=a^{2}}$${\displaystyle L(a)=|a|}$${\displaystyle a=0}$${\displaystyle a}$${\textstyle \sum _{i=1}^{n}L(a_{i})}$

損失関数の選択は任意ではありません。非常に制限的であり、損失関数は望ましい特性によって特徴付けられる場合があります。^{[16]選択原則には、たとえば、} iid観測の場合の対称統計のクラスの完全性の要件、完全情報の原則などがあります。

W. エドワーズ デミングとナシム ニコラス タレブは、損失関数を選択する唯一の基準は、数学的性質ではなく、経験的現実であるべきだと主張し、実際の損失は数学的に適切ではなく、微分可能、連続的、対称的などではないことが多いと主張している。たとえば、飛行機のゲートが閉まる前に到着した人は飛行機に間に合うが、ゲートが閉まる後に到着した人は間に合わない。これは不連続性と非対称性であり、少し遅れて到着する方が少し早く到着するよりもずっとコストがかかる。薬剤投与では、薬剤が少なすぎると効果がなく、多すぎると許容できる毒性になる可能性がある。これも非対称性の別の例である。交通、パイプ、梁、生態系、気候などは、ある時点まではほとんど目立った変化がなく、負荷やストレスの増加に耐えるが、その後、渋滞したり壊滅的に破損したりする。デミングとタレブは、これらの状況は現実の問題では一般的であり、おそらく古典的な滑らかで連続的で対称的な微分の場合よりも一般的であると主張している。^[17]

• ベイジアン後悔
• 分類のための損失関数
• 割引最大損失
• ヒンジの損失
• 得点ルール
• 統計的リスク

• アレッツ、ケビン、バートラム、ゾンケ M.、ポープ、ピーター F. (2011 年 4 月～ 6 月)。「非対称損失関数と期待株式リターンの合理性」(PDF)。国際予測ジャーナル。27 (2): 413–437。doi :10.1016/ j.ijforecast.2009.10.008。SSRN 889323  。
• Berger, James O. (1985).統計的決定理論とベイズ分析(第 2 版). ニューヨーク: Springer-Verlag. Bibcode :1985sdtb.book.....B. ISBN 978-0-387-96098-2. MR  0804611。

• Cecchetti, S. (2000). 「金融政策の策定：目的とルール」Oxford Review of Economic Policy . 16 (4): 43–59. doi :10.1093/oxrep/16.4.43.

• ホロウィッツ、アン・R.（1987）。「損失関数と公共政策」マクロ経済学ジャーナル。9 （4）：489-504。doi ：10.1016/0164-0704（87）90016-4。

• Waud, Roger N. (1976). 「非対称政策立案者の効用関数と不確実性下における最適政策」Econometrica . 44 (1): 53–66. doi :10.2307/1911380. JSTOR  1911380.