損失関数

数学的最適化と意思決定理論において、損失関数またはコスト関数（誤差関数とも呼ばれる）^{[ 1 ]}は、イベントまたは1つ以上の変数の値を、そのイベントに関連付けられた何らかの「コスト」を直感的に表す実数にマッピングする関数です。最適化問題は、損失関数を最小化することを目指します。目的関数は、損失関数またはその反対（特定の領域では、報酬関数、利益関数、効用関数、適合度関数などと呼ばれる）のいずれかであり、後者の場合は最大化する必要があります。損失関数には、階層の複数のレベルの項が含まれる可能性があります。

統計学では、通常、損失関数はパラメータ推定に使用され、問題となる事象は、データのインスタンスの推定値と真の値の差の何らかの関数です。ラプラスと同じくらい古いこの概念は、 20 世紀半ばにアブラハム・ウォルドによって統計学に再導入されました。 ^{[ 2 ]}例えば、経済学 の文脈では、これは通常、経済的コストまたは後悔です。分類では、これは例の誤った分類に対するペナルティです。アクチュアリー科学では、特に1920 年代のハラルド・クラメールの研究以来、保険の文脈で、保険料に対する支払われた給付をモデル化するために使用されます。 ^{[ 3 ]}最適制御では、損失は、望ましい値を達成できなかった場合のペナルティです。金融リスク管理では、関数は金銭的損失にマッピングされます。

多くのアプリケーションでは、損失関数などの目的関数は、問題の定式化によって決定されます。その他の状況では、意思決定者の選好を引き出し、最適化に適した形式でスカラー値関数（ 効用関数とも呼ばれる）で表現する必要があります。これは、ラグナル・フリッシュがノーベル賞受賞講演で強調した問題です。^{[ 4 ]} 目的関数を構築するための既存の方法は、2 つの専門会議の議事録にまとめられています。^{[ 5 ] [ 6 ]} 特に、アンドラニク・タンギアンは、最も使用可能な目的関数（二次関数と加法関数）は、少数の無差別点によって決定されることを示しました。彼は、意思決定者とのコンピュータ支援インタビューを通じて引き出された順序データまたは基数データのいずれかからこれらの目的関数を構築するモデルでこの特性を使用しました。 ^{[ 7 ] [ 8 ]} とりわけ、彼はヴェストファーレン州の16の大学の予算を最適に配分するための目的関数^{[ 9 ]と、ドイツの271の地域間で失業率を均等化するための欧州補助金[ 10 ]} を構築した。

場合によっては、損失関数自体の値は確率変数の結果に依存するため、確率量となる。${\displaystyle X}$。

意思決定ルールは、最適性基準を用いて選択を行います。一般的に使用される基準には以下のようなものがあります。

• ミニマックス：最悪の損失が最も低い決定ルールを選択する。つまり、最悪の場合（最大損失）を最小化する。$${\displaystyle {\underset {\delta }{\operatorname {arg\,min} }}\ \max _{\theta \in \Theta }\ R(\theta ,\delta ).}$$
• 不変性：不変性の要件を満たす決定ルールを選択してください。
• 平均損失が最も低い決定ルールを選択してください（つまり、損失関数の期待値を最小化してください）。$${\displaystyle {\underset {\delta }{\operatorname {arg\,min} }}\operatorname {E} _{\theta \in \Theta }[R(\theta ,\delta )]={\underset {\delta }{\operatorname {arg\,min} }}\ \int _{\theta \in \Theta }R(\theta ,\delta )\,p(\theta )\,d\theta .}$$

健全な統計的実践には、特定の応用問題の文脈で実際に許容される変動と一致する推定量を選択することが必要です。したがって、損失関数の応用においては、応用問題をモデル化するためにどの統計的手法を使用するかを選択するには、問題の特定の状況下で誤った場合に発生する損失を知る必要があります。^{[ 15 ]}

よくある例として、「位置」の推定が挙げられます。一般的な統計的仮定の下では、平均値は二乗誤差損失関数の下で期待される損失を最小化する位置推定のための統計量であり、中央値は絶対差損失関数の下で期待される損失を最小化する推定量です。しかし、その他のあまり一般的ではない状況では、異なる推定量が最適となる場合もあります。

経済学において、リスク中立的な主体の場合、目的関数は、利益、所得、期末資産といった金銭的量の期待値として単純に表現される。リスク回避的またはリスク愛好的な主体の場合、損失は効用関数の負の値として測定され、最適化すべき目的関数は効用の期待値となる。

費用を測る他の指標としては、例えば公衆衛生や安全工学の分野における死亡率や罹患率などが挙げられる。

ほとんどの最適化アルゴリズムでは、損失関数がグローバルに連続かつ微分可能であることが望ましい。

非常によく使われる損失関数は、二乗損失、${\displaystyle L(a)=a^{2}}$、そして絶対損失、${\displaystyle L(a)=|a|}$しかし、絶対損失には、${\displaystyle a=0}$二乗損失には、外れ値に支配される傾向があるという欠点があります。${\displaystyle a}$の（例：${\textstyle \sum _{i=1}^{n}L(a_{i})}$最終的な合計は、特に大きないくつかの結果になる傾向がある。${\displaystyle a}$平均値の表現ではなく、値を表す${\displaystyle a}$-価値。

損失関数の選択は任意ではありません。非常に制約が多く、損失関数は望ましい特性によって特徴付けられる場合もあります。^{[ 16 ]}選択の原則の中には、例えば、 iid観測の場合の対称統計クラスの完全性の要件、完全情報の原理、その他いくつかがあります。

W. エドワーズ・デミングとナシーム・ニコラス・タレブは、損失関数の選択の唯一の基準は数学的に美しい性質ではなく、経験的な現実であるべきだと主張し、実際の損失はしばしば数学的に美しくなく、微分可能、連続的、対称的などではないと述べている。例えば、飛行機の搭乗ゲートが閉まる前に到着した人は飛行機に乗ることができるが、後に到着した人は乗ることができない。この不連続性と非対称性により、少し遅れて到着する方が少し早く到着するよりもはるかに大きな損失となる。薬の投与量では、薬が少なすぎると効果が得られないという損失があり、多すぎると許容範囲内の毒性で済むという損失がある。これも非対称性の例である。交通、パイプ、梁、生態系、気候などは、ある時点までは負荷やストレスの増加にほとんど変化なく耐えられるが、その後は詰まったり、壊滅的な破損を起こしたりする。デミングとタレブは、このような状況は現実の問題ではよくあることであり、古典的な滑らかで連続的、対称的な微分の場合よりもよくあるかもしれないと主張している。^{[ 17 ]}

• ベイズ後悔
• 分類のための損失関数
• 割引最大損失
• 蝶番の喪失
• 得点ルール
• 統計的リスク

• Aretz, Kevin; Bartram, Söhnke M.; Pope, Peter F. (2011年4月～6月) 「非対称損失関数と期待株式リターンの合理性」(PDF) . International Journal of Forecasting . 27 (2): 413– 437. doi : 10.1016/j.ijforecast.2009.10.008 . SSRN 889323 . 
• Berger, James O. (1985).統計的決定理論とベイズ分析（第2 版）. ニューヨーク：Springer-Verlag. Bibcode：1985sdtb.book.....B . ISBN 978-0-387-96098-2. MR 0804611 . 

• Cecchetti, S. (2000). 「金融政策の策定：目的とルール」 . Oxford Review of Economic Policy . 16 (4): 43–59 . doi : 10.1093/oxrep/16.4.43 .

• Horowitz, Ann R. (1987). 「損失関数と公共政策」. Journal of Macroeconomics . 9 (4): 489–504 . doi : 10.1016/0164-0704(87)90016-4 .

• Waud, Roger N. (1976). 「不確実性下における非対称な政策決定者の効用関数と最適政策」。Econometrica . 44 (1): 53– 66. doi : 10.2307/1911380 . JSTOR 1911380 .