後悔（意思決定理論）

意思決定理論では、不確実性の下で意思決定を行う場合（決定を下した後に最善の行動方針に関する情報が届いた場合）、後悔という人間の感情的反応がしばしば経験され、下した決定と最適な決定との差の値として測定できます。

後悔回避理論または予期される後悔の理論は、決定に直面した際に、個人が後悔を予期し、その可能性を排除または軽減したいという願望を選択に組み込む可能性があると提唱しています。後悔は、強力な社会的および評判的要素を持つ否定的な感情であり、人間が経験から学ぶ方法とリスク回避の人間心理の中心です。後悔を意識的に予期すると、後悔を感情の領域（多くの場合、単なる人間の行動としてモデル化されます）から意思決定理論でモデル化される合理的選択行動の領域へと超越するフィードバック ループが作成されます。

後悔理論は、1982年にグラハム・ルームズとロバート・サグデン^[1]、デイビッド・E・ベル^[2]、ピーター・C・フィッシュバーン^{[3]によって同時に開発された}理論経済学のモデルです。 後悔理論は、予期される後悔の影響を考慮した不確実性の下での選択をモデル化します。その後、他の数人の著者によって改良されました。^[4]

これは、実現された結果に負に依存し、不確実性の解決を前提とした最良の代替結果に正に依存する後悔項を効用関数に組み込む。この後悔項は通常、従来の効用指数から減算される、増加し、連続的で非負の関数である。これらのタイプの選好は常に従来の意味での推移性に違反するが^[5]、そのほとんどはより弱いバージョンを満たしている。^[4]

独立した宝くじの場合、後悔が効用間の差について評価され、その後結果のすべての組み合わせについて平均化されると、後悔は特定の形式の後悔関数に対してのみ推移的になる可能性があります。双曲正弦関数だけがこの特性を維持することが示されている。^{[6]この形式の後悔は、一次確率}的優位性に直面しても正しい選好を保持すること、対数的効用に対するリスク回避、およびアレのパラドックスを説明する能力など、望ましい機能のほとんどを継承しています。

後悔回避は理論的な経済モデルであるだけでなく、別の決定を後悔しないように決定したときに生じる認知バイアスでもあります。前置きをうまくすると、後悔回避は、失敗を犯してしまう可能性や、避けたい機会を逃してしまう可能性など、実行または不作為による恐怖を通じて見ることができます。^[7]後悔、つまり起こったことに対する悲しみや失望感は、特定の決定に対して合理化できますが、好みを導き、人々を誤った方向に導く可能性があります。これは、物事が個人の責任として見られないため、偽情報の拡散につながります。

インセンティブを与えられた選択と仮想的な選択の両方に関するいくつかの実験は、この効果の大きさを証明しています。

ファーストプライスオークションの実験では、参加者が受け取ると予想されるフィードバックを操作すると、平均入札額に大きな違いが見られることが示されています。^[8]特に、「敗者の後悔」は、オークションの参加者全員に落札額を公開することで誘発され、敗者は利益を得ることができたかどうか、また、利益がいくらになった可能性があるかが明らかになります (評価額が 50 ドルの参加者が 30 ドルで入札し、落札額が 35 ドルだったことを知った場合、35 ドルを超える金額で入札すれば 15 ドルも儲けられた可能性があることも知ることになります)。これにより後悔の可能性が生じ、入札者がこれを正しく予測すれば、後悔の可能性を減らすために、落札額に関するフィードバックが提供されない場合よりも高い金額で入札する傾向があります。

宝くじに関する決定では、実験によっても後悔の予測を裏付ける証拠が得られる。^{[9] [10] [11]}ファーストプライスオークションの場合と同様に、不確実性の解決に関するフィードバックの違いによって後悔の可能性が生じる可能性があり、これが予測される場合は異なる選好が誘発される可能性がある。たとえば、確実に 40 ドルを支払うか、結果が正しく推測された場合に 100 ドル、そうでない場合は 0 ドルを支払うコイントスを選択する場合、確実な支払いの選択肢はリスクを最小限に抑えるだけでなく、後悔の可能性も最小限に抑えます。通常、コインは投げられない (したがって不確実性は解決されない) のに対して、コイントスを選択した場合は 0 ドルを支払う結果が後悔を誘発するからです。選択された選択肢に関係なくコインが投げられる場合、代替の報酬は常にわかっているため、後悔の可能性を排除する選択肢はありません。

人々が自分自身に責任があると認識している選択と行動の両方について、予期される後悔は過大評価される傾向があります。^{[12] [13]}人々は特に、わずかな差で望ましい結果を逃したときに感じる後悔を過大評価する傾向があります。ある研究では、通勤者は、たとえば5分電車に乗り遅れた場合よりも1分電車に乗り遅れた場合に後悔が大きくなると予測しましたが、実際に1分または5分電車に乗り遅れた通勤者は（同等で）後悔の度合いが低くなりました。通勤者は、わずかな差で電車に乗り遅れたときに感じる後悔を過大評価しているようでした。これは、電車に乗り遅れた原因が外的要因（財布をなくした、シャワーを浴びる時間が短かったなど）に起因すると考える程度を過小評価する傾向があったためです。^[12]

宝くじよりも選択が優先されるという伝統的な設定の他に、後悔回避は、第一価格オークションで典型的に観察される過剰入札^[14]や処分効果^[15]などの説明として提案されてきました。

ミニマックス・リグレット・アプローチは、最悪の場合のリグレットを最小化するもので、1951年にレナード・サベージによって最初に提案されました。 ^[16]このアプローチの目的は、可能な限り最適なコースに近づくことです。ここで適用されるミニマックス基準は、ペイオフ自体ではなく、リグレット（ペイオフの差または比率）に対するものであるため、通常のミニマックス・アプローチほど悲観的ではありません。同様のアプローチは、次のようなさまざまな分野で使用されています。

• 仮説検定
• 予測
• 経済

ミニマックスの利点の 1 つは (期待される後悔とは対照的に)、さまざまな結果の確率に依存しないことです。したがって、後悔を正確に計算できる場合は、ミニマックスの後悔を信頼性を持って使用できます。ただし、結果の確率を推定するのは困難です。

これは、結果間の差または比率を使用する点で標準的なミニマックス手法とは異なり、標準的なミニマックスと同様に、間隔または比率の測定、および順序測定(ランキング) が必要になります。

投資家が株式、債券、金融市場のいずれかに投資することを選択し、総収益が金利の動向によって決まるとします。次の表は、考えられる収益の一部を示しています。

リターンに基づく大まかな最大の選択は、少なくとも 1 のリターンを保証するマネー マーケットに投資することです。しかし、金利が下がれば、この選択に伴う後悔は大きくなります。これは 11 になります。これは、結果が事前にわかっていた場合に受け取ることができた 12 と実際に受け取った 1 との差です。株式が約 11.1%、マネー マーケットが 88.9% の混合ポートフォリオでは、少なくとも 2.22 のリターンが保証されますが、金利が下がれば、後悔は約 9.78 になります。

この例の後悔表は、実際のリターンから最高のリターンを差し引いて作成され、次のようになります。

したがって、後悔に基づくミニマックス選択を使用すると、後悔が 5 未満になることが保証される債券への投資が最善策となります。混合投資ポートフォリオではさらに良い結果が得られます。61.1% を株式に投資し、38.9% をマネー マーケットに投資すると、後悔は約 4.28 未満になります。

以下は、リグレットの概念を使用して線形推定量を設計する方法の図解です。この例では、既知のノイズ共分散構造を持つノイズの多い線形測定から有限次元パラメータ ベクトルの線形推定量を構築するという問題があります。 の再構築の損失は、平均二乗誤差(MSE)を使用して測定されます。未知のパラメータ ベクトルは、ゼロを中心とする楕円体内にあることが分かっています。リグレットは、パラメータ を知らない線形推定量の MSE と、 を知っている線形推定量の MSEの差として定義されます。また、推定量は線形に制限されているため、後者の場合、ゼロ MSE は達成できません。この場合、凸最適化問題の解は、次の議論からわかるように、最適でミニマックス リグレットを最小化する線形推定量を与えます。 ${\displaystyle x}$${\displaystyle x}$ ${\displaystyle E}$${\displaystyle x}$${\displaystyle x}$

仮定によれば、観測ベクトルと未知の決定論的パラメータベクトルは線形モデルによって結び付けられる。 ${\displaystyle y}$${\displaystyle x}$

${\displaystyle y=Hx+w}$

ここで、は列全体の階数を持つ既知の行列であり、 は既知の共分散行列 を持つ平均ゼロのランダム ベクトルです。 ${\displaystyle H}$${\displaystyle n\times m}$ ${\displaystyle m}$${\displaystyle w}$${\displaystyle C_{w}}$

させて

${\displaystyle {\hat {x}}=Gy}$

は からの線形推定値である。ここで は何らかの行列である。この推定値のMSEは次のように与えられる。 ${\displaystyle x}$${\displaystyle y}$${\displaystyle G}$${\displaystyle m\times n}$

${\displaystyle MSE=E\left(||{\hat {x}}-x||^{2}\right)=Tr(GC_{w}G^{*})+x^{*}(I-GH)^{*}(I-GH)x.}$

MSE は に明示的に依存するため、直接最小化することはできません。代わりに、リグレットの概念を使用して、優れた MSE パフォーマンスを持つ線形推定量を定義することができます。ここでリグレットを定義するには、パラメーター の値を知っている線形推定量、つまり、行列がに明示的に依存できる線形推定量を考えます。 ${\displaystyle x}$${\displaystyle x}$${\displaystyle G}$${\displaystyle x}$

${\displaystyle {\hat {x}}^{o}=G(x)y.}$

のMSEは ${\displaystyle {\hat {x}}^{o}}$

${\displaystyle MSE^{o}=E\left(||{\hat {x}}^{o}-x||^{2}\right)=Tr(G(x)C_{w}G(x)^{*})+x^{*}(IG(x)H)^{*}(IG(x)H)x.}$

最適な を見つけるには、を について微分し、導関数を 0 と等しくして、 ${\displaystyle G(x)}$${\displaystyle MSE^{o}}$${\displaystyle G}$

${\displaystyle G(x)=xx^{*}H^{*}(C_{w}+Hxx^{*}H^{*})^{-1}.}$

次に、行列反転補題を用いて

${\displaystyle G(x)={\frac {1}{1+x^{*}H^{*}C_{w}^{-1}Hx}}xx^{*}H^{*}C_{w}^{-1}.}$

これを に代入すると、 ${\displaystyle G(x)}$${\displaystyle MSE^{o}}$

${\displaystyle MSE^{o}={\frac {x^{*}x}{1+x^{*}H^{*}C_{w}^{-1}Hx}}.}$

これは、 がわかっている線形推定で達成できる最小のMSEです。実際にはこのMSEは達成できませんが、最適なMSEの境界 として機能します。 によって指定される線形推定値を使用することの後悔は、${\displaystyle x}$${\displaystyle G}$

${\displaystyle R(x,G)=MSE-MSE^{o}=Tr(GC_{w}G^{*})+x^{*}(I-GH)^{*}(I-GH)x-{\frac {x^{*}x}{1+x^{*}H^{*}C_{w}^{-1}Hx}}.}$

ここでのミニマックスリグレットアプローチは、最悪の場合のリグレット、すなわち、を最小化することである 。 これにより、パラメータ の最悪の場合に達成可能な最高のパフォーマンスに可能な限り近いパフォーマンスが可能になります。この問題は難しいように見えますが、凸最適化の一例であり、特に数値解を効率的に計算できます。^{[17] が}ランダムで共分散行列に不確実性がある場合にも、同様の考え方を使用できます。^{[18] [19]}${\displaystyle \sup _{x\in E}R(x,G).}$${\displaystyle x}$${\displaystyle x}$

Camara、Hartline、Johnsen ^[20]は、プリンシパル-エージェント問題を研究している。これは、プリンシパルとエージェントと呼ばれる2人のプレイヤー間の不完全情報ゲームであり、その利得はエージェントのみが知っている自然状態に依存する。プリンシパルがポリシーにコミットし、エージェントが応答し、その後自然状態が明らかになる。彼らは、プリンシパルとエージェントが繰り返し対話し、強化学習を使用して状態の履歴から時間の経過とともに学習すると仮定している。彼らは、エージェントが後悔回避によって動かされていると仮定している。特に、エージェントは反事実的な内部後悔を最小化する。この仮定に基づいて、彼らはプリンシパルの後悔を最小化する メカニズムを開発している。

コリーナ、ロス、シャオ^[21]は、実行時間と後悔の境界（自然状態の数の関数として）の両方においてメカニズムを改善しました。

• 後悔しない仕組み
• 競争の後悔
• 意思決定理論
• 情報ギャップ意思決定理論
• 損失関数
• ミニマックス
• スワップの後悔
• ワルドのマキシミンモデル

• 「チュートリアル G05: 意思決定理論」。2015年7月3日時点のオリジナルよりアーカイブ。