後悔（意思決定理論）

意思決定理論において、後悔回避（または予期される後悔）とは、不確実な状況下での意思決定において、後悔という人間の感情的反応がどのように影響を与えるかを説明する概念である。個人が完全な情報なしに選択を行った場合、後になって別の選択をしていればより良い結果が得られたと気づいた時に、後悔を感じることが多い。この後悔は、実際に行った決定と、後から考えると最適であったであろう決定との価値の差として定量化できる。

後悔を単なる意思決定後の感情的反応と捉える従来のモデルとは異なり、後悔回避理論は、意思決定者が将来起こりうる後悔を積極的に予測し、その予測を現在の意思決定プロセスに組み込むと提唱している。この予測によって、たとえ純粋に確率的な期待値の観点から最適ではない選択であっても、後々の後悔の可能性を最小限に抑えるように設計された選択を個人が行うようになる可能性がある。

後悔は、社会的・評判的な影響が大きい強力な負の感情であり、人間が経験から学ぶ方法やリスク回避の心理学において中心的な役割を果たします。後悔を意識的に予期することでフィードバックループが生まれ、後悔は単なる感情的な反応（しばしば単なる人間の行動としてモデル化される）から、意思決定理論で正式にモデル化できる合理的な選択行動の重要な要素へと昇華されます。

この予測メカニズムは、現状維持バイアス、不作為慣性、より良い結果が得られたであろうと容易に想像できる反事実的なシナリオにつながる可能性のある決定を避ける傾向など、標準的な期待効用理論から逸脱する様々な観察された意思決定パターンを説明するのに役立つ。

後悔理論は、 1982年にグラハム・ルーミスとロバート・サグデン^{[ 1 ]}、デイビッド・E・ベル^{[ 2 ]}、ピーター・C・フィッシュバーン^{[ 3 ]}によって同時に開発された理論経済学のモデルである。後悔理論は、予期される後悔の影響を考慮して、不確実性下での選択をモデル化する。その後、他の何人かの著者がそれを改良した^{[ 4 ] 。}

これは、実現された結果に負の相関があり、不確実性の解消を前提とした最良の代替結果に正の相関がある後悔項を効用関数に組み込んでいます。この後悔項は通常、増加関数、連続関数、非負関数であり、従来の効用指数から差し引かれます。これらのタイプの選好は常に従来の意味での推移性に違反しますが、 ^{[ 5 ]}ほとんどはより弱いバージョンを満たします。^{[ 4 ]}

独立したくじの場合、後悔が効用間の差で評価され、その後すべての結果の組み合わせで平均化される場合、後悔は推移的である可能性があるが、特定の形式の後悔関数に限られる。双曲線正弦関数のみがこの性質を維持することが示されている。^{[ 6 ]}この形式の後悔は、一次確率的優位に直面しても正しい選好を保持すること、対数効用に対するリスク回避、アレーのパラドックスを説明できることなど、望ましい特徴のほとんどを受け継いでいる。

後悔回避は理論的な経済モデルであるだけでなく、別の決定を後悔しないように決断を下した際に生じる認知バイアスでもある。より詳しく説明すると、後悔回避は、実行または不作為による恐怖、つまり、失敗を犯す見込みや、避けたい機会を逃す見込みを通して見ることができる。 ^{[ 7 ]}後悔、つまり起こったことに対する悲しみや失望感は、特定の決定を合理化することができるが、好みを導き、人々を誤った方向へ導く可能性がある。これは、物事が個人の責任ではないと見なされるため、誤情報の拡散に寄与する。

インセンティブ付きの選択と仮想的な選択の両方に関するいくつかの実験は、この効果の大きさを証明している。

第一価格オークションの実験では、参加者が受け取ると予想されるフィードバックを操作することで、平均入札額に大きな違いが生じることが示されています。^{[ 8 ]}特に、「敗者の後悔」は、オークションのすべての参加者に落札額を開示することで誘発できます。これにより、敗者は利益を得ることができたかどうか、またその利益がいくらだったかを知ることになります（評価額が50ドルで30ドルで入札し、落札額が35ドルだった参加者は、35ドル以上で入札していれば最大15ドルの利益を得ることができたことも知ります）。これにより、後悔の可能性が生じ、入札者がこれを正しく予測すれば、後悔の可能性を減らすために、落札額に関するフィードバックが提供されない場合よりも高い金額で入札する傾向があります。

宝くじに関する意思決定では、実験によっても、後悔が予想されるという証拠が提供されています。^{[ 9 ] [ 10 ] [ 11 ]}第一価格オークションの場合と同様に、不確実性の解決に関するフィードバックの違いは後悔の可能性を引き起こし、これが予想される場合は、異なる選好を誘発する可能性があります。たとえば、確実に40ドルを受け取る選択肢と、結果を正しく推測すれば100ドル、そうでなければ0ドルが支払われるコイン投げのどちらかを選択する場合、確実な支払いの選択肢は、通常コインが投げられない（したがって不確実性が解決されない）ため、リスクを最小限に抑えるだけでなく、後悔の可能性も最小限にします。一方、コイン投げを選択した場合、0ドルが支払われる結果によって後悔が生じます。選択した選択肢に関係なくコインが投げられる場合、代替の報酬は常にわかっているため、後悔の可能性を排除する選択肢はありません。

^{伝統的な宝くじの選択という設定に加えて、後悔回避は、通常、第一価格オークションで見られる過剰入札[ 14 ]}や処分効果[ ^{15 ]}などの説明として提案されている。

ミニマックス後悔アプローチは、最悪の場合の後悔を最小化するもので、1951年にレナード・サベージによって初めて提唱されました。 ^{[ 16 ]}このアプローチの目的は、最適な手順にできるだけ近い結果を出すことです。ここで適用されるミニマックス基準は、報酬そのものではなく、後悔（報酬の差または比率）に基づいているため、通常のミニマックスアプローチほど悲観的ではありません。同様のアプローチは、次のようなさまざまな分野で使用されています。

• 仮説検定
• 予測
• 経済

ミニマックス法（期待後悔法とは対照的に）の利点の1つは、様々な結果の確率に依存しないことである。したがって、後悔を正確に計算できれば、ミニマックス後悔法を確実に利用できる。しかし、結果の確率を推定するのは難しい。

これは、結果間の差や比率を使用するという点で、標準的なミニマックス法とは異なります。そのため、標準的なミニマックス法と同様に、間隔尺度や比率尺度による測定、および順序尺度による測定（順位付け）が必要となります。

以下は、後悔の概念を用いて線形推定量を設計する方法を示す例である。この例では、有限次元パラメータベクトルの線形推定量を構築することが課題となる。${\displaystyle x}$既知のノイズ共分散構造を持つノイズの多い線形測定から。${\displaystyle x}$平均二乗誤差（MSE）を用いて測定される。未知のパラメータベクトルは楕円体内に存在することがわかっている。${\displaystyle E}$ゼロを中心とする。後悔は、パラメータを知らない線形推定量のMSEと、パラメータを知らない線形推定量のMSEとの差として定義される。${\displaystyle x}$、そして線形推定量のMSEは、${\displaystyle x}$また、推定量が線形に制限されているため、後者の場合、MSEをゼロにすることはできません。この場合、凸最適化問題を解くことで、最適なミニマックス後悔最小化線形推定量が得られます。これは、以下の議論で確認できます。

仮定によれば、観測されたベクトル${\displaystyle y}$そして未知の決定論的パラメータベクトル${\displaystyle x}$線形モデルによって結び付けられている

${\displaystyle y=Hx+w}$

どこ${\displaystyle H}$知られている${\displaystyle n\times m}$列ランクが完全な行列${\displaystyle m}$、 そして${\displaystyle w}$は、既知の共分散行列を持つ、平均値がゼロのランダムベクトルです。${\displaystyle C_{w}}$。

させて

${\displaystyle {\hat {x}}=Gy}$

線形推定値である${\displaystyle x}$から${\displaystyle y}$、 どこ${\displaystyle G}$いくつか${\displaystyle m\times n}$行列。この推定量のMSEは次のように与えられる。

${\displaystyle MSE=E\left(||{\hat {x}}-x||^{2}\right)=Tr(GC_{w}G^{*})+x^{*}(I-GH)^{*}(I-GH)x.}$

MSEは明示的に${\displaystyle x}$直接的に最小化することはできません。代わりに、後悔の概念を用いて、良好なMSE性能を持つ線形推定器を定義することができます。ここで後悔を定義するために、パラメータの値がわかっている線形推定器を考えます。${\displaystyle x}$つまり、行列${\displaystyle G}$明示的に依存できる${\displaystyle x}$:

$\displaystyle {\hat {x}}^{o}=G(x)y.}$

MSE$\displaystyle {\hat {x}}^{o}}$は

${\displaystyle MSE^{o}=E\left(||{\hat {x}}^{o}-x||^{2}\right)=Tr(G(x)C_{w}G(x)^{*})+x^{*}(IG(x)H)^{*}(IG(x)H)x.}$

最適なものを見つける${\displaystyle G(x)}$、${\displaystyle MSE^{o}}$に関して区別される${\displaystyle G}$そして導関数を0に等しいとすると、

${\displaystyle G(x)=xx^{*}H^{*}(C_{w}+Hxx^{*}H^{*})^{-1}.}$

次に、行列の逆行列補題を用いて

${\displaystyle G(x)={\frac {1}{1+x^{*}H^{*}C_{w}^{-1}Hx}}xx^{*}H^{*}C_{w}^{-1}.}$

これを置き換える${\displaystyle G(x)}$戻る${\displaystyle MSE^{o}}$すると、

${\displaystyle MSE^{o}={\frac {x^{*}x}{1+x^{*}H^{*}C_{w}^{-1}Hx}}.}$

これは、線形推定で達成可能な最小の MSE です。${\displaystyle x}$実際にはこの MSE は達成できませんが、最適な MSE の上限として機能します。 で指定された線形推定器を使用することによる後悔${\displaystyle G}$に等しい

${\displaystyle R(x,G)=MSE-MSE^{o}=Tr(GC_{w}G^{*})+x^{*}(I-GH)^{*}(I-GH)x-{\frac {x^{*}x}{1+x^{*}H^{*}C_{w}^{-1}Hx}}.}$

ここでのミニマックス後悔アプローチは、最悪の場合の後悔を最小化することです。 $\displaystyle \sup _{x\in E}R(x,G).}$ これにより、パラメータの最悪の場合において、達成可能な最良のパフォーマンスにできるだけ近いパフォーマンスが得られます。${\displaystyle x}$この問題は難しそうに見えるが、凸最適化の一例であり、特に数値解を効率的に計算できる。^{[ 17 ]}同様の考え方は、${\displaystyle x}$共分散行列に不確実性があるランダムである。^{[ 18 ] [ 19 ]}

カマラ、ハートライン、ジョンセン^{[ 20 ]}はプリンシパル・エージェント問題を研究している。これはプリンシパルとエージェントと呼ばれる2人のプレイヤー間の不完全情報ゲームであり、その利得はエージェントのみが知っている自然の状態に依存する。プリンシパルが方針を決定し、エージェントが反応し、その後自然の状態が明らかになる。彼らはプリンシパルとエージェントが繰り返し相互作用し、強化学習を用いて時間の経過とともに状態履歴から学習する可能性があると仮定している。彼らはエージェントが後悔回避によって動機づけられていると仮定している。特に、エージェントは反事実的な内部後悔を最小化する。この仮定に基づいて、彼らはプリンシパルの後悔を最小化するメカニズムを開発している。

Collina、Roth、Shao ^{[ 21 ]}は、実行時間と後悔の範囲（自然の異なる状態の数の関数として）の両方でメカニズムを改善しました。

• 後悔のないメカニズム
• 競争の後悔
• 意思決定理論
• 情報ギャップ意思決定理論
• 損失関数
• ミニマックス
• 後悔を交換する
• ウォルドのマキシミンモデル

• 「チュートリアル G05: 意思決定理論」 。 2015年7月3日にオリジナルからアーカイブされました。