遅延報酬

自己制御に関する有力な理論の一つである認知情動パーソナリティシステム（CAPS）は、刺激に直面した際に「ホットな」制御戦略（感情的、衝動的、自動的な反応）よりも「クールな」制御戦略（冷静で、制御された、認知的な戦略）を用いる能力によって、満足を遅らせることができると示唆している。^{[ 4 ]}「ホットな」処理では、人は誘惑の原因となっている対象、特にその最も魅力的な要素について深く考え、その結果、目先の報酬に抵抗することが難しくなる。クールな戦略を用いることで、行動をよりコントロールできるようになる。効果的な「クールな」戦略には、気をそらすことや、誘惑的な刺激に対する認識を再構築して、魅力を低下させることが含まれる。例えば、行動上の問題を抱える思春期前の少年を対象としたある研究では、少年たちは目をそらしたり、気をそらしたりするなどの「クールな」戦略を用いると、言語的および身体的な攻撃性が減少した。^{[ 5 ]}最も効果的な気晴らしは、別の望ましい報酬を想像することのようで、それによって注意が誘惑から逸れる。差し迫った誘惑。^{[ 19 ]}

遅延報酬に関する画期的な研究、今や有名な「マシュマロ実験」は、1960年代から1970年代にかけてスタンフォード大学でウォルター・ミシェルによって行われた。ミシェルと彼の同僚は、就学前の子供たちが誘惑に抵抗するために用いる戦略に興味を持っていた。彼らは4歳児にマシュマロを与え、子供たちに2つの選択肢があると告げた。（1）いつでもベルを鳴らして実験者を呼び、マシュマロを食べる、または（2）実験者が戻ってくるまで（約15分後）待ち、マシュマロを2つもらう。メッセージは「今は小さな報酬、後で大きな報酬」だった。一部の子供たちは誘惑に負けてマシュマロを食べたが、他の子供たちは満足を遅らせて、切望していたマシュマロ2つを獲得することができた。追跡実験で、ミシェルは、子どもたちが特定の「クールな」気晴らしテクニック（目を覆う、机の下に隠れる、歌を歌う^{[ 20 ]}、目の前のマシュマロの代わりにプレッツェルを想像するなど）を使用したり、マシュマロについての考え方を変えたり（ねばねばしたおいしい味ではなく、綿球との類似点に焦点を当てるなど）すると、より長く待つことができることを発見した。^{[ 21 ] [ 22 ]}

より長く待った子供たちは、10代や大人になってから再評価された際、同年代の子供たちに比べて驚くほど多くの利点を示しました。10代の頃は、SATスコアが高く、社会的能力が高く、自信と自尊心が高く、親からはより成熟していて、ストレスにうまく対処でき、より計画的で、より理性的に行動できると評価されました。^{[ 1 ]}行動障害や衝動性、攻撃性、多動性のレベルが高い可能性は低くなりました。 ^{[ 8 ] [ 23 ]大人になると、長く待った子供たちは、薬物問題やその他の依存行動を起こしたり、離婚したり、 [ 23 ] [ 24 ]}太りすぎたりする可能性が低くなりました。就学前の子供が満足を遅らせることができた1分ごとに、平均して30年後の体格指数が0.2ポイント減少しました。^{[ 25 ]}

これらの肯定的な結果のそれぞれには、将来より高い報酬を得るために短期的な報酬を放棄する能力が必要です。満足を遅らせる能力は、拒絶感受性（対人関係での拒絶を予期したときに不安になる傾向）に対する緩衝材にもなるようです。マシュマロ実験の20年間の追跡調査では、就学前の子どもの頃に強い満足の遅延能力を示し、拒絶感受性が高い脆弱な個人は、4歳の子どもの頃に拒絶感受性が高く満足の遅延能力が低い個人と比較して、自尊心と自己価値が高く、適応的な対処スキルが高いことがわかりました。^{[ 1 ] [ 22 ]}これらの説得力のある縦断的研究結果は、同様のパターンを示す他の研究と一致しています。人生の早い段階で誘惑に抵抗する能力は、さまざまな状況で持続的な利益につながります。

最初のマシュマロ実験から40年後、神経画像データによって遅延報酬の神経相関が明らかになった。コーネル大学のBJ Casey氏率いるチームは、当時40代半ばだった参加者59人を募り、遅延報酬課題を与えた。マシュマロに抵抗する代わりに、これらの成人は、中立または恐怖の顔ではなく、幸せそうな顔の画像に対する反応を抑制するように指示された。就学前の子どもの頃に遅延報酬が高かった人は、感情的な顔に対する衝動を制御することに成功し（つまり、幸せそうな顔に対してボタンを押さない）、遅延報酬が高かった人は衝動を抑制または抵抗する能力が引き続き優れていることが示唆された。^{[ 26 ]} Casey氏らはまた、課題を完了する参加者26人の脳を機能的磁気共鳴画像法（fMRI）でスキャンした。研究者らは、遅延傾向の高い人は、反応を制御するために「冷静な」制御戦略を使用する可能性が高く、これは右前頭前野の活性化として現れる一方、遅延傾向の低い人は「熱い」戦略を使用し、これは中毒にも関連する領域である腹側線条体を活性化すると仮説を立てた。実際、結果はこの異なる脳活動を示した。 ^{[ 26 ]}これは、イェール大学のノア・シャモシュとジェレミー・グレイが行った遅延報酬に関する他のfMRI研究を反映しており、仮想的な状況で、より小さな即時報酬よりもより大きな遅延報酬を選択した人は、前頭前野前部でより大きな脳活動を示したことを示している。^{[ 27 ]}

元の研究よりも 10 倍以上大きい、より多様な集団からのサンプルを用いた再現実験では、元の研究の半分の効果しか得られなかった。再現実験では、意志力ではなく経済的背景が残りの半分を説明していることが示唆された。^{[ 28 ] [ 29 ]}マシュマロ テストの予測力は 2020 年の研究で疑問視された。^{[ 30 ] [ 31 ]} 2018 年と 2024 年に行われた研究では、マシュマロ テストは「成人の機能を確実に予測するものではない」ことが判明した。^{[ 32 ]}

人が状況をどのように捉えるかは、意思決定の結果に大きく影響します。^{[ 33 ]}「ホット」戦略と「クール」戦略に関する研究によると、子どもが報酬の刺激的な「ホット」な性質（味、匂い、音、感触など）に焦点を当てて、待っているものを実際の報酬として認知的に表現すると、自己制御と満足の遅延が低下しますが、報酬の象徴に注意を向け、その抽象的な「クール」な性質（形、色、数など）に焦点を当てると、自己制御が強化され、遅延が長くなります。最適な自己制御と満足までの最長の遅延は、競合するアイテム、特に競合するアイテムの刺激的な「ホット」な性質に注意を向けることで達成できます。^{[ 20 ]}例えば、キャンディーを食べるのを待っている間にポップコーンの味と匂いについて考えると、遅延が長くなります。これは、目標指向の目的のために外部刺激の認知的表現を操作する個人の能力を示しています。^{[ 33 ]}

満足を遅らせることは、即時の満足を求める衝動を制御することと同じであり、認知制御を必要とします。中脳に位置する腹側線条体は、報酬中枢^{[ 34 ]}および快楽中枢[35]である辺縁系の一部です。^{辺縁系は常に即時の快楽の可能性に反応します[35 ]}。この本能^{を克服する}には、推論や合理的思考にも関連する前頭前野^{[ 35 ]}が活性化する必要があります。前頭前野は、人の注意の焦点を決定する脳の部分でもあり^{[ 35 ]}、遅延満足を促進するより良い枠組みを可能にします^{[ 20 ]} 。青年期および成人初期には、前頭前野は発達して成熟し、より複雑になり、脳の他の部分と接続されます。^{[ 6 ]}このため、年長の子供や大人は、幼い子供よりも満足を遅らせる課題を容易にこなせる。^{[ 6 ]}しかし、満足を遅らせる相対的な能力は、発達を通じて安定している。^{[ 20 ]}衝動をよりうまくコントロールできる子供は、大人になってもよりうまくコントロールできる。^{[ 20 ]}満足を遅らせる練習は、生涯を通じて認知能力に非常に有益である。^{[ 20 ]}

行動主義者は、遅延報酬の獲得と教授に焦点を当て、遅延能力を高めるための治療技法を開発してきた。行動分析家は、報酬をその人の現在の行動に応じて与えることで、行動形成において強化の有効な原理を活用し、遅延報酬の学習を促進する。

行動変容療法が成功するためには、報酬は参加者にとって何らかの価値を持たなければならない。^{[ 12 ]}意味のある報酬がなければ、遅延報酬や即時報酬を与えても、望ましい行動の強力な強化因子とはならないため、ほとんど意味がない。^{[ 12 ]}

行動理論家は、満足を遅らせることを適応スキルと見なしています。^{[ 36 ]}満足を遅らせることを学ぶと、共有や仲間との良好な交流など、肯定的な社会的行動が促進されることが示されています。^{[ 36 ]}例えば、満足を遅らせることを学ぶ学生は、割り当てられた活動をよりうまく完了することができます。^{[ 36 ]}簡単に言うと、後で遅れて報酬が得られるという約束のもとで活動に取り組むと、タスクが完了する可能性が高くなります。

行動研究者は、即時満足か遅延満足かの選択は、報酬が負の強化か正の強化かなど、いくつかの要因によって影響を受けることを発見しました。^{[ 24 ]}ソルニックらによる過去の研究では、両方の条件に追加される時間と、15秒、30秒、60秒、90秒というさまざまな時間大きな音を経験することに対する参加者の好みを主な焦点とした実験に焦点を当てました。音をオフにするボタンは、一方のボタンが短時間音をオフにし、もう一方のボタンが長時間音をオフにするように操作されました。参加者は、60秒の遅延が与えられた後に120秒間音をオフにするよりも、90秒間すぐに音をオフにする方がより積極的であることがわかりました。^{[ 27 ]}結果は、参加者が騒音からの解放のために満足を遅らせるのではなく、より短い時間すぐに音を消すことを選択したことを示しています。^{[ 37 ]}

生まれたばかりの乳児は、自分の欲求やニーズが満たされるまで待つことができず、衝動制御が著しく欠如している。年齢を重ねるにつれて、発達した子供は衝動性を維持しつつ、目先の欲求を制御できるようになり、満足感を長引かせる能力も向上する。^{[ 8 ]}発達心理学者は、生涯にわたる衝動制御と満足の遅延の進行を研究しており、注意欠陥や行動上の問題と密接に関連する発達上の欠陥も研究している。^{[ 43 ]}

5歳未満の子供は、報酬を見てその刺激的な特徴について考えるなど、満足を遅らせるための最も効果の低い戦略を示します。5歳になるまでに、ほとんどの子供は報酬に焦点を当てることの逆効果を認識することで、より良い自己制御を示すことができます。5歳児は、代わりに積極的に気をそらしたり、待つことでより大きな価値の報酬が得られるという条件を自分に思い出させるために自己指示を使用したりすることを選択することがよくあります。8歳から13歳の間に、子供たちは報酬から気をそらし、それによって遅延を増やすために、抽象的な思考と刺激的な思考を区別して使用する認知能力を発達させます。^{[ 8 ]}遅延戦略が発達すると、誘惑に抵抗する能力は成人期を通じて比較的安定しています。^{[ 26 ]}就学前の子供の遅延満足課題の成績は、同様の構成概念と処理を測定するように設計された課題での青年期の成績と相関しており、意志力と前頭線条体回路（前頭葉と他の脳領域を接続する神経経路）の対応する発達と並行しています。^{[ 7 ] [ 44 ]}高齢期における自己制御と衝動制御の低下は、報酬遅延戦略の対応する低下、特に冷却戦略の低下による時間割引の低下を予測する。^{[ 45 ]}

進化論は、満足を遅らせる行動にはコストとリスクの両方が伴うため、遅延満足特性の選択に反対することができます。^{[ 57 ]}そのようなコストの1つは、待つことに費やした時間に関連する基本的な機会費用です。待っている間、個体は他の食べ物を見つけるために使用できる時間を失います。高カロリーの食べ物を求めることは、明確な進化上の利点をもたらします。^{[ 57 ]}また、忍耐には2つのリスクが伴います。1つ目は、他の動物が先に食べ物を手に入れる可能性があるというリスクで、これは中断リスクとも呼ばれます。^{[ 58 ]} 2つ目は、報酬を得る機会が、おそらく捕食者によって短縮されるというリスクで、これは終了リスクとも呼ばれます。^{[ 58 ]}これらのコストとリスクは、個体の適応度が脅かされる状況を作り出します。現実世界で報酬の遅延がどのように発生するかを示す例がいくつかあります。たとえば、果物を食べる動物は、未熟な果物をすぐに食べるか、熟すまで待って満足を遅らせるかを選択できます。中断リスクも関係している。未熟な果実を諦めると、他の個体が先に食べてしまう可能性があるからだ。また、ナッツや貝類などの採取型の採食では、外殻が遅延の原因となる。しかし、食物を貯蔵して食べるのを遅らせることができる動物は、厳しい環境下で生き残る可能性が高く、したがって満足を遅らせることは進化上の利点にもなり得る。^{[ 57 ]}

遅延報酬には強い遺伝的要素がある可能性が高いが、直接的な関連性は確立されていない。ニューロンが最も単純なタスクを実行するために多くの複雑な遺伝子相互作用を必要とするため、この行動を研究するために1つの遺伝子を分離することは難しい。^{[ 20 ]}同じ理由で、遅延報酬には複数の遺伝子が関与している可能性が高い。遅延報酬の遺伝的相関関係を発見するには、さらなる研究が必要である。

動物が報酬を待つか、すぐに報酬を受け取るかの選択を迫られた場合、報酬の割引は双曲線的になります。報酬を待つ時間が長くなるにつれて、報酬は徐々に割引されます。経験的データによると、指数関数的割引、つまり待ち時間単位あたり一定の割合で報酬が割引されるのは、採餌にランダムな中断がある場合にのみ発生します。^{[ 58 ]}割引は動物のリスク感受性にも関連しています。リスクと遅延を関連付けるのではなく、リスク感受性は遅延割引の関数として機能します。^{[ 59 ]}

ヘイデンとプラットが行った研究では、マカクザルに、確実に得られる中程度の報酬と、よりリスクの高い選択肢のどちらかを選ばせた。リスクの高い選択肢を選んだ場合、50%の確率で大きな報酬が得られ、残りの50%の確率で小さな報酬が得られる。最終的な報酬額は同じだったが、サルはリスクの高い選択肢を好んだ。研究者らは、サルは自分の行動をリスクのあるものとは見なさず、むしろ大きな報酬が遅れて得られるものと捉えていたのではないかと推測した。サルは大きな報酬を確実なものと見なしていた、つまり、最初の機会に大きな報酬が得られなくても、いずれは得られるが、より長い時間がかかると考えていたのだろうと推論した。

この理論を検証するために、彼らは報酬を選択する機会の間隔を変えながら同じテストを行った。間隔が長くなるにつれて、サルがよりリスクの高い報酬を選択する回数が減少することがわかった。^{[ 59 ]}これはマカクザルで起こったが、別の研究では、間隔時間の変化はハトの選択に影響を与えなかった。これは、異なる種のリスク感受性の変化を調査する研究が必要であることを示唆している。^{[ 59 ]}小さくて短い遅延報酬と大きくて長い遅延報酬のどちらかを選択できる場合、前者を衝動的に好む傾向がある。さらに、小さくて短い報酬と大きくて長い報酬の遅延時間が長くなるにつれて、より大きな遅延報酬への好みが変化する。^{[ 58 ]}この証拠は、指数割引ではなく、双曲割引のみを支持している。

経験的モデルを用いると報酬選好の予測は単純に思えるが、動物の遅延報酬行動に影響を与えると思われる生態学的要因が数多く存在する。現実世界では、「将来の報酬の不確実性があるため、割引は理にかなっている」^{[ 60 ] 。}

ある研究では、報酬割引が状況によってどのように異なるかを調べました。^{[ 18 ]}小さな報酬と大きな報酬の間の時間と空間を変えることで、これらの要因がタマリンとマーモセットの意思決定にどのように影響するかをテストすることができました。タマリンはより大きな食物報酬のためにより長い距離を移動しますが、マーモセットほど長くは待ちません。逆に、マーモセットはより長く待ちますが、それほど遠くまで移動しません。そして、この割引行動は種の通常の摂食行動に直接相関していると結論付けました。タマリンは昆虫を探して広範囲を摂食します。昆虫を捕獲して食べるには、迅速かつ衝動的な決定と行動が必要です。一方、マーモセットは樹液を食べますが、樹液の分泌には時間がかかりますが、マーモセットが広範囲を移動する必要はありません。

人間と他の動物、特に霊長類との生理学的類似性から、両者間の比較研究が盛んに行われるようになった。今後、動物モデルを用いた研究によって、現実世界において人々が即時的な満足と遅延的な満足のどちらを選ぶかという意思決定プロセスについての理解を深めることができるだろう。