強化の数学的原理

強化の数学的原理( MPR )は、ピーター・キリーンとその同僚が行動の最も基本的な側面を記述および予測するために提示した一連の数式で構成されています( Killeen & Sitomer、2003)。

MPR の 3 つの主要原則である覚醒、制約、結合は、それぞれ、インセンティブが反応を促す仕組み、時間が反応を制約する仕組み、強化子が特定の反応と関連付けられる仕組みを説明します。実際のデータの必要な詳細を明確にするために、これらの基本原則には数学モデルが用意されています。

MPR の最初の基本原則は覚醒です。覚醒とは、インセンティブの提示による行動の活性化を指します。インセンティブを繰り返し提示した後の活動レベルの増加は、条件付けの基本的な側面です。Killeen、Hanson、および Osborne (1978) は、補助的 (またはスケジュールによって誘発される) 行動は、生物のレパートリーで通常発生する部分であると提唱しました。インセンティブの提供は、生物の一般的な活動レベル、つまり覚醒のレベルを高め、補助的行動の割合を増加させます。

Killeen と Hanson (1978) は、実験室でハトに毎日 1 回餌を与え、餌を与えた後 15 分間の一般的な活動を測定しました。餌を与えた直後は活動レベルがわずかに上昇し、その後時間の経過とともにゆっくりと減少することが示されました。減少率は次の関数で表すことができます。

${\displaystyle b(t)=b_{1}\times e^{\frac {-t}{\alpha }}}$

b ₁ = y切片（1分あたりの応答数）

t = 給餌後の時間（秒）

${\displaystyle \alpha}$= 時間定数

e =自然対数の底

一般活動の理論モデル全体の時間経過は、次の式でモデル化されます。

${\displaystyle R=A\times (e^{\frac {-t}{C}}-e^{\frac {-t}{I}})}$

A = 覚醒

I = 時間的抑制

C = 競合行動

このモデルをより概念化するには、これらの各プロセスで反応率がどのように現れるかを想像してください。時間的抑制や競合反応がない場合、覚醒レベルは高いままで、反応率はわずかな負の傾きを持つほぼ水平な線として表されます。餌が与えられた直後、時間的抑制は最大レベルにあります。時間の経過とともに急速に減少し、反応率は短時間で覚醒レベルまで増加すると予想されます。目標追跡やホッパー検査などの競合行動は、餌が与えられた直後は最小です。これらの行動は間隔が経過するにつれて増加するため、一般的な活動の測定値はゆっくりと減少します。これら 2 つの曲線を差し引くと、一般的な活動の予測レベルが得られます。

その後、Killeen ら (1978) は、給餌頻度を毎日から一定時間毎の給餌に増やしました。彼らは、一般的な活動レベルが毎日の提示レベルから大幅に増加することを示しました。反応率の漸近線は、強化率が最も高い場合に最も高くなりました。これらの実験は、覚醒レベルが刺激率に比例し、漸近レベルはインセンティブの繰り返し提示とともに増加することを示しています。インセンティブの繰り返し提示による活動レベルの上昇は、覚醒の累積と呼ばれます。MPR の第一原理は、覚醒レベルが強化率に比例することを述べています。ここで 、${\displaystyle A=ar}$

A = 覚醒レベル

a = 特定の活性化

r = 強化率

（キリーン＆シトマー、2003年）。

応答分布を分析する際に明らかでありながら見落とされがちな要因は、応答は瞬時に発生するものではなく、発するのにある程度の時間がかかることです (Killeen、1994)。応答率の上限は、他の応答との競合によって説明されることが多いですが、応答が常に誘発されたのと同じ速度で発せられるとは限らないという事実によって説明されることはそれほど多くありません (Killeen & Sitomer、2003)。応答が理論的にどのようなものであり、経験的にどのようなものになるかを正しく特徴付けるには、この制限要因を考慮する必要があります。

生物は、ある一定の速度で反応するための衝動を受け取ることがあります。強化率が低い場合、誘発率と放出率は互いに近似します。しかし、強化率が高い場合、誘発率は、反応を放出するのにかかる時間によって抑制されます。反応率 は、通常、エポックで発生する反応の数をエポックの期間で割った値として測定されます。 の逆数は、反応間隔 (IRT)、つまり 1 つの反応の開始から次の反応の開始までの平均時間 (Killeen & Sitomer、2003) の一般的な測定値となります。これは、実際には、反応間の時間ではなく、サイクル時間です。Killeen & Sitomer (2003) によると、IRT は 2 つのサブ間隔、つまり、反応を放出するのに必要な時間と、反応間の時間で構成されます。したがって、反応率は、反応数をサイクル時間で割ることによって測定できます。 ${\displaystyle b}$${\displaystyle b}$${\displaystyle \delta}$${\displaystyle \tau}$

${\displaystyle b={\frac {1}{\delta +\tau }}}$、

または、応答数を応答間の実際の時間で割った値として表されます。

${\displaystyle b={\frac {1}{\tau }}}$。

オペランドの性質は実験内で任意に変化する可能性があるため、 この瞬間速度は使用するのに最適な尺度である可能性があります (Killeen & Sitomer、2003)。${\displaystyle {\frac {1}{\タウ }}}$

Killeen、Hall、Reilly、および Kettle (2002) は、瞬間的な反応速度が強化速度に比例する場合、MPR の結果の基本方程式が成り立つことを示しました。Killeen と Sitomer (2003) は、次のことを示しました。 ${\displaystyle {\frac {1}{\tau }}=ar}$

もし${\displaystyle \tau =1/ar}$

それから、 ${\displaystyle b={\frac {1}{(\delta +{\frac {1}{ar}})}}}$

整理すると次のようになります。

${\displaystyle b={\frac {r}{\delta r+{\frac {1}{a}}}}}$

応答は に比例した速度で引き起こされる可能性がありますが、制約による速度でのみ発せられます。MPR の 2 番目の原則は、応答を発するのに必要な時間によって応答速度が制約されると述べています (Killeen & Sitomer、2003)。 ${\displaystyle A=ar}$${\displaystyle b}$

カップリングは MPR の最後の概念であり、すべてのプロセスを結び付け、異なる強化スケジュールによる行動の特定の予測を可能にします。カップリングとは、応答と強化子の関連付けを指します。ターゲット応答は実験者が関心を持つ応答ですが、どの応答も強化子と関連付けることができます。強化の随伴性とは、ターゲット応答に対して強化子がどのようにスケジュールされるかを指します (Killeen & Sitomer、2003)。また、特定の強化スケジュールによって、応答が強化子とどのように結合されるかが決まります。MPR の 3 番目の原則は、応答と強化子の間のカップリングの度合いは、それらの間の距離が遠くなるにつれて減少すると述べています (Killeen & Sitomer、2003)。カップリング係数は、 として指定され、異なる強化スケジュールに対して与えられます。カップリング係数を活性化制約モデルに挿入すると、条件付けの完全なモデルが導出されます。 ${\displaystyle c}$

${\displaystyle b={\frac {cr}{\delta r+1/a}}}$

これはMPR の基本方程式です。 の後のドットは、研究中の強化の特定の偶発性を表すプレースホルダーです (Killeen & Sitomer、2003)。 ${\displaystyle c}$

固定比率スケジュールの強化率は、反応率に正比例し、比率要件に反比例するため、計算が簡単です (Killeen、1994)。したがって、スケジュール フィードバック関数は次のようになります。

${\displaystyle r={\frac {b}{n}}}$。

この関数を完全なモデルに代入すると、比率スケジュールの運動方程式が得られます (Killeen & Sitomer, 2003)。Killeen (1994, 2003) は、一連の応答のうち最も最近の応答が最も重み付けされ、重みが に与えられ、残りの応答には が与えられることを示しました。最後から 2 番目の応答は を受け取り、3 番目に後ろの応答は を受け取ります。番目の応答には の重みが与えられます。${\displaystyle \beta}$${\displaystyle 1-\beta}$${\displaystyle \beta (1-\beta )}$${\displaystyle \beta (1-\beta )^{2}}$${\displaystyle n}$${\displaystyle \beta (1-\beta )^{n-1}}$

この級数の合計は固定比率スケジュールの結合係数です。

${\displaystyle c_{FR_{n}}=1-(1-\beta )^{n}}$

これを連続的に近似すると次のようになります。

${\displaystyle c_{FR_{n}}=1-e^{-\lambda n}}$

ここで、は記憶減衰の固有速度です。強化速度と結合係数を活性化制約モデルに挿入すると、FRスケジュールの予測応答速度が得られます。 ${\displaystyle \lambda}$

${\displaystyle b={\frac {c.}{\delta }}-{\frac {n}{\delta a}}}$

この式は、記憶が完了行動に置き換えられるため、低い比率要件では応答率が低くなることを予測します。ただし、このような低い率は必ずしも見つかるわけではありません。応答の結合は、前の強化子を超えて遡る可能性があり、これを考慮して追加のパラメータが追加されます。Killeen と Sitomer (2003) は、FR スケジュールの結合係数は次のようになることを示しました。 ${\textstyle n_{0}}$

${\displaystyle c_{FR_{n}}=1-(1-\beta )n+n_{0}=1-\epsilon (1-\beta )n}$

${\textstyle n_{0}}$は、反応の強さに寄与する、前の強化子に先行する反応の数です。0から 1 の範囲は、強化子の提示によって記憶からターゲット反応が消去される度合いです。( ) の場合、消去は完全であり、より単純な FR 方程式を使用できます。 ${\textstyle \epsilon }$${\textstyle \epsilon =(1-\beta )n_{0}}$${\displaystyle \epsilon =1}$

Killeen & Sitomer (2003) によると、応答の持続時間は記憶の減衰率に影響を与える可能性があります。応答の持続時間が生物内または生物間で異なる場合、より完全なモデルが必要となり、次の式に置き換えられます。 ${\displaystyle \beta}$${\displaystyle 1-e^{-\lambda \delta }}$

${\displaystyle 1-\epsilon (1-\beta )\delta n=1-\epsilon e^{-\lambda \delta n}}$

平均応答要件が である理想化された可変比率スケジュールでは、応答が強化で終わる確率が一定です(Bizo、Kettle、Killeen、2001)。強化で終わる最後の応答は常に発生し、 の強化を受けます。最後から 2 番目の応答は確率で発生し、 の強化を受けます。このプロセスを無限大まで合計すると次のようになります (Killeen 2001、付録)。 ${\displaystyle n}$${\displaystyle 1/n}$${\displaystyle \beta}$ ${\displaystyle 1-p}$${\displaystyle \beta (1-\beta )}$

${\displaystyle C(n)=\sum _{j=1}^{\infty }\beta (1-\beta )^{j-1}(1-p)^{j-1}}$^[要出典]

VR スケジュールの結合係数は次のようになります。

${\displaystyle c_{VR_{n}}={\frac {n}{n+{\frac {(1-b)}{b}}}}}$

記憶の消去度を掛けると次のようになります。

${\displaystyle c_{VR_{n}}={\frac {n}{n+\epsilon {\frac {(1-\beta )}{\beta }}}}}$

次に、結合係数を FR スケジュールの結合係数と同様に活性化制約モデルに挿入して、VR スケジュールでの予測応答率を算出します。

${\displaystyle b={\frac {c_{VR_{n}}}{\delta }}-{\frac {n}{\delta a}}}$

インターバルスケジュールでは、スケジュールフィードバック機能は

${\displaystyle R={\frac {1}{t}}}$

ここで、 は強化子間の最小平均時間です (Killeen、1994)。間隔スケジュールでは、ターゲット応答だけでなく、ターゲットに先行するすべての応答が均等に強化されるため、間隔スケジュールでの結合は比率スケジュールよりも弱くなります。記憶の一部のみが強化されます。応答要件では、最終的なターゲット応答は の強度を受け取る必要があります。ターゲットまたは非ターゲットを問わず、先行するすべての応答は の強化を受け取ります。 ${\displaystyle t}$${\displaystyle \rho}$${\displaystyle \beta}$${\displaystyle 1-\beta}$

固定時間スケジュールは、生物がインセンティブを待つために t 秒間待つだけの最も単純な時間依存スケジュールです。Killeen (1994) は、時間要件を応答要件として再解釈し、1 つのインセンティブから次のインセンティブまでの記憶内容を統合しました。これにより、記憶内容は次のようになります。

いいえ

MN= 電子リンク

0

これは、文脈で引き出されたターゲットと非ターゲットの両方の応答の記憶の飽和度です (Killeen、1994)。この方程式を解くと、固定時間スケジュールの結合係数が得られます。

c=r(1-e-lbt)

ここで、応答軌道におけるターゲット応答の割合です。べき級数に展開すると、次の近似値が得られます。 ${\displaystyle \rho}$

c» rlbt

1ポンド以上

この方程式は、非偶発的な強化スケジュールに深刻な不安定性を予測します。

固定間隔スケジュールでは、強化がこの最終の連続した反応に依存するため、ターゲット反応b=w1の強化が保証されます（Killeen、1994）。この結合は、FR 1スケジュールの結合と同等です。

w1=b=1-el.

結合の残りは、以前の動作の記憶によるものです。FI スケジュールの結合係数は次のとおりです。

c = b + r（1- b -e-lbt）。

可変時間スケジュールは、強化の確率が一定であるという点でランダム比率スケジュールに似ていますが、これらの強化子は応答ではなく時間内に設定されます。ある時間 t' より前に強化が発生しない確率は、その時間の指数関数であり、時間定数 t はスケジュールの平均 IRI です (Killeen、1994)。結合係数を導き出すには、スケジュールが終了していない確率を、記憶の内容によって重み付けして積分する必要があります。

∞

M= 行かない/行かない

0

この式では、t'=n't であり、t は時間の小さな単位です。Killeen (1994) は、最初の指数項は強化分布であり、2 番目の項はメモリにおけるこの分布の重み付けであると説明しています。この積分を解き、結合定数 r を掛けると、VT スケジュールでメモリが満たされる程度がわかります。

c=rlbt

1ポンド以上

これは FT スケジュールと同じ結合係数ですが、VT スケジュールの場合は近似値ではなく正確な解となります。繰り返しになりますが、これらの非偶発スケジュールのフィードバック関数は、応答において深刻な不安定性を予測します。

FI スケジュールと同様に、可変間隔スケジュールでは、ターゲット応答結合 b が保証されます。VT 方程式に b を追加するだけで、次の式が得られます。

∞

M= b+ lò e-n't/te-ln' dn'

1

積分を解いてrを掛けると、VIスケジュールの結合係数が得られます。

c = b + (1-b) rlbt

1ポンド以上

すべてのスケジュールの結合係数が活性化制約モデルに挿入され、予測される全体的な応答率が生成されます。MPR の 3 番目の原則は、応答と強化子の間の結合は、それらの間の時間が長くなるにつれて減少すると述べています (Killeen & Sitomer、2003)。

強化の数学的原理は、インセンティブが行動を刺激する方法、時間が行動を制約する方法、および偶発性が行動を方向付ける方法を説明します。これは、行動の説明プロセスとして連続性と相関性の両方を組み合わせた強化の一般理論です。強化に先立つ多くの反応は強化子と相関関係を持つようになりますが、記憶の中では最終的な反応が最も重視されます。さまざまな状況やさまざまな強化スケジュールで予測される反応パターンを明確にするために、3 つの基本原理に特定のモデルが用意されています。各強化スケジュールの結合係数が導出され、基本方程式に挿入されて、全体的な予測反応率が生成されます。

• Bizo, LA, Kettle, LC & Killeen, PR (2001)。「動物は必ずしもより多くの食物に対してより速く反応するわけではない：逆説的なインセンティブ効果。」動物学習と行動、29、66-78。
• Killeen, PR (1994) 「強化の数学的原理」行動と脳科学、17、105-172。
• Killeen, PR, Hall, SS, Reilly, MP, & Kettle, LC (2002)。「反応強度の主成分の分子分析。」行動実験分析ジャーナル、78、127-160。
• Killeen, PR, Hanson, SJ, & Osborne, SR (1978)。「覚醒：その起源と反応率としての現れ」心理学評論。第85巻第6号。p. 571-81
• キリーン、PR & シトマー、MT ( 2003)。「MPR」行動プロセス、62、49-64