Operant conditioning

オペラント条件づけ（道具的学習とも呼ばれる）は、エドワード・L・ソーンダイク（1874～1949）によって初めて大規模に研究されました。彼は、自作のパズルボックスから脱出しようとする猫の行動を観察しました。^{[ 3 ]}猫は紐を引いたり棒を押したりといった簡単な反応で箱から脱​​出できましたが、最初に閉じ込められたときは、脱出するのに時間がかかりました。試行を繰り返すと、効果のない反応は減り、成功する反応は増えたため、猫はますます早く脱出できるようになりました。^{[ 3 ]}ソーンダイクはこの発見を効果の法則に一般化しました。効果の法則とは、満足のいく結果を伴う行動は繰り返される傾向があり、不快な結果をもたらす行動は繰り返される可能性が低いというものです。つまり、結果によっては行動が強化され、結果によっては行動が弱まるということです。ソーンダイクは、脱出時間と試行回数をプロットすることで、この手順を通して動物の学習曲線を初めて作成しました。^{[ 4 ]}

人間は、ソーンダイクが研究したようなプロセス（現在ではオペラント条件づけと呼ばれている）を通して、多くの単純な行動を学習するようです。つまり、反応は、成功につながる場合は保持され、そうでない場合や嫌悪効果が生じる場合は破棄されます。これは通常、「教師」によって計画されることなく起こりますが、オペラント条件づけは何千年もの間、親が子供を教える際に使用されてきました。^{[ 5 ]}

BF スキナー(1904–1990) はオペラント条件付けの父と呼ばれ、彼の研究はこのテーマに関連して頻繁に引用される。1938 年に出版された著書『生物の行動：実験的分析』^{[ 6 ]}は、オペラント条件付けとその人間や動物の行動への応用に関する彼の生涯にわたる研究の始まりとなった。エルンスト・マッハの考えに倣い、スキナーはソーンダイクが言及した満足感などの観察不可能な精神状態を否定し、観察可能な行動とその同様に観察可能な結果に基づいて分析を構築した。^{[ 7 ]}

スキナーは、古典的条件づけは人間の行動のような複雑なものを説明するには単純すぎると考えていた。彼の見解では、オペラント条件づけは意図的な行動の原因と結果を考察するため、人間の行動をより適切に説明できる。

スキナーは経験的アプローチを実行するために、オペラント条件付けチャンバー、すなわち「スキナーボックス」を発明した。このチャンバーでは、ハトやラットなどの被験体を隔離し、慎重に制御された刺激にさらすことができた。ソーンダイクのパズルボックスとは異なり、この装置では被験体が1つか2つの単純で反復可能な反応をすることができ、そのような反応の頻度がスキナーの主要な行動指標となった。^{[ 8 ]} もう一つの発明である累積記録装置は、これらの反応率を推定できるグラフ記録を作成した。これらの記録は、スキナーとその同僚がさまざまな強化スケジュールが反応率に及ぼす影響を調査するために使用した主要なデータであった。^{[ 9 ]}強化スケジュールは、「明確に定義された規則に従って生物に強化を与えるあらゆる手順」と定義できる。^{[ 10 ]}スケジュールの効果は、今度はスキナーがオペラント条件付けの説明を発展させる基本的な発見となった。彼はまた、人間や動物の行動に関する多くの非公式な観察も参考にした。^{[ 11 ]}

スキナーの著作の多くは、オペラント条件付けを人間の行動に応用することに費やされている。^{[ 12 ]} 1948年に彼は、自身の条件付けの原理に基づいて組織された平和で幸福で生産的なコミュニティの架空の物語である『ウォールデン・ツー』を出版した。 ^{[ 13 ]} 1957年にスキナーは『言語行動』を出版し^{[ 14 ]}、オペラント条件付けの原理を言語に拡張した。言語は、それまで言語学者などによって全く異なる方法で分析されてきた人間の行動の一形態である。スキナーは、言語の本質を捉えるために「要求」や「命名」などの新しい機能的関係を定義したが、新しい原理は導入せず、言語行動を、話し手の聴衆の反応を含む結果によって制御される他の行動と同様に扱った。

オペラント行動は「発せられる」と言われます。つまり、最初は特定の刺激によって引き起こされるわけではありません。では、そもそもなぜオペラント行動が起こるのでしょうか。この問いへの答えは、ダーウィンが「新しい」身体構造の起源について答えたのと同様に、変異と選択です。同様に、個体の行動は、具体的な動作、加える力の量、反応のタイミングなど、刻々と変化します。強化につながる変化は強化され、強化が一貫していれば、行動は安定する傾向があります。しかし、行動の変動性自体も、特定の変数を操作することによって変化させることができます。^{[ 15 ]}

強化と罰は、オペラント行動を修正するための主要な手段です。これらの用語は、行動への影響によって定義されます。「正」と「負」は、それぞれ刺激が加えられたか取り除かれたかを示します。同様に、「強化」と「罰」は、行動の将来の頻度を示します。強化は、将来行動がより頻繁に起こるようにする結果を表し、罰は、行動がより少なく起こるようにする結果を表します。^{[ 16 ]}

結果は全部で4つあります。

1. 正の強化とは、行動（反応）によって望ましい刺激が与えられ、将来その行動の頻度が増加する場合に起こる現象です。 ^{[ 17 ]}例：スキナー箱の中のラットがレバーを押すと餌をもらえる場合、レバーを押す頻度が上がります。レバーを押すことが正の強化を受けたのです。
2. 負の強化（逃避とも呼ばれる）とは、ある行動（反応）の後に嫌悪刺激が取り除かれることで、元の行動の頻度が増加する現象です。例：花火大会の大きな音が怖い子供がいます。ヘッドホンを装着すると、花火の音が聞こえなくなります。次に花火を見たときも、子供はヘッドホンを装着します。ヘッドホンを装着するという行動は、負の強化を受けたと言えます。
3. 正の罰（「条件刺激による罰」とも呼ばれる）とは、ある行動（反応）の後に嫌悪刺激が与えられ、その行動が将来起こりにくくなる場合に生じるものです。例：子供が熱いストーブに触れて手をやけどしました。次にストーブを見たとき、子供は触りませんでした。ストーブに触れたことが正の罰を受けたことになります。
4. 負の罰（ペナルティ）（「条件付き撤回による罰」とも呼ばれる）とは、行動（反応）の後に刺激が除去され、その行動が将来起こりにくくなる場合に生じるものです。例：従業員が昼食を共有冷蔵庫に入れたところ、休憩時間前に盗まれてしまいました。次にその従業員が昼食を職場に持ってきたときは、冷蔵庫に入れませんでした。このように、昼食を冷蔵庫に入れた行為は負の罰を受けたことになります。

• 消去は、以前に強化されていた行動が正または負の強化によって強化されなくなったときに発生する結果戦略です。消去中は、その行動の発生確率が低くなります。消去前に毎回強化が与えられる場合と比較して、強化を得るためには繰り返しの事例が必要になるという学習要因により、時折の強化は行動の消去までの遅延をさらに長くする可能性があります。^{[ 18 ]}

ある研究では、モバイルデバイスからの触覚振動などの触覚フィードバックが二次強化因子（つまり、関連付けによって強化価値を獲得する学習報酬）として機能し、オンライン購入などの消費者の行動を強化する可能性があることが示唆されている。^{[ 19 ]}

オペラント行動は最初は特定の刺激との関連が特定されないまま発現しますが、オペラント条件付けの過程で、行動が強化される際に存在する刺激によって制御されるようになります。このような刺激は「弁別刺激」と呼ばれます。その結果、いわゆる「三項随伴性」が生まれます。つまり、弁別刺激は報酬または罰を生み出す反応のきっかけとなるのです。例：ネズミはライトが点灯した時だけレバーを押すように訓練できます。犬は餌袋のガラガラという音を聞くと台所へ駆けつけます。子供はテーブルの上にキャンディーがあると手を伸ばします。

ほとんどの行動は、個々の反応が一つずつ強化されるという単純な説明では容易には捉えられません。オペラント分析の範囲は、行動連鎖という概念によって拡張されます。行動連鎖とは、上述の3項随伴性によって結び付けられた一連の反応のことです。連鎖は、弁別刺激が後続の行動のきっかけとなるだけでなく、先行する行動を強化することもできるという事実に基づいています。つまり、弁別刺激は「条件付けられた強化子」でもあるのです。例えば、レバーを押すきっかけとなる光は、騒音がある状況下で「振り返る」行動を強化するために使用できます。その結果、「騒音→振り返る→光→レバーを押す→餌」という一連の行動が生まれます。刺激と反応をさらに追加することで、より長い連鎖を構築することも可能です。

回避学習では、行動によって（嫌悪）刺激が終結します。例えば、日光から目を覆うことで、目に強い光が当たるという（嫌悪）刺激が終結します。（これは、前述の負の強化の一例です。）刺激を防ぐことで維持される行動は「回避」と呼ばれ、例えば、外出前にサングラスをかけることが挙げられます。回避行動は、いわゆる「回避のパラドックス」を引き起こします。なぜなら、刺激が発生しないことが、どのように強化因子として機能するのかという疑問が生じるからです。この疑問は、いくつかの回避理論によって説明されています（下記参照）。

実験設定としては、弁別学習と自由操作回避学習の2種類が一般的に用いられる。

オペラント貯蔵とは、特定の方法で強化されたラットが、餌のペレットを取り出す代わりに、餌のペレットを餌皿に蓄積させるという観察結果を指します。この手順では、ペレットを取り出すと必ず1分間の消去期間が設けられ、その間は追加の餌のペレットは入手できませんが、以前に蓄積されたペレットは食べることができました。この発見は、ラットがすぐに小さな餌と、少し遅れて大きな餌のどちらかを選択できる状況では衝動的に行動するという通常の発見と矛盾しているように見えます。強化スケジュールを参照してください。^{[ 26 ]}

Operant conditioning bridges the field of neurobiology and the field of psychology. It's able to do this by demonstrating how exterior behavioral principles correspond with internal processes. While psychologists describe learning in terms of observable behaviors that can be shaped by consequences, neurobiologist share a different sentiment. neurobiologist analyze how these behaviors are underpinned by neural circuits.

Both positive and negative reinforcement has been shown to activate a reward system in the brain. This is able to take place because of the release of dopamine in specific areas such as the nucleus accumbens.^[42]

Tools such as point systems, charts of behavior and token economies are principles that are grounded in operant conditioning. These systems function as conditioned reinforcers, which means that they can be exchanged for primary reinforcers such as a tangible reward.

Positive and negative reinforcement play central roles in the development and maintenance of addiction and drug dependence. An addictive drug is intrinsically rewarding; that is, it functions as a primary positive reinforcer of drug use. The brain's reward system assigns it incentive salience (i.e., it is "wanted" or "desired"),^[43][44][45] so as an addiction develops, deprivation of the drug leads to craving. In addition, stimuli associated with drug use – e.g., the sight of a syringe, and the location of use – become associated with the intense reinforcement induced by the drug.^[43][44][45] These previously neutral stimuli acquire several properties: their appearance can induce craving, and they can become conditioned positive reinforcers of continued use.^[43][44][45] Thus, if an addicted individual encounters one of these drug cues, a craving for the associated drug may reappear. For example, anti-drug agencies previously used posters with images of drug paraphernalia as an attempt to show the dangers of drug use. However, such posters are no longer used because of the effects of incentive salience in causing relapse upon sight of the stimuli illustrated in the posters.

薬物依存者においては、薬物離脱症状中に生じる身体的依存（例：震えや発汗）および／または精神的依存（例：快感消失、落ち着きのなさ、易怒性、不安）の症状を軽減または「逃れる」ために薬物を自己投与すると、負の強化が生じる。^{[ 43 ]}

動物の訓練士やペットの飼い主は、これらの概念が命名され研究されるずっと前からオペラント条件付けの原理と実践を適用しており、動物の訓練は今でもオペラント制御の最も明確で説得力のある例の 1 つを提供しています。この記事で説明されている概念と手順のうち、最も顕著なもののいくつかは次のとおりです。(a) 一次強化子の入手可能性 (例: 犬用のおいしいおやつが入った袋)、(b) 二次強化子の使用 (例: 望ましい反応の直後にクリッカーを鳴らし、おいしいおやつを与える)、(c) 随伴性、強化子 (例: クリッカー) が望ましい行動の後に続き、他のものには続かないようにすること、(d) シェーピング、犬が徐々に高くジャンプするようにすること、(e) 間欠的強化、飽和することなく持続的な行動を誘発するために強化の頻度を徐々に減らすこと、(f) 連鎖、より小さな単位から複雑な行動を徐々に構築すること。^{[ 46 ]}

応用行動分析（ABA）は、 BFスキナーによって創始された学問分野であり、条件付けの原理を社会的に重要な人間の行動の修正に応用するものです。条件付け理論の基本概念、すなわち条件刺激（S ^C）、弁別刺激（S ^d）、反応（R）、強化刺激（強化子の場合はS ^reinまたはS ^r、嫌悪刺激の場合はS ^save）を使用します。^{[ 25 ]}

ABA（応用行動分析）の実践者は、これらの手法、そしてそれらの多くのバリエーションや発展形を、社会的に重要な様々な行動や問題に適用します。多くの場合、実践者はオペラント条件付けの技法を用いて、逸脱行動を建設的で社会的に受け入れられる行動に置き換えることを目指します。 ABAの手法は、自閉症児に対する早期集中行動介入^{[ 47 ]} 、犯罪行動に影響を与える原理の研究、HIV予防^{[ 48 ]} 、天然資源の保全^{[ 49 ]} 、教育^[ 50] 、老年学^{[ 51 ]} 、健康と運動[ ^{52 ]}、産業安全^{[ 53 ]}、言語習得^{[ 54 ]}、ポイ捨て^{[ 55 ]}、医療処置^[ 56] 、子育て^{[ 57 ]} 、心理療法、シートベルトの使用^{[ 58 ]} 、重度の精神障害^{[ 59 ]}、^{スポーツ[ 60 ]}、薬物乱用、恐怖症、小児の摂食障害、^動物園の管理と動物の世話^{[ 61 ]など、}さまざまなことに効果的に応用されてきました。これらの応用例のいくつかは^、 以下に説明します。

適切な子どもの行動に対して肯定的な強化を与えることは、親の養育訓練の主要な焦点です。通常、親は、社会的報酬（褒め言葉、笑顔、抱擁など）と具体的な報酬（子どもと共同で作成したインセンティブシステムの一部として、シールやより大きな報酬へのポイントなど）を通じて適切な行動に報酬を与えることを学びます。^{[ 62 ]}さらに、親は、最初の焦点として単純な行動を選択し、子どもがより大きな目標に到達するために達成する小さなステップごとに報酬を与えることを学びます（この概念は「逐次近似」と呼ばれます）。^{[ 62 ] [ 63 ]}

心理学者と経済学者の両方が、オペラント条件付けの概念と研究結果を市場における人間の行動に適用することに関心を持つようになった。その一例として、購入される商品の量によって指標化される消費者需要の分析が挙げられる。経済学では、価格が消費に及ぼす影響の度合いを「需要の価格弾力性」と呼ぶ。特定の商品の弾力性は他の商品よりも高い。例えば、特定の食品の価格の変化は購入量に大きな影響を与える可能性があるが、ガソリンやその他の日用品は価格の変化による影響が少ない可能性がある。オペラント分析の観点から、このような影響は消費者の動機と強化子としての商品の相対的価値という観点から解釈できる。^{[ 64 ]}

この記事で既に述べたように、変動比率スケジュールでは、予測不可能な数の反応の後に強化が与えられます。このスケジュールは通常、迅速かつ持続的な反応を生み出します。スロットマシンは変動比率スケジュールでペイオフを行い、ギャンブラーにまさにこのような持続的なレバー引き行動を引き起こします。スロットマシンやその他のギャンブル形態における変動比率ペイオフは、ギャンブル依存症の根本的な要因としてしばしば挙げられています。^{[ 65 ]}

人間は殺生に対して生来の抵抗感を持っており、たとえ命を救うためであっても、同種の仲間に対して直接的かつ攻撃的な行動をとることをためらう。この殺生への抵抗感は、軍事戦争の歴史を通じて歩兵の効率性を著しく低下させてきた。^{[ 66 ]}

この現象は、SLAマーシャル（准将で軍事史家）が第二次世界大戦の歩兵を戦闘直後にインタビュー調査するまで理解されていなかった。マーシャルのよく知られた物議を醸した著書『Men Against Fire; The Problem of Battle Command in Future Wars』では、戦闘で殺傷目的でライフルを発砲した兵士はわずか15%だったことが明らかになった。^{[ 67 ]}

1946年にマーシャルの研究が米陸軍に受け入れられた後、米陸軍の人事研究室はオペラント条件付け法に似た新しい訓練プロトコルの実施を開始した。その後、このような方法を適用した結果、殺傷能力のある兵士の割合は朝鮮戦争で約50%、ベトナム戦争で90%以上に増加した。^{[ 66 ]} 訓練の革命には、従来のポップアップ射撃場を、命中すると崩れる3次元の人型ポップアップ標的に置き換えることが含まれていた。これにより即座にフィードバックが得られ、兵士の行動に対する正の強化として機能した。^{[ 68 ]}軍事訓練方法のその他の改善には、時間制限付き射撃コース、より現実的な訓練、高反復、上官からの賞賛、射撃の腕前に対する報酬、およびグループによる表彰が含まれる。負の強化には、仲間の責任やコースの再受講の要求が含まれる。

現代の軍事訓練は、主にパブロフの古典的条件付けとスキナーのオペラント条件付け（どちらも行動主義の一形態）を用いて、実際の戦闘を綿密にシミュレートすることで、戦闘圧力に対する中脳の反応を条件付ける。^{[ 66 ]}

現代の射撃訓練は行動主義の優れた例であり、長年にわたり、ウェストポイントにある米国陸軍士官学校の全士官候補生に教えられる入門心理学コースで、オペラント条件付けの古典的な例として使用されてきました。1980年代にウェストポイントを訪れたBFスキナーは、現代の軍事射撃訓練がオペラント条件付けのほぼ完璧な応用であると指摘しました。^{[ 68 ]}

デイブ・グロスマン中佐は、オペラント条件付けと米軍の訓練について次のように述べています。

誰も意図的にオペラント条件付けや行動修正技術を用いて兵士を訓練しようとしたわけではない可能性は十分にあるが…歴史家であり職業軍人でもある心理学者の立場からすると、まさにそれが達成されたことはますます明らかになってきている。^{[ 66 ]}

ナッジ理論（またはナッジ）とは、行動科学、政治理論、経済学における概念であり、強制されない服従を促すための間接的な提案は、直接的な指示、法律、強制よりも効果的ではないにしても、少なくとも同等の効果で、集団や個人の動機、インセンティブ、意思決定に影響を与えることができると主張するものである。

行動強化の手段としての賞賛の概念は、BF スキナーのオペラント条件付けモデルに根ざしています。この観点から、賞賛は正の強化の手段として捉えられてきました。つまり、観察された行動を条件的に賞賛することによって、その行動が発生する可能性が高くなります。^{[ 69 ]} 何百もの研究が、賞賛が肯定的な行動を促進するのに効果的であることを実証しており、特に教師や親が子供に賞賛を用いることで行動や学業成績の向上を促進するという研究^{[ 70 ] [ 71 ]}だけでなく、仕事のパフォーマンスに関する研究^{[ 72 ]}でも実証されています。賞賛はまた、代理強化によって、賞賛されていない周囲の人々（賞賛を受けた人のクラスメートなど）の肯定的な行動を強化することも実証されています。^{[ 73 ]}賞賛は、その形式、内容、および伝達方法によって、行動を変えるのに効果的である場合もあれば、そうでない場合もあります。褒め言葉が肯定的な行動変化をもたらすためには、肯定的な行動に依存していること（つまり、目標とする行動が実行された後にのみ与えられること）、強化すべき行動の詳細を明確にすること、そして誠実かつ信頼できる形で伝えられることが不可欠である。^{[ 74 ]}

褒め言葉が肯定的な強化戦略として効果的であることを認識して、数多くの行動療法や認知行動療法の介入では、プロトコルに褒め言葉の使用が組み込まれています。^{[ 75 ] [ 76 ]}褒め言葉の戦略的な使用は、教室管理^{[ 75 ]}と子育てトレーニング介入^{[ 71 ]}の両方においてエビデンスに基づいた実践として認識されていますが、介入研究では、褒め言葉は戦略的な注意や行動報酬などの戦略を含む、より大きなカテゴリーの肯定的な強化に包含されることがよくあります。

認知行動療法とオペラント行動療法が様々な疾患に及ぼす影響について、数多くの研究が行われてきました。患者が行動、態度、感情を変える認知行動療法を習得すると、痛みの程度が軽減しました。これらの研究結果は、認知が痛みの知覚に影響を与えることを示しており、その結果は認知行動療法（CBT）とオペラント行動療法（OBT）の一般的な有効性を説明するものでした。

ほとんどのビデオゲームは強迫ループを中心に設計されており、変動レートスケジュールを通じて一種の正の強化を追加することで、プレイヤーがプレイし続けるようにしています。これはビデオゲーム中毒の病理につながる可能性があります。^{[ 77 ]}

2010年代のビデオゲームの収益化のトレンドの一環として、一部のゲームでは報酬として、または現実のお金で購入できるアイテムとしてルートボックスが提供されました。ボックスには、ゲーム内アイテムのランダムな選択が含まれています。この方法は、変動レートスケジュールに従うため、スロットマシンやその他のギャンブル機器が報酬を分配する方法と同じ方法に関連付けられています。ルートボックスはギャンブルの一種であるという一般的な認識がありますが、この行為をギャンブルとして分類しているのはごく一部の国だけです。しかし、これらのアイテムをオンラインギャンブルの仮想通貨として使用したり、現実のお金と交換したりする方法により、スキンギャンブル市場が生まれ、法的評価を受けています。^{[ 78 ]}

医療費が莫大な額になる理由として挙げられる多くの理由の一つに、防御医療の実践がある。プラブーはコールの記事をレビューし、2つの脳神経外科医グループの反応が典型的なオペラント行動であることを論じている。一方のグループは医療訴訟に制限のある州で診療を行い、もう一方のグループは制限のない州で診療を行っている。脳神経外科医グループは匿名で診療パターンについて質問された。医師たちは、医療訴訟に制限のない州で診療を行っているグループからの否定的なフィードバック（訴訟への恐怖）に応じて診療方法を変更した。^{[ 79 ]}