自動化バイアス

自動化バイアスとは、人間が自動化された意思決定システムからの提案を好み、自動化なしで行われた矛盾する情報は、たとえそれが正しいとしても無視する傾向のことである。^[1]自動化バイアスは、人間同士の相互作用におけるバイアスを発見した社会心理学の文献に由来しており、人間が下した決定に対して、中立的な対象よりも肯定的な評価を与えることが示されている。^[2]同じタイプのポジティブバイアスが人間と自動化の相互作用でも発見されており、^[3]自動化された決定は中立的よりも肯定的に評価される。^[4]これは、集中治療室、原子力発電所、航空機のコックピットに、ヒューマンエラーの可能性をほとんど排除するためにコンピューター化されたシステムモニターと意思決定支援がますます統合されるにつれて、意思決定における大きな問題となっている。自動化バイアスのエラーは、意思決定がコンピューターやその他の自動化支援に依存し、人間が観察者の役割を担っているが意思決定ができ​​る場合に発生する傾向がある。自動化バイアスの例は、自動操縦で飛行機を飛ばすなどの緊急の問題から、スペルチェックプログラムの使用などの日常的な問題まで多岐にわたる。^[5]

オペレータのシステムに対する信頼は、システムの使用、誤用、非使用、乱用など、システムとのさまざまな相互作用につながる可能性があります。^{[6] [曖昧]}

自動化された補助に過度に依存する傾向は、「自動化の誤用」として知られています。^{[6] [7]}自動化の誤用は、ユーザーが自動化システムを適切に監視しなかった場合、または自動化システムが使用されるべきでないときに使用された場合などに見られます。これは、ユーザーが自動化をオフにするか無視することによって自動化を適切に利用しない、非使用とは対照的です。誤用と非使用の両方が問題になる可能性がありますが、自動化バイアスは、システムの能力を過度に信頼するか、ヒューリスティックの使用をデフォルトにすることによる自動化の誤用に直接関係しています。誤用は、自動化システムの監視不足や自動化の提案への盲目的な同意につながる可能性があり、それぞれ省略エラーと実行エラーの2種類のエラーに分類されます。^{[8] [9] [6]}

自動化の使用と非使用は、情報処理の各段階、すなわち情報取得、情報分析、意思決定と行動選択、行動実行にも影響を与える可能性がある。^[10]

たとえば、情報処理の最初のステップである情報取得は、ユーザーが感覚を通じて入力を登録するプロセスです。^[10]自動化されたエンジンゲージは、エンジンのパフォーマンスの変化を強調表示するなどの単純なインターフェイス機能を通じてユーザーの情報取得を支援し、ユーザーの選択的な注意を向けることができます。 航空機に起因する問題に直面した場合、パイロットは航空機のエンジンゲージを過度に信頼し、エンジンに関連しない他の可能性のある故障を見失う傾向があります。 この態度は、自動化に対する自己満足と誤用の一種です。 ただし、パイロットがエンジンゲージを解釈し、それに応じて航空機を操作することに時間を費やしても、飛行中の乱気流が変化していないことに気付いた場合、パイロットはエンジンゲージによって伝えられる将来のエラーの推奨事項を無視する傾向があります。これは、自動化に対する自己満足の一種であり、使用されなくなることにつながります。

自動化バイアスは、ユーザーが他の情報源を考慮せずに自動化された指示に従った場合に発生するコミッションエラーの形をとることがあります。逆に、省略エラーは、自動化されたデバイスが問題を検出または表示できず、ユーザーがシステムを適切に監視していないために気付かない場合に発生します。^[11]

省略エラーは認知的警戒心の低下から生じるのに対し、作為エラーは情報を考慮に入れないことと自動化された補助の信頼性に対する過度の信頼の組み合わせから生じることが示されています。^[5]作為エラーが発生する理由は3つあります。(1) 自動化された補助から注意をあからさまに逸らすこと、(2) 補助への注意力の低下、(3) 補助の推奨に反する情報を積極的に軽視すること。^[12]省略エラーは、人間の意思決定者が警戒心の低さやシステムへの過度の信頼のために自動化の失敗に気付かなかった場合に発生します。^[5]たとえば、スペルチェックプログラムが誤って単語をスペルミスとしてマークし、別の単語を提案することは作為エラーであり、スペルチェックプログラムがスペルミスのある単語に気付かない場合は省略エラーです。このような場合、ユーザーが辞書を参照せずに代替単語を受け入れたり、スペルミスに気付かず、単語を確認せずにすべての単語が正しいと想定したりすることで、自動化バイアスが観察される可能性があります。

自動化バイアスとそれに関連する問題の軽減に焦点を当てたトレーニングは、コミッションエラーの発生率を下げる効果があるが、省略エラーの発生率は低下しないことが示されています。^[5]

ある情報源が述べているように、自動補助装置の存在は、「意思決定者が他の診断情報を探すための認知的努力をしたり、利用可能なすべての情報を認知的に複雑な方法で処理したりする可能性を低下させる」。また、自動補助装置によって特定の行動を取るように促された後、ユーザーが状況の評価を急いで結論付ける可能性も高くなります。^[7]

ある情報源によると、自動化バイアスにつながる主な要因は3つある。第一に、人間は意思決定に最も認知度の低いアプローチを選択する傾向があり、これは認知的守銭奴仮説と呼ばれている。第二に、人間は自動化された補助装置が自分よりも優れた分析能力を持っていると考える傾向がある。第三に、人間は他の人や自動化された補助装置とタスクを共有するときに、自分の労力を減らす傾向がある。^[12]

自動化への過度の依存、ひいては自動化バイアスにつながるその他の要因としては、タスクの経験不足（ただし、経験の浅いユーザーは自動化された意思決定支援システムから最も恩恵を受ける傾向がある）、自分の能力に対する自信の欠如、すぐに入手できる代替情報の欠如、複雑なタスクや高い作業負荷にかかる時間と労力を節約したいという願望などが挙げられます。^{[13] [14] [15] [8]}自分の意思決定能力に自信を持っている人は外部の自動化サポートにあまり依存しない傾向があるのに対し、意思決定支援システム（DSS）への信頼が高い人はそれに依存する傾向があることが示されています。^[13]

アメリカ医療情報学会誌に掲載されたある研究では、画面上のアドバイスの位置と目立つ度合いが自動化バイアスの可能性に影響を及ぼし、目立つように表示されたアドバイスは、正しいかどうかにかかわらず従われる可能性が高くなることが判明しました。しかし、別の研究ではこの要因の重要性が軽視されているようでした。^[13]別の研究によると、画面上の詳細情報が多いほど、ユーザーは「保守的」ではなくなり、自動化バイアスの可能性が高まります。^[13]ある研究では、個人のパフォーマンスや決定の正確さに責任を持たせることで、自動化バイアスが軽減されることが示されました。^[5]

リンダ・スキトカによるある研究では、「自動化された意思決定支援が利用可能になることで、認知的努力が最も少ない道を進むという人間の一般的な傾向が促進されることがある」と述べられている。^[5]

ある研究では、ユーザーが意思決定支援システムで採用されている推論プロセスを認識すると、それに応じて依存度を調整し、自動化バイアスを軽減する可能性が高くなることも明らかになりました。^[13]

個人ではなくチームで仕事を遂行しても、必ずしも自動化バイアスがなくなるわけではありません。^{[16] [11]}ある研究では、自動化されたデバイスがシステムの不規則性を検出できなかった場合、チームは単独で行動する人よりもそれらの不規則性に対応することに成功しなかったことが示されています。^[5]

航空における自動化バイアスに焦点を当てた訓練は、訓練生パイロットの省略エラーを減らすことに成功しました。^{[16] [11]}

自動化の失敗はオペレーターの信頼の低下を招き、その後、信頼はゆっくりと回復することがわかっています。自動化の最初の失敗後の信頼の低下は、最初の失敗の影響として説明されています。^[12]同様に、自動化された補助が時間の経過とともに非常に信頼できることが判明した場合、その結果、自動化バイアスのレベルが高まる可能性があります。これは「学習された不注意」と呼ばれます。^[12]

システムの信頼性情報がユーザーに提供される場合、その情報自体が自動化バイアスの要因となる可能性がある。^[12]

研究によると、個人の認知能力に対する外部からの圧力が大きければ大きいほど、外部からの支援に頼る可能性が高くなることが分かっています。^[13]

自動化バイアスは多くの研究の対象となっているが、自動化バイアスは依然として明確に定義されておらず、自動化バイアスに関連する事件の報告は体系的ではないという不満が依然としてある。^{[13] [8]}

さまざまな自動化バイアス研究のレビューでは、自動化された補助が使用されるさまざまなタイプのタスクと、自動化された補助が果たす機能が分類されています。自動化された補助が使用されるタスクは、監視タスク、診断タスク、または治療タスクに分類されています。自動化された支援の種類は、重要な変更を追跡してユーザーに警告する警告自動化、診断または推奨事項を提供する意思決定支援自動化、または自動化された補助が特定のタスクを実行する実装自動化としてリストされています。^[8]

自動化バイアスの概念は、自動化によって引き起こされた自己満足（より簡単には自動化自己満足とも呼ばれる）と重複していると考えられています。自動化バイアスと同様に、自動化の誤用の結果であり、注意の問題を伴います。自動化バイアスには意思決定支援システムを信頼する傾向が含まれますが、自動化自己満足には、自動化の出力が信頼できると見なされるため、通常、その出力に対する注意と監視が不十分なことが含まれます。^[13]「自己満足と自動化バイアスの概念は、あたかも独立しているかのように別々に議論されてきましたが、いくつかの共通点があり、同じ種類の自動化の誤用の異なる側面を反映していることを示唆しています」とある専門家は書いています。実際、自己満足と自動化バイアスの概念を 1 つの「統合概念」に統合することが提案されています。なぜなら、これら 2 つの概念は「重複する自動化によって引き起こされた現象の異なる発現を表している可能性がある」ため、また「自動化によって引き起こされた自己満足と自動化バイアスは、基礎となるプロセスに関してかなりの重複を示す密接に関連した理論的概念を表している」ためです。^[12]

自動化に対する自己満足は、「手動制御と比較して、自動化ではシステムの不具合の検出が劣る」と定義されています。NASAの 航空安全報告システム(ASRS) では、自己満足を「システム状態が良好であるという不当な仮定に基づく不注意につながる自己満足」と定義しています。いくつかの研究によると、自己満足は、オペレーターが手動と自動化の両方のタスクに同時に従事しているときに最も頻繁に発生することが示されています。次に、自動化システムの信頼性に関するオペレーターの認識が、オペレーターがシステムと対話する方法に影響を与える可能性があります。Endsley (2017) は、システムの信頼性が高いと、ユーザーが監視システムから離れ、監視エラーが増加し、状況認識が低下し、パフォーマンスの制限を超えた場合にオペレーターがシステムを再び制御する能力が妨げられる可能性があると述べています。^[17]この自己満足は、自動化の信頼性が一定ではなく時間の経過とともに変化すると大幅に減少しますが、経験と実践では減少しません。熟練者と非熟練者の両方の参加者は、自動化バイアスと自動化自己満足を示す可能性があります。これらの問題はどちらも、トレーニングで簡単に克服できるものではありません。^[12]

「自動化への油断」という用語は、パイロット、航空管制官、またはその他の作業員が、実際には事故が起こりそうなのに、すべてが順調であると想定してシステムを十分に確認しなかった航空事故やインシデントに関連して最初に使用されました。自動化に関連しているかどうかにかかわらず、オペレーターの油断は、長い間、航空事故の主な要因として認識されてきました。^[12]

そのため、信頼性の認識は一般に、自動化の皮肉の一種につながる可能性があり、自動化が進むと認知作業負荷は減少するが、監視エラーの機会は増加する。対照的に、自動化が低いと作業負荷は増加するが、監視エラーの機会は減少する。^[18]たとえば、パイロットが悪天候の中を飛行しているとき、継続的な雷鳴のために航空管制官（ATC）から送信される情報を理解できないとします。ATCから送信される情報を理解するためにどれだけの努力が割り当てられていても、パイロットのパフォーマンスはタスクに必要な情報源によって制限されます。したがって、パイロットは飛行経路情報を理解するためにコックピット内の自動計器に頼らなければなりません。パイロットが自動計器の信頼性が高いと認識した場合、ATCと自動計器を理解するために必要な労力は減少する可能性があります。さらに、自動計器の信頼性が高いと認識された場合、パイロットはそれらの計器を無視して、ATCから送信される情報を解読するために精神的リソースを費やす可能性があります。そうすることで、パイロットは自己満足的な監視者となり、自動計器から伝えられる重要な情報を見逃すリスクを負うことになります。しかし、パイロットが自動計器を信頼できないと認識した場合、パイロットはATCと自動計器からの情報を同時に解釈する必要があります。これにより、自動化が実際には信頼できる場合にオペレーターが不必要な認知リソースを費やしている可能性があるシナリオが生まれますが、気象計器に潜在的なエラーが発生した場合にそれを特定する可能性も高くなります。パイロットの信頼性の認識を調整するには、自動化は、オペレーターが監視タスクに従事し続けることを保証しながら、作業負荷を適切なレベルに維持するように設計する必要があります。システムの信頼性が変化する可能性がある場合、オペレーターが監視から離脱する可能性は、一貫した信頼性を持つシステムと比較して低くなります（Parasuraman、1993）。^[19]

ある程度、ユーザーの自己満足は自動化のメリットを相殺し、自動化システムの信頼性レベルが一定のレベルを下回ると、自動化はもはや純資産ではなくなります。2007 年のある研究では、この自動化は信頼性レベルが約 70% に達したときに発生することが示唆されています。他の研究では、信頼性レベルが 70% 未満の自動化は、生の情報源にアクセスできる人にとっては有用であり、自動化の出力と組み合わせることでパフォーマンスを向上させることができることがわかっています。^[12]

GPS による死亡事故は、不正確な GPS の指示に従ったことが原因で人が死亡する事故であり、自動化に対する怠慢のもう一つの例です。

自動化バイアスは多くの研究分野で研究されてきました。^{[13]特に航空、}医療、プロセス制御、軍事 指揮統制業務においては大きな懸念事項となる可能性があります。 ^[12]

当初、自動化バイアスに関する議論は主に航空業界に集中していた。自動化された補助装置はコックピットでの役割が増大しており、最も燃料効率の良いルートの決定、ナビゲーション、システム障害の検出と診断などの飛行タスクの制御においてますます重要な役割を果たしている。しかし、これらの補助装置の使用は、人間の情報探索と処理に対する注意力と警戒心の低下につながる可能性がある。場合によっては、人間は自分のスキルよりも、フライトコンピューターが提供する誤った情報に信頼を置く可能性がある。^[7]

航空関連の自動化バイアスの重要な要因は、パイロットが自動化された補助装置によって実行されるタスクに対して責任があると認識している程度です。パイロットに関するある研究では、コックピットに2人目の乗務員がいることは自動化バイアスに影響を与えないことが示されました。1994年の研究では、自動化レベル（LOA）の低レベルと高レベルがパイロットのパフォーマンスに与える影響を比較し、高レベルのパイロットは飛行決定について自主的に考える時間が少ないという結論が出ました。^[12]

別の研究では、エンジンを停止するよう指示する誤った自動警告を与えられたパイロット全員が、インタビューでそのような警告にはエンジンを停止して対応せず、代わりにアイドリングにパワーを下げると主張したにもかかわらず、エンジンを停止しました。1998年の研究では、約440時間の飛行経験を持つパイロットは、非パイロットよりも自動化の失敗をより多く検出しましたが、両方のグループとも自己満足の影響を示しました。コックピット自動化システムであるエンジン表示および乗員警告システム（EICAS）を使用するパイロットに関する2001年の研究では、自己満足の証拠が示されました。パイロットは、タスクを手動で実行する場合よりもシステムを使用したときにエンジンの故障をより少なく検出しました。^[12]

2005 年の研究では、経験豊富な航空管制官が、自律的に分離する航空機間の衝突の検出を含むATC (フリーフライト) シナリオの高精度シミュレーションを使用しました。彼らは、数分前に潜在的な衝突を特定する自動デバイスにアクセスできました。シミュレーション プロセスの終わり近くにデバイスが故障したとき、手動で状況に対処したときよりも、衝突を検出した管制官の数がかなり少なくなりました。他の研究でも同様の結果が得られています。^[12]

航空業界における自動化偏向に関する 2 つの研究では、コミッション エラーの率がオミッション エラーの率よりも高いことがわかったが、別の航空業界での研究では、オミッション レートが 55%、コミッション レートが 0% であることがわかった。^[13]自動化関連のオミッション エラーは、巡航フェーズで特によく見られる。チャイナ エアラインの飛行機が 1 つのエンジンのパワーを失ったとき、自動操縦装置は左翼を下げることでこの問題を修正しようとしたが、この動作により乗務員から問題が隠された。自動操縦装置が解除されると、飛行機は右にロールして急降下し、大きな損傷が発生した。1983 年に大韓航空の 747 がソ連領空で撃墜されたのは、韓国の乗務員が「不適切に設定された自動化に依存し、手動で進捗状況を確認しなかった」ためである。^[7]

臨床意思決定支援システム(CDSS) は、臨床意思決定を支援するために設計されています。このシステムには、この点で大きな改善をもたらし、患者の転帰を改善する可能性があります。しかし、CDSS は適切に使用すれば全体的なパフォーマンスの向上をもたらしますが、自動化バイアスのために認識されないエラーも引き起こします。1 つの危険性は、これらのシステムから誤ったアドバイスが与えられ、ユーザーが自分で下した正しい決定を変更してしまう可能性があることです。医療分野における自動化バイアスの潜在的な結果のいくつかは非常に深刻な性質を持っているため、臨床現場でこの問題が発生した場合は特に注意が必要です。^[13]

臨床現場における自動化バイアスは、CDSS を全体として逆効果にする大きな問題となる場合もあれば、メリットが損害を上回る小さな問題となる場合もあります。ある研究では、自動化バイアスは高齢ユーザーでより多く見られることが分かりましたが、これは年齢ではなく経験の結果である可能性があると指摘されています。確かに、CDSS に慣れると、脱感作や慣れの効果につながることが研究で示されています。自動化バイアスは特定のタスクに不慣れな人に多く見られますが、CDSS を使用すると、経験の浅いユーザーが最もパフォーマンスが向上します。ある研究では、CDSS の使用により、臨床医の回答が 29% から 50% に 21% 改善され、CDSS 以外の正しい回答の 7% が誤って変更されました。^[13]

2005年の研究では、プライマリケア医がPubMed、Medline、Googleなどの電子情報源を使用した場合、正答が「小～中程度」増加したが、医師がそれらの情報源の使用によって誤解し、正しい回答を誤った回答に変更した例も同様に少数であったことが判明した。^[12]

2004年と2008年に行われた乳がんの診断における自動補助の効果に関する研究では、省略エラーを含む自動化バイアスの明確な証拠が見つかりました。自動補助なしで診断された症例の46%でがんが発見されましたが、自動補助でがんを特定できなかった症例ではわずか21%で発見されました。^[12]

自動化バイアスは、軍事指揮統制作戦におけるインテリジェント意思決定支援システムの使用において重要な要素となり得る。2004年のある研究では、自動化バイアスの影響がイラク戦争中の友軍誤射による殺害を含む多くの致命的な軍事決定の一因となっていることが判明した。研究者たちは、この分野の意思決定支援システムの適切な自動化レベルを決定しようと努めてきた。^[12]

人間がシステムを監視するか、代替ドライバーとして行動するだけでよい自動運転システムでは、自動化への慢心も課題となる。これは、例えば、 UBERの試験車両と歩行者エレイン・ヘルツバーグの死亡事故に関する国家運輸安全委員会の報告書で議論されている。^[20]

自動化バイアスは、自動化システムを再設計して、表示の目立ち度を下げたり、情報の複雑さを減らしたり、支援を指示情報ではなく支援情報として提示したりすることで軽減できます。^[13]意図的なエラーを導入する自動化システムについてユーザーをトレーニングすると、エラーが発生する可能性があることを単に伝えるよりも自動化バイアスを効果的に減らすことができます。 ^[21]自動化された支援を過度に確認したり質問したりすると、時間的プレッシャーとタスクの複雑さが増し、メリットが減る可能性があるため、一部の自動意思決定支援システムでは、マイナスの影響を排除するのではなく、プラスの影響とマイナスの影響のバランスをとっています。^[14]

• アルゴリズムの偏り
• オートメーション
• インテリジェントな自動化
• 認知バイアスのリスト
• ループ外パフォーマンスの問題

• Goddard, K ; Roudsari, A; Wyatt, JC (2011)。「自動化バイアス - 臨床意思決定支援システムの使用における隠れた問題」。国際医療情報学展望。医療技術と情報学の研究。第 164 巻。pp . 17–22。ISBN 978-1-60750-708-6. PMID  21335682。

• 明晰に考えられない175の理由