システム障害

アポロ13号調査委員会は報告書の第5章の序文で次のように述べている。[強調追加] ^{[ 9 ]}

…この事故は統計的な意味での偶然の故障によるものではなく、むしろいくつかの異常なミスが重なり合った結果であり、さらに設計上の欠陥や許容範囲の狭さが原因であったことが判明した…。

• （g）：飛行前にこれらの手順を検討した際、NASA、ER、およびビーチクラフトの担当者は、過熱による損傷の可能性を認識していなかった。これらの担当者の多くは、ヒーターの長時間作動について知らなかった。いずれにせよ、適切なサーモスタットスイッチがあれば、燃料タンクを保護できたはずである。

ペローはスリーマイル島事故を正常なものとみなした：^{[ 10 ]}

それは、原子力発電所やその他の高リスクで複雑かつ相互依存性の高い運転機械システムにおける他の事故と類似していた。いずれの事故も、経営陣や運転員の無能さ、あるいは政府の規制の不備によって引き起こされたものではなかったが、これらの要因は存在し、予期されるべきであった。私は、複雑なシステムにおいては、計画では回避できない、また運転員がすぐに理解できない複数の不具合が必ず発生するため、今回の事故は正常なものであったと主張した。

1996年5月11日、マイアミ国際空港からハーツフィールド・ジャクソン・アトランタ空港へ向かうバリュージェット航空の定期便バリュージェット592便が、不適切に保管・表示された危険物貨物が原因で貨物室で火災が発生し、離陸後約10分で墜落した。乗客乗員110名全員が死亡した。同航空会社は墜落事故以前から安全記録が悪かった。この事故により、危険物の適切な取り扱いに関する従業員の訓練不足など、同航空会社の経営上の問題が広く注目されるようになった。MD-80型機の整備マニュアルには必要な手順が記載されており、ある意味では「正しかった」。しかし、その分量が膨大だったため、役に立たず、情報も得られなかった。^{[ 4 ]}

2014年のモノグラフで、経済学者のアラン・ブリンダーは、複雑な金融商品によって潜在的な投資家が価格が妥当かどうかを判断するのが難しくなると述べている。「教訓その6：過度の複雑さは競争を阻害するだけでなく、危険でもある」と題されたセクションで、彼はさらに次のように述べている。「しかし、より大きな危険は不透明性から生じる可能性がある。投資家が購入する証券に内在するリスク（例：CDO-Squaredのメザニン・トランシェ、合成CDOのCDSなど）を理解していない場合、大きな間違いを犯す可能性がある。特に格付け機関がトリプルA、つまりおばあちゃんでも安心して買えるほど安全だと言っている場合はなおさらだ。暴落が起こると、損失は投資家が想像していたよりもはるかに大きくなる可能性がある。誰もこれらの証券の本当の価値を知らないため、市場は枯渇するかもしれない。パニックが起こるかもしれない。したがって、複雑さそのものがリスクの源泉となる。」^{[ 11 ]} 

1980年代以降、航空機の安全性は大幅に向上したが、自動飛行システムが複雑化しすぎて、過剰な複雑化によるリスクが増大し、操縦士が操作しなければならないシステムも理解不能になっているという懸念がある。例えば、航空業界の専門家は、こうしたシステムが勝手に切り替わったり作動したりすることがあり、操縦席の乗務員は自動作動の理由を必ずしも理解していないため、困惑すると指摘している。ランゲヴィーシェは、工業エンジニアのナディーン・サーターが「自動化のサプライズ」について書いていることを引用している。これは、パイロットが十分に理解していないシステムモードや、システムが自動的に切り替わるモードに関連していることが多い。実際、今日の操縦席でよく聞かれる質問の1つは、「今、何をしているの？」である。これに対し、ランゲヴィーシェは航空安全性が5倍に向上したことを挙げ、「過去の華やかさに戻ることを合理的に主張できる人はいない」と述べている。^{[ 12 ]}

「ヒューマンファクター」と題された記事の中で、ランゲヴィーシェは2009年に大西洋上空で発生したエールフランス447便の墜落事故について論じている。彼は、自動化されたコックピットシステムへの移行が始まった1980年代以降、安全性が5倍向上したと指摘している。ランゲヴィーシェは、「コックピットというプライベートな空間で、人々の目に触れることなく、パイロットはシステム管理者というありふれた役割に追いやられてしまった」と書いている。彼は、エンジニアのアール・ウィーナーの言葉を引用している。ウィーナーは、ウィンザー公爵夫人に帰せられる「金持ちすぎることも痩せすぎることもない」というユーモラスな発言を取り上げ、「デジタル飛行誘導システムに入力する内容について、用心しすぎることもない」と付け加えている。ウィーナーは、自動化の効果は、一般的に作業負荷が軽いときは作業負荷を軽減するが、重いときは作業負荷を増加させることだと述べている。

ボーイングのエンジニア、デルマー・ファデン氏は、フライトマネジメントシステムに機能が追加されると、認証要件のために削除するのが非常に高額になると述べた。しかし、使用されなければ、ある意味では人知れず深みに潜んでいる可能性がある。^{[ 12 ]}

安全手順の実施における人的要因は、安全システムの全体的な有効性に影響を与えます。冗長システムでは保守上の問題がよく発生します。保守担当者は冗長システムをアクティブ状態に復旧できない場合があります。管理者はバックアップシステムを修理しなくてもシステムが稼働し続けることを知っているため、保守担当者は過重労働になったり、予算削減のために保守が延期されたりすることがあります。^{[ 3 ]}手順のステップは、正式な安全規則から、実際には変更および適応されることがあり、多くの場合、適切かつ合理的と思われる方法で行われ、時間的制約や作業要求を満たすために不可欠な場合があります。2004 年のSafety Science の記事で、国立科学財団と NASAから部分的に支援を受けた研究について報告したナンシー・レベソンは次のように書いています。 ^{[ 13 ]}

しかし、オペレーターは効率と生産性を向上させ、時間的プレッシャーに対処するために、指示や手順書に厳密に従うことはほとんどありません 。原子力発電所のような非常に制約が多くリスクの高い環境でさえ、指示の変更が繰り返し見られ、オペレーターが業務を遂行しなければならない実際の作業負荷と時間的制約を考慮すると、規則違反は極めて合理的であるように思われます。このような状況では、規範的な手順からの逸脱とみなされるエラーと、合理的で通常使用される効果的な手順からの逸脱とみなされるエラーとの間に、根本的な矛盾が生じます。

• チャールズ・ペロー（1984）。ノーマル・アクシデンツ。ISBN 978-0-691-00412-9。OL 4468929W。ウィキデータQ114963622。  
• チャールズ・ペロー（1999）。『ノーマル・アクシデント ：ハイリスク・テクノロジーとの共存：Y2K問題に関する新た な後書きと追記』プリンストン大学出版局。ISBN 0-691-00412-9. Wikidata Q114963670 .