システム事故

システム事故（または通常の事故）とは、複雑なシステムにおける「複数の障害の予期せぬ相互作用」です。^[1]この複雑さは、技術または人間の組織のいずれかに起因しますが、その両方である場合がよくあります。システム事故は、後から見れば簡単にわかりますが、前もって予測することは非常に困難です。なぜなら、行動経路が多すぎて、すべてを真剣に検討することができないからです。チャールズ・ペローは、 1980年代半ばにこの概念を初めて開発しました。^[2]安全システム自体が、この種の事故につながる追加の複雑さである場合があります。^[3]

パイロットで作家のウィリアム・ランゲヴィーシェは、1996年の航空事故の要因分析でペローのコンセプトを活用した。彼は1998年にアトランティック誌に「最もリスクの高い技術の制御と運用には、深刻な障害が確実に発生するほど複雑な組織が必要である」と書いた。^{[4] [a]}

2012年にチャールズ・ペローは「通常の事故[システム事故]とは、誰もが安全策を講じようと懸命に努力するが、2つ以上の障害の予期せぬ相互作用（相互作用の複雑さのため）が、（密結合のため）障害の連鎖を引き起こす」と書いている。ペローは、現在の技術レベルを考えると、そのような事故が数年または数十年にわたって発生する可能性が非常に高いことを強調するために、通常の事故という用語を使用している。 ^[5] ジェームズ・リーズンは、このアプローチを人間の信頼性^[6]とスイスチーズモデルに拡張し、現在では航空安全と医療 で広く受け入れられている。

これらの事故は、小さな判断ミス、技術の欠陥、および取るに足らない損害が組み合わさって突発的な災害を引き起こすという点で、ルーブ・ゴールドバーグの仕掛けによく似ています。ランゲヴィシェは、「機能しない指揮系統、学習できないトレーニング プログラム、読みにくいマニュアル、および規制、チェック、および管理の虚構を含む、架空の現実」について書いています。^[4]正確に行うための形式と努力が増えるほど、実際には失敗の可能性が高くなります。^{[4] [b]}たとえば、変化する状況に適応するための組織手順が複雑、困難、または面倒な場合は、従業員が変更、問題、および予期しない状況を報告するのを遅らせる可能性が高くなります。

対照的な考え方は、高信頼性組織というものです。^[7]たとえば、スコット・セーガンは、複雑系の脆弱性の評価において、特に核兵器に関して、その堅牢な信頼性について複数の出版物で論じています。 『安全の限界』 （1993年）は、冷戦中に事故で核戦争につながりかねなかった危機一髪の出来事を広範囲に検討しました。^[8]

アポロ13号検討委員会は報告書の第5章の序文で次のように述べている。[強調追加] ^[9]

... 事故は統計的な意味での偶然の故障の結果ではなく、むしろ、やや欠陥があり容赦のない設計と相まって、異常なミスの組み合わせから生じたことが判明しました...

• (g): 飛行前にこれらの手順を検討した際、NASA、ER、および Beech の職員は過熱による損傷の可能性を認識していませんでした。これらの職員の多くは、ヒーターの長時間作動を認識していませんでした。いずれにせよ、適切なサーモスタット スイッチがあればタンクを保護することができたはずです。

ペローはスリーマイル島の事故を正常なものとみなした。^[10]

これは原子力発電所やその他の高リスクで複雑かつ高度に相互依存する運転員と機械のシステムで発生した事故と似ていた。事故の原因はいずれも管理者や運転員の無能さや政府の規制の不備ではなかったが、こうした特徴は存在し、予想されていたはずだった。私は、複雑なシステムでは計画では避けられない、運転員がすぐには理解できないような複数の障害が必ず発生するため、この事故は正常であると主張した。

1996年5月11日、マイアミ国際空港からハーツフィールド・ジャクソン・アトランタ行きの定期便であるバリュージェット航空のバリュージェット592便が、離陸後約10分で、危険貨物の不適切な保管とラベル付けにより貨物室で火災が発生し、墜落した。乗客110人全員が死亡した。この航空会社は墜落前に安全記録が悪かった。この事故により、危険物の適切な取り扱いに関する従業員の訓練が不十分であるなど、航空会社の経営上の問題が広く注目された。MD-80機の整備マニュアルには必要な手順が文書化されており、ある意味では「正しい」ものであった。しかし、マニュアルが長すぎて役に立たず、情報も得られなかった。^[4]

2014年のモノグラフで、経済学者のアラン・ブラインダーは、複雑な金融商品は潜在的な投資家にとって価格が妥当かどうかを判断するのを難しくしていると述べた。「教訓6：過度の複雑さは反競争的であるだけでなく危険である」と題されたセクションで、彼はさらに「しかし、より大きな危険は不透明性から生じる可能性がある。投資家が購入する証券に内在するリスクを理解していない場合（例：CDO-Squaredのメザニントランシェ、合成CDOのCDSなど）、大きな間違いを犯す可能性がある。格付け機関がトリプルA、つまりおばあちゃんでも十分安全だと言った場合は特にそうだ。そのため、暴落が起こったとき、損失は投資家が想像していたよりもはるかに大きくなる可能性がある。誰もこれらの証券の本当の価値を知らないため、市場は干上がるかもしれない。パニックに陥るかもしれない。したがって、複雑さ自体がリスクの原因である。」^[11] 

1980 年代以降、航空機の安全性は大幅に向上したが、自動飛行システムは非常に複雑になり、複雑になりすぎたためにリスクが増大し、それを扱う乗務員には理解できないという懸念がある。一例として、航空業界の専門家は、そのようなシステムは時々自動的に切り替わったり作動したりするが、コックピットの乗務員は必ずしも自動作動の理由を知らないため、困惑することがある、と指摘している。ランゲウィシェは、パイロットが完全に理解していないシステム モードや、システムが勝手に切り替わるシステム モードに関連することが多い「自動化の驚き」について書いている工業技術者のナディーンサーターを引用している。実際、今日のコックピットでよく聞かれる質問の 1 つは、「今、何をしているのですか?」である。これに対して、ランゲウィシェは航空安全性が 5 倍に向上したことを指摘し、「過去の華やかさへの回帰を合理的に主張できる人はいない」と書いている。^[12]

「ヒューマンファクター」と題する記事で、ランゲヴィーシェは2009年に中部大西洋上空で起きたエールフランス447便の墜落事故について論じている。同氏は、自動操縦室システムへの移行が始まった1980年代以降、安全性が5倍向上したと指摘している。ランゲヴィーシェは「操縦室のプライベートな空間で、公衆の目に触れないところでは、パイロットはシステム管理者という平凡な役割に追いやられてきた」と書いている。同氏は、ウィンザー公爵夫人の「金持ち過ぎても痩せ過ぎてもダメ」というユーモラスな発言を引用し、「デジタル飛行誘導システムに何を入れるか、慎重になり過ぎてもダメ」と付け加えるエンジニアのアール・ウィーナー氏の言葉を引用している。ウィーナー氏によると、自動化の効果は、通常、作業負荷が軽いときには軽減し、重いときには増加するという。

ボーイング社のエンジニアであるデルマー・ファデン氏は、飛行管理システムに機能が追加されると、認証要件のために削除するのは不可能なほど高価になると述べた。しかし、使用されない場合は、ある意味では目に見えない奥深くに潜んでいる可能性がある。^[12]

安全手順の実施における人的要因は、安全システムの全体的な有効性に影響を及ぼす。冗長システムでは保守上の問題がよく起こる。保守作業員が冗長システムをアクティブ状態に復旧できないことがある。管理者はバックアップ システムを修理しなくてもシステムが稼働し続けることを知っているため、保守作業員は過重労働になったり、予算削減により保守が延期されたりすることがある。^[3]手順のステップは、正式な安全規則から変更され、実際に適応されることがある。多くの場合、適切かつ合理的に思われる方法で、時間的制約や作業要求を満たすために不可欠である。2004 年のSafety Science の記事で、国立科学財団と NASA が部分的に支援した研究について報告し、ナンシー レベソンは次のように書いている。^[13]

しかし、オペレーターは効率性と生産性を高め、時間的プレッシャーに対処しようと努めているため、指示書や文書化された手順が厳密に守られることはほとんどありません ...原子力発電所のような非常に制約が多くリスクの高い環境でさえ、オペレーターが仕事をしなければならない実際の作業負荷と時間的制約を考えると、指示の変更が繰り返し行われ、ルール違反は非常に合理的であるように見えます。このような状況では、規範的な手順からの逸脱と見なされるエラーと、合理的で通常使用される効果的な手順からの逸脱と見なされるエラーとの間に基本的な矛盾が存在します。

• 予期せぬ結果

• チャールズ・ペロー（1984年）。『ノーマル・アクシデント：ハイリスク・テクノロジーとの共存』ISBN 0-465-05143-X.ウィキデータ Q114963622.
• チャールズ・ペロー(1999)。『ノーマル・アクシデント：ハイリスク・テクノロジーとの共存：新しいあとがきと Y2K 問題に関する追記付き』。プリンストン大学出版局。ISBN 0-691-00412-9.ウィキデータ Q114963670.