安全性が極めて重要なシステム

安全性が極めて重要なシステムの例^{[ 1 ]}。左から右、上から下の順に、C-141のグラスコックピット、ペースメーカー、スペースシャトル、原子力発電所の制御室。

安全性が重要なシステム[ ^{2 ]または}生命が重要なシステムとは、故障または誤作動により、次の結果の1つ（または複数）が発生する可能性があるシステムのことです。^{[ 3 ]}^{[ 4 ]}

人々の死亡または重傷
機器・財産の損失または重大な損害
深刻な環境被害

安全関連システム（または安全関連システム）は、1つ以上の安全機能を実行するために必要なすべて（ハードウェア、ソフトウェア、および人的側面）で構成され、その機能の故障は、関係する人や環境に対する安全リスクの大幅な増加を引き起こします。^{[ 5 ]}安全関連システムは、人命の損失、重傷、または深刻な環境被害などの危険を制御する責任を完全に負うものではありません。安全関連システムの誤動作は、他のシステムの故障または人的ミスと組み合わさった場合にのみ危険となります。一部の安全組織は、安全関連システムに関するガイダンスを提供しており、たとえば英国の保健安全庁（Health and Safety Executive）などがあります。^[⁶^]

このようなリスクは通常、安全工学の方法とツールで管理されます。安全上重要なシステムは、10億時間（^10⁹時間）の稼働につき1人未満の生命損失となるように設計されています。^{[ 7 ]}^{[ 8 ]}一般的な設計方法には、確率的リスク評価が含まれます。これは、故障モード影響解析（FMEA）とフォールトツリー解析を組み合わせた方法です。安全上重要なシステムは、ますますコンピュータベースになっています。

安全上重要なシステムは、スイスチーズモデルと併用されることが多い概念で、複数の重要なバリアの故障によって脅威が重大な事故にエスカレートする様子を（通常は蝶ネクタイ図で）表すために用いられます。この概念は、特にプロセス安全の分野で広く用いられるようになり、石油・ガス掘削および生産においては、説明目的だけでなく、資産の健全性管理や事故調査などの他のプロセスを支援するためにも用いられています。^{[ 9 ]}

信頼性管理体制

安全性が極めて重要なシステムには、いくつかの信頼性管理体制が存在する。

フェイルオペレーショナルシステムは、制御システムが故障しても動作を継続します。その例としては、エレベーター、ほとんどの家庭用暖房炉のガスサーモスタット、受動的に安全な原子炉などがあります。フェイルオペレーショナルモードは、時に安全ではありません。通信途絶時に核兵器を発射する制御システムは、フェイルオペレーショナルであるため、米国の核戦力の制御システムとして却下されました。通信が途絶すると発射されるため、この動作モードは危険すぎると考えられたのです。これは、ソ連時代に構築されたペリメーターシステムのフェイルデッドリー動作とは対照的です。 ^[¹⁰^]
フェイルソフトシステムは、故障が発生した場合でも、効率を低下させながら一時的に動作を継続することができます。^{[ 11 ]}ほとんどのスペアタイヤはその一例です。通常、スペアタイヤには一定の制限（速度制限など）があり、燃費の低下につながります。もう1つの例は、ほとんどのWindowsオペレーティングシステムにある「セーフモード」です。
フェイルセーフシステムは、動作できなくなったときに安全になります。多くの医療システムはこのカテゴリーに属します。例えば、輸液ポンプは故障しても、看護師に警告を発してポンプを停止する限り、安全間隔が十分に長いため、人命の危険はありません。同様に、産業用または家庭用のバーナー制御装置も故障する可能性がありますが、安全モードで故障する必要があります（つまり、故障を検出すると燃焼を停止します）。有名な例として、指令を受けて発射する核兵器システムはフェイルセーフです。通信システムが故障した場合、発射指令はできないからです。鉄道信号システムもフェイルセーフ設計になっています。
フェイルセキュアシステムは、動作不能時でも最大限のセキュリティを維持します。例えば、フェイルセーフ型の電子ドアは停電時に解錠されますが、フェイルセキュア型の電子ドアは施錠され、エリアのセキュリティが確保されます。
フェイルパッシブシステムは、システム障害が発生した場合でも動作を継続します。例えば、航空機の自動操縦装置が挙げられます。故障が発生した場合でも、航空機は制御可能な状態を維持し、パイロットが操縦を引き継いで飛行を完了させ、安全な着陸を行うことができます。
フォールトトレラントシステムは、システムに障害が発生した場合でもサービス停止を回避します。例えば、一般的な原子炉の制御システムが挙げられます。障害を許容する一般的な方法は、複数のコンピュータでシステムの各部分を継続的にテストし、故障したサブシステムに対して予備のホットスペアを起動することです。故障したサブシステムが通常の保守間隔で交換または修理される限り、これらのシステムは安全であると考えられます。これらのシステムでは、人間が使用するコンピュータ、電源、制御端末はすべて何らかの形で複製されていなければなりません。

安全性が重要なシステムのためのソフトウェアエンジニアリング

安全性が極めて重要なシステムのソフトウェアエンジニアリングは特に困難です。生命に関わるシステムのソフトウェアエンジニアリングを支援するために適用できる側面は 3 つあります。1 つ目は、プロセスエンジニアリングと管理です。2 つ目は、システムに適したツールと環境を選択することです。これにより、システム開発者はエミュレーションによってシステムを効果的にテストし、その有効性を確認できます。3 つ目は、連邦航空局の航空要件など、法的および規制上の要件に対応することです。システムの開発に求められる標準を設定することで、設計者は要件を遵守せざるを得なくなります。航空電子機器業界は、生命に関わる航空電子機器ソフトウェアを作成するための標準的な方法を確立することに成功しています。同様の標準は、一般産業 ( IEC 61508 )、自動車 ( ISO 26262 )、医療 ( IEC 62304 )、原子力 ( IEC 61513 ) の各産業に存在します。標準的なアプローチは、システムを慎重にコーディング、検査、文書化、テスト、検証、分析することです。別のアプローチとしては、本番システム、コンパイラを認証し、仕様からシステムのコードを生成する方法があります。また別のアプローチでは、形式手法を使用して、コードが要件を満たしていることを証明する方法があります。[ 12 ^{]これらの}アプローチはすべて、開発プロセスにおける手動のステップをテストまたは排除することで、安全性が重要なシステムのソフトウェア品質を向上させます。なぜなら、人は間違いを犯し、これらの間違いは生命を脅かす可能性のあるエラーの最も一般的な原因だからです。