フォールトトレランス

フォールト トレランスとは、システムの 1 つ以上のコンポーネントに障害や不具合が発生しても、システムが適切な動作を維持する能力です。この機能は、高可用性、ミッション クリティカル、さらにはライフ クリティカルなシステムにとって不可欠です。

フォールト トレランスとは、具体的には、システムがパフォーマンスの低下やダウンタイムを起こさずに障害を処理できる能力を指します。エラーが発生した場合、エンド ユーザーは問題に気付きません。逆に、サービスが中断したり、パフォーマンスが徐々に低下したりしてエラーが発生するシステムは、「回復力のある」システムと呼ばれます。回復力のあるシステムでは、システムはエラーに適応し、サービスを維持しながらパフォーマンスに一定の影響があることを認識し続けます。

通常、フォールト トレランスはコンピュータ システムを指し、ハードウェアまたはソフトウェアの問題があってもシステム全体が機能し続けることを保証します。コンピュータ以外の例としては、疲労、腐食、または衝撃による損傷があっても完全性を維持する構造などがあります。

最初のフォールトトレラントコンピュータは、1951年にチェコスロバキアのアントニーン・スヴォボダによって作られたSAPOでした。^{[1] : 155}その基本設計は、リレーを介して接続された磁気ドラムと、メモリエラー検出の投票方式（三重モジュール冗長性）でした。この方向に沿って、主に軍事用にいくつかの他のマシンが開発されました。最終的に、それらは3つの異なるカテゴリに分かれました。

1. NASA の 宇宙探査機や衛星に使用されているような、メンテナンスなしで長期間使用できる機械。
2. 原子力発電所や超大型加速器実験の監視や制御に使用されるような、信頼性は高いが常時監視が必要なコンピュータ。
3. 保険会社が確率監視に使用している多くのスーパーコンピュータなど、実行時間が長く、頻繁に使用されるコンピュータ。

LLNM（長寿命、メンテナンス不要）コンピューティングと呼ばれる開発のほとんどは、1960年代にNASAによって行われ、^[2]アポロ計画やその他の研究面の準備として行われました。NASAの最初のマシンは宇宙観測所に導入され、2番目の試みであるJSTARコンピュータはボイジャーで使用されました。このコンピュータには、メモリ回復方法を使用するためのメモリアレイのバックアップがあったため、JPL自己テストおよび修復コンピュータと呼ばれていました。独自のエラーを検出して修正したり、必要に応じて冗長モジュールを起動したりできます。このコンピュータは、2022年初頭の時点でまだ動作しています。^[3]

超高信頼コンピュータは、主に米国の航空機メーカー、^{[1] : 210} 、原子力発電会社、鉄道業界によって開発されました。これらの組織は、故障時にも問題なく動作を継続できる、長時間の稼働が可能なコンピュータを必要としていましたが、故障を検出するには、常に人間がコンピュータの出力を監視する必要がありました。IBMは、NASAのサターンVロケットの誘導用にこの種のコンピュータを初めて開発しましたが、後にBNSF、ユニシス、ゼネラルエレクトリックが独自のコンピュータを開発しました。^{[1] : 223}

1970年代には、この分野で多くの研究が行われました。^{[4] [5] [6]}たとえば、F14 CADCには自己テストと冗長性が組み込まれていました。^[7]

一般的に、フォールトトレラント設計の初期の取り組みは主に内部診断に重点が置かれており、障害は何かが故障していることを示し、作業員がそれを交換できるものでした。たとえば、SAPO には、故障したメモリドラムが故障する前に音を発する方法がありました。^[8]その後の取り組みにより、完全に効果を発揮するには、システムが自己修復および診断する必要があることがわかりました。つまり、障害を分離し、冗長バックアップを実装しながら修理の必要性を警告します。これは N モデル冗長性として知られており、障害が発生すると自動的にフェイルセーフが作動し、オペレータに警告が発せられます。これは現在でもレベル 1 のフォールトトレラント設計で最も一般的な形式です。

投票は、上で説明したように、複数の冗長バックアップが常に動作し、互いの結果をチェックする、もう 1 つの初期の方法です。たとえば、4 つのコンポーネントが 5 の回答を報告し、1 つのコンポーネントが 6 の回答を報告した場合、他の 4 つのコンポーネントは、5 番目のコンポーネントに障害があると「投票」し、そのコンポーネントをサービスから外します。これは、M 対 N の多数決投票と呼ばれます。

歴史的には、システムの複雑さと、障害陰性から障害陽性への遷移状態を保証することの難しさによって運用が中断されないことから、N モデルから M out of N へと移行する傾向がありました。

1976年にタンデムコンピューター社^[9]とストラタス社が設立され、オンライントランザクション処理用のフォールトトレラントコンピュータシステムの設計に特化した最初の企業の1つとなった。

ハードウェアのフォールト トレランスでは、システムがまだ動作している状態で、壊れた部品を取り外して新しい部品と交換する必要がある場合があります (コンピューティングではホット スワップと呼ばれます)。単一のバックアップで実装されたこのようなシステムはシングル ポイント トレランスと呼ばれ、フォールト トレランス システムの大部分を占めています。このようなシステムでは、平均故障間隔が十分に長く、バックアップも故障する前にオペレーターが壊れたデバイスを修理する時間 (平均修復時間) が必要です。故障間隔ができるだけ長いほど便利ですが、フォールト トレランス システムでは特にこれが必須ではありません。

フォールト トレランスは、コンピューター アプリケーションで特に効果を発揮します。Tandem Computers は、シングル ポイント トレランスを使用して、稼働時間が数年単位のNonStopシステムを作成するこのようなマシンでビジネス全体を構築しました。

フェイルセーフアーキテクチャには、たとえばプロセス複製によってコンピュータ ソフトウェアも含まれる場合があります。

データ形式も、適切に劣化するように設計されている場合があります。たとえば、HTMLは前方互換性を持つように設計されているため、Webブラウザーは新しいサポートされていないHTMLエンティティを無視して、ドキュメントを使用できなくなることはありません。さらに、Twitterなどの人気プラットフォーム（2020年12月まで）を含む一部のサイトでは、JavaScriptに依存せず、最小限のレイアウトの軽量フロントエンドをオプションで提供しており、Webブラウジング機能が制限されているゲームコンソールなどでの幅広​​いアクセシビリティとアウトリーチを確保しています。^{[10] [11]}

耐障害性が非常に高いシステムでは、1 つ以上のコンポーネントに障害が発生しても、同じレベルのパフォーマンスが継続される可能性があります。たとえば、バックアップ発電機を備えた建物では、グリッド電源が停止しても、壁のコンセントに同じ電圧が供給されます。

フェイルセーフ、フェイルセキュア、またはグレースフルフェイルを設計するシステムは、機能が低下しているのか完全に機能していないのかに関わらず、人、財産、またはデータを傷害、損害、侵入、または漏洩から保護する方法で機能します。コンピューターでは、プログラムは、エラーが発生した後にデータの破損を防ぐために、グレースフル終了（制御不能なクラッシュとは対照的）を実行することでフェイルセーフになる場合があります。^{[12] 「うまく機能しない」と「}ひどく機能しない」 の間にも同様の区別があります。

段階的な劣化、またはフェイル ソフト(コンピューティングで使用され、「フェイル セーフ」^[13]に類似) を経験するように設計されたシステムは、一部のコンポーネントが故障した後、パフォーマンスのレベルを低下させて動作します。たとえば、グリッド電源が故障した場合、建物は照明のレベルを下げたり、エレベーターの速度を低下させたりします。コンピューティングでは、オンライン ビデオをストリーミングするのに十分なネットワーク帯域幅が利用できない場合、高解像度バージョンの代わりに低解像度バージョンがストリーミングされることがあります。プログレッシブ エンハンスメントも別の例です。これは、Web ページが、古い、画面が小さい、または機能が制限されている Web ブラウザーでは基本的な機能形式で提供されますが、追加のテクノロジを処理できるブラウザーやより大きなディスプレイを持つブラウザーでは拡張バージョンで提供されます。

フォールト トレラント コンピュータ システムでは、堅牢であるとみなされるプログラムは、エラー、例外、または無効な入力があっても、完全にクラッシュするのではなく、動作を継続するように設計されています。ソフトウェアの脆弱性は堅牢性の反対です。 回復力のあるネットワークは、一部のリンクまたはノードに障害が発生しても、データの送信を継続します。同様に、回復力のある建物やインフラストラクチャは、地震、洪水、衝突などの状況で完全な障害を防ぐことが期待されます。

障害の透明性が高いシステムは、たとえコンポーネントがフルパフォーマンスで動作し続けていても、コンポーネントの障害が発生したことをユーザーに警告し、障害を修復したり、差し迫った完全な障害を予測したりすることができます。^[14]同様に、フェイルファストコンポーネントは、下流のコンポーネントが障害を起こしたときにレポートを生成するのではなく、最初の障害発生時点でレポートするように設計されています。これにより、根本的な問題の診断が容易になり、故障した状態での不適切な操作を防ぐことができます。

単一故障状態とは、危険に対する保護手段の1つに欠陥がある状況です。単一故障状態が不可避的に別の単一故障状態を引き起こす場合、2つの故障は1つの単一故障状態とみなされます。^[15]ある情報源では、次のような例が示されています。

単一故障状態とは、機器内の危険に対する保護手段の1つに欠陥があるか、または単一の外部異常状態（例えば、活電部と接続部間の短絡）が存在する状態である。^[16]

通常、すべてのコンポーネントにフォールトトレラント設計を施すことは選択肢ではありません。関連する冗長性は、重量、サイズ、消費電力、コストの増加、設計、検証、テストにかかる時間の増加など、多くのペナルティをもたらします。したがって、どのコンポーネントをフォールトトレラントにするかを決定するには、いくつかの選択肢を検討する必要があります。^[17]

• コンポーネントはどの程度重要ですか?自動車ではラジオは重要ではないため、このコンポーネントではフォールト トレランスの必要性は低くなります。
• コンポーネントが故障する可能性はどのくらいですか?自動車のドライブ シャフトなどの一部のコンポーネントは故障する可能性が低いため、フォールト トレランスは必要ありません。
• コンポーネントをフォールト トレランスにするには、どれくらいの費用がかかりますか?たとえば、冗長化された自動車エンジンが必要になると、経済的にも重量とスペースの面でもコストがかかりすぎて、検討の余地がなくなる可能性があります。

すべてのテストに合格するコンポーネントの例としては、自動車の乗員拘束システムがあります。乗員拘束の主なシステムは通常は考えられませんが、重力が主なものです。車両が横転したり、強い重力を受けたりした場合、この乗員拘束の主な方法は機能しなくなる可能性があります。このような事故の際に乗員を拘束することは安全にとって非常に重要であるため、最初のテストに合格します。シートベルトが登場する前は、乗員が車外に投げ出される事故が非常に多かったため、2 番目のテストに合格します。シートベルトのような冗長拘束方法のコストは、経済的にも重量とスペースの面でも非常に低いため、3 番目のテストに合格します。したがって、すべての車両にシートベルトを追加することは優れたアイデアです。エアバッグなどの他の「補助拘束システム」はより高価なため、このテストに合格する差は小さくなります。

この原理が実践されているもう一つの優れた長期的例はブレーキ システムです。ブレーキ メカニズム自体は重要ですが、特に突然の (進行性の) 故障が起きやすいわけではなく、いずれにしてもすべての車輪にブレーキ力を均等かつバランスよくかけられるようにするためには必ず二重化する必要があります。主要コンポーネントをさらに二重化するには法外な費用がかかり、かなりの重量も加わります。しかし、ドライバーの制御下でブレーキを作動させる同様に重要なシステムは、本質的に堅牢性が低く、一般的にケーブル (錆びる、伸びる、詰まる、切れる) または油圧液 (漏れる、沸騰して泡立つ、水を吸収して効力を失う) を使用しています。そのため、ほとんどの現代の車では、フットブレーキの油圧ブレーキ回路が対角線上に分割されており、故障点が 2 つに小さくなっています。どちらかの損失は、ブレーキ力が 50% 低下するだけで、直線的な前後分割や左右分割ほど危険なブレーキ力の不均衡を引き起こさないことです。また、油圧回路が完全に故障した場合 (比較的まれな発生)、ケーブル作動式パーキング ブレーキの形でフェイルセーフがあり、比較的弱い後部ブレーキを操作しますが、要求が通常の交通の流れに沿っている限り、トランスミッション/エンジン ブレーキと連動して車両を安全に停止させることができます。フットブレーキが完全に故障し、緊急時に急ブレーキが必要になるという、起こりそうにない組み合わせは、衝突につながる可能性は高くなりますが、それでも、そうでない場合よりも低速での衝突となります。

フットペダルで作動するサービスブレーキと比較すると、パーキングブレーキ自体はそれほど重要なアイテムではなく、フットブレーキの一時バックアップとして使用されていない限り、作動時に機能しないことが判明しても直ちに危険を引き起こすことはありません。したがって、パーキングブレーキ自体には冗長性が組み込まれておらず（通常、より安価で軽量ですが耐久性の低いケーブル作動システムを使用しています）、坂道でこのようなことが発生した場合は、停止できる平坦な道路を見つけるまで、フットブレーキを使用して車両を一時的に静止させておくだけで十分です。または、緩やかな勾配では、トランスミッションをパーキング、リバース、または 1 速にシフトし、トランスミッション ロック/エンジン圧縮を使用して静止状態に保つことができます。最初に停止させるための高度な機能を含める必要がないためです。

オートバイでは、同様のレベルのフェイルセーフティがより簡単な方法で提供されています。まず、フロントブレーキシステムとリアブレーキシステムは、その作動方法（ケーブル、ロッド、油圧）に関係なく完全に独立しているため、一方が完全に故障してももう一方は影響を受けません。次に、リアブレーキは自動車のブレーキシステムに比べて比較的強力で、一部のスポーツモデルでは強力なディスクブレーキになっていますが、通常はフロントシステムがブレーキ力の大部分を提供することになっています。車両全体の重量が中央に集中しているため、リアタイヤは通常大きくてトラクションが良く、ライダーは後ろに傾いてより多くの体重をかけることができ、ホイールがロックする前により大きなブレーキ力をかけることができます。より安価で低速のユーティリティクラスのマシンでは、前輪に油圧ディスクを使用してブレーキ力を高め、パッケージングを容易にする場合でも、後輪は通常、原始的でやや非効率的ですが、非常に頑丈なロッド作動ドラムになります。これは、この方法でフットペダルをホイールに接続するのが容易なことと、さらに重要なことに、マシンの残りの部分が最初の数年間の使用後の多くの低価格の自転車のようにメンテナンスを怠ったために崩壊寸前になったとしても、壊滅的な故障がほぼ不可能であるためです。

フォールト トレランスの基本的な特性には次のものが必要です。

1. 単一障害点なし– システムに障害が発生した場合、修復プロセス中は中断することなく動作を継続する必要があります。
2. 障害コンポーネントへの障害分離– 障害が発生した場合、システムは障害を問題のあるコンポーネントに分離できなければなりません。そのためには、障害分離のためだけに存在する専用の障害検出メカニズムを追加する必要があります。障害状態から回復するには、障害または障害のあるコンポーネントを分類する必要があります。米国国立標準技術研究所(NIST) は、障害を局所性、原因、期間、および影響に基づいて分類します。^{[どこで? ] [説明が必要]}
3. 障害の伝播を防ぐための障害封じ込め – 障害メカニズムによっては、障害がシステムの他の部分に伝播してシステム障害を引き起こすことがあります。この種の障害の例として、システム内の正当な通信を妨害し、システム全体の障害を引き起こす可能性がある「不正な送信機」があります。不正な送信機や障害のあるコンポーネントを隔離してシステムを保護するファイアウォールなどのメカニズムが必要です。
4. 復帰モードの可用性^{[説明が必要]}

さらに、フォールト トレラント システムは、計画されたサービス停止と計画外のサービス停止の両方の観点から特徴付けられます。これらは通常、ハードウェア レベルだけでなくアプリケーション レベルで測定されます。性能指数は可用性と呼ばれ、パーセンテージで表されます。たとえば、ファイブ ナインシステムは統計的に 99.999% の可用性を提供します。

フォールト トレラント システムは通常、冗長性の概念に基づいています。

クリティカルシステムに必要な許容範囲の研究には、膨大な学際的な作業が伴う。システムが複雑になるほど、起こり得るすべての相互作用をより慎重に検討し、準備する必要がある。輸送、公共事業、軍事における高価値システムの重要性を考慮すると、研究対象となるトピックの分野は非常に広く、ソフトウェアモデリングと信頼性、ハードウェア設計などの明らかな主題から、確率モデル、グラフ理論、形式論理または排他的論理、並列処理、リモートデータ転送などの難解な要素まで含まれる可能性がある。 ^[18]

スペア コンポーネントは、フォールト トレランスの最初の基本的な特性を次の 3 つの方法で解決します。

• レプリケーション: 同じシステムまたはサブシステムの複数の同一インスタンスを提供し、それらすべてにタスクまたはリクエストを並行して送信し、クォーラムに基づいて正しい結果を選択します。
• 冗長性: 同じシステムの同一インスタンスを複数用意し、障害発生時に残りのインスタンスの 1 つに切り替える (フェイルオーバー)。
• 多様性: 同じ仕様の複数の異なる実装を提供し、それらを複製されたシステムのように使用して、特定の実装におけるエラーに対処します。

RAID 0 を除くRAID ( Redundant Array of Independent Disks)のすべての実装は、データの冗長性を使用するフォールト トレラントストレージ デバイスの例です。

ロックステップフォールト トレラント マシンは、並列に動作する複製要素を使用します。いつでも、各要素のすべての複製は同じ状態である必要があります。各複製には同じ入力が提供され、同じ出力が期待されます。複製の出力は、投票回路を使用して比較されます。各要素の複製が 2 つあるマシンは、デュアル モジュラー冗長(DMR) と呼ばれます。この場合、投票回路は不一致を検出することしかできず、回復は他の方法に依存します。各要素の複製が 3 つあるマシンは、トリプル モジュラー冗長(TMR) と呼ばれます。投票回路は、2 対 1 の投票が観察された場合に、どの複製にエラーがあるかを判断できます。この場合、投票回路は正しい結果を出力し、エラーのあるバージョンを破棄できます。この後、エラーのある複製の内部状態は他の 2 つの内部状態と異なると想定され、投票回路は DMR モードに切り替えることができます。このモデルは、より多くの複製に適用できます。

ロックステップフォールトトレラントマシンは、各レプリケーションの各ゲートが同じクロックのエッジで同じ状態遷移を行い、レプリケーションへのクロックが正確に同位相になるように、完全に同期させるのが最も簡単です。ただし、この要件なしでロックステップシステムを構築することも可能です。

レプリケーションを同期させるには、内部に保存されている状態を同じにする必要があります。リセット状態などの固定された初期状態から開始できます。または、1 つのレプリカの内部状態を別のレプリカにコピーすることもできます。

DMR の 1 つのバリエーションは、ペア アンド スペアです。複製された 2 つの要素がペアとして同期して動作し、投票回路がそれらの動作の不一致を検出し、エラーがあることを示す信号を出力します。もう 1 つのペアもまったく同じように動作します。最後の回路は、エラーがないと宣言するペアの出力を選択します。ペア アンド スペアでは、TMR の 3 つのレプリカではなく 4 つのレプリカが必要ですが、商業的に使用されています。

障害無視コンピューティングは、エラーがあってもコンピュータプログラムの実行を継続できるようにする技術です。^[19]この技術はさまざまなコンテキストに適用できます。プログラムに生成された値を返すことで無効なメモリ読み取りを処理することができ、^[20]プログラムはその生成された値を使用して、アクセスしようとした以前のメモリ値を無視します。これは、プログラムにエラーを通知するかプログラムを中止する 一般的なメモリチェッカーとは大きな対照です。

このアプローチにはパフォーマンス上のコストがかかります。この手法では、アドレスの有効性を動的にチェックするためにコードを書き直すため、実行時間が80%～500%増加します。^[21]

リカバリシェパーディングは、ヌルポインターの逆参照やゼロ除算などの致命的なエラーからソフトウェアプログラムを回復できるようにする軽量な手法です。^[22]障害忘却コンピューティング手法と比較すると、リカバリシェパーディングはコンパイルされたプログラムバイナリに対して直接動作し、プログラムを再コンパイルする必要はありません。

Pinは、ジャストインタイム バイナリインストルメンテーションフレームワークを使用しています。エラーが発生したときにアプリケーションプロセスに接続し、実行を修復し、実行の継続中に修復の影響を追跡し、修復の影響をアプリケーションプロセス内に保持し、すべての修復影響がプロセス状態からフラッシュされた後にプロセスから切り離します。プログラムの通常の実行には影響しないため、オーバーヘッドはごくわずかです。^[22]体系的に収集された18の実際のヌル参照解除エラーとゼロ除算エラーのうち17については、プロトタイプ実装により、アプリケーションは実行を継続して、エラーを引き起こした入力に対してユーザーに許容可能な出力とサービスを提供できます。^[22]

サーキットブレーカー設計パターンは、分散システムにおける壊滅的な障害を回避するための手法です。

冗長性は、障害のない環境では不要な機能を提供することです。^[23] これは、1 つのコンポーネントが故障した場合に自動的に「作動」するバックアップ コンポーネントで構成されます。たとえば、大型貨物トラックはタイヤが 1 本なくなっても大きな影響はありません。トラックには多くのタイヤがあり、どのタイヤも重要ではありません (前輪はステアリングに使用されますが、通常、前輪 4 本から 16 本よりも 1 本あたりの荷重と総荷重が少ないため、故障する可能性は低くなります)。システムの信頼性を向上させるために冗長性を組み込むというアイデアは、1950 年代にジョン フォン ノイマンによって開拓されました。 ^[24]

冗長性には2種類あります。 ^[25]空間冗長性と時間冗長性です。空間冗長性は、障害のない動作に不要な追加のコンポーネント、機能、またはデータ項目を提供します。空間冗長性は、システムに追加された冗長リソースの種類に応じて、ハードウェア冗長性、ソフトウェア冗長性、および情報冗長性にさらに分類されます。時間冗長性では、計算またはデータ送信が繰り返され、その結果が前回の結果の保存されたコピーと比較されます。この種のテストの現在の用語は、「インサービスフォールトトレランステスト」または略してISFTTと呼ばれています。

フォールト トレラント設計の利点は明らかですが、欠点の多くは明らかではありません。

• 同じコンポーネントの障害検出の妨害。上記の乗用車の例を続けると、どちらのフォールト トレラント システムでも、タイヤがパンクしたかどうかはドライバーにはわからない場合があります。これは通常、別の「自動障害検出システム」で処理されます。タイヤの場合、空気圧モニターが圧力の低下を検出し、ドライバーに通知します。代替案は、各停車時にすべてのタイヤを手動で検査するなどの「手動障害検出システム」です。
• 別のコンポーネントの障害検出の妨害。この問題の別のバリエーションは、あるコンポーネントのフォールト トレランスが別のコンポーネントの障害検出を妨げる場合です。たとえば、コンポーネント B がコンポーネント A からの出力に基づいて何らかの操作を実行する場合、B のフォールト トレランスによって A の問題が隠れてしまうことがあります。コンポーネント B が後で変更されると (フォールト トレランスが低い設計に変更されると)、システムが突然故障し、新しいコンポーネント B に問題があるように見えます。システムを注意深く精査した後でのみ、根本的な問題が実際にはコンポーネント A にあることが明らかになります。
• 障害修正の優先度の低下。オペレータが障害を認識している場合でも、フォールト トレラント システムを使用すると、障害を修復する重要性が低下する可能性があります。障害が修正されない場合、フォールト トレラント コンポーネントが完全に故障するか、すべての冗長コンポーネントも故障すると、最終的にはシステム障害につながります。
• テストの難しさ。原子炉などの特定の重要なフォールトトレラントシステムでは、バックアップコンポーネントが機能しているかどうかを確認する簡単な方法はありません。この最も悪名高い例はチェルノブイリで、オペレーターは一次冷却と二次冷却を無効にして緊急バックアップ冷却をテストしました。バックアップが失敗し、炉心溶融と大量の放射線放出が発生しました。
• コスト。フォールト トレラント コンポーネントと冗長コンポーネントはどちらもコストが増加する傾向があります。これは純粋に経済的なコストである場合もあれば、重量などの他の対策が含まれる場合もあります。たとえば、有人宇宙船には冗長コンポーネントとフォールト トレラント コンポーネントが非常に多く搭載されているため、同じレベルの安全性を必要としない無人システムに比べて重量が大幅に増加します。
• 劣悪なコンポーネント。フォールト トレラント設計では、劣悪なコンポーネントの使用が許容される場合があります。その場合、システムは動作不能になります。この方法によりコストの増加を軽減できる可能性がありますが、複数の劣悪なコンポーネントを使用すると、システムの信頼性がフォールト トレラントでない同等のシステムと同等か、それよりもさらに悪くなる可能性があります。

フォールト トレランスと、めったに問題が起こらないシステムの間には違いがあります。たとえば、Western Electric の クロスバーシステムは、故障率が 40 年あたり 2 時間だったので、フォールト トレランスは非常に高かったのですが、故障が発生すると完全に動作が停止してしまい、フォールト トレランスではありませんでした。