フォールト注入

コンピュータサイエンスにおいて、フォールトインジェクションは、異常なストレスがかかったときにコンピュータシステムがどのように動作するかを理解するためのテスト手法です。これは、物理的またはソフトウェアベースの手段、あるいはハイブリッドアプローチを使用して実現できます。^{[1]広く研究されている物理的なフォールトインジェクションには、}コンピュータメモリや中央処理装置などの電子部品への高電圧、極端な温度、電磁パルスの適用が含まれます。^{[2] [3]}コンポーネントを意図された動作限界を超える条件にさらすと、コンピュータシステムは命令を誤って実行し、重要なデータを破損する可能性があります。

ソフトウェアテストにおいて、フォールトインジェクションは、テストコードパス、特に通常はめったに実行されないエラー処理コードパスにフォールトを導入することで、テストの範囲を広げる手法です。これはストレステストでよく使用され、堅牢なソフトウェアを開発する上で重要な部分であると広く考えられています。^[4]堅牢性テスト^{[5] (構文テスト、}ファジング、ファズテストとも呼ばれる) は、プロトコル、コマンドラインパラメータ、APIなどの通信インタフェースの脆弱性をテストするためによく使用されるフォールトインジェクションの一種です。

障害が観測可能な故障にまで伝播する過程は、明確に定義されたサイクルに従います。障害が発生すると、システム境界内で無効な状態であるエラーが発生する可能性があります。エラーはシステム境界内でさらにエラーを引き起こす可能性があるため、新しいエラーはそれぞれ障害として機能します。または、システム境界に伝播して観測可能になることもあります。システム境界でエラー状態が観測されると、その状態は障害と呼ばれます。このメカニズムは、障害-エラー-障害サイクル^{[6]と呼ばれ、}信頼性における重要なメカニズムです。

フォールト インジェクションの技術は、ハードウェア レベルでフォールトを誘発するために初めて使用された 1970 年代にまで遡ります^[7]。このタイプのフォールト インジェクションは、ハードウェア実装フォールト インジェクション (HWIFI) と呼ばれ、システム内のハードウェア障害をシミュレートするものです。ハードウェア フォールトの最初の実験は、回路基板の接続をショートさせ、システムへの影響 (ブリッジング フォールト) を観察するだけでした。これは主に、ハードウェア システムの信頼性のテストとして使用されました。後に、回路基板の特定の領域に強力な放射線を照射するデバイスなど、この技術を拡張するための特殊なハードウェアが開発されました。すぐに、ソフトウェア技術によってフォールトを誘発できること、およびこの技術の側面がソフトウェア システムの評価に役立つことがわかりました。これらの技術は総称してソフトウェア実装フォールト インジェクション (SWIFI) と呼ばれています。

SWIFI テクニックは、コンパイル時インジェクションとランタイムインジェクションの 2 種類に分類できます。

コンパイル時インジェクションは、ソースコードを変更して、システムにシミュレートされた障害を注入するインジェクション技術です。1つの方法は、既存のコード行を変更して障害を含むようにするミューテーションテストと呼ばれます。この技術の簡単な例としては、a = a + 1a = a – 1

コードの変更により、プログラマーが意図せず追加した障害と非常によく似た障害が発生します。

コード変異の改良版として、既存のコードを変更するのではなく、コードを追加するコード挿入フォールトインジェクションがあります。これは通常、既存の値を受け取り、何らかのロジックを介して別の値に変化させる単純な関数である摂動関数を使用して行われます。たとえば、

  int pFunc ( int値) {戻り値+ 20 ; }   
       
  

  int main ( int argc , char * argv []) { int a = pFunc ( aFunction ( atoi ( argv [ 1 ]))); if ( a > 20 ) { /* 何かを行う */ } else { /* 別の何かを行う */ } }      
       
        
      
      
      
    
  

この場合、pFunc は摂動関数であり、システムに障害を導入するために呼び出された関数の戻り値に適用されます。

ランタイム インジェクション技術では、ソフトウェア トリガーを使用して、実行中のソフトウェア システムに障害を注入します。障害はさまざまな物理的方法で注入でき、トリガーはさまざまな方法で実装できます。たとえば、時間ベースのトリガー (タイマーが指定された時間に達すると割り込みが生成され、タイマーに関連付けられた割り込みハンドラーが障害を注入できます)、割り込みベースのトリガー (ハードウェア例外とソフトウェア トラップ メカニズムを使用して、システム コードの特定の場所またはシステム内の特定のイベント (特定のメモリ位置へのアクセスなど) で割り込みを生成します) などがあります。

ランタイム インジェクション技術では、さまざまな技術を使用して、トリガーを介してシステムに障害を挿入できます。

• メモリ空間の破損: この手法は、RAM、プロセッサ レジスタ、および I/O マップの破損で構成されます。
• システムコール介入技術: これは、オペレーティング システム カーネル インターフェイスから実行中のシステム ソフトウェアへの障害の伝播に関係します。これは、ユーザー レベルのソフトウェアによって行われたオペレーティング システム コールを傍受し、そこに障害を注入することによって行われます。
• ネットワーク レベルの障害注入: この手法は、ネットワーク インターフェイスでのネットワーク パケットの破損、損失、または並べ替えに関係します。

これらの手法は、多くの場合、コンピュータ プロセッサ アーキテクチャによって提供されるデバッグ機能に基づいています。

複雑なソフトウェア システム、特にオープン スタンダードに基づくマルチベンダー分散システムでは、入出力操作を実行して、「プロトコル」と呼ばれるステートフルで構造化された交換を介してデータを交換します。プロトコル実装 (入力を予測または制御できないという特殊な特性を持つソフトウェア コードの種類) をテストするのに特に役立つフォールト インジェクションの1 つがファジングです。ソフトウェア システムに送信されるさまざまな無効な入力は、システム内で実行されているコードの詳細に依存せず、その詳細に関する知識に基づいて作成されることもないため、ファジングはブラック ボックス テストの特に便利な形式です。

この技術はハードウェア プロトタイプに適用されました。テスターは、回路内の一部の電圧を変更したり、温度を上げたり下げたり、高エネルギー放射線を基板に照射したりして、障害を注入します。

断層には3つの主なパラメータがある。^[8]

• タイプ: どのようなタイプの障害を注入する必要がありますか? たとえば、値のスタック、遅延、一部の関数の無視、一部のパラメーター/変数の無視、ランダム障害、バイアス障害、ノイズなどです。各障害の振幅も重要です。
• 時間: いつアクティブ化する必要がありますか? たとえば、障害のアクティブ化時間や障害のアクティブ化条件などです。
• 場所: システム内のどこにあるのか? たとえば、システム間のリンク/接続の障害、システム/サブシステム/機能内の障害など。

これらのパラメータは、障害空間領域を作成します。障害空間領域は、システムの複雑さが増すと指数関数的に増加します。したがって、従来の障害注入方法は、非常に遅く、少数の障害しか見つからない (障害カバレッジが低い) ため、現代のサイバーフィジカルシステムでは使用できません。したがって、テスターは、システムの動作に大きな影響を与える重大な障害を選択するための効率的なアルゴリズムを必要とします。したがって、主な研究課題は、システムの動作に壊滅的な影響を与える重大な障害を障害空間領域でどのように見つけるかです。ここでは、障害注入を補助して、障害空間を効率的に探索し、より短いシミュレーション時間でより高い障害カバレッジを達成できる方法をいくつか紹介します。

• 感度分析: ^[9]この方法では、感度分析を使用して、システムの仕様に大きな影響を与える最も重要な信号を特定します。これらの重要な信号またはパラメータを特定することにより、フォールト注入ツールは、システム内のすべての信号に焦点を当てるのではなく、それらの有効な信号に焦点を当てます。
• 強化学習：^[10]この方法では、強化学習アルゴリズムを使用して、障害空間を効率的に探索し、重大な障害を見つけます。

これらのタイプの障害は手動で挿入できますが、意図しない障害が導入される可能性が高いため、プログラムを自動的に解析して障害を挿入するツールが存在します。

数多くの SWIFI ツールが開発されており、ここではその中からいくつかを紹介します。よく使用される 6 つのフォールト インジェクション ツールは、Ferrari、FTAPE、Doctor、Orchestra、Xception、Grid-FIT です。

• MODIFI（MODel-Implemented Fault Injection）は、Simulink動作モデルの堅牢性評価のためのフォールトインジェクションツールです。ドメイン固有のフォールトモデルの実装のためにXMLでのフォールトモデリングをサポートしています。^[11]
• Ferrari (フォールトおよびエラー自動リアルタイム注入) は、システムにエラーを注入するソフトウェア トラップに基づいています。トラップは、特定のメモリ位置への呼び出しまたはタイムアウトによってアクティブになります。トラップが呼び出されると、ハンドラーはシステムにフォールトを注入します。フォールトは一時的なものでも永続的なものでもかまいません。Ferrari で行われた調査では、エラー検出はフォールトの種類とフォールトが挿入される場所に依存することが示されています。^[12]
• FTAPE (フォールト トレランスおよびパフォーマンス評価ツール) は、メモリやレジスタだけでなく、ディスク アクセスにもフォールトを注入できます。これは、ディスク ユニットから送受信されるデータにフォールトを注入できる特別なディスク ドライバーをシステムに挿入することで実現されます。FTAPE には、堅牢性テストの目的で特定の負荷量をシミュレートできる合成負荷ユニットもあります。^[13]
• DOCTOR (IntegrateD SOftware Fault InjeCTiOn EnviRonment) は、メモリおよびレジスタ障害、ネットワーク通信障害の注入を可能にします。タイムアウト、トラップ、コード変更の組み合わせを使用します。タイムアウトトリガーは一時的なメモリ障害を注入し、トラップはレジスタ破損などの一時的なエミュレートされたハードウェア障害を注入します。コード変更は永続的な障害を注入するために使用されます。^[14]
• Orchestra は、ネットワーク レベルのフォールト インジェクションをベースにしたスクリプト駆動型のフォールト インジェクターです。主な用途は、分散プロトコルのフォールト トレランスとタイミング特性の評価と検証です。Orchestra は当初 Mach オペレーティング システム用に開発され、このプラットフォームの特定の機能を使用してフォールト インジェクターによって発生する遅延を補正します。また、他のオペレーティング システムへの移植にも成功しています。^[15]
• Xception は、多くの最新プロセッサで利用可能な高度なデバッグ機能を利用するように設計されています。プロセッサの例外処理機能がフォールト インジェクションをトリガーするため、システム ソースの変更やソフトウェア トラップの挿入を必要としないように設計されています。これらのトリガーは、特定のメモリ位置へのアクセスに基づいています。このようなアクセスは、データまたは命令のフェッチのいずれかです。そのため、トリガーをタイムアウトではなく特定のイベントに結び付けることができるため、テスト実行を正確に再現できます。^[7]
• Grid-FIT（グリッド - フォールトインジェクションテクノロジー）^[16]は、フォールトインジェクションによってグリッドサービスを評価する信頼性評価方法およびツールです。Grid-FITは、Apache Axisトランスポートを使用して実装されたJava Webサービスを対象とした以前のフォールトインジェクターWS-FIT ^[17]から派生したものです。Grid-FITは、ネットワークレベルのフォールトインジェクションを使用して、コード挿入フォールトインジェクションと同様のレベルの制御を提供しながら、侵襲性が低い新しいフォールトインジェクションメカニズムを使用しています。^[18]
• LFI（ライブラリレベルフォールトインジェクタ）^[19]は自動テストツールスイートであり、制御されたテスト環境で、プログラムが実行時に処理する必要があるが、入力テストだけでは簡単には確認できない例外的な状況をシミュレートするために使用されます。LFIは共有ライブラリによって公開されるエラーを自動的に識別し、プログラムバイナリ内のバグの可能性があるエラー回復コードを見つけ、共有ライブラリとアプリケーションの境界に必要な障害を挿入します。
• FIBlock（フォールトインジェクションブロック）^[20]は、高度にカスタマイズ可能なSimulinkブロックとして実装されたモデルベースのフォールトインジェクション手法です。MATLABでのインジェクションをサポートしており、Simulinkは、センサー、コンピューティングハードウェア、ネットワークなど、サイバーフィジカルシステムの重要な異種コンポーネントの一般的な障害をモデル化します。ブロックの追加のトリガー入力と出力により、条件付き障害のモデル化が可能になります。さらに、トリガー信号に接続された2つ以上のFIBlockは、いわゆる連鎖エラーをモデル化できます。

• Beyond Security beSTORM ^{[21]は、商用の}ブラックボックスソフトウェアセキュリティ分析ツールです。OEMによる開発時によく使用されますが、航空宇宙、銀行、防衛などの分野では、実装前の製品テストにも使用されます。beSTORMのテストプロセスは、最も可能性の高い攻撃シナリオから始まり、徹底的な生成ベースのファジングに頼ります。beSTORMは、一般的なプロトコル用のモジュールを提供し、突然変異ベースの攻撃を含む新しいプロトコルや独自のプロトコルを「自動学習」します。主な特徴: バイナリおよびテキスト分析、カスタムプロトコルテスト、デバッグおよびスタックトレース、開発言語に依存しない、CVE準拠。
• ExhaustiF は、ソフトウェア集約型システムの信頼性を向上させるためにソフトウェア障害注入 (SWIFI) に基づくグレー ボックス テストに使用される商用ソフトウェア ツールです。このツールは、ソフトウェア開発ライフサイクルのシステム統合およびシステム テストのフェーズで使用でき、他のテスト ツールを補完することもできます。ExhaustiF は、ソフトウェアとハ​​ードウェアの両方に障害を注入できます。ソフトウェアにシミュレートされた障害を注入する場合、ExhaustiF は次の障害タイプを提供します: 変数破損およびプロシージャ破損。ハードウェア障害注入のカタログには、メモリ (I/O、RAM) および CPU (整数ユニット、浮動小数点ユニット) の障害が含まれます。RTEMS/ERC32、RTEMS/Pentium、Linux/Pentium、および MS-Windows/Pentium 用のさまざまなバージョンが用意されています。^[22]
• Holodeck ^[23]は Security Innovation が開発したテストツールで、フォールトインジェクションを使用して Windows アプリケーションおよびサービスの実際のアプリケーションおよびシステムエラーをシミュレートします。Holodeck の顧客には、Microsoft、Symantec、EMC、Adobe など、多くの大手商用ソフトウェア開発会社が含まれます。Holodeck は、脆弱性とセキュリティテストのためにエラー処理コードとアプリケーション攻撃対象領域を分析およびデバッグするための、制御された繰り返し可能な環境を提供します。ファイルとネットワークのファジング障害だけでなく、さまざまなリソース、システム、カスタム定義の障害をシミュレートします。コードを分析してテスト計画を推奨し、関数呼び出しのログ記録、API インターセプト、ストレステスト、コードカバレッジ分析、その他多くのアプリケーションセキュリティ保証機能も実行します。
• Proofdock の Chaos Engineering Platform は、 Microsoft Azureクラウド プラットフォームに重点を置いています。インフラストラクチャ レベル、プラットフォーム レベル、アプリケーション レベルで障害を挿入します。
• Gremlin は、カオス エンジニアリングの実践を通じて企業がより回復力のあるシステムを構築するのに役立つ「Failure-as-a-Service」プラットフォームです。Gremlin は、未知の障害を積極的に特定して修正するために、障害をシステムに安全に注入することで、リソース、ネットワーク、状態の 3 つのカテゴリで最も一般的な障害を再現します。
• Codenomicon Defensics ^[24]は、ネットワークプロトコル、APIインターフェース、ファイル、XML構造など、150以上の異なるインターフェースにフォールトインジェクションを行うブラックボックステスト自動化フレームワークです。この商用製品は、オウル大学でソフトウェアフォールトインジェクションの分野で5年間の研究を経て、2001年に発売されました。使用されたファジング原理を説明する論文は、PROTOSコンソーシアムのメンバーの1つであるVTTによって出版されました。^[5]
• Mu Service Analyzer ^[25]は、 Mu Dynamicsが開発した商用サービステストツールです。^[26] Mu Service Analyzer は、サービス拒否シミュレーション、サービスレベルのトラフィックのバリエーション (無効な入力を生成するため)、および既知の脆弱性トリガーの再生を使用して、公開されているソフトウェアインターフェイスに基づいてサービスのブラックボックステストとホワイトボックステストを実行します。これらすべての手法は、入力の検証とエラー処理を実行し、有効なプロトコルモニターおよび SNMP と組み合わせて、テストトラフィックがソフトウェアシステムに与える影響を特徴付けるために使用されます。Mu Service Analyzer を使用すると、ユーザーは公開されているプロトコル実装のシステムレベルの信頼性、可用性、およびセキュリティメトリックを確立して追跡できます。このツールは、2005 年から北米、アジア、ヨーロッパの顧客が市場で利用しており、特にネットワークオペレーター (およびそのベンダー) や産業用制御システム(重要なインフラストラクチャを含む) の重要な市場で利用されています。
• Xception ^{[27]は Critical Software SA [28]}が開発した商用ソフトウェア ツールで、ソフトウェア フォールト インジェクション (SWIFI) とスキャン チェーン フォールト インジェクション (SCIFI) に基づくブラック ボックス テストとホワイト ボックステストに使用されます。Xception を使用すると、特定のアーキテクチャ セットに対してソフトウェア フォールト インジェクションとハードウェア フォールト インジェクションの両方を実行できるため、システム全体またはその一部の堅牢性をテストできます。このツールは 1999 年から市場で使用されており、米国、アジア、欧州の市場、特に航空宇宙や通信市場などの重要な市場に顧客がいます。Xception 製品ファミリーには、次のものが含まれます。a) ソフトウェア実装フォールト インジェクション (SWIFI) テクノロジの最先端のリーダーであるメインの Xception ツール、b) Easy Fault Definition (EFD) および Xtract (Xception Analysis Tool) アドオン ツール、c) スキャン チェーンおよびピン レベルの強制のためのフォールト インジェクション拡張機能を備えた拡張 Xception ツール (eXception)。
• AWS Fault Injection Service は、 AWSで障害注入実験を実行するためのフルマネージドサービスであり、アプリケーションのパフォーマンス、可観測性、および回復力の向上を容易にします。障害注入実験はカオスエンジニアリングで使用されます。カオスエンジニアリングとは、CPU またはメモリ消費の急激な増加などの破壊的なイベントを作成し、システムの応答を観察して改善を実施することで、テスト環境または本番環境でアプリケーションにストレスを与える手法です。

• libfiu (ユーザー空間での障害注入) は、ソース コードを変更せずに POSIX ルーチンの障害をシミュレートする C ライブラリです。実行時にプログラムの任意の時点で任意の障害をシミュレートするための API が含まれています。
• TestApi は共有ソース API ライブラリであり、.NET アプリケーション用のフォールト インジェクション テストやその他のテスト タイプ、データ構造、アルゴリズムの機能を提供します。
• Fuzzino はオープン ソース ライブラリであり、型仕様や有効な値から生成される豊富なファジング ヒューリスティック セットを提供します。
• krf は、システム コールの失敗値を確率的に返すための構成可能な機能を提供するオープン ソースの Linux カーネル モジュールです。ブログ投稿でさらに詳しく説明されています。
• nlfaultinjection は、どんなに制約があってもほぼすべてのシステムで実行でき、C 標準ライブラリのみに依存する、シンプルで移植可能な障害注入フレームワークを提供するように設計されています。

ミュータントフォールトが生成され、モデルのコード記述に挿入される従来のミューテーションテストとは対照的に、一連の新しく定義されたミューテーション演算子をモデルコードではなくモデルプロパティに直接適用することも研究されてきました。^[29]初期プロパティ（またはテストケース）から生成され、モデルチェッカーによって検証されたミュータントプロパティは、初期検証手順中に見逃された新しいプロパティと見なす必要があります。したがって、これらの新しく識別されたプロパティを既存のプロパティリストに追加すると、形式検証のカバレッジメトリックが向上し、結果的に設計の信頼性が向上します。

フォールトインジェクションにはさまざまな形態があります。たとえば、オペレーティングシステムのテストでは、システムコール（カーネルへの呼び出し）を傍受し、一部の呼び出しに対してランダムにエラーを返すドライバー（カーネルモードソフトウェア）によってフォールトインジェクションが実行されることがよくあります。このタイプのフォールトインジェクションは、低レベルのユーザーモードソフトウェアのテストに役立ちます。高レベルのソフトウェアの場合は、さまざまな方法でフォールトが注入されます。マネージドコードでは、インストルメンテーションを使用するのが一般的です。フォールトインジェクションは手動で行うこともできますが、フォールトインジェクションのプロセスを自動化するフォールトインジェクションツールが多数存在します。^[30]

障害が注入されるレベルのAPIの複雑さに応じて、フォールト インジェクション テストは、誤検出の数を最小限に抑えるために注意深く設計する必要があります。適切に設計されたフォールト インジェクション テストでも、ソフトウェアの通常の操作ではあり得ない状況が生成されることがあります。たとえば、2 つの API関数、Commitがあり、PrepareForCommit単独ではこれらの関数のそれぞれが失敗する可能性がありますが、 がPrepareForCommit呼び出されて成功した場合、後続の の呼び出しはCommit必ず成功します。ここで、次のコードを考えてみましょう。

  error = PrepareForCommit (); if ( error == SUCCESS ) { error = Commit (); assert ( error == SUCCESS ); }  
      
      
      
  

多くの場合、フォールト インジェクションの実装では、API 関数が行う保証を行うのに十分な状態を追跡することは不可能です。この例では、上記のコードのフォールト インジェクション テストで assert がヒットする可能性がありますが、これは通常の操作では決して発生しません。

• 盗聴
• 突然変異検査
• カオスエンジニアリング

• Certess Inc. の Certitude ソフトウェア
• DoorDash が信頼性を向上させるためにフォールト インジェクション テストを活用する方法