ランダム検査

ランダムテストは、ランダムで独立した入力を生成することによってプログラムをテストするブラックボックスソフトウェアテスト手法です。出力結果はソフトウェア仕様と比較され、テスト出力が合格か不合格かが検証されます。^[¹^]仕様がない場合は、言語の例外が使用されます。つまり、テスト実行中に例外が発生した場合は、プログラムに欠陥があることを意味します。これは、偏ったテストを回避する方法としても使用されます。

無作為検査の歴史

ハードウェアのランダムテストは、1971年にメルビン・ブロイアーによって初めて検討され、その有効性を評価する最初の試みは、 1975年にプラティマとヴィシュワニ・アグラワルによって行われた。^{[ 2 ]}

ソフトウェア分野では、デュランとンタフォスが1984年にランダムテストを研究した。^{[ 3 ]}

ランダムテストの理論的基礎としての仮説検定の使用は、ハウデンが『機能テストと分析』で説明した。この本には、故障率が 1/n 以下であるという信頼度を少なくとも 1-1/ nにするために必要なテスト数nを推定するための簡単な公式の開発も含まれている。この公式は、 n log nの下限であり、控えめな故障率の境界に対して控えめな信頼度を得るために必要な、多数の故障のないテストを示している。^[⁴^]

概要

次のC++関数を考えてみましょう。

int myAbs ( int x ) { if ( x > 0 ) { return x ; } else { return x ; // バグ: '-x' であるべき} }

この関数のランダムなテストは、{123, 36, -35, 48, 0} のようになります。バグが発生するのは、値 '-35' の場合のみです。結果を確認するための参照実装がない場合、バグは見過ごされる可能性があります。しかし、次のようなアサーションを追加して結果を確認することができます。

void testAbs ( int n ) { for ( int i = 0 ; i < n ; i ++ ) { int x = getRandomInput (); int result = myAbs ( x ); assert ( result >= 0 ); } }

リファレンス実装は、例えば、パフォーマンス向上のために単純なアルゴリズムをより複雑な方法で実装する場合などに利用可能です。例えば、シェーンハーゲ・シュトラッセンアルゴリズムの実装をテストするには、整数に対する標準的な「*」演算を使用できます。

int getRandomInput () { // … }void testFastMultiplication ( int n ) { for ( int i = 0 ; i < n ; i ++ ) { long x = getRandomInput (); long y = getRandomInput (); long result = fastMultiplication ( x , y ); assert ( x * y == result ); } }

この例は単純な型（単純な乱数生成器を使用できる）に限定されていますが、オブジェクト指向言語を対象としたツールは通常、プログラムを探索して生成器（その型のオブジェクトを返すコンストラクタまたはメソッド）をテストして見つけ、乱数入力（同じ方法で生成されたもの、または可能であれば擬似乱数生成器を使用して生成されたもの）を使用してそれらを呼び出します。このようなアプローチでは、ランダムに生成されたオブジェクトのプールを維持し、生成されたオブジェクトを再利用するか新しいオブジェクトを作成するかの確率を使用します。^{[ 5 ]}

ランダム性について

D. ハムレットによるランダムテストに関する画期的な論文によると

[…]「ランダムテスト」の技術的、数学的な意味は、テストデータの選択において「システム」が明確に欠如していることを指し、異なるテスト間に相関関係がないことを意味します。^{[ 1 ]}

長所と短所

ランダム検査は、以下の長所から高く評価されている。

使用コストが安い。テスト対象のプログラムについて高度な知識を必要としないからだ。
偏りがない：手動テストとは異なり、一部のコードに対する誤った信頼のためにバグを見落とすことがない。
バグ候補を迅速に見つけることができ、テストセッションの実行には通常数分しかかかりません。
ソフトウェアの仕様が適切であれば、実際のバグを発見できる。

以下の弱点が指摘されています。

基本的なバグ（例えば、ヌルポインタの逆参照）しか検出できません。
その精度は仕様の精度に依存するが、仕様は通常、不正確である。
バグを見つけるための他の手法（例えば静的プログラム解析）と比較すると、その性能は劣る。
各テスト実行で異なる入力がランダムに選択されると、同じテストがランダムに合格または失敗するため、継続的インテグレーションに問題が生じる可能性があります。 ^{[ 6 ]}
ランダム性に頼るよりも、ホワイトボックス方式で手作業で構築したテストで関連するすべてのケースを慎重に網羅する方が良いと主張する人もいる。^{[ 6 ]}
低い故障率に対する低い信頼度を得るには、非常に多くのテストが必要になる場合があります。たとえば、故障の確率が1/100未満であると少なくとも99%の信頼度を得るには、459回の故障のないテストが必要になります。^{[ 4 ]}