コンピュータシミュレーションモデルの検証と妥当性確認

システムの動作方法や物理的な配置方法に関する仮定は、構造的仮定です。たとえば、ファストフードのドライブスルーレーンにあるサーバーの数、そして複数ある場合はどのように利用されているか。顧客が1つのサーバーを訪問して取引を完了するようにサーバーが並行して動作しているのか、それとも1つのサーバーが注文を受け付けて支払いを処理し、もう1つのサーバーが注文を準備して提供しているのか。モデルにおける多くの構造的問題は、不適切な仮定や誤った仮定から生じます。^{[ 4 ]} 可能であれば、実際のシステムの動作を注意深く観察して、その動作方法を理解する必要があります。^{[ 4 ]} システムの構造と動作は、実際のシステムのユーザーによっても検証される必要があります。^{[ 1 ]}

概念モデルを構築し、モデルを検証するには、十分な量の適切なデータが利用可能でなければなりません。適切なデータが不足していることが、モデルの検証が失敗する主な理由です。^{[ 3 ]} データは信頼できる情報源から得られたものであることを確認する必要があります。典型的なエラーは、データに対して不適切な統計分布を仮定することです。^{[ 1 ]} 仮定した統計モデルは、適合度検定やその他の手法を使用してテストする必要があります。 ^{[ 1 ] [ 3 ]}適合度検定の例としては、コルモゴロフ・スミルノフ検定やカイ二乗検定などがあります。データ内の外れ値はチェックする必要があります。^{[ 3 ]}

これらは、真実ではないと分かっているが、解決したい問題を単純化するために必要な仮定である。^{[ 6 ]}この仮定の使用は、モデルが解決したい問題に対する答えとして十分正確であることを保証するために制限されなければならない。

t検定を用いた統計的仮説検定は、モデルが有効であるか否かを判断する根拠として用いることができる。

検証すべき仮説は

H ₀モデルのパフォーマンス指標 = システムのパフォーマンス指標

対

H ₁モデルのパフォーマンス指標 ≠ システムのパフォーマンス指標。

この検定は、所定のサンプルサイズと有意水準（α）に基づいて実施されます。検定を実行するために、モデルの統計的に独立したn回の実行を行い、対象となる変数の平均値または期待値E(Y)を算出します。次に、所定のα、 n、E(Y)、およびシステムの観測値μ0^に対して検定統計量t0を_計算します。

${\displaystyle t_{0}={(E(Y)-u_{0})}/{(S/{\sqrt {n}})}}$αの臨界値とn-1の自由度

${\displaystyle t_{a/2,n-1}}$計算されます。

もし

${\displaystyle \left\vert t_{0}\right\vert >t_{a/2,n-1}}$

_H₀を棄却する。モデルの調整が必要である。

仮説検定では、有効なモデルを棄却するタイプ I エラーまたは「モデル構築者のリスク」と呼ばれるエラーと、無効なモデルを受け入れるタイプ II エラー β または「モデル使用者のリスク」と呼ばれるエラーの 2 種類があります。^{[ 3 ]}有意水準 α はタイプ I エラーの確率に等しくなります。^{[ 3 ]} α が小さい場合、帰無仮説を棄却することは強い結論となります。^{[ 1 ]}例えば、α = 0.05 で帰無仮説が棄却された場合、有効なモデルを棄却する確率は 0.05 しかありません。タイプ II エラーの確率を減らすことは非常に重要です。^{[ 1 ] [ 3 ]}無効なモデルを正しく検出する確率は 1 - β です。タイプ II エラーの確率は、サンプル サイズとサンプル値と観測値の実際の差に依存します。サンプル サイズを増やすと、タイプ II エラーのリスクが減少します。

信頼区間は、ある関心変数に関してモデルがシステムに「十分近い」 ^{[ 1 ]}_{かどうかを評価するために使用できます。既知のモデル値μ₀}とシステム値μの差が、その関心変数に関してモデルが有効であるほど小さい値よりも小さいかどうかを確認します。この値は記号εで表されます。テストを実行するために、統計的に独立したモデルの実行をn回行い、関心のあるシミュレーション出力変数Yの平均値または期待値E(Y)またはμと標準偏差Sを生成します。信頼水準100(1-α)を選択します。区間[a,b]は、次のように構築されます。

${\displaystyle a=E(Y)-t_{a/2,n-1}S/{\sqrt {n}}\qquad および\qquad b=E(Y)+t_{a/2,n-1}S/{\sqrt {n}}}$、

どこ

${\displaystyle t_{a/2,n-1}}$

これは、与えられた有意水準とn-1の自由度におけるt分布の臨界値です。

|a-μ ₀ | > ε かつ |b-μ ₀ | > ε の場合、どちらの場合も差が許容範囲を超えているため、モデルを較正する必要があります。

|a-μ ₀ | < ε かつ |b-μ ₀ | < ε であれば、どちらの場合も誤差が十分に近いので、モデルは許容範囲内である。

|a-μ ₀ | < ε かつ |b-μ ₀ | > ε の場合、またはその逆の場合、区間を縮小するためにモデルの追加実行が必要です。

統計的仮定が満たされない場合、またはシステムに関するデータが不十分な場合は、モデル出力とシステム出力のグラフ比較を使用して主観的な決定を行うことができますが、他の客観的なテストの方が望ましいです。^{[ 3 ]}