マージンと不確実性の定量化

マージンと不確実性の定量化 (QMU)は、複雑な技術的決定を支援する方法論です。QMU は、不確実性の条件下で評価されるエンジニアリング システムのパフォーマンスしきい値とそれに関連するマージンの識別、特性評価、および分析に重点を置いています。特に、その結​​果の一部が計算モデリングとシミュレーションを使用して生成される場合に重点が置かれています。 ^[1] QMU は、包括的な実験テスト データがすぐには入手できず、エンドツーエンドのシステム実行または特定の対象サブシステムのいずれかに対して簡単に生成できない複雑なシステムに従来適用されてきました。QMU が適用されているシステムの例としては、核兵器のパフォーマンス、資格、備蓄評価などがあります。QMU は、モデル内に存在するさまざまな不確実性の原因を詳細に特性評価することに重点を置いており、これにより、システム応答出力変数の不確実性を適切に定量化できます。これらの原因は、複雑なエンジニアリング システムの確率的性質を考慮するために、確率分布の観点から頻繁に説明されます。不確実性の特性評価は、主要なシステム パフォーマンス メトリックの設計マージンと、モデルによる計算に関連する不確実性の比較をサポートします。 QMUは、計算シミュレーションの結果が意思決定機関への複数の入力の1つとなる、リスク情報に基づいた意思決定プロセスをサポートします。現在、シミュレーションコミュニティ全体でQMUを実施するための標準化された方法論はありません。^[2]この用語は、設計マージンとの比較をサポートするためにモデルの不確実性を厳密に定量化することに重点を置いたさまざまなモデリングおよびシミュレーション手法に適用されます。

QMU の基本概念は、もともと 1990 年代後半に、ローレンス リバモア国立研究所、サンディア国立研究所、ロスアラモス国立研究所など、核兵器プログラムをサポートするいくつかの国立研究所で同時に開発されました。この方法論の当初の焦点は、核兵器実験の禁止により検証用の完全な実験テスト データを生成することができなくなった分野である核備蓄の意思決定をサポートすることでした。^[3]この方法論はその後、モデリングとシミュレーションに基づく結果を使用して、複雑なプロジェクトの安全性やミッション クリティカルな決定を下す必要がある他のアプリケーションにも適用されています。核兵器分野以外の例としては、NASAでの惑星間宇宙船およびローバー開発への適用、^[4]ミサイルの 6 自由度 (6DOF) シミュレーション結果、^[5]および終末弾道遭遇における材料特性の特性評価などがあります。^[6]

QMU は、設計マージンとモデル出力の不確実性の比率の定量化に重点を置いています。このプロセスは、システム要件ドキュメントによく記載されている、システムの主要なパフォーマンスしきい値の特定から始まります。これらのしきい値 (パフォーマンス ゲートとも呼ばれます) は、パフォーマンスの上限、パフォーマンスの下限、またはメトリックが指定範囲内に収まる必要がある場合はその両方を指定できます。これらのパフォーマンスしきい値ごとに、関連するパフォーマンス マージンを特定する必要があります。マージンは、システムがパフォーマンスの上限と下限を安全に回避するために動作するように設計されている目標範囲を表します。これらのマージンは、システムの開発対象となる設計安全係数やその安全係数の信頼度などの側面を考慮します。QMU は、パフォーマンスしきい値マージンに関連するシミュレーション結果の定量化された不確実性の特定に重点を置いています。この全体的な不確実性には、計算モデルに関連するすべての形式の不確実性、およびしきい値とマージン値の不確実性が含まれます。これらの値の特定と特性評価により、システムのマージン対不確実性 (M/U) の比率を計算できます。これらの M/U 値は、シミュレーションに基づく結果をどのように解釈し、それに基づいて行動するかに関して、当局がリスク情報に基づいた決定を下すのに役立つ定量化された入力として機能します。

QMU は、複雑なシステムのモデルを通じて伝播する不確実性には複数の種類があることを認識しています。QMU プロセスのシミュレーションでは、最良推定値プラス不確実性 (BE+U) と呼ばれる、重要なパフォーマンスしきい値の出力結果が生成されます。BE+U の最良推定値コンポーネントは、モデル応答変数について既知で理解されているコア情報を表します。これらの推定値に高い信頼性を与える基礎は、通常、シミュレーション モデルを徹底的に検証できる、対象のプロセスに関する十分な実験テスト データです。

BE+Uの価値に寄与する不確実性の種類は、いくつかのカテゴリーに分類できます。^[7]

• 偶然の不確実性: このタイプの不確実性は、モデル化されているシステムに自然に存在し、「削減不可能な不確実性」や「確率的変動性」と呼ばれることもあります。例としては、突風パラメータや製造許容範囲など、自然に確率的なプロセスが挙げられます。
• 認識論的不確実性: このタイプの不確実性は、モデル化されているシステムに関する知識の欠如が原因であり、「削減可能な不確実性」とも呼ばれます。認識論的不確実性は、モデルの正しい基礎方程式に関する不確実性、発生する可能性のあるシナリオの完全なセットに関する不完全な知識、および主要なモデル入力パラメータを定義する実験テスト データの欠如から生じる可能性があります。

また、システム要件に関連する指定されたしきい値とマージンに関連する要件の不確実性も、システムに影響を及ぼす可能性があります。QMU は、状況によっては、システム設計者が特定のメトリックの正しい値に高い自信を持っている一方で、特定の状況での操作経験が不足しているために、選択した値自体が不確実性に悩まされる可能性があることを認識しています。QMU は、これらの不確実性の値を分離し、プロセスへの全体的な入力の一部としてそれぞれを定量化しようとします。

QMU は、システムに影響を与える可能性のある未知の未知を特定する能力において、人為的エラーも考慮に入れることができます。これらのエラーは、以前のシステム テストで利用できる可能性のある限られた実験データを調べ、テストの何パーセントで予期しない方法でシステムしきい値を超えたかを特定することで、ある程度定量化できます。このアプローチは、予期しない結果の過去の発生に基づいて将来のイベントを予測しようとします。

モデルへの入力として機能する基礎パラメータは、確率分布からのサンプルとしてモデル化されることがよくあります。入力パラメータ モデル分布とモデル伝播方程式によって、出力パラメータ値の分布が決まります。特定の出力値の分布は、そのパフォーマンス変数の許容可能な M/U 比を決定する際に考慮する必要があります。その変数の特定の分布により、U の不確実性制限に上限が含まれる場合は、より低い M/U 比が許容される可能性があります。ただし、U が正規分布または指数分布としてモデル化され、分布の末端からの外れ値が含まれる可能性がある場合は、システム リスクを許容レベルまで下げるために、より大きな値が必要になることがあります。

安全上重要なシステムで許容される M/U 比率は、アプリケーションによって異なります。研究では、核兵器備蓄の意思決定における許容される M/U 比率は 2:1 ～ 10:1 の範囲であるとされています。直感的に、M/U の値が大きいほど、シミュレーション出力の不確実性によって消費されるパフォーマンス マージンが少なくなります。比率が 1:1 の場合、シミュレーションの実行で、実際には設計マージン全体が消費されている可能性があるにもかかわらず、シミュレートされたパフォーマンスしきい値を超えない結果になる可能性があります。厳密な QMU は、システム自体がパフォーマンス マージンを満たすことができることを保証するものではなく、正確に特徴付けられた結果に基づいて意思決定機関が判断を下せるようにするためのものであることに留意することが重要です。

QMU の根本的な目的は、モデル開発者が理解している不確実性を考慮して、結果を完全に特徴付ける情報を意思決定者に提示することです。この結果の提示により、意思決定者は、不確実性に関する現在の理解に基づいて結果にどのような感度が存在するかを理解しながら、情報に基づいた決定を下す機会を得ることができます。QMU の支持者は、複雑なシステムに関する決定は、定量化された M/U メトリックに基づいて厳密に行うことはできないことを認識しています。最終的な結果が決定される前に、主題専門家 (SME) の判断や、利害関係者の意見や規制問題などのその他の外部要因も、意思決定機関によって考慮される必要があります。^[8]

モデルの検証と妥当性確認(V & V) は QMU と密接に関連しています。 ^[9] 検証は、モデルが正しく構築されたかどうかを判断するプロセスとして広く認識されています。妥当性確認活動は、正しいモデルが構築されたかどうかを判断することに重点を置いています。^[10] 利用可能な実験テスト データに対する V&V は、システム応答変数の全体的な不確実性を正確に特徴付ける上で重要な側面です。V&V は、コンポーネントおよびサブシステム レベルの実験テスト データを最大限に活用して、モデルの入力パラメーターと、システムの特定のサブ要素に関連付けられた物理ベースのモデルを正確に特徴付けることを目指しています。シミュレーション プロセスで QMU を使用すると、認証前にモデルの信頼性を確立するために必要なシミュレーション実行を決定する際に、入力変数の確率的性質 (偶然性と認識論的不確実性の両方による) とモデルの根本的な不確実性が適切に考慮されるようになります。

QMU は、モデリングとシミュレーションに大きく依存しなければならないプログラムの意思決定を改善する可能性があります。モデリングとシミュレーションの結果は、複雑なエンジニアリング システムの取得、開発、設計、テストの際に頻繁に使用されています。^[11] シミュレーション開発における大きな課題の 1 つは、モデルの各要素にどの程度の忠実度を組み込むべきかを知ることです。忠実度を高く追求すると、開発時間とシミュレーション開発の総コストが大幅に増加する可能性があります。QMU は、主要なパフォーマンス変数の設計しきい値マージンに対する必要な忠実度を記述するための正式な方法を提供します。この情報は、シミュレーションの将来の投資領域の優先順位付けにも使用できます。主要なパフォーマンス変数のさまざまな M/U 比を分析すると、シミュレーションの有効性を高めるために忠実度のアップグレードが必要なモデル コンポーネントを特定するのに役立ちます。

QMU の使用に関連するさまざまな潜在的な問題も特定されています。QMU は、追加の厳密さが適用されるため、従来のシミュレーション プロジェクトと比較して開発スケジュールが長くなり、開発コストが増加する可能性があります。QMU の支持者は、必要な不確実性の定量化のレベルは、シミュレーションの意図されたアプリケーションの認証要件によって決まると述べています。機能計画やシステム トレード分析に使用されるシミュレーションでは、通常、分析対象のシステムとコンポーネントの全体的なパフォーマンス トレンドをモデル化する必要があります。ただし、実験テスト データが不足している安全性が重要なシステムの場合、シミュレーション結果は意思決定プロセスへの重要な入力となります。QMU の使用に関連するもう 1 つの潜在的なリスクは、未知のリスクからの保護に関する誤った自信です。主要なシミュレーション パラメータの定量化された結果を使用すると、意思決定者は考えられるすべてのリスクが完全に考慮されていると信じてしまう可能性があります。これは、複雑なシステムでは特に困難です。QMU の支持者は、このリスクに対抗するためにリスク情報に基づく意思決定プロセスを提唱しています。このパラダイムでは、M/U 結果だけでなく、SME の判断やその他の外部要因も常に最終決定に考慮されます。

• 不確実性の定量化
• サンディア国立研究所
• ロスアラモス国立研究所
• ローレンス・リバモア国立研究所
• 検証と検証