不確実性定量化 (UQ )とは、計算および実世界のアプリケーションにおける 不確実性 を定量的に特徴付け、推定する科学です。これは、システムのいくつかの側面が正確にはわかっていない場合に、特定の結果が発生する可能性がどの程度あるかを判断しようとするものです。例えば、正面衝突した車と衝突した際の人体の加速度を予測する場合、たとえ速度が正確にわかっていたとしても、個々の車の製造上のわずかな違いや、各ボルトの締め付け具合などによって結果が異なり、統計的な意味でしか予測できないことになります。
自然科学や工学における多くの問題にも、不確実性の源が数多く存在します。コンピュータシミュレーション によるコンピュータ実験は 、不確実性定量化の問題を研究するための最も一般的なアプローチです。[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ]
情報源 不確実性は、さまざまな状況で数学モデル や実験測定に現れる可能性があります。不確実性の原因を分類する方法の1つは、次の点を考慮することです。[ 9 ]
パラメータ これは、コンピュータモデル(数理モデル)への入力となるモデルパラメータに起因するもので、その正確な値は実験者には不明であり、物理実験で制御できないか、あるいは統計的手法 によって正確に推定できない。その例としては、落下物体実験における局所的な自由落下 加速度、工学における有限要素解析における様々な材料特性、マクロ経済政策 最適化における乗数不確実性など が挙げられる。 パラメトリック これは、モデルの入力変数のばらつきに起因するものです。例えば、製造工程におけるワークピースの寸法が設計や指示どおりに正確に一致しない場合、その性能にばらつきが生じる可能性があります。 構造的不確実性 モデルの不適切性、モデルバイアス、またはモデル不一致とも呼ばれるこの現象は、問題の基礎となる物理現象に関する知識の不足に起因します。これは、モデルが現実の状況における真のシステムをどれだけ正確に記述しているかに依存しますが、モデルはほとんどの場合、現実の近似値に過ぎないという事実を考慮する必要があります。一例として、自由落下モデルを用いて落下物体の過程をモデル化する場合が挙げられます。空気抵抗が常に存在するため、モデル自体が不正確です。この場合、モデルに未知のパラメータが存在しないとしても、モデルと実際の物理現象との間には依然として不一致が生じることが予想されます。 アルゴリズム 数値的不確実性、または離散的不確実性とも呼ばれます。このタイプの不確実性は、コンピュータモデルの実装における数値誤差や数値近似に起因します。ほとんどのモデルは複雑すぎて厳密に解くことができません。例えば、偏微分方程式の解を近似するために 有限要素法 や有限差分法 が用いられることがありますが、これには数値誤差が生じます。その他にも、数値積分や無限和の打ち切りといった、数値実装において必要な近似が挙げられます。 実験的 観測誤差とも呼ばれるこの誤差は、実験測定値のばらつきに起因するものです。実験誤差は避けられないものであり、すべての入力値/変数を全く同じ設定で何度も測定を繰り返すことで確認できます。 補間 これは、コンピュータモデルシミュレーションや実験測定から得られたデータが不足していることに起因します。シミュレーションデータや実験測定データがないその他の入力設定については、対応する応答を予測するために、補間または外挿を行う必要があります。
偶然性と認識論的 偶然的不確実性と認識的不確実性の違いを示す図。グラフ上の点は利用可能なデータポイントを表しています。偶然的不確実性はデータに内在する様々な程度のノイズを捉える一方、認識的不確実性はデータ不足による無知のギャップを反映しています。 不確実性は、医療分野で顕著に見られるように、 [ 10 ] [ 11 ] 2 つのカテゴリーに分類されることがあります。 [ 12 ]
偶然的不確実性 偶然的不確実性は確率的不確実性とも呼ばれ、同じ実験を繰り返すたびに異なる未知の要素を表します。例えば、毎回同じ発射(同じ加速度、高度、方向、最終速度)を行う機械式弓で1本の矢を放ったとしても、矢軸のランダムで複雑な振動のために、標的の同じ点に命中するとは限りません。この振動を十分に把握することは不可能であり、結果として生じる着弾点のばらつきを排除することはできません。ここで重要なのは「できない」という定義です。現在利用可能な測定機器では十分に測定できないからといって、必ずしもそのような情報の存在が否定されるわけではなく、そのような情報があれば、この不確実性は下のカテゴリーに分類されます。偶然的は 、ラテン語の alea またはサイコロに由来し、偶然のゲームを指します。 認識論的不確実性 認識的不確実性は系統的不確実性とも呼ばれ、原理的には知り得るが実際には知らない事柄に起因する。これは、測定が正確でない、モデルが特定の効果を無視している、あるいは特定のデータが意図的に隠蔽されているなどの理由による可能性がある。この不確実性の原因の一例として、地表付近の重力加速度を測定する実験における空気抵抗 が挙げられる。一般的に用いられる重力加速度9.8 m/s²は空気抵抗の影響を無視しているが、対象物の空気抵抗を測定して実験に組み込むことで、重力加速度の計算における不確実性を低減できる。 偶然的不確実性と認識的不確実性の複合的な発生と相互作用 偶然的不確実性と認識的不確実性は、単一の項で同時に発生することもあります。たとえば、実験パラメータが偶然的不確実性を示し、それらの実験パラメータがコンピュータシミュレーションに入力される場合です。不確実性の定量化のために、コンピュータ実験からガウス過程 や多項式カオス展開など の代理モデル が学習される場合、この代理モデルは、実験パラメータの偶然的不確実性に依存したり、相互作用したりする認識的不確実性を示します。[ 4 ] このような不確実性は、もはや偶然的または認識的のみに分類することはできず、より一般的な推論的不確実性です。 実際の応用では、両方の種類の不確実性が存在します。不確実性の定量化は、両方の種類の不確実性を個別に明示的に表現することを目的としています。偶然的不確実性の定量化は比較的簡単で、従来の(頻度主義的)確率 が最も基本的な形式です。モンテカルロ法 などの手法がよく使用されます。確率分布は、そのモーメント によって表現できます(ガウス 分布の場合、平均 と共分散で 十分ですが、一般に、任意の高次のすべてのモーメントを知っていても、分布関数を一意に特定することはできません)。あるいは、最近では、カルーネン・レーヴェ展開 や多項式カオス 展開などの手法によって表現できます。認識的不確実性を評価するには、システム、プロセス、またはメカニズムに関する知識(または知識の欠如)を理解する努力がなされます。認識的不確実性は、一般的にベイズ確率の観点から理解されます。ベイズ確率では 、確率は、合理的な人が特定の主張に関してどの程度確信できるかを示すものとして解釈されます。
数学的観点 数学 において、不確実性はしばしば 確率分布 という観点から特徴づけられる。この観点からすると、偶然的不確実性とは、確率分布が特定の結果を明確に示さないこと、あるいは確率分布から抽出されたランダムサンプル がどのような結果になるかを予測できないことを意味する。一方、認識的不確実性とは、関連する確率分布を決定するための根拠がないため、その分布が分からないことを意味する。
下の図は、偶然的および認識的不確実性の4つの異なる例を示しており、主観的論理 からの主観的意見の三角形とベータ確率密度関数という2つの数学的に等価な方法で視覚化され ています。
偶然的不確実性と認識的不確実性のさまざまな段階の視覚化 意見を表す三角形は重心座標系 を表しており、主観的な意見は青い点で視覚化され、信念、不信、E不確実性(認識的)の関連値は青い枠で囲まれています。ここで、信念 + 不信 + E不確実性 = 1 です。青い枠には、基本率(事前確率)と確率値も表示されます。A不確実性(偶然的)は、確率が P = 0.5 のときに最大になります。三角形の右側にあるベータ確率密度関数は、確率が [0, 1] のスケール上で最も密度が高い場所、つまり確率が想定される場所を視覚化します。不確実性の視覚化に関する主観的意見のオンラインデモをご覧ください。
問題の種類 不確実性定量化には大きく分けて2つの問題があります。1つは不確実性の順伝播(様々な不確実性の発生源をモデルを通して伝播させ、システム応答における全体的な不確実性を予測する)であり、もう1つはモデルの不確実性とパラメータの不確実性の 逆 評価(テストデータを用いてモデルパラメータを同時に較正する)です。前者の問題に関する研究は数多く行われており、不確実性解析手法の大部分はこの問題のために開発されました。一方、後者の問題は、堅牢なシステムを設計する上で、モデルの不確実性定量化とそれに続く真のシステム応答の予測が非常に重要であるため、エンジニアリング設計コミュニティでますます注目を集めています。
フォワード 不確実性伝播とは、不確実な入力から伝播するシステム出力の不確実性を定量化することです。これは、不確実性の発生源に列挙されたパラメータ変動が 出力に及ぼす影響に焦点を当てます。不確実性伝播分析の対象は以下のとおりです。
逆 システムの実験測定値と、その数理モデルに基づくコンピュータシミュレーション結果が与えられた場合、逆不確実性定量化は、実験と数理モデルの間のずれ(バイアス補正 と呼ばれる)を推定し、モデルに未知のパラメータが存在する場合はその値を推定します(パラメータ較正 、または単に較正 と呼ばれる)。一般的に、これは順方向不確実性伝播よりもはるかに難しい問題ですが、モデル更新プロセスで実装されることが多いため、非常に重要です。逆不確実性定量化には、いくつかのシナリオがあります。
バイアス補正の結果。更新されたモデル(予測平均値)と予測信頼区間を含む。
バイアス補正とパラメータ較正 この手法は、1つ以上の未知のパラメータを含む不正確なモデルを考慮し、そのモデル更新式は両者を組み合わせたものである。
y e ( x ) = y m ( x 、 θ * ) + δ ( x ) + ε {\displaystyle y^{e}(\mathbf {x} )=y^{m}(\mathbf {x} ,{\boldsymbol {\theta }}^{*})+\delta (\mathbf {x} )+\varepsilon } これは、考えられるすべての不確実性の要因を網羅した、最も包括的なモデル更新定式化であり、解決には最も多くの労力を要する。
選択的方法論 不確実性定量化問題の解決に向けて多くの研究が行われてきたが、その大部分は不確実性の伝播に関するものである。過去10~20年の間に、逆不確実性定量化問題に対する多くの手法も開発され、ほとんどの中小規模の問題に有効であることが証明されている。
順伝播 既存の不確実性伝播アプローチには、確率的アプローチと非確率的アプローチがあります。不確実性伝播のための確率的アプローチには、基本的に 6 つのカテゴリがあります。[ 14 ]
非確率的アプローチでは、区間分析 [ 18 ] 、ファジィ理論 、可能性理論 、証拠理論が最も広く使用されています。
確率論的アプローチは、意思決定分析 の理論との整合性から、工学設計における不確実性分析に対する最も厳密なアプローチと考えられています。その基礎となるのは、標本統計の確率密度関数の計算です。[ 19 ] これは、ガウス変数の変換として得られる確率変数に対して厳密に実行でき、正確な信頼区間が得られます。
逆不確実性
ベイズ ベイズフレームワーク の下では、逆不確実性定量化のためのいくつかの手法が存在する。最も複雑な方向性は、バイアス補正とパラメータ較正の両方で問題を解決することを目指すことである。このような問題の課題には、モデルの不適切さやパラメータの不確実性の影響だけでなく、コンピュータシミュレーションと実験の両方からのデータの不足も含まれる。よくある状況としては、実験とシミュレーションで入力設定が同じではないことが挙げられる。また、実験から得られたパラメータがシミュレーションへの入力となることもよくある。計算コストの高いシミュレーションの場合、多くの場合、ガウス過程 や多項式カオス展開などの 代理モデルが 必要となり、シミュレーションを最もよく近似する代理モデルを見つけるための逆問題が 定義される。[ 4 ]
モジュール式アプローチ 逆不確実性定量化のアプローチとして、モジュラーベイズアプローチがある。[ 9 ] [ 20 ] モジュラーベイズアプローチは、4つのモジュールからなる手順からその名が付けられている。現在利用可能なデータとは別に、未知のパラメータの事前分布を割り当てる必要がある。
モジュール1: コンピュータモデルのためのガウス過程モデリングシミュレーション結果の不足という問題に対処するため、コンピュータモデルをガウス過程 (GP)モデルに置き換える。
y m ( x 、 θ ) ~ G P ( h m ( ⋅ ) T β m 、 σ m 2 R m ( ⋅ 、 ⋅ ) ) {\displaystyle y^{m}(\mathbf {x} ,{\boldsymbol {\theta }})\sim {\mathcal {GP}}{\big (}\mathbf {h} ^{m}(\cdot )^{T}{\boldsymbol {\beta }}^{m},\sigma _{m}^{2}R^{m}(\cdot ,\cdot ){\big )}} どこ
R m ( ( x 、 θ ) 、 ( x ′ 、 θ ′ ) ) = exp { − ∑ k = 1 d ω k m ( x k − x k ′ ) 2 } exp { − ∑ k = 1 r ω d + k m ( θ k − θ k ′ ) 2 } 。 {\displaystyle R^{m}{\big (}(\mathbf {x} ,{\boldsymbol {\theta }}),(\mathbf {x} ',{\boldsymbol {\theta }}'){\big )}=\exp \left\{-\sum _{k=1}^{d}\omega _{k}^{m}(x_{k}-x_{k}')^{2}\right\}\exp \left\{-\sum _{k=1}^{r}\omega _{d+k}^{m}(\theta _{k}-\theta _{k}')^{2}\right\}.} d {\displaystyle d} は入力変数の次元であり、r {\displaystyle r} は未知のパラメータの次元です。h m ( ⋅ ) {\displaystyle \mathbf {h} ^{m}(\cdot )} 事前に定義されています。{ β m 、 σ m 、 ω k m 、 k = 1 、 … 、 d + r } {\displaystyle \left\{{\boldsymbol {\beta }}^{m},\sigma _{m},\omega _{k}^{m},k=1,\ldots ,d+r\right\}} GPモデルのハイパーパラメータ として知られるこれらのパラメータは、最尤推定法(MLE)を用いて推定する必要があります。このモジュールは、一般化 クリギング 法とみなすことができます。
モジュール2: 不一致関数のガウス過程モデリング最初のモジュールと同様に、不一致関数はGPモデルに置き換えられます。
δ ( x ) ~ G P ( h δ ( ⋅ ) T β δ 、 σ δ 2 R δ ( ⋅ 、 ⋅ ) ) {\displaystyle \delta (\mathbf {x} )\sim {\mathcal {GP}}{\big (}\mathbf {h} ^{\delta }(\cdot )^{T}{\boldsymbol {\beta }}^{\delta },\sigma _{\delta }^{2}R^{\delta }(\cdot ,\cdot ){\big )}} どこ
R δ ( x 、 x ′ ) = exp { − ∑ k = 1 d ω k δ ( x k − x k ′ ) 2 } 。 {\displaystyle R^{\delta }(\mathbf {x} ,\mathbf {x} ')=\exp \left\{-\sum _{k=1}^{d}\omega _{k}^{\delta }(x_{k}-x_{k}')^{2}\right\}.} 未知のパラメータの事前分布と、コンピュータモデルと実験の両方からのデータを組み合わせることで、以下の最尤推定値を導出できます。{ β δ 、 σ δ 、 ω k δ 、 k = 1 、 … 、 d } {\displaystyle \left\{{\boldsymbol {\beta }}^{\delta },\sigma _{\delta },\omega _{k}^{\delta },k=1,\ldots ,d\right\}} 。 同時に、β m {\displaystyle {\boldsymbol {\beta }}^{m}} モジュール1からのデータも更新されます。
モジュール3: 未知パラメータの事後分布ベイズの定理は 、未知のパラメータの事後分布 を計算するために適用される。
p ( θ ∣ データ 、 φ ) ∝ p ( d 1 t 1 ∣ θ 、 φ ) p ( θ ) {\displaystyle p({\boldsymbol {\theta }}\mid {\text{data}},{\boldsymbol {\varphi }})\propto p({\rm {{data}\mid {\boldsymbol {\theta }},{\boldsymbol {\varphi }})p({\boldsymbol {\theta }})}}} どこφ {\displaystyle {\boldsymbol {\varphi }}} 以前のモジュールで固定されていたすべてのハイパーパラメータが含まれます。
モジュール4: 実験応答と不一致関数の予測
既知の問題 不確実性伝播に関する理論と手法は、逆不確実性定量化に比べてはるかに確立されている。一方、逆不確実性定量化には、いくつかの未解決の課題が残っている。
次元性の問題:計算コストは、問題の次元性、つまり入力変数の数や未知のパラメータの数に応じて劇的に増加します。 識別可能性の問題: [ 22 ] 未知のパラメータと不一致関数の複数の組み合わせが同じ実験予測をもたらす可能性があります。したがって、パラメータの異なる値を区別/識別することはできません。この問題は、そのような組み合わせを平均化するベイズアプローチで回避されます。[ 4 ] 不完全なモデル応答: 入力変数の組み合わせによっては、モデルに解がないことを意味します。[ 23 ] [ 24 ] 入力量の不確実性の定量化:利用可能なデータに欠落している重要なイベント、または既存のモデルの制限などによりアナリストが特定できない重要な量。[ 25 ] アナリストの選択がもたらす影響についてはほとんど考慮されていない。[ 26 ] 生成AIへの応用: 大規模言語モデルやその他の基盤モデルの不確実性を定量化するためのいくつかの手法[ 27 ] が提案されていますが、この分野は急速に進化しています。この分野における不確実性定量化の課題には、これらのモデルが複雑で非構造化された出力を生成すること、多様なユースケースに展開される汎用システムであること、そして容易に入手できるほぼすべてのデジタル情報を含む大規模な(プライベート)データセットでトレーニングされることが含まれます。
参考文献 ↑ Sacks, Jerome; Welch, William J.; Mitchell, Toby J.; Wynn, Henry P. (1989). "コンピュータ実験の設計と分析" . Statistical Science . 4 (4): 409– 423. doi : 10.1214/ss/1177012413 . JSTOR 2245858 . ↑ Iman, Ronald L.; Helton, Jon C. (1988). "コンピュータモデルにおける不確実性と感度分析手法の調査". Risk Analysis . 8 (1). Wiley: 71–90 . Bibcode : 1988RiskA...8...71I . doi : 10.1111/j.1539-6924.1988.tb01155.x . ISSN 0272-4332 . ↑ ウォーカー、私たち。ハレモエス、P.ロットマンズ、J.ファン・デル・スルイス、日本。ヴァン・アセルト、MBA。ヤンセン、P.クレイアー・フォン・クラウス議員(2003年)。 「不確実性の定義: モデルベースの意思決定支援における不確実性管理の概念的基礎」。 統合された評価 。 4 (1)。 Swets & Zeitlinger Publishers: 5–17 . Bibcode : 2003IntAs...4....5W 。 土井 : 10.1076/iaij.4.1.5.16466 。 hdl : 1874/386032 。 ISSN 1389-5176 。 1 2 3 4 5 Ranftl, Sascha; von der Linden, Wolfgang (2021-11-13). "ベイズ代理分析と不確実性伝播" . Physical Sciences Forum . 3 (1): 6. arXiv : 2101.04038 . doi : 10.3390/psf2021003006 . ISSN 2673-9984 . ↑ Ralph C. Smith (編): "不確実性定量化: 理論、実装、および応用", 第 2 版、SIAM、ISBN 978-1-61197-783-7 (2024)。 ↑ TJ Sullivan:「不確実性定量化入門」、Springer、ISBN 978-3319233949 (2015年12月21日)。 ↑ Soize, C. (2017). 不確実性定量化:計算工学における高度な応用を伴う短期集中コース . 学際応用数学、第47巻. Springer Cham. doi : 10.1007/978-3-319-54339-0 . ISBN 978-3-319-54338-3 。↑ Cunha Jr, A. (2017). "確率論的枠組みにおける物理システムの不確実性のモデリングと定量化". Ekwaro-Osire, S.; Gonçalves, A. C.; Alemayehu, F. M. (編). エネルギーシステムの確率論的予知と健全性管理 . Springer International Publishing. doi : 10.1007/978-3-319-55852-3_8 . 1 2 Kennedy, Marc C.; O'Hagan, Anthony (2001). "Bayesian calibration of computer models" . Journal of the Royal Statistical Society, Series B (Statistical Methodology) . 63 (3): 425– 464. doi : 10.1111/1467-9868.00294 . ↑ Der Kiureghian, Armen; Ditlevsen, Ove (2009). "偶然性か認識論的か?それは重要か?". Structural Safety . 31 (2): 105– 112. doi : 10.1016/j.strusafe.2008.06.020 . ↑ マティース、ヘルマン G. (2007). 「不確実性の定量化:確率の現代的な計算表現と応用」. 構造物の動態における極端な人為的および自然災害 . NATO 科学を通じた安全保障シリーズ. pp. 105–135 . doi : 10.1007/978-1-4020-5656-7_4 . ISBN 978-1-4020-5654-3 。↑ アバヤ・インドラヤン著『医学生物統計学』 第2版、チャップマン&ホール/CRCプレス、2008年、8、673ページ ↑ テイラー、ジョン・R. 『誤差解析入門』 (第2 版)。ユニバーシティ・サイエンス・ブックス。45 ページ 。ISBN 978-0-935702-75-0 。↑ Lee, SH; Chen, W. (2008-05-09). "ブラックボックス型問題に対する不確実性伝播法の比較研究". Structural and Multidisciplinary Optimization . 37 (3). Springer Science and Business Media LLC: 239–253 . doi : 10.1007 /s00158-008-0234-7 . ISSN 1615-147X . S2CID 119988015 . ↑ Cardenas, IC (2019). 「斜面安定性解析における不確実性を分析するためのメタモデリングアプローチとしてのベイジアンネットワークの使用について」。Georisk :エンジニアリングシステムと地質災害 の リスク評価と管理 。13 ( 1 ): 53– 65。Bibcode : 2019GAMRE..13 ...53C。doi : 10.1080 /17499518.2018.1498524。S2CID 216590427 。 ↑ Ranftl, Sascha; Melito, Gian Marco; Badeli, Vahid; Reinbacher-Köstinger, Alice; Ellermann, Katrin; von der Linden, Wolfgang (2019-12-31). "大動脈解離のインピーダンス心臓造影のためのマルチフィデリティデータとガウス過程を用いたベイズ的不確実性定量化" . Entropy . 22 (1): 58. Bibcode : 2019Entrp..22...58R . doi : 10.3390/e22010058 . ISSN 1099-4300 . PMC 7516489 . PMID 33285833 . ↑ Ranftl, Sascha; Müller, Thomas Stephan; Windberger, Ursula; von der Linden, Wolfgang; Brenn, Günter (2021-05-03), 「大動脈血行動態における血液レオロジー的不確実性へのベイズ的アプローチ」のデータとコード 、doi : 10.5281/zenodo.5237189 、 2022-01-12 取得 ↑ ジョリン、L.;キーファー、M.ディドリット、O。ウォルター、E. (2001)。 適用された間隔分析 。スプリンガー。 ISBN 1-85233-219-0 。↑ Arnaut, LR 残響室における測定不確かさ - I. サンプル統計。技術報告書 TQE 2、第 2 版、セクション 3.1、国立物理研究所、2008 年。 ↑ Marc C. Kennedy、Anthony O'Hagan、「コンピュータモデルのベイズ較正に関する補足詳細」 、シェフィールド、シェフィールド大学:1–13、2000年 1 2 Bayarri, MJ ; Berger, JO; Liu, F. (2009-03-01). "ベイズ分析におけるモジュール化、特にコンピュータモデルの分析に重点を置いて" . Bayesian Analysis . 4 (1). Institute of Mathematical Statistics: 119– 150. doi : 10.1214/09-ba404 . ISSN 1936-0975 . ↑ Arendt, Paul D.; Apley, Daniel W.; Chen, Wei ; Lamb, David; Gorsich, David (2012-09-28). "複数の応答を用いたモデル較正における識別可能性の向上". Journal of Mechanical Design . 134 (10). ASME International: 100909. doi : 10.1115/1.4007573 . ISSN 1050-0472 . ↑ Cardenas, IC (2019). 「斜面安定性解析における不確実性を分析するためのメタモデリングアプローチとしてのベイジアンネットワークの使用について」。Georisk :エンジニアリングシステムと地質災害 の リスク評価と管理 。13 ( 1 ): 53– 65。Bibcode : 2019GAMRE..13 ...53C。doi : 10.1080 /17499518.2018.1498524。S2CID 216590427 。 ↑ van den Eijnden, AP; Schweckendiek, T; Hicks, MA (2021). "ノイズと不完全なモデルを用いた地盤工学的信頼性解析のためのメタモデリング" . Georisk: Assessment and Management of Risk for Engineered Systems and Geohazards . 16 (3): 518– 535. doi : 10.1080/17499518.2021.1952611 . S2CID 238819106 . ↑ Cardenas, I.; Aven, T.; Flage, R. (2022). "不確実性定量化における課題への取り組み。地質災害評価の事例" . Geosci. Model Dev. Discuss . 16 (6): 1601– 1615. doi : 10.5194/gmd-16-1601-2023 . hdl : 11250/3105739 . ↑ Cardenas, I.; Aven, T.; Flage, R. (2022). "不確実性定量化における課題への取り組み。地質災害評価の事例" . Geosci. Model Dev. Discuss . 16 (6): 1601– 1615. doi : 10.5194/gmd-16-1601-2023 . hdl : 11250/3105739 . ↑ Chen, J.; Mueller, J. (2024). "Quantifying Uncertainty in Answers from any Language Model and Enhancing their Trustworthiness". Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics : 5186– 5200. doi : 10.18653/v1/2024.acl-long.283 .