確率分布フィッティング

確率分布フィッティングまたは単に分布フィッティングは、変動する現象を繰り返し測定する一連のデータに確率分布をフィッティングすることです。分布フィッティングの目的は、特定の間隔における現象の規模の発生確率または発生頻度を予測することです。

確率分布にはさまざまな種類があり (確率分布の一覧を参照)、現象や分布の特性に応じて、観測されたデータの頻度に他の分布よりも近いものがいくつかあります。近い分布は、良い予測につながると考えられます。したがって、分布のフィッティングでは、データに適した分布を選択する必要があります。

適切な分布の選択は、中心傾向に関するデータセットの対称性の有無によって決まります。

対称分布

データが平均値の周囲に対称的に分布し、平均値から離れたデータの発生頻度が減少する場合、たとえば正規分布、ロジスティック分布、またはスチューデントの t 分布を選択できます。最初の 2 つは非常に似ていますが、自由度が 1 の最後の分布は「裾が重い」ため、平均値から離れた値が比較的頻繁に発生します (つまり尖度が高くなります)。コーシー分布も対称です。

分布を右に歪める

大きい値が小さい値よりも平均から離れる傾向がある場合、分布は右に歪んでいます（つまり、正の歪度があります）。たとえば、対数正規分布（つまり、データの対数値は正規分布しています）、対数ロジスティック分布（つまり、データの対数値はロジスティック分布に従います）、ガンベル分布、指数分布、パレート分布、ワイブル分布、バー分布、またはフレシェ分布を選択できます。最後の 4 つの分布は左側に制限されます。

分布を左に歪める

小さい値が大きい値よりも平均から離れる傾向がある場合、分布は左に歪んでいる（つまり、負の歪度がある）ため、たとえば、二乗正規分布（つまり、データ値の二乗に適用される正規分布）、^[1]反転（鏡像）ガンベル分布、^[1]ダガム分布（鏡像バー分布）、または左に制限される ゴンペルツ分布を選択できます。

分布フィッティングには以下のような手法がある: ^[2]

• パラメトリック法は、データ系列から分布のパラメータを計算する。 ^[3]パラメトリック法には以下のものがある。
  • モーメント法
  • 最大間隔の推定
  • Lモーメント法^[4]
  • 最尤法^[5 ]

• プロット位置プラス回帰分析では、累積分布関数の変換を使用して、累積確率とデータ値の間に線形関係が見つかるようにします。選択された確率分布に応じて、データ値も変換する必要がある場合があります。この方法では、プロット位置によって累積確率を推定する必要があります^[6]

対称分布（正規分布やロジスティック分布など）を正に歪んだ分布（つまり、右に歪んでおり、平均＞最頻値で、右側の裾が左側の裾よりも長い分布）に従うデータに適合させるには、データを対数変換するのが一般的です。対数正規分布と対数ロジスティック分布を参照してください。データの平方根を取ることでも同様の効果が得られます。

負に歪んだ分布に従うデータ（つまり、左に歪んでおり、平均 <最頻値で、右側の裾が左側の裾よりも短い）に対称分布を当てはめるには、データの二乗値を使用して適合を実現できます。

より一般的には、データをp乗して、任意の歪度の分布に従うデータに対称分布を当てはめることができます。歪度が正の場合はp < 1、歪度が負の場合はp > 1 です。 pの最適値は、数値法によって見つけられます。数値法は、 p値の範囲を仮定し、次にすべての仮定されたp値に対して分布フィッティング手順を繰り返し適用し、最後に、 CumFreq で行われるように、計算された確率と測定された頻度の偏差の二乗の合計 (カイ二乗) が最小になるpの値を選択することで構成されます。

一般化により確率分布の柔軟性が向上し、分布フィッティングにおける適用性が向上します。^[6]

一般化の汎用性により、例えば、近似的に正規分布するデータセットを多数の異なる確率分布に適合させることが可能になり、^[7]負に歪んだ分布を二乗正規分布や鏡像ガンベル分布に適合させることもできる。^[8]

歪んだ分布は、累積分布関数(F) の数式をその補数 F'=1-Fに置き換えることで反転 (または鏡像化) することができ、鏡像を与える補分布関数(生存関数とも呼ばれる) が得られます。このようにして、右に歪んだ分布は左に歪んだ分布に変換され、その逆も同様です。

歪度反転の手法により、分布フィッティングに使用できる確率分布の数が増え、分布フィッティングの機会が拡大します。

指数分布などの一部の確率分布は、負のデータ値 ( X ) をサポートしていません。ただし、負のデータが存在する場合は、X をY = X - Xmに置き換えることで、そのような分布を使用できます。ここで、Xm はXの最小値です。この置き換えは、 Xmが負であるため、確率分布が正の方向、つまり右にシフトすることを表します。 Yの分布フィッティングが完了すると、対応するX値がX = Y + Xmから見つかります。これは、分布が負の方向、つまり左にシフトしていることを表します。
分布シフトの手法により、適切にフィッティングする確率分布を見つける可能性が高まります。

2つの異なる確率分布を使用するオプションがあり、1つは低いデータ範囲用、もう1つはラプラス分布のように高いデータ範囲用です。範囲はブレークポイントによって区切られます。このような複合（不連続）確率分布の使用は、研究対象の現象のデータが2つの異なる条件下で得られた場合に適しています。^[6]

適合された確率分布に基づく発生予測は不確実性の影響を受けますが、これは以下の条件から生じます。

• 観測されたデータ系列はランダム誤差により現象の実際の発生確率を完全には表さない可能性があるため、イベントの真の確率分布は適合分布から逸脱する可能性があります。
• 別の状況や将来におけるイベントの発生は、ランダムエラーの影響を受ける可能性があるため、適合分布から逸脱する可能性があります。
• 環境条件の変化により、現象の発生確率が変化する可能性がある。

最初と 2 番目のケースの不確実性の推定値は、たとえば、超過確率 Pe (つまり、イベントXがXの基準値Xrより大きい可能性) と非超過確率Pn (つまり、イベントX が基準値Xr以下である可能性、累積確率とも呼ばれる) を使用して、二項確率分布で取得できます。この場合、超過があるか、非超過があるかの 2 つの可能性しかありません。この二重性があるため、二項分布が適用可能です。

二項分布を使用すると、予測区間を得ることができます。このような区間では、失敗のリスク、つまり予測されたイベントが信頼区間外に留まる可能性も推定されます。信頼またはリスク分析には、水文学で行われるように、再現期間 T=1/Peを含めることができます。

ベイズ的アプローチは、パラメータ の事前分布を持つモデルを当てはめるために使用できます。基礎となる分布から独立して抽出されたサンプルがある場合、いわゆる事後分布を導き出すことができます。この事後分布は、 観測値が与えられた新しいサンプルの確率質量関数を更新するために使用できます。${\displaystyle P(x|\theta )}$${\displaystyle P(\theta )}$${\displaystyle \theta}$${\displaystyle X}$${\displaystyle P(\theta |X)}$${\displaystyle x}$${\displaystyle X}$

${\displaystyle P_{\theta }(x|X):=\int d\theta \ P(x|\theta )\ P(\theta |X)}$。

新たに得られた確率質量関数の分散も決定できる。ベイズ確率質量関数の分散は次のように定義できる。

${\displaystyle \sigma _{P_{\theta }(x|X)}^{2}:=\int d\theta \ \left[P(x|\theta )-P_{\theta }(x|X)\right]^{2}\ P(\theta |X)}$。

この分散の表現は、（独立に抽出されたサンプルを想定すると）大幅に簡略化できます。「自己確率質量関数」を次のように定義します。

${\displaystyle P_{\theta }(x|\left\{X,x\right\})=\int d\theta \ P(x|\theta )\ P(\theta |\left\{X,x\right\})}$、

分散は^[12]

${\displaystyle \sigma _{P_{\theta }(x|X)}^{2}=P_{\theta }(x|X)\left[P_{\theta }(x|\left\{X,x\right\})-P_{\theta }(x|X)\right]}$。

分散の表現には、対象のサンプルを含む追加の適合が含まれます。${\displaystyle x}$

さまざまな分布の適合度をランク付けすることで、どの分布が許容可能で、どの分布が許容不可能であるかを把握できます。

累積分布関数(CDF)から、ヒストグラムと確率密度関数(PDF)を導出できます。

• 曲線フィッティング
• 密度推定
• 混合分布
• 製品流通