区間予測モデル

回帰分析において、区間予測モデル（IPM）は、近似対象関数の境界を求める回帰手法です。これは、通常、点値や確率分布全体を推定することを目的とする機械学習の他の手法とは異なります。区間予測モデルは、潜在的に無限の関数セットを含み、回帰変数に対して特定の分布を仮定しないため、ノンパラメトリック回帰手法と呼ばれることもあります。

関数を表すためによく使用される多点データ用の多入力多出力IPMが最近開発されました。^{[ 1 ]これらのIPMは、スライス正規分布[ 2 ]}またはスライス指数分布^{[ 3 ]}を使用して、モデルのパラメータをパス連結半代数セットとして規定します。このアプローチの重要な利点は、さまざまな忠実度レベルで複雑なパラメータ依存性を特徴付けることができることです。この方法により、アナリストは予測における望ましい保守性のレベルを調整できます。

シナリオ最適化理論の結果として、多くの場合、テスト時のモデルのパフォーマンスに関して厳密な予測を行うことができます。^{[ 4 ]}したがって、区間予測モデルは、分位点回帰 の保証された境界と見なすことができます。区間予測モデルは、ランダム予測モデルのサポートを規定する方法としても見なすことができ、ガウス過程はその特殊なケースです。^{[ 5 ]}

通常、区間予測モデルは、パラメータ関数を指定することによって作成されます。この関数は通常、パラメータベクトルと基底の積として選択されます。通常、基底は多項式特徴で構成されますが、放射基底が使用される場合もあります。次に、凸集合がパラメータベクトルに割り当てられ、凸集合のサイズが最小化され、すべての可能なデータ点がパラメータの1つの可能な値によって予測できるようになります。Campi (2009) は楕円体パラメータセットを使用し、IPM をトレーニングするための凸最適化プログラムを作成しました。 ^{[ 4 ]} Crespo (2016) は、IPM の境界に対して便利な線形形式 が得られる超直方体パラメータセットの使用を提案しました。 ^{[ 6 ]} したがって、IPM は線形最適化プログラムでトレーニングできます。

${\displaystyle \operatorname {arg\,min} _{p}\left\{\mathbb {E} _{x}({\bar {y}}_{p}(x)-{\underline {y}}_{p}(x)):{\bar {y}}_{p}(x^{(i)})>y^{(i)}>{\underline {y}}_{p}(x^{(i)}),i=1,\ldots ,N\right\}}$

トレーニングデータの例は$\displaystyle y^{(i)}}$そして${\displaystyle x^{(i)}}$、および区間予測モデルの境界${\displaystyle {\underline {y}}_{p}(x)}$そして${\displaystyle {\overline {y}}_{p}(x)}$パラメータベクトルによってパラメータ化される${\displaystyle p}$このようなIPMの信頼性は、凸型IPMの場合、サポート制約の数が学習可能なパラメータの次元よりも少ないため、シナリオアプローチを適用できることに注目することで得られます。

Lacerda (2017) は、このアプローチは、訓練データが点値ではなく区間値である場合にも拡張できることを示した。^{[ 7 ]}

Campi (2015) では、シナリオ最適化の非凸理論が提案された。^{[ 8 ]} これは、サポート制約の数を測定することを含み、${\displaystyle S}$トレーニング後の区間予測モデルに対して、モデルの信頼性に関する予測を行う。これにより、単層ニューラルネットワークなどの非凸IPMを作成できる。Campi（2015）は、シナリオ最適化プログラムのみを解くアルゴリズムが、${\displaystyle S}$これは、検証セットでの事前評価なしに、テスト時のモデルの信頼性を判断できる時間です。^{[ 8 ]} これは、最適化プログラムを解くことによって実現されます。

${\displaystyle \operatorname {arg\,min} _{p}\left\{h:|{\hat {y}}_{p}(x^{(i)})-y^{(i)}|<h,i=1,\ldots ,N\right\},}$

区間予測モデルの中心線${\displaystyle {\hat {y}}_{p}(x)=({\overline {y}}_{p}(x)+{\underline {y}}_{p}(x))\times 1/2}$、そしてモデルの幅${\displaystyle h=({\overline {y}}_{p}(x)-{\underline {y}}_{p}(x))\times 1/2}$その結果、等分散性の不確実性を伴う予測を行うIPMが実現する。

Sadeghi (2019) は、Campi (2015) の非凸シナリオアプローチを拡張して、不正確さのあるデータセットで不均一分散の不確実性を持つ区間を予測するより深いニューラルネットワークをトレーニングできることを示している。^{[ 9 ]} これは、最大誤差損失関数の一般化を提案することによって実現される。

${\displaystyle {\mathcal {L}}_{\text{max-error}}=\max _{i}|y^{(i)}-{\hat {y}}_{p}(x^{(i)})|,}$

これは、Campi (2015) が提案した最適化プログラムを解くことと同等である。

当初、シナリオ最適化はロバスト制御問題に適用された。 ^{[ 10 ]}

Crespo (2015) と (2021) は、宇宙放射線遮蔽の設計^{[ 11 ]}およびシステム同定^{[ 12 ]}に区間予測モデルを適用した。

Patelli (2017)、Faes (2019)、Crespo (2018) では、区間予測モデルが構造信頼性解析問題に適用されました。^{[ 13 ] [ 5 ] [ 14 ]} Brandt (2017) は、区間予測モデルを洋上風力タービンジャケットサブストラクチャの疲労損傷推定に適用しています。^{[ 15 ]}

ガラッティ (2019) は、チェビシェフ層 (すなわち、線形関数で近似されたミニマックス層) が${\displaystyle \ell _{\infty }}$-回帰）は、データの分布に関して信頼性が不変である特定のクラスの区間予測モデルに属します。^{[ 16 ]}

OpenCOSSANは、Crespo（2015）の研究のMatlab実装を提供します。^{[ 13 ]}