グレーボックスモデル

数学、統計学、計算モデリングにおいて、グレーボックスモデル^{[1] [2] [3] [4]}は部分的な理論構造とデータを組み合わせてモデルを完成する。理論構造は、結果の滑らかさに関する情報から、データや既存の文献からのパラメータ値のみを必要とするモデルまでさまざまである。^[5]したがって、ほとんどすべてのモデルは、モデル形式が想定されていないブラックボックスモデルや純粋に理論的なホワイトボックスモデルとは対照的に、グレーボックスモデルである。一部のモデルは、線形回帰^{[6] [7]}やニューラルネットワーク^{[8] [9]}などの特殊な形式を前提としている。これらには特殊な分析方法がある。特に、線形回帰手法^[10]は、ほとんどの非線形手法よりもはるかに効率的である。^{[11] [12]モデルは、その使用目的に応じて、}決定論的または確率論的（ランダムな要素を含む） になる。

一般的なケースは、部分的な理論構造とデータから導き出された未知の部分を持つ非線形モデルです。異なる理論構造を持つモデルは個別に評価する必要があり、 ^{[1] [13] [14]}シミュレーテッドアニーリングや遺伝的アルゴリズムを使用する場合もあります。

特定のモデル構造では、パラメータ^{[14] [15]}または可変パラメータ関係^{[5] [16]}を見つける必要がある場合があります。特定の構造では、データがフィードベクトルf、製品ベクトルp、および動作条件ベクトルcのセットで構成されていると任意に想定されます。^[5] 通常、c にはfから抽出された値と他の値が含まれます。多くの場合、モデルは次の形式の関数に変換できます。 ^{[5] [17] [18]}

m(f,p,q)

ここで、ベクトル関数m はデータpとモデル予測値の間の誤差を与えます。ベクトルq はモデルの未知の部分であるいくつかの変数パラメータを与えます。

パラメータq は動作条件cに応じて変化するが、その変化は決定されるべきである。^{[5] [17]この関係は}q = Acと指定することができ、ここでAは未知の係数の行列であり、線形回帰^{[6] [7]}の場合と同様にcには定数項と、元の動作条件とqの間の非線形関係^{[19] [20]}を得るために元の動作条件を変換した値が含まれる。次に、Aのどの項が非ゼロであるかを選択し、その値を割り当てる。モデルの完成は、データ上の誤差項m(f,p,Ac)を最小化するAの非ゼロ値を決定する最適化問題となる。 ^{[1] [16] [21] [22] [23]}

非ゼロ値の選択が済んだら、Aの残りの係数は、 Aの非ゼロ値に関してデータ上のm ( f , p , Ac )を最小化することで決定できます。これは通常、非線形最小二乗法によって行われます。非ゼロ項の選択は、シミュレーテッドアニーリングや進化的アルゴリズムなどの最適化手法によって行うことができます。また、非線形最小二乗法は、Aの要素の精度推定値^{[11] [15]を提供して、それらがゼロと有意に異なるかどうかを判断するために使用できるため、}項選択の方法となります。^{[24] [25]}

各データセットのqの値を直接または非線形最小二乗法で計算できる場合があります。その後、より効率的な線形回帰を使用してcを使用してqを予測し、 A の非ゼロ値を選択してその値を推定します。非ゼロ値が特定されると、元のモデルm（f、p、Ac）に対して非線形最小二乗法を使用してこれらの値を精緻化できます。^{[16] [21] [22]}

3つ目の方法はモデル反転であり、^{[5] [17] [18]}非線形m ( f , p , Ac )をAの要素の近似線形形式に変換するもので、効率的な項選択^{[24] [25]}と線形回帰の評価^[10]を使用して調べることができます。単一のq値( q = a ^T c )とqの推定値q* の単純なケースでは、 d q  =  a ^T c  −  q*と 置くと、

m(f,p,a ^T c) = m(f,p,q* + d q) ≈ m(f,pq*) + d q m'(f,p,q*) = m(f,pq*) + (a ^T c − q*) m'(f,p,q*)

こうすることで、Tは^他のすべての項が既知である状態で線形位置にあるため、線形回帰技術で分析することができます。1つ以上のパラメータに対しては、この方法は直接的に拡張されます。^{[5] [18] [17]モデルが改善されたことを確認した後、このプロセスを収束するまで繰り返すことができます。このアプローチの利点は、個々のデータセットからパラメータ}qを決定する必要がなく、線形回帰が元の誤差項に基づいて行われることです^[5]

十分なデータが利用できる場合は、データを別のモデル構築セットと 1 つまたは 2 つの評価セットに分割することをお勧めします。構築セットを複数選択してこれを繰り返すと、結果として得られるモデルの平均化や予測の違いの評価に使用できます。

残差に対するカイ二乗検定などの統計検定は特に有用ではない。 ^[26]カイ二乗検定では既知の標準偏差が必要であるが、これはめったに入手できず、失敗した検定ではモデルを改善する方法が示されない。^[11] ネストされたモデルとネストされていないモデルを比較する方法は多数ある。これには、繰り返しデータによるモデル予測の比較が含まれる。

線形回帰を用いて残差m(, )を動作条件cで予測する試みは、残差が予測できるかどうかを示します。^{[21] [22]}予測できない残差は、現在の動作条件を使用してモデルを改善する見込みがほとんどありません。^[5]残差を予測する項は、モデルのパフォーマンスを向上させるためにモデルに組み込むことが期待される項です。^[21]

上記のモデル反転技術は、モデルを改善できるかどうかを判断する方法として使用できます。この場合、非ゼロ項の選択はそれほど重要ではなく、回帰行列の重要な固有ベクトルを使用して線形予測を行うことができます。この方法で決定されたAの値は、モデルエラーの改善を評価するために非線形モデルに代入する必要があります。有意な改善が見られない場合、利用可能なデータは、定義されたパラメータを使用して現在のモデル形式を改善できないことを示しています。^[5]このテストをより包括的にするために、モデルに追加のパラメータを挿入できます。