非線形回帰

統計学において、非線形回帰は回帰分析の一種で、観測データはモデルパラメータの非線形な組み合わせであり、1 つ以上の独立変数に依存する関数によってモデル化されます。データは、逐次近似法 (反復法) によって近似されます。

非線形回帰では、次のような 統計モデルが用いられる。

${\displaystyle \mathbf {y} \sim f(\mathbf {x} ,{\boldsymbol {\beta }})}$

は、独立変数のベクトル、とそれに関連する観測された従属変数、を関連付けます。この関数は、パラメータのベクトルの要素では非線形ですが、それ以外は任意です。たとえば、酵素反応速度論のミカエリス・メンテンモデルには、2つのパラメータと1つの独立変数があり、次のように関連付けられています。^[a]${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$${\displaystyle f}$${\displaystyle \beta}$${\displaystyle f}$

${\displaystyle f(x,{\boldsymbol {\beta }})={\frac {\beta _{1}x}{\beta _{2}+x}}}$

この関数は直角双曲線であり、2 つの関数の線形結合として表現できないため非線形です。 ${\displaystyle \beta}$

独立変数に系統的誤差が存在する可能性がありますが、その処理は回帰分析の範囲外です。独立変数に誤差がない場合、これは変数内誤差モデルであり、これもこの範囲外です。

非線形関数の他の例としては、指数関数、対数関数、三角関数、べき関数、ガウス関数、ローレンツ分布などがあります。指数関数や対数関数などの一部の関数は、線形になるように変換できます。そのように変換すると、標準の線形回帰を実行できますが、適用には注意が必要です。詳細については、以下の「§ 線形化 §§ 変換」を参照してください。

一般に、線形回帰の場合のように、最適パラメータの閉じた形式の表現はありません。通常、最適パラメータを決定するために数値最適化アルゴリズムが適用されます。ここでも線形回帰とは対照的に、最適化される関数には多くの局所的最小値が存在する可能性があり、グローバル最小値でさえ偏った推定値を生成する可能性があります。実際には、パラメータの推定値は、最適化アルゴリズムと組み合わせて使用​​され、平方和のグローバル最小値を見つけようとします。

非線形データ モデリングの詳細については、最小二乗法と非線形最小二乗法を参照してください。

この手順の根底にある仮定は、モデルが線形関数、つまり一次テイラー級数で近似できるというものである。

${\displaystyle f(x_{i},{\boldsymbol {\beta }})\approx f(x_{i},0)+\sum _{j}J_{ij}\beta _{j}}$

ここでヤコビ行列の要素である。このことから、最小二乗推定量は次のように与えられる。 ${\displaystyle J_{ij}={\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}}$

${\displaystyle {\hat {\boldsymbol {\beta }}}\approx \mathbf {(J^{T}J)^{-1}J^{T}y} ,}$

一般化最小二乗法を単位行列に比例する共分散行列と比較します。非線形回帰統計は線形回帰統計と同様に計算され、使用されますが、数式では Xの代わりにJ を使用します。

関数自体は解析的には分かっていないが、 個以上の既知の値（ここでは推定値の数）から線形近似する必要がある場合、最適な推定値は^[1]のように線形テンプレートフィットから直接得られます（線形最小二乗法も参照）。 ${\displaystyle f(x_{i},{\boldsymbol {\beta }})}$${\displaystyle n+1}$${\displaystyle n}$$${\displaystyle {\hat {\boldsymbol {\beta }}}=((\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {Y{\tilde {M}}} )^{-1}(\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}(\mathbf {d} -\mathbf {Y{\bar {m}})} }$$

線形近似により統計に バイアスが生じます。したがって、非線形モデルから得られた統計を解釈する際には、通常よりも注意が必要です。

最もよく適合する曲線は、残差の二乗和を最小化する曲線であるとよく想定されます。これは、通常の最小二乗法(OLS) アプローチです。ただし、従属変数が一定の分散を持たない場合や外れ値がある場合は、重み付き二乗残差の合計が最小化されることがあります。重み付き最小二乗法を参照してください。各重みは、理想的には観測値の分散の逆数、または外れ値の場合は従属変数の逆数のあるべき乗に等しくなりますが^[2] 、重みは反復重み付き最小二乗アルゴリズムで各反復ごとに再計算される場合があります。

一部の非線形回帰問題は、モデル定式化を適切に変換することで線形領域に移動できます。

例えば、非線形回帰問題を考えてみましょう。

${\displaystyle y=ae^{bx}U\,\!}$

パラメータaとbと乗法誤差項Uを持つ。両辺の対数を取ると、次のようになる。

${\displaystyle \ln {(y)}=\ln {(a)}+bx+u,\,\!}$

ここで、u = ln( U ) は、 ln( y )のxに対する線形回帰によって未知のパラメータを推定することを示唆しており、この計算では反復的な最適化は必要ありません。ただし、非線形変換の使用には注意が必要です。データ値の影響は変化し、モデルのエラー構造や推論結果の解釈も変化します。これらは望ましい効果ではない可能性があります。一方、最大のエラー源によっては、非線形変換によってエラーがガウス分布する可能性があるため、非線形変換を実行するかどうかの選択は、モデリングの考慮事項に基づいて行う必要があります。

ミカエリス・メンテン動力学の場合、線形ラインウィーバー・バークプロット

${\displaystyle {\frac {1}{v}}={\frac {1}{V_{\max }}}+{\frac {K_{m}}{V_{\max }[S]}}}$

1/ vと 1/[ S ] の比はよく使われてきました。しかし、この方法はデータ誤差に非常に敏感であり、独立変数 [ S ]の特定の範囲にデータを当てはめる傾向が強いため、使用は強く推奨されません。

指数族に属する誤差分布の場合、リンク関数を使用して、一般化線形モデルフレームワークの下でパラメータを変換できます。

独立変数または説明変数（Xとします）はクラスまたはセグメントに分割でき、セグメントごとに線形回帰を実行できます。信頼度分析によるセグメント回帰では、従属変数または応答変数（Yとします）がさまざまなセグメントで異なる動作をする結果が生じる可能性があります。 ^[3]

この図は、土壌塩分濃度（X）がマスタードの収穫量（Y）に最初は影響を与えないが、臨界値または閾値（ブレークポイント）に達すると収穫量に悪影響を与えることを示しています。^[4]

• 非線形最小二乗法
• 曲線フィッティング
• 一般化線形モデル
• ローカル回帰
• 応答モデリング手法
• 遺伝的プログラミング
• 多式プログラミング
• 線形または二次テンプレートの適合

• Bethea, RM; Duran, BS; Boullion, TL (1985)。エンジニアと科学者のための統計手法。ニューヨーク: Marcel Dekker。ISBN 0-8247-7227-X。
• Meade, N.; Islam, T. (1995). 「成長曲線予測の予測間隔」Journal of Forecasting . 14 (5): 413– 430. doi :10.1002/for.3980140502.
• シトコウスキー、K. (2002)。動的システムにおけるデータフィッティング。ボストン: クルーワー。ISBN 1402010796。
• Seber, GAF ; Wild, CJ (1989)。非線形回帰。ニューヨーク: John Wiley and Sons。ISBN 0471617601。