多変量適応回帰スプライン

統計学において、多変量適応回帰スプライン（MARS）は、1991年にジェローム・H・フリードマンによって導入された回帰分析の一形態である。 ^{[ 1 ]}これはノンパラメトリック回帰手法であり、線形モデルの拡張として、変数間の非線形性や相互作用を自動的にモデル化するものと考えることができる。

「MARS」という用語は商標登録されており、Salford Systemsにライセンス供与されています。商標権侵害を避けるため、MARSの多くのオープンソース実装は「Earth」と呼ばれています。^{[ 2 ] [ 3 ]}

このセクションでは、いくつかの例を用いてMARSを紹介します。まず、入力変数の行列xと、観測された応答のベクトルyからなるデータセットを用意します。xの各行には応答が1つずつ含まれています。例えば、データは次のようになります。

ここでは独立変数は1つだけなので、x行列は1列だけです。これらの測定値に基づいて、与えられたxに対する期待値yを予測するモデルを構築したいと思います。

上記のデータに対する 線形モデルは次のとおりです。$${\displaystyle {\widehat {y}}=-37+5.1x}$$ 帽子の${\displaystyle {\widehat {y}}}$は、${\displaystyle {\widehat {y}}}$これはデータから推定されます。右の図はこの関数のグラフを示しています。予測値を表す線です。${\displaystyle {\widehat {y}}}$xに対する変化を示しており、 yの元の値は赤い点で示されています。

xの極値におけるデータは、 yとxの関係が非線形である可能性を示唆しています（xの低値と高値における回帰直線に対する赤い点を参照）。そこで、非線形性を考慮したモデルを自動的に構築するためにMARSを使用します。MARSソフトウェアは、与えられたxとyから次のようにモデルを構築します。

$${\displaystyle {\begin{aligned}{\widehat {y}}=&\ 25\\&{}+6.1\max(0,x-13)\\&{}-3.1\max(0,13-x)\end{aligned}}}$$

右の図は、この関数の予測値を示しています。${\displaystyle {\widehat {y}}}$xに対するyのグラフを示し、 yの元の値は再び赤い点で示されています。予測された応答は、元のyの値によりよく適合しています。

MARSは、非線形性を考慮するために、予測されたyに自動的に折れ曲がりを生成します。この折れ曲がりは、ヒンジ関数によって生成されます。ヒンジ関数は、で始まる式です。${\displaystyle \max }$（どこ${\displaystyle \max(a,b)}$は${\displaystyle a}$もし${\displaystyle a>b}$、 それ以外${\displaystyle b}$ヒンジ機能については、以下でさらに詳しく説明します。

この簡単な例では、グラフからyとxの間に非線形関係があることが容易にわかります（そして、yはxの2乗に比例すると推測できるかもしれません）。しかし、一般的には独立変数が複数存在し、 yとこれらの変数との関係は不明瞭で、グラフだけでは容易に把握できません。MARSを使用すれば、そのような非線形関係を明らかにすることができます。

複数の変数を含むMARS式の例は次のとおりです。

$${\displaystyle {\begin{aligned}\mathrm {オゾン} =&\ 5.2\\&{}+0.93\max(0,\mathrm {temp} -58)\\&{}-0.64\max(0,\mathrm {temp} -68)\\&{}-0.046\max(0,234-\mathrm {ibt} )\\&{}-0.016\max(0,\mathrm {wind} -7)\max(0,200-\mathrm {vis} )\end{aligned}}}$$

この式は、気温といくつかの他の変数の関数として大気汚染（オゾン濃度）をモデル化しています。式中の最後の項（最後の行）は、以下の間の相互作用を組み込んでいることに注意してください。${\displaystyle \mathrm {風} }$そして${\displaystyle \mathrm {vis} }$。

右側の図は予測値をプロットしたものです${\displaystyle \mathrm {オゾン} }$として${\displaystyle \mathrm {風} }$そして${\displaystyle \mathrm {vis} }$他の変数は中央値に固定し、風は変化する。図は、視界が悪くない限り、風はオゾン濃度に影響を与えないことを示している。MARSはヒンジ関数を組み合わせることで、非常に柔軟な回帰曲面を構築できることがわかる。

上記の式を得るために、MARSモデル構築手順は、使用する変数（重要な変数もあれば、そうでない変数もある）、ヒンジ関数の折れ曲がりの位置、およびヒンジ関数の組み合わせ方を自動的に選択します。

MARSは次のような形式のモデルを構築します。

$${\displaystyle {\widehat {f}}(x)=\sum _{i=1}^{k}c_{i}B_{i}(x).}$$

このモデルは基底関数の 加重和である${\displaystyle B_{i}(x)}$。 それぞれ${\displaystyle c_{i}}$は定数係数です。例えば、上記のオゾンの式における各行は、基底関数にその係数を乗じたものです。

各基底関数${\displaystyle B_{i}(x)}$以下の3つの形式のいずれかをとる。

1. 定数 1。そのような項は 1 つだけで、切片です。上記のオゾン式では、切片項は 5.2 です。
2. ヒンジ関数。ヒンジ関数は次の形式をとります。 ${\displaystyle \max(0,x-{\text{定数}})}$または ${\displaystyle \max(0,{\text{定数}}-x)}$MARSは、ヒンジ関数の結び目となる変数とその値を自動的に選択します。このような基底関数の例は、オゾン式の真ん中の3行に見られます。
3. 2つ以上のヒンジ関数の積。これらの基底関数は、2つ以上の変数間の相互作用をモデル化することができる。

例えば、オゾン生成式の最後の行が挙げられます。

MARSモデルの重要な要素は、次の形式の ヒンジ関数です。$${\displaystyle \max(0,xc)}$$ または $${\displaystyle \max(0,cx)}$$ どこ${\displaystyle c}$は定数であり、結び目と呼ばれます。右の図は、3.1 に結び目を持つヒンジ関数の鏡像ペアを示しています。

ヒンジ関数はその値域の一部でゼロとなるため、データを互いに素な領域に分割するために使用でき、各領域は独立して処理できます。したがって、例えば、式中の鏡像のヒンジ関数のペアは次のようになります。 $${\displaystyle 6.1\max(0,x-13)-3.1\max(0,13-x)}$$前のセクションで示した単純なMARSモデルについて、区分的線形グラフ を作成します。

ヒンジ関数からは区分的線形関数しか形成できないと考えるかもしれないが、ヒンジ関数を掛け合わせることで非線形関数を形成することもできる。

ヒンジ関数は、ランプ関数、ホッケースティック関数、整流関数とも呼ばれます。${\displaystyle \max }$この記事で使用される表記法では、ヒンジ関数はしばしば次のように表されます。${\displaystyle [\pm (x_{i}-c)]_{+}}$どこ${\displaystyle [\cdot ]_{+}}$ポジティブな面を取り上げるという意味です。

MARSは、順方向パスと逆方向パスの2段階でモデルを構築します。この2段階アプローチは、 再帰的分割木で用いられるものと同じです。

• MARSモデルは理解しやすく解釈しやすい。^{[ 5 ]}
• MARSは連続データとカテゴリデータの両方を扱うことができます。^{[ 6 ] [ 7 ]}
• MARS（再帰的分割と同様）は自動変数選択（つまり、重要な変数をモデルに含め、重要でない変数を除外する）を行います。ただし、特に相関のある予測変数がある場合、選択に多少の恣意性が生じる可能性があり、これが解釈可能性に影響を与える可能性があります。^{[ 5 ]}
• MARSモデルの構築には、データ準備がほとんど、あるいは全く必要ないことが多い。^{[ 5 ]}
• ベイズMARS用のコードは、書籍「Bayesian Methods for Nonlinear Classification and Regression」^{[ 8 ]から引用しています。}

• 一般化線形モデル（GLM）は、MARSモデル構築後にリンク関数を適用することで、MARSモデルに組み込むことができます。例えば、MARSモデルにロジスティック回帰を組み込んで確率を予測することが可能です。
• 非線形回帰は、関数の基本的な形式が既知であり、回帰がその関数のパラメータを推定するためだけに用いられる場合に使用されます。一方、MARSは、関数の性質に厳しい制約を設けつつも、関数自体を推定します。（これらの制約は、データからモデルを発見することは逆問題であり、モデルに制約を設けなければ適切に定式化されないため必要です。）
• 再帰的分割（一般にCARTと呼ばれる）。MARSは、再帰的分割を一般化したもので、連続モデルに対応できるため、数値データにより適したモデルを提供できる。
• 一般化加法モデル（ GAM）。MARSとは異なり、GAMはヒンジ関数ではなく、滑らかなloessまたは多項式スプラインに適合し、変数間の相互作用を自動的にモデル化しません。より滑らかな適合と回帰項の欠如により、MARSと比較して分散は減少しますが、変数間の相互作用を無視するとバイアスが悪化する可能性があります。
• TSMARS （Time Series Mars）とは、MARSモデルを時系列分析に適用する際に用いられる用語です。通常、この設定では予測変数として過去の時系列値を用い、自己回帰スプラインモデルを構築します。これらのモデルおよび移動平均スプラインモデルへの拡張については、「 TSMARSを用いた単変量時系列モデリングと予測：TSMARSを用いた閾値時系列自己回帰、季節変動、移動平均モデルの研究」で解説されています。
• ベイズMARS（BMARS）は同じモデル形式を使用しますが、ベイズアプローチを使用してモデルを構築します。モデル構築アプローチが異なるため、異なる最適なMARSモデルに到達する可能性があります。BMARSの結果は通常、確率的予測を可能にするMARSモデルの事後サンプルのアンサンブルです。^{[ 9 ]}

• 線形回帰
• 局所回帰
• 有理関数モデリング
• セグメント回帰
• スプライン補間
• スプライン回帰

• Hastie T.、Tibshirani R.、Friedman JH (2009) 『統計的学習の要素』第2版。Springer、ISBN 978-0-387-84857-0（火星に関するセクションがあります）
• Faraway J. (2005) Extending the Linear Model with R , CRC, ISBN 978-1-58488-424-8（R言語とMARSを使った例があります）
• Heping Zhang および Burton H. Singer (2010)再帰的分割とその応用、第 2 版。Springer、ISBN 978-1-4419-6823-4（MARSに関する章があり、アルゴリズムの微調整についても論じている）
• Denison DGT、Holmes CC、Mallick BK、および Smith AFM (2004)ベイズ法による非線形分類と回帰、Wiley、ISBN 978-0-471-49036-4
• Berk RA (2008)回帰の観点からの統計的学習、Springer、ISBN 978-0-387-77500-5