線形予測関数

統計学と機械学習において、線型予測関数は、係数と説明変数（独立変数）のセットの線型関数（線型結合）であり、その値は従属変数の結果を予測するために使用されます。^[1] この種の関数は通常、線型回帰で使用され、係数は回帰係数と呼ばれます。ただし、さまざまな種類の線型分類器（ロジスティック回帰、^[2]パーセプトロン、^[3]サポートベクターマシン、^[4]および線型判別分析^{[5]など）や、}主成分分析^[6]や因子分析などのさまざまなモデルでも使用されます。これらのモデルの多くでは、係数は「重み」と呼ばれます。

データポイントi（p個の説明変数からなる）に対する線形予測関数の基本形は、 i = 1, ..., nの場合、次のようになる。 ${\displaystyle f(i)}$

${\displaystyle f(i)=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip},}$

ここで、k = 1, ..., pの場合、はデータポイントiのk番目の説明変数の値であり、は特定の説明変数が結果に与える相対的な影響を示す係数（回帰係数、重みなど）です。 ${\displaystyle x_{ik}}$${\displaystyle \beta _{0},\ldots ,\beta _{p}}$

予測関数は、次のようによりコンパクトな形式で記述するのが一般的です。

• 係数β ₀、β ₁、...、β _{p は}、サイズp + 1の単一のベクトルβにグループ化されます 。
• 各データポイントiに対して、切片係数β ₀に対応する固定値 1 を持つ追加の説明疑似変数x _{i 0}が追加されます。
• 結果として得られる説明変数x _i0 (= 1)、x _{i 1}、...、x _ipは、サイズp + 1の単一のベクトルx _iにグループ化されます 。

これにより、線形予測関数を次のように記述できるようになります。

${\displaystyle f(i)={\boldsymbol {\beta }}\cdot \mathbf {x} _{i}}$

2 つのベクトル間のドット積の表記法を使用します。

行列表記を使用した同等の形式は次のとおりです。

${\displaystyle f(i)={\boldsymbol {\beta }}^{\mathrm {T} }\mathbf {x} _{i}=\mathbf {x} _{i}^{\mathrm {T} }{\boldsymbol {\beta }}}$

ここで、 およびは(p+1)行 1列のベクトルであると想定され、は の転置行列です(したがって は1 行(p+1)行ベクトルです)。は、 1 行(p+1)列ベクトルと(p+1)行 1 列ベクトル間の行列乗算を示し、スカラーとなる 1 行 1 列の行列を生成します。 ${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle \mathbf {x} _{i}}$${\displaystyle {\boldsymbol {\beta }}^{\mathrm {T} }}$${\displaystyle {\boldsymbol {\beta }}}$${\displaystyle {\boldsymbol {\beta }}^{\mathrm {T} }}$ ${\displaystyle {\boldsymbol {\beta }}^{\mathrm {T} }\mathbf {x} _{i}}$

線形予測関数の使用例としては、線形回帰が挙げられます。線形回帰では、各データポイントは連続的な結果y _iに関連付けられ、関係は次のように表されます。

${\displaystyle y_{i}=f(i)+\varepsilon _{i}={\boldsymbol {\beta }}^{\mathrm {T} }\mathbf {x} _{i}\ +\varepsilon _{i},}$

ここで、 は外乱項または誤差変数であり、従属変数と予測関数の間の線形関係にノイズを追加する 観測されないランダム変数です。${\displaystyle \varepsilon _{i}}$

いくつかのモデル（特に標準線形回帰）では、各データポイントi = 1, ..., nの式が積み重ねられ、ベクトル形式で次のように記述されます。

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}$

どこ

${\displaystyle \mathbf {y} ={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}},\quad \mathbf {X} ={\begin{pmatrix}\mathbf {x} '_{1}\\\mathbf {x} '_{2}\\\vdots \\\mathbf {x} '_{n}\end{pmatrix}}={\begin{pmatrix}x_{11}&\cdots &x_{1p}\\x_{21}&\cdots &x_{2p}\\\vdots &\ddots &\vdots \\x_{n1}&\cdots &x_{np}\end{pmatrix}},\quad {\boldsymbol {\beta }}={\begin{pmatrix}\beta _{1}\\\vdots \\\beta _{p}\end{pmatrix}},\quad {\boldsymbol {\varepsilon }}={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{pmatrix}}.}$

行列X は設計行列として知られ、独立変数に関するすべての既知の情報をエンコードします。変数はランダム変数であり、標準線形回帰では標準正規分布に従って分布し、結果に対する未知の要因の影響を表します。 ${\displaystyle \varepsilon _{i}}$

これにより、単純な行列演算を使用した最小二乗法を通じて最適な係数を見つけることが可能になります。特に、最小二乗法によって推定される最適な係数は次のように記述できます。 ${\displaystyle {\boldsymbol {\hat {\beta }}}}$

${\displaystyle {\boldsymbol {\hat {\beta }}}=(X^{\mathrm {T} }X)^{-1}X^{\mathrm {T} }\mathbf {y} .}$

この行列は、Xのムーア・ペンローズ擬似逆行列として知られています。この式で逆行列を使用するには、 X がフルランクであること、つまり、異なる説明変数間に完全な多重共線性がない（つまり、説明変数を他の説明変数から完全に予測できない）ことが必要です。このような場合、特異値分解を使用して擬似逆行列を計算できます。 ${\displaystyle (X^{\mathrm {T} }X)^{-1}X^{\mathrm {T} }}$

非線形関数の固定セットを使用してデータ ポイントの値を変換する場合、これらの関数は基底関数と呼ばれます。一例は多項式回帰です。多項式回帰では、線形予測関数を使用して、既存の説明変数のさまざまな累乗に対応する複数の説明変数を追加することにより、2 セットのデータ ポイント (つまり、1 つの実数値の説明変数と関連する実数値の従属変数) 間の任意の次数の多項式関係 (指定された次数まで) を適合させます。数学的には、形式は次のようになります。

${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{p}x_{i}^{p}.}$

この場合、各データポイントiに対して、説明変数のセットが次のように作成されます。

${\displaystyle (x_{i1}=x_{i},\quad x_{i2}=x_{i}^{2},\quad \ldots ,\quad x_{ip}=x_{i}^{p})}$

そして標準線形回帰が実行される。この例の基底関数は次のようになる。

${\displaystyle {\boldsymbol {\phi }}(x)=(\phi _{1}(x),\phi _{2}(x),\ldots ,\phi _{p}(x))=(x,x^{2},\ldots ,x^{p}).}$

この例は、線形予測関数が実際には一見よりもはるかに強力であることを示しています。実際に必要なのは係数に対して線形であることだけです。説明変数のあらゆる種類の非線形関数をモデルに適合させることができます。

基底関数への入力が単変量または 1 次元である必要は特にありません (出力も同様ですが、その場合、K次元の出力値はK 個の個別のスカラー出力基底関数として扱われる可能性があります)。この例として、ラジアル基底関数(RBF) が挙げられます。これは、ある固定点までの距離の変換バージョンを計算します。

${\displaystyle \phi (\mathbf {x} ;\mathbf {c} )=\phi (||\mathbf {x} -\mathbf {c} ||)=\phi ({\sqrt {(x_{1}-c_{1})^{2}+\ldots +(x_{K}-c_{K})^{2}}})}$

一例として、正規分布と同じ関数形式を持つガウスRBFがあります。

${\displaystyle \phi (\mathbf {x} ;\mathbf {c} )=e^{-b||\mathbf {x} -\mathbf {c} ||^{2}}}$

cからの距離が増加するにつれて急速に減少します。

RBF の可能な使用法の 1 つは、観測されたデータ ポイントごとに 1 つ作成することです。つまり、新しいデータ ポイントに適用された RBF の結果は、新しいポイントが RBF が適用されたポイントの近くにない限り、0 に近くなります。つまり、ラジアル ベース関数の適用により最も近いポイントが選択され、その回帰係数が支配的になります。結果は、最近接近傍補間の一種となり、最も近い観測データ ポイントの予測値を使用して予測が行われ、すべての距離が同様の場合は複数の近隣データ ポイント間で補間が行われる可能性があります。このタイプの予測のための最近接近傍法は、標準的な線形回帰で使用される予測のタイプとは正反対であると見なされることがよくあります。しかし実際には、線形予測関数の説明変数に適用できる変換は非常に強力であるため、最近接近傍法でさえ、線形回帰の一種として実装できます。

係数を線形に見える新しい係数に変換することで、係数が非線形に見える関数を当てはめることも可能です。たとえば、係数の形式の関数は、線形になる置換を適用することで適切な線形関数に変換できます。線形回帰や同様の手法を適用して、最適な係数を見つけることもできますが、誤差の推定値などは間違っています。 ${\displaystyle a+b^{2}x_{i1}+{\sqrt {c}}x_{i2}}$${\displaystyle a,b,c}$${\displaystyle b'=b^{2},c'={\sqrt {c}},}$${\displaystyle a+b'x_{i1}+c'x_{i2},}$

説明変数は、実数値、バイナリ、カテゴリなど、任意のタイプにすることができます。主な違いは、連続変数（収入、年齢、血圧など）と離散変数（性別、人種、政党など）です。2つ以上の選択肢を示す離散変数は、通常、ダミー変数（または指標変数）を使用してコード化されます。つまり、離散変数の可能な値ごとに、値 0 または 1 を取る個別の説明変数が作成されます。1 は「変数には指定された値がある」ことを意味し、0 は「変数には指定された値がない」ことを意味します。たとえば、血液型の 4 元離散変数(可能な値は「A、B、AB、O」) は、個別の 2 元ダミー変数 (「is-A、is-B、is-AB、is-O」) に変換されます。この場合、ダミー変数の 1 つだけが値 1 を持ち、残りはすべて値 0 を持ちます。これにより、離散変数の可能な値ごとに個別の回帰係数を一致させることができます。

Kカテゴリの場合、すべてのK個のダミー変数が互いに独立しているわけではないことに注意してください。たとえば、上記の血液型の例では、4 つのダミー変数のうち 3 つだけが独立しており、3 つの変数の値がわかれば、4 つ目の変数は自動的に決定されます。したがって、4 つの可能性のうち 3 つをダミー変数としてエンコードするだけで十分であり、実際、4 つの可能性すべてをエンコードすると、モデル全体が識別不能になります。これは、線形回帰で使用される単純な閉形式のソリューションなど、いくつかの方法で問題を引き起こします。解決策は、ダミー変数の 1 つを削除してこのようなケースを回避するか、正則化制約を導入することです (これにより、最適な係数を見つけるためのより強力な、通常は反復的な方法が必要になります)。^[7]

• 線形モデル
• 線形回帰