二次形式（統計）

多変量統計学において、 がランダム変数のベクトルであり、 が-次元対称行列である場合、スカラー量はにおける二次形式として知られています。 ${\displaystyle \epsilon }$${\displaystyle n}$ ${\displaystyle \Lambda}$${\displaystyle n}$${\displaystyle \varepsilon ^{T}\Lambda \varepsilon }$${\displaystyle \epsilon }$

^[1]であることが証明されている。

${\displaystyle \operatorname {E} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=\operatorname {tr} \left[\Lambda \Sigma \right]+\mu ^{T}\Lambda \む }$

ここで、 および はそれぞれの期待値と分散共分散行列であり、tr は行列のトレースを表します。この結果は、およびの存在のみに依存します。特に、の正規性は要求されません。 ${\displaystyle \mu}$${\displaystyle \Sigma }$${\displaystyle \epsilon }$${\displaystyle \mu}$${\displaystyle \Sigma }$${\displaystyle \epsilon }$

ランダム変数の二次形式を扱った本としては、マタイとプロヴォストの著書がある。^[2]

二次形式はスカラー量なので、. ${\displaystyle \varepsilon ^{T}\Lambda \varepsilon =\operatorname {tr} (\varepsilon ^{T}\Lambda \varepsilon )}$

次に、トレース演算子の巡回特性により、

${\displaystyle \operatorname {E} [\operatorname {tr} (\varepsilon ^{T}\Lambda \varepsilon )]=\operatorname {E} [\operatorname {tr} (\Lambda \varepsilon \varepsilon ^{T})].}$

トレース演算子は行列の成分の 線形結合なので、期待値演算子の線形性から次の式が導かれる。

${\displaystyle \operatorname {E} [\operatorname {tr} (\Lambda \varepsilon \varepsilon ^{T})]=\operatorname {tr} (\Lambda \operatorname {E} (\varepsilon \varepsilon ^{T})).}$

分散の標準的な性質から、これは

${\displaystyle \operatorname {tr} (\Lambda (\Sigma +\mu \mu ^{T}))。}$

トレース演算子の巡回特性を再度適用すると、次の式が得られます。

${\displaystyle \operatorname {tr} (\Lambda \Sigma )+\operatorname {tr} (\Lambda \mu \mu ^{T})=\operatorname {tr} (\Lambda \Sigma )+\operatorname {tr} (\mu ^{T}\Lambda \mu )=\演算子名 {tr} (\Lambda \Sigma )+\mu ^{T}\Lambda \μ .}$

一般に、2次形式の分散は の分布に大きく依存します。しかし、 が多変量正規分布に従う場合、 2次形式の分散は特に扱いやすくなります。ここでは、 が対称行列であると仮定します。すると、 ${\displaystyle \epsilon }$${\displaystyle \epsilon }$ ${\displaystyle \Lambda}$

${\displaystyle \operatorname {var} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=2\operatorname {tr} \left[\Lambda \Sigma \Lambda \Sigma \right]+4\mu ^ {T}\Lambda \Sigma \Lambda \mu }$^[3 ]

実際、これを一般化して、同じ 2 つの二次形式間の共分散を求めることができます(この場合も、両方とも対称である必要があります)。 ${\displaystyle \epsilon }$${\displaystyle \Lambda_{1}}$${\displaystyle \Lambda_{2}}$

${\displaystyle \operatorname {cov} \left[\varepsilon ^{T}\Lambda _{1}\varepsilon ,\varepsilon ^{T}\Lambda _{2}\varepsilon \right]=2\operatorname {tr} \left[\Lambda _{1}\Sigma \Lambda _{2}\Sigma \right]+4\mu ^{T}\Lambda _{1}\Sigma \Lambda _{2}\mu }$^[4 ]

さらに、このような二次形式は一般化カイ二乗分布に従います。

一般的なケースは、次の点に注目することで導き出せる。 ${\displaystyle \Lambda}$

${\displaystyle \varepsilon ^{T}\Lambda ^{T}\varepsilon =\varepsilon ^{T}\Lambda \varepsilon }$

それで

${\displaystyle \varepsilon ^{T}{\tilde {\Lambda }}\varepsilon =\varepsilon ^{T}\left(\Lambda +\Lambda ^{T}\right)\varepsilon /2}$

は対称行列 の2次形式なので、 をに置き換えれば、平均と分散の表現は同じになります。 ${\displaystyle {\tilde {\Lambda }}=\left(\Lambda +\Lambda ^{T}\right)/2}$${\displaystyle \Lambda }$${\displaystyle {\tilde {\Lambda }}}$

観測値の集合と演算子行列の設定では、 残差二乗和はの二次形式として表すことができます。 ${\displaystyle y}$ ${\displaystyle H}$${\displaystyle y}$

${\displaystyle {\textrm {RSS}}=y^{T}(I-H)^{T}(I-H)y.}$

行列が対称かつべき等であり、誤差が共分散行列を持つガウス分布である手順では、自由度と非心度パラメータを持つカイ2乗分布を持ちます。ここで ${\displaystyle H}$${\displaystyle \sigma ^{2}I}$${\displaystyle {\textrm {RSS}}/\sigma ^{2}}$${\displaystyle k}$${\displaystyle \lambda }$

${\displaystyle k=\operatorname {tr} \left[(I-H)^{T}(I-H)\right]}$

${\displaystyle \lambda =\mu ^{T}(I-H)^{T}(I-H)\mu /2}$

非心カイ二乗確率変数の最初の 2 つの中心モーメントを最初の 2 つのセクションで与えられた式と一致させることによって見つけることができます。バイアスのない推定値の場合、非心度は0 となり、中心カイ二乗分布に従います。 ${\displaystyle Hy}$${\displaystyle \mu }$${\displaystyle \lambda }$${\displaystyle {\textrm {RSS}}/\sigma ^{2}}$

• 二次形式
• 共分散行列
• 円錐曲線の行列表現