多変量統計

多変量統計は、複数の結果変数、つまり多変量ランダム変数の同時観察と分析を含む統計の下位分野です。多変量統計は、多変量解析のさまざまな形式それぞれの異なる目的と背景、およびそれらが互いにどのように関連しているかを理解することに関係しています。多変量統計を特定の問題に実際に適用するには、変数間の関係と研究対象の問題に対するそれらの関連性を理解するために、いくつかの種類の単変量解析と多変量解析が必要になる場合があります。

さらに、多変量統計は、多変量確率分布を、

• これらを使用して観測データの分布を表現する方法。
• 特に、複数の異なる量が同じ分析の対象となっている場合に、それらを統計的推論の一部としてどのように使用できるか。

多変量データを含む特定の種類の問題、たとえば単回帰や重回帰は、他の変数を与えられた単一の結果変数の（単変量）条件付き分布を考慮して分析が処理されるため、通常は多変量統計の特殊なケースとは見なされません。

多変量解析（MVA）は、多変量統計の原理に基づいています。通常、MVAは、各実験単位で複数の測定が行われ、これらの測定間の関係とその構造が重要な状況に対処するために使用されます。^[1] MVAの現代的な重複した分類には以下が含まれます。^[1]

• 正規および一般多変量モデルと分布理論
• 関係性の研究と測定
• 多次元領域の確率計算
• データ構造とパターンの探究

多変量解析は、階層的な「システムオブシステム」の変数の効果を計算するために物理ベースの解析を組み込む必要があるため、複雑になることがあります。多変量解析を使用する研究は、多くの場合、問題の次元によって行き詰まってしまいます。これらの懸念は、物理ベースのコードの高精度な近似値である代理モデルを使用することで緩和されることがよくあります。代理モデルは方程式の形をとるため、非常に迅速に評価できます。これにより、大規模な MVA 研究が可能になります。設計空間全体にわたるモンテカルロシミュレーションは物理ベースのコードでは困難ですが、応答曲面方程式の形をとることが多い代理モデルを評価すると簡単になります。

MVA ではさまざまなモデルが使用され、それぞれに独自の分析タイプがあります。

1. 多変量分散分析(MANOVA)は、分散分析を拡張して、同時に分析する従属変数が複数ある場合もカバーします。多変量共分散分析(MANCOVA) も参照してください。
2. 多変量回帰は、変数のベクトルの要素が他の要素の変化に同時にどのように反応するかを記述できる式を決定しようとします。線型関係の場合、ここでの回帰分析は一般線型モデルの形式に基づいています。多変量回帰は多変量回帰とは異なると主張する人もいますが、これは議論の余地があり、科学分野全体で一貫して正しいわけではありません。^[2]
3. 主成分分析(PCA) は、元のセットと同じ情報を含む新しい直交変数セットを作成します。変動軸を回転させて、変動の減少する割合を要約するように順序付けられた新しい直交軸セットを作成します。
4. 因子分析はPCA に似ていますが、元のセットよりも少ない数の合成変数をユーザーが抽出し、残りの説明できない変動をエラーとして残すことができます。抽出された変数は潜在変数または因子と呼ばれ、それぞれが観測された変数のグループ内の共変動を説明すると考えられます。
5. 正準相関分析は、 2つの変数セット間の線形関係を見つけます。これは、二変量相関^[3]の一般化（つまり正準化）バージョンです。
6. 冗長性分析（RDA）は正準相関分析に似ていますが、ユーザーは1つの（独立した）変数セットから、別の（独立した）セットの分散を可能な限り説明する指定された数の合成変数を導き出すことができます。これは回帰の多変量類似物です。^[4]
7. 対応分析(CA) または逆数平均法は、(PCA と同様に) 元のセットを要約する合成変数のセットを見つけます。基礎となるモデルは、レコード (ケース) 間のカイ二乗非類似度を前提としています。
8. 2 つの変数セットの共同変動を要約するための標準 (または「制約付き」) コレスポンデンス分析(CCA) (冗長性分析と同様)。コレスポンデンス分析と多変量回帰分析の組み合わせ。基礎となるモデルは、レコード (ケース) 間のカイ 2 乗非類似度を前提としています。
9. 多次元尺度法は、レコード間のペアワイズ距離を最もよく表す合成変数のセットを決定するためのさまざまなアルゴリズムで構成されています。 オリジナルの方法は、主座標分析(PCoA、PCA に基づく) です。
10. 判別分析、または正準変量分析は、一連の変数を使用して 2 つ以上のケース グループを区別できるかどうかを判断しようとします。
11. 線形判別分析(LDA) は、正規分布する 2 セットのデータから線形予測子を計算し、新しい観測値を分類できるようにします。
12. クラスタリング システムは、オブジェクトをグループ (クラスターと呼ばれる) に割り当て、同じクラスターのオブジェクト (ケース) が、異なるクラスターのオブジェクトよりも互いに類似するようにします。
13. 再帰的パーティショニングでは、二値従属変数に基づいて母集団のメンバーを正しく分類しようとする決定木が作成されます。
14. 人工ニューラル ネットワークは、回帰法とクラスタリング法を非線形多変量モデルに拡張します。
15. ツアー、平行座標プロット、散布図マトリックスなどの統計グラフを使用して、多変量データを調査できます。
16. 同時方程式モデルには、異なる従属変数を持つ複数の回帰方程式が含まれ、それらが一緒に推定されます。
17. ベクトル自己回帰では、さまざまな時系列変数をそれ自体の値と互いの遅延値に同時に回帰します。
18. 主反応曲線分析（PRC）はRDAに基づいた方法であり、時間の経過に伴う対照治療の変化を補正することで、時間の経過に伴う治療効果に焦点を当てることができます。^[5]
19. 相関関係の図解は、相関マトリックスを、注目すべき相関関係が実線（正の相関関係）または点線（負の相関関係）で表された図に置き換えることです。

実験的に得られたデータセットでは、特定のデータポイントの一部のコンポーネントの値が欠落していることがよくある。データポイント全体を破棄するのではなく、欠落しているコンポーネントの値を「埋める」のが一般的であり、このプロセスは「補完」と呼ばれる。^[6]

多変量解析で使用される確率分布のセットがあり、これは、正規分布がデータセットに適している場合に単変量解析で使用される対応する分布のセットと同様の役割を果たします。これらの多変量分布は次のとおりです。

• 多変量正規分布
• ウィシャート分布
• 多変量スチューデントt分布。

逆ウィシャート分布は、ベイズ推論、たとえばベイズ多変量線形回帰において重要です。また、ホテリングの T 二乗分布は、スチューデントの t 分布を一般化した多変量分布であり、多変量仮説検定で使用されます。

アンダーソンの1958年の教科書『多変量統計解析入門』^[7]は、一世代の理論家や応用統計学者を教育した。アンダーソンの著書は、尤度比検定による仮説検定と、許容性、偏りのなさ、単調性といったべき乗関数の特性を強調している。^{[8] [9]}

MVA は、基礎となるデータセットのサイズと複雑さ、および計算消費量が多いため、以前は統計理論の文脈でのみ議論されていました。計算能力の劇的な向上により、MVA は現在、データ分析においてますます重要な役割を果たしており、オミックス分野で幅広く応用されています。

• 多変量仮説検定
• 次元削減
• 潜在構造の発見
• クラスタリング
• 多変量回帰分析
• 分類と判別分析
• 変数の選択
• 多次元分析
• 多次元尺度法
• データマイニング

多変量解析用のソフトウェア パッケージやその他のツールは、以下のように数多く存在します。

• JMP（統計ソフトウェア）
• ミニタブ
• 計算
• 電力会社
• R ^[10]
• SAS（ソフトウェア）
• Python用SciPy
• ＳＰＳＳ
• スタタ
• 統計
• アンスクランブラー
• ワープPLS
• スマートPLS
• マテリアライズド
• 閲覧数
• NCSS（統計ソフトウェア）には多変量解析が含まれています。
• Unscrambler® X は多変量解析ツールです。
• シムカ
• DataPandit (Let's Excel Analytics Solutions による無料 SaaS アプリケーション)

• 共分散行列の推定
• 多変量解析における重要な出版物
• マーケティングにおける多変量テスト
• 構造化データ分析（統計）
• 構造方程式モデリング
• RV係数
• 二変量解析
• 実験計画法（DoE）
• 次元解析
• 探索的データ分析
• オルソ
• 部分最小二乗回帰
• パターン認識
• 主成分分析（PCA）
• 回帰分析
• クラス類推のソフト独立モデリング(SIMCA)
• 統計的干渉
• 単変量解析

• ジョンソン、リチャード A.; ウィチャーン、ディーン W. (2007)。応用多変量統計分析(第 6 版)。プレンティス ホール。ISBN 978-0-13-187715-3。
• KV Mardia 、JT Kent 、 JM Bibby (1979)。多変量解析。Academic Press。ISBN 0-12-471252-5。
• A. Sen、M. Srivastava、「回帰分析 - 理論、方法、およびアプリケーション」、Springer-Verlag、ベルリン、2011年（第4版）。
• クック、スウェイン (2007)。データ分析のためのインタラクティブ グラフィックス。
• Malakooti,​​ B. (2013)。「複数の目的を持つオペレーションと生産システム」John Wiley & Sons。
• TWアンダーソン『多変量統計解析入門』Wiley、ニューヨーク、1958年。
• KV Mardia、JT Kent、JM Bibby (1979)。多変量解析。Academic Press。ISBN 978-0124712522。(MA レベルの「可能性」アプローチ)
• Feinstein, AR (1996) 「多変量解析」ニューヘブン、コネチカット州：イェール大学出版局。
• Hair, JF Jr. (1995) 「Multivariate Data Analysis with Readings」、第 4 版、Prentice-Hall。
• Schafer, JL (1997)不完全な多変量データの分析。CRC Press。(上級)
• Sharma, S. (1996)応用多変量技術. Wiley. (非公式、応用)
• アイゼンマン、アラン J. (2008)。現代の多変量統計手法：回帰、分類、および多様体学習。Springer Texts in Statistics。ニューヨーク：Springer-Verlag。ISBN 9780387781884。 
• Tinsley, Howard EA; Brown, Steven D. 編 (2000)。応用多変量統計と数学モデリングハンドブック。Academic Press。doi :10.1016/ B978-0-12-691360-6.X5000-9。ISBN 978-0-12-691360-6。

ウィキメディア・コモンズには、多変量統計に関連するメディアがあります。

• Statnotes: 多変量解析のトピック、G. David Garson 著
• マイク・パーマー: 叙階式ウェブページ
• InsightsNow: ReportsNow、ProfilesNow、KnowledgeNow の作成者