偏最小二乗回帰

部分最小二乗 (PLS) 回帰は、主成分回帰と何らかの関係を持つ統計的手法であり、ランクを下げた回帰です。^{[ 1 ]}応答変数と独立変数の間の最大分散の超平面を見つける代わりに、予測変数と観測変数を最大共分散の新しい空間に投影することによって線形回帰モデルを見つけます(下記参照)。XとYの両方のデータが新しい空間に投影されるため、PLS ファミリーの手法は双線形因子モデルとして知られています。部分最小二乗判別分析 (PLS-DA) は、 Yがカテゴリである場合に使用される変種です。

PLSは、2つの行列（XとY）間の基本的な関係を見つけるために使用されます。つまり、これら2つの空間における共分散構造をモデル化する潜在変数アプローチです。PLSモデルは、 Y空間における最大の多次元分散方向を説明するX空間における多次元方向を見つけようとします。PLS回帰は、予測変数の行列が観測値よりも多くの変数を持つ場合、およびX値間に多重共線性がある場合に特に適しています。対照的に、標準的な回帰は、これらの場合（正則化されない限り）失敗します。

部分最小二乗法は、スウェーデンの統計学者ヘルマン OA ウォルドによって導入され、その後^、息子のスヴァンテ ウォルドと共に発展しました。PLS の別の用語は潜在構造への射影[ ^{2 ] [ 3 ]}ですが、部分最小二乗法という用語は多くの分野で依然として主流です。当初は社会科学で応用されていましたが、現在では化学計量学や関連分野で最も広く使用されています。また、バイオインフォマティクス、感覚測定学、神経科学、人類学でも使用されています。

サンプルが与えられています${\displaystyle n}$ペアになった観測値${\displaystyle ({\vec {x}}_{i},{\vec {y}}_{i}),i\in {1,\ldots ,n}}$最初のステップでは${\displaystyle j=1}$部分最小二乗回帰は正規化された方向を探索する${\displaystyle {\vec {p}}_{j}}$、${\displaystyle {\vec {q}}_{j}}$共分散を最大化する^{[ 4 ]}

${\displaystyle \max _{{\vec {p}}_{j},{\vec {q}}_{j}}\operatorname {E} [\underbrace {({\vec {p}}_{j}\cdot {\vec {X}})} _{t_{j}}\underbrace {({\vec {q}}_{j}\cdot {\vec {Y}})} _{u_{j}}].}$

下記のアルゴリズムは行列表記で示されていることに注意してください。

多変量PLSの一般的な基礎モデルは${\displaystyle \ell }$コンポーネントは

${\displaystyle X=TP^{\mathrm {T} }+E}$

${\displaystyle Y=UQ^{\mathrm {T} }+F}$

どこ

• Xは${\displaystyle n\times m}$予測変数のマトリックス
• Yは${\displaystyle n\times p}$応答のマトリックス
• TとUは${\displaystyle n\times \ell }$それぞれ、Xの射影（Xスコア、成分または因子行列）とYの射影（Yスコア）である行列
• PとQはそれぞれ、${\displaystyle m\times \ell }$そして${\displaystyle p\times \ell }$ローディングマトリックス
• 行列EとFは誤差項であり、互いに独立で同一の分布に従う正規確率変数であると仮定する。

XとYの分解は、TとUの間の共分散を最大化するように行われます。

この共分散はペアごとに定義されることに注意してください。Tのi列(長さn ) とUのi列(長さn ) の共分散が最大化されます。さらに、 Tの i 列とUのj列(長さ n ) の共分散も最大化されます。${\displaystyle i\neq j}$)はゼロです。

PLSRでは、スコアが直交基底を形成するようにローディングが選択されます。これは、直交性がローディング（スコアではなく）に課されるPCAとの大きな違いです。

PLSには、因子行列T、U、P、Qを推定するための様々なバリエーションが存在する。それらのほとんどは、 XとYの間の線形回帰の推定値を以下のように構築する。${\displaystyle Y=X{\tilde {B}}+{\tilde {B}}_{0}}$PLSアルゴリズムの中には、 Yが列ベクトルである場合にのみ適切なものもあれば、行列Yの一般的なケースを扱うものもあります。また、アルゴリズムによって、因子行列Tを直交行列（つまり正規直交行列）として推定するかどうかも異なります。^{[ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ]} 最終的な予測は、これらのPLSのすべての種類で同じになりますが、構成要素は異なります。

PLSは、以下の手順をk回（k個の成分に対して）繰り返すことで構成されます。

1. 入力空間と出力空間における最大共分散の方向を見つける
2. 入力スコアに対して最小二乗回帰を実行する
3. 入力を圧縮する${\displaystyle X}$および/またはターゲット${\displaystyle Y}$

PLS1

PLS1は、ベクトルYの場合に適した広く使用されているアルゴリズムです。Tを正規直交行列として推定します。（注意：以下のコード内のtベクトルは適切に正規化されていない可能性があります。詳細は講演を参照してください。）擬似コードでは以下のように表されます（大文字は行列、小文字は上付きの場合はベクトル、下付きの場合はスカラーを表します）。

1関数PLS1( X, y, ℓ ) 2 ${\displaystyle X^{(0)}\gets X}$ 3 ${\displaystyle w^{(0)}\gets X^{\mathrm {T} }y/\|X^{\mathrm {T} }y\|}$wの初期推定値。 4 つ${\displaystyle k=0}$に${\displaystyle \ell -1}$ 5 ${\displaystyle t^{(k)}\gets X^{(k)}w^{(k)}}$ 6 ${\displaystyle t_{k}\gets {t^{(k)}}^{\mathrm {T} }t^{(k)}}$（これはスカラー値です） 7 ${\displaystyle t^{(k)}\gets t^{(k)}/t_{k}}$ 8 ${\displaystyle p^{(k)}\gets {X^{(k)}}^{\mathrm {T} }t^{(k)}}$ 9 ${\displaystyle q_{k}\gets {y}^{\mathrm {T} }t^{(k)}}$（これはスカラー値です） 10の 場合${\displaystyle q_{k}=0}$ 11 ${\displaystyle \ell \gets k}$、forループ 12 を中断します${\displaystyle k<(\ell -1)}$ 13 ${\displaystyle X^{(k+1)}\gets X^{(k)}-t_{k}t^{(k)}{p^{(k)}}^{\mathrm {T} }}$ 14 ${\displaystyle w^{(k+1)}\gets {X^{(k+1)}}^{\mathrm {T} }y}$ 15 end for 16 Wを列を持つ行列と定義する${\displaystyle w^{(0)},w^{(1)},\ldots ,w^{(\ell -1)}}$ 同様の手順でP行列とqベクトルを作成します。 17 ${\displaystyle B\gets W{(P^{\mathrm {T} }W)}^{-1}q}$ 18 ${\displaystyle B_{0}\gets q_{0}-{P^{(0)}}^{\mathrm {T} }B}$ 19 リターン${\displaystyle B,B_{0}}$

この形式のアルゴリズムでは、入力XとYの中心化は不要です。これはアルゴリズムによって暗黙的に実行されるためです。このアルゴリズムは、行列Xの「縮小」 （減算）を特徴としています。${\displaystyle t_{k}t^{(k)}{p^{(k)}}^{\mathrm {T} }}$）、ただしベクトルyのデフレーションは不要であるため実行されません ( y をデフレーションしてもデフレーションしない場合と同じ結果が得られることが証明されています^{[ 11 ]} )。ユーザーが指定した変数lは回帰における潜在因子の数の制限です。これが行列Xのランクと等しい場合、アルゴリズムはBとの最小二乗回帰推定値を生成します。${\displaystyle B_{0}}$

• 正準相関
• データマイニング
• デミング回帰
• 特徴抽出
• 機械学習
• 部分最小二乗法によるパスモデリング
• 主成分分析
• 回帰分析
• 平方和の合計
• 射影追跡回帰

• クレイマー、R. (1998).定量分析のためのケモメトリックス技術. マルセル・デッカー. ISBN 978-0-8247-0198-7。
• Frank, Ildiko E.; Friedman, Jerome H. (1993). "A Statistical View of Some Chemometrics Regression Tools". Technometrics . 35 (2): 109–148 . doi : 10.1080/00401706.1993.10485033 .
• Haenlein, Michael; Kaplan, Andreas M. (2004). "A Beginner's Guide to Partial Least Squares Analysis". Understanding Statistics . 3 (4): 283– 297. doi : 10.1207/s15328031us0304_4 .
• Henseler, Jörg; Fassott, Georg (2010). 「PLSパスモデルにおける調整効果の検定：利用可能な手順の例」 Vinzi, Vincenzo Esposito; Chin, Wynne W.; Henseler, Jörg; Wang, Huiwen (編)『部分最小二乗法ハンドブック：概念、方法、応用』 Springer. pp. 713–735 . doi : 10.1007/978-3-540-32827-8_31 . ISBN  978-3-540-32827-8。
• Lingjærde, Ole-Christian; Christophersen, Nils (2000). "部分最小二乗法の収縮構造". Scandinavian Journal of Statistics . 27 (3): 459–473 . doi : 10.1111/1467-9469.00201 . S2CID 121489764 . 
• テネンハウス、ミシェル (1998)。La Régression PLS: Théorie et Pratique。パリ: テクニップ。
• Rosipal, Roman; Krämer, Nicole (2006). 「部分最小二乗法の概要と最近の進歩」。Saunders, Craig; Grobelnik, Marko; Gunn, Steve; Shawe-Taylor, John (編)『部分空間、潜在構造、特徴選択：統計的および最適化の観点からのワークショップ、SLSFS 2005、スロベニア、ボヒニ、 2005年2月23～ 25日、改訂版選集』。Lecture Notes in Computer Science。Springer。pp. 34–51。doi : 10.1007/11752790_2。ISBN  978-3-540-34138-3。
• Helland, Inge S. (1990). 「PLS回帰と統計モデル」Scandinavian Journal of Statistics . 17 (2): 97–114 . JSTOR 4616159 . 
• Wold, Herman (1966). 「反復最小二乗法による主成分および関連モデルの推定」。Krishnaiaah, PR (編) 『多変量解析』所収。ニューヨーク：Academic Press。pp. 391–420。 
• ウォルド、ヘルマン（1981）。相互依存システムへの固定点アプローチ。アムステルダム：ノースホラント。
• Wold, Herman (1985). 「偏最小二乗法」. Kotz, Samuel; Johnson, Norman L. (編) 『統計科学百科事典』第 6巻. ニューヨーク: Wiley. pp. 581–591 . 
• Wold, Svante ; Ruhe, Axel; Wold, Herman; Dunn, WJ (1984). "線形回帰における共線性の問題。一般化逆行列に対する部分最小二乗法 (PLS) アプローチ". SIAM Journal on Scientific and Statistical Computing . 5 (3): 735– 743. doi : 10.1137/0905052 .
• Garthwaite, Paul H. (1994). 「部分最小二乗法の解釈」.アメリカ統計学会誌. 89 (425): 122–7 . doi : 10.1080/01621459.1994.10476452 . JSTOR 2291207 . 
• Wang, H. 編 (2010).部分最小二乗法ハンドブック. ISBN 978-3-540-32825-4。
• Stone, M.; Brooks, RJ (1990). "連続回帰: 最小二乗法、部分最小二乗法、主成分回帰を含む、交差検証された逐次構築予測". Journal of the Royal Statistical Society, Series B. 52 ( 2): 237–269 . doi : 10.1111/j.2517-6161.1990.tb01786.x . JSTOR 2345437 . 

• PLS回帰とその歴史に関する簡単な紹介
• 動画：浅田博教授によるPLSの導出