種類 MDSアルゴリズムは、入力行列の意味に応じて分類される。
古典的な多次元尺度構成法 これは主座標分析(PCoA)、トーガーソン尺度法、またはトーガーソン・ゴワー尺度法とも呼ばれます。入力行列はアイテムのペア間の非類似度を示し、その構成が 歪みと 呼ばれる損失関数を 最小化する座標行列を出力します。[ 2 ] 歪みは次のように与えられます 。歪み D ( x 1 、 x 2 、 。 。 。 、 x n ) = ( ∑ 私 、 j ( b 私 j − x 私 T x j ) 2 ∑ 私 、 j b 私 j 2 ) 1 / 2 、 {\displaystyle {\text{Strain}}_{D}(x_{1},x_{2},...,x_{n})={\Biggl (}{\frac {\sum _{i,j}{\bigl (}b_{ij}-x_{i}^{T}x_{j}{\bigr )}^{2}}{\sum _{i,j}b_{ij}^{2}}}{\Biggr )}^{1/2},} どこx 私 {\displaystyle x_{i}} N 次元空間におけるベクトルを表す。x 私 T x j {\displaystyle x_{i}^{T}x_{j}} は、 のスカラー積を表します。x 私 {\displaystyle x_{i}} そしてx j {\displaystyle x_{j}} 、 そしてb 私 j {\displaystyle b_{ij}} は行列の要素ですB {\displaystyle B} 以下のアルゴリズムのステップ 2 で定義され、距離から計算されます。
古典的なMDSアルゴリズムの手順: 古典的なMDSは座標行列がX {\displaystyle X} 固有値分解 によって導出できるB = X X ′ {\textstyle B=XX'} マトリックスB {\textstyle B} 近接行列から計算できるD {\textstyle D} 二重センタリングを使用することにより。[ 4 ] 二乗近接行列を設定するD ( 2 ) = [ d 私 j 2 ] {\textstyle D^{(2)}=[d_{ij}^{2}]} 二重センタリングを適用する:B = − 1 2 C D ( 2 ) C {\textstyle B=-{\frac {1}{2}}CD^{(2)}C} センタリング行列 を使用するC = 私 − 1 n J n {\textstyle C=I-{\frac {1}{n}}J_{n}} 、 どこn {\textstyle n} オブジェクトの数、私 {\textstyle I} はn × n {\textstyle n\times n} 単位行列、そしてJ n {\textstyle J_{n}} はn × n {\textstyle n\times n} すべて1の行列。 決定するm {\textstyle m} 最大固有値 λ 1 、 λ 2 、 。 。 。 、 λ m {\textstyle \lambda _{1},\lambda _{2},...,\lambda _{m}} および対応する固有ベクトル e 1 、 e 2 、 。 。 。 、 e m {\textstyle e_{1},e_{2},...,e_{m}} のB {\textstyle B} (どこm {\textstyle m} は出力に必要な次元数です。 今、X = E m Λ m 1 / 2 {\textstyle X=E_{m}\Lambda _{m}^{1/2}} 、 どこE m {\textstyle E_{m}} は行列ですm {\textstyle m} 固有ベクトルとΛ m \Lambda_m は対角行列 ですm {\textstyle m} の固有値B {\textstyle B} 。 古典的なMDSは距離を基準としているため、直接的な非類似度評価には適用できません。
メトリック多次元尺度構成法(mMDS) これは古典的なMDSの上位概念であり、最適化手順をさまざまな損失関数や、重み付き距離が既知の入力行列などに一般化したものです。この文脈で有用な損失関数は「ストレス」と呼ばれ、これは ストレス優位化 と呼ばれる手順を使用して最小化されることがよくあります。メトリックMDSは、「ストレス」と呼ばれるコスト関数を最小化します。これは残差平方和です。
ストレス D ( x 1 、 x 2 、 。 。 。 、 x n ) = ∑ 私 ≠ j = 1 、 。 。 。 、 n ( d 私 j − ‖ x 私 − x j ‖ ) 2 。 {\displaystyle {\text{ストレス}}_{D}(x_{1},x_{2},...,x_{n})={\sqrt {\sum _{i\neq j=1,...,n}{\bigl (}d_{ij}-\|x_{i}-x_{j}\|{\bigr )}^{2}}}.}
メトリックスケーリングは、ユーザーが制御する指数を持つべき乗変換を使用します。p {\textstyle p} :d 私 j p d_{ij}^{p}} そして− d 私 j 2 p {\textstyle -d_{ij}^{2p}} 距離の場合。古典的なスケーリングではp = 1. {\textstyle p=1.} 非計量スケーリングは、単調回帰を用いて非パラメトリックに非類似度の変換を推定することによって定義される。
非計量多次元尺度構成法(NMDS)メトリックMDSとは対照的に、非メトリックMDSは、項目間行列における非類似度と項目間のユークリッド距離との間の非パラメトリックな 単調関係と、低次元空間における各項目の位置の両方を見つけ出す。
させてd 私 j d_{ij}} 点間の類似度私 、 j {\displaystyle i,j} 。 させてd ^ 私 j = ‖ x 私 − x j ‖ {\displaystyle {\hat {d}}_{ij}=\|x_{i}-x_{j}\|} 埋め込み点間のユークリッド距離x 私 、 x j {\displaystyle x_{i},x_{j}} 。
さて、埋め込み点の各選択についてx 私 {\displaystyle x_{i}} そして単調増加関数であるf {\displaystyle f} 「ストレス」関数を定義します。
S ( x 1 、 。 。 。 、 x n ; f ) = ∑ 私 < j ( f ( d 私 j ) − d ^ 私 j ) 2 ∑ 私 < j d ^ 私 j 2 。 {\displaystyle S(x_{1},...,x_{n};f)={\sqrt {\frac {\sum _{i<j}{\bigl (}f(d_{ij})-{\hat {d}}_{ij}{\bigr )}^{2}}{\sum _{i<j}{\hat {d}}_{ij}^{2}}}}。
要因∑ 私 < j d ^ 私 j 2 {\displaystyle \sum _{i<j}{\hat {d}}_{ij}^{2}} 分母の は「崩壊」を防ぐために必要です。代わりに次のように定義しましょう。S = ∑ 私 < j ( f ( d 私 j ) − d ^ 私 j ) 2 {\displaystyle S={\sqrt {\sum _{i<j}{\bigl (}f(d_{ij})-{\hat {d}}_{ij})^{2}}}} すると、設定することで簡単に最小化できます。f = 0 {\displaystyle f=0} そして、すべての点を同じ点に集約する。
このコスト関数にはいくつかのバリエーションが存在する。MDSプログラムは、MDS解を得るために、自動的にストレスを最小化する。
非計量MDSアルゴリズムの中核は、2段階の最適化プロセスです。まず、近接度の最適な単調変換を見つける必要があります。次に、配置された点を最適に配置し、それらの距離がスケーリングされた近接度にできるだけ近づくようにします。
NMDSでは、2つの目的関数を同時に最適化する必要があります。これは通常、反復的に行われます。
初期化x 私 {\displaystyle x_{i}} ランダムに、例えば正規分布からサンプリングすることによって。 停止条件が満たされるまで実行します(例:S < ϵ {\displaystyle S<\epsilon } ) 解くf = 引数 ミニ f S ( x 1 、 。 。 。 、 x n ; f ) {\displaystyle f=\arg \min _{f}S(x_{1},...,x_{n};f)} 単調回帰 によって。 解くx 1 、 。 。 。 、 x n = 引数 ミニ x 1 、 。 。 。 、 x n S ( x 1 、 。 。 。 、 x n ; f ) {\displaystyle x_{1},...,x_{n}=\arg \min _{x_{1},...,x_{n}}S(x_{1},...,x_{n};f)} 勾配降下法またはその他の方法によって。 戻るx 私 {\displaystyle x_{i}} そしてf {\displaystyle f} ルイス・ガットマン の最小空間分析(SSA)は、非計量的な多次元尺度構成法(MDS)の一例である。
一般化多次元尺度構成法(GMDS)メトリック多次元尺度構成法の拡張であり、対象空間は任意の滑らかな非ユークリッド空間である。類似度が表面上の距離であり、対象空間が別の表面である場合、GMDSは一方の表面を他方の表面へ最小歪みで埋め込むことを可能にする。[ 5 ]
詳細 分析対象データは、M {\displaystyle M} 距離関数 が定義されているオブジェクト(色、顔、株 など) 、
d 私 、 j := {\displaystyle d_{i,j}:=} 間の距離私 {\displaystyle i} -th とj {\displaystyle j} - 番目のオブジェクト。これらの距離は、非類似度行列 の要素である。
D := ( d 1 、 1 d 1 、 2 ⋯ d 1 、 M d 2 、 1 d 2 、 2 ⋯ d 2 、 M ⋮ ⋮ ⋮ d M 、 1 d M 、 2 ⋯ d M 、 M ) 。 {\displaystyle D:={\begin{pmatrix}d_{1,1}&d_{1,2}&\cdots &d_{1,M}\\d_{2,1}&d_{2,2}&\cdots &d_{2,M}\\\vdots &\vdots &&\vdots \\d_{M,1}&d_{M,2}&\cdots &d_{M,M}\end{pmatrix}}.} MDSの目標は、D {\displaystyle D} 見つけるM {\displaystyle M} ベクトル x 1 、 … 、 x M ∈ R N {\displaystyle x_{1},\ldots ,x_{M}\in \mathbb {R} ^{N}} そのため
‖ x 私 − x j ‖ ≈ d 私 、 j {\displaystyle \|x_{i}-x_{j}\|\approx d_{i,j}} すべての人々のために私 、 j ∈ 1 、 … 、 M {\displaystyle i,j\in {1,\dots ,M}} 、どこ‖ ⋅ ‖ {\displaystyle \|\cdot \|} はベクトルノルム です。古典的なMDSでは、このノルムはユークリッド距離 ですが、より広い意味では、メトリック または任意の距離関数である可能性があります。[ 7 ] 例えば、数値記述子とカテゴリ記述子の両方を含む混合型データを扱う場合、Gowerの距離 は一般的な代替手段です。
言い換えれば、MDSは、M {\displaystyle M} オブジェクトをR N {\displaystyle \mathbb {R} ^{N}} 距離が保存されるように。N {\displaystyle N} が2または3に選択された場合、ベクトルをプロットすることができます。x 私 {\displaystyle x_{i}} 類似点の視覚化を得るためM {\displaystyle M} オブジェクト。ベクトルに注意してください。x 私 {\displaystyle x_{i}} 一意ではありません。ユークリッド距離では、これらの変換はペアワイズ距離を変えないため、任意に平行移動、回転、反転することができます。‖ x 私 − x j ‖ {\displaystyle \|x_{i}-x_{j}\|} 。
(注:記号R {\displaystyle \mathbb {R} } は実数 の集合を示し、表記法はR N {\displaystyle \mathbb {R} ^{N}} デカルト積を指しますN {\displaystyle N} コピーR {\displaystyle \mathbb {R} } これはN {\displaystyle N} (実数体上の次元ベクトル空間)
ベクトルを決定するにはさまざまなアプローチがある。x 私 {\displaystyle x_{i}} 通常、MDSは最適化問題 として定式化され、( x 1 、 … 、 x M ) {\displaystyle (x_{1},\ldots ,x_{M})} 例えば、何らかのコスト関数の最小化として見つかる。
1 r g m 私 n x 1 、 … 、 x M ∑ 私 < j ( ‖ x 私 − x j ‖ − d 私 、 j ) 2 。 {\displaystyle {\underset {x_{1},\ldots ,x_{M}}{\mathrm {argmin} }}\sum _{i<j}(\|x_{i}-x_{j}\|-d_{i,j})^{2}.\,} 数値最適化手法によって解を見つけることができます。特定のコスト関数については、最小化解を行列の固有値分解 を用いて解析的に表現することができます。[ 2 ]
手順 MDS研究を実施するには、いくつかのステップがあります。
問題の定式化 – 比較したい変数は何ですか?比較したい変数はいくつありますか?この研究はどのような目的で使用されますか?入力データの取得 – 例えば、 回答者には一連の質問がされます。各製品ペアについて、類似性を評価するよう求められます(通常は「非常に似ている」から「非常に似ていない」までの7段階のリッカート尺度 )。最初の質問は、例えばコカ・コーラ/ペプシ、次はコカ・コーラ/ハイアーズ・ルートビア、次はペプシ/ドクターペッパー、次はドクターペッパー/ハイアーズ・ルートビア、といった具合です。質問数はブランド数に応じて決まり、次のように計算できます。Q = N ( N − 1 ) / 2 {\displaystyle Q=N(N-1)/2} ここで、Q は質問数、N はブランド数です。このアプローチは「知覚データ :直接アプローチ」と呼ばれます。他に2つのアプローチがあります。1つは「知覚データ:派生アプローチ」で、製品を意味微分 尺度で評価される属性に分解します。もう1つは「嗜好データアプローチ」で、回答者に類似性ではなく嗜好を尋ねます。MDS統計プログラムの実行 – 手順を実行するためのソフトウェアは、多くの統計ソフトウェアパッケージで利用可能です。多くの場合、メトリックMDS(間隔尺度または比率尺度のデータを扱う)と非メトリックMDS [ 8 ] (順序尺度のデータを扱う)のどちらかを選択できます。次元数を決定する – 研究者は、コンピュータに作成させる次元数を決定する必要があります。MDSソリューションの解釈可能性はしばしば重要であり、一般的に低次元ソリューションの方が解釈や視覚化が容易です。しかし、次元選択は、過小適合と過大適合のバランスを取るという問題でもあります。低次元ソリューションは、非類似度データの重要な次元を省略することで過小適合する可能性があります。高次元ソリューションは、非類似度測定のノイズに過適合する可能性があります。したがって、AIC 、BIC 、ベイズ因子 、交差検証 などのモデル選択ツールは、過小適合と過大適合のバランスが取れる次元を選択するのに役立ちます。結果のマッピングと次元の定義 – 統計プログラム(または関連モジュール)が結果をマッピングします。マップには各製品がプロットされます(通常は2次元空間)。製品同士の近接度は、使用されたアプローチに応じて、製品の類似性または好みを示します。ただし、埋め込みの次元がシステム動作の次元に実際にどのように対応しているかは、必ずしも明らかではありません。ここでは、対応関係について主観的な判断を行うことができます(知覚マッピングを 参照)。結果の信頼性と妥当性を検証する – R二乗 を計算して、MDS手順によってスケーリングされたデータの分散のうちどの程度の割合を説明できるかを判断します。R二乗が0.6以上であれば、許容できる最低レベルとみなされます。R二乗が0.8以上であれば、計量尺度の場合は良好、0.9以上であれば、非計量尺度の場合は良好とみなされます。その他の可能なテストとしては、クラスカルのストレス、分割データテスト、データ安定性テスト(つまり、1つのブランドを除外する)、およびテスト・再テスト信頼性などがあります。結果を包括的に報告してください 。マッピングに加えて、少なくとも距離尺度(例:ソレンセン指数 、ジャッカード指数 )と信頼性(例:ストレス値)を示す必要があります。また、使用したプログラムによって定義されることが多いアルゴリズム(例:クラスカル法、マザー法)(アルゴリズムレポートの代わりに使用される場合もあります)、開始構成を指定した場合、またはランダムに選択した場合、実行回数、次元の評価、モンテカルロ法の 結果、反復回数、安定性の評価、および各軸の比例分散(r二乗)を示すことを強くお勧めします。
実装 ELKIに は2つのMDS実装が含まれています。MATLABに は、2つのMDS実装(それぞれ古典的MDS(cmdscale )と非古典的MDS ( mdscale )用)が含まれています。 Rプログラミング言語は、基本の cmdscale 関数、smacofパッケージ[ 9 ] (mMDSとnMDS)、vegan(重み付きMDS)など、いくつかのMDS実装を提供しています。 scikit-learnには sklearn.manifold.MDS関数が含まれています。
参考文献 ↑ Mead, A (1992). "多次元尺度構成法の発展に関するレビュー". Journal of the Royal Statistical Society. Series D (The Statistician) . 41 (1): 27– 39. doi : 10.2307/2348634 . JSTOR 2348634 .要旨。多次元尺度構成法は現在、精神物理学および感覚分析において一般的な統計ツールとなっている。これらの方法の発展は、Torgerson (計量尺度)、Shepard および Kruskal (非計量尺度) による初期の研究から、個人差尺度構成法、Ramsay によって提案された最尤法に至るまで概説されている。 1 2 3 Borg, I.; Groenen, P. (2005). 現代多次元尺度構成法:理論と応用 (第2 版). ニューヨーク:Springer-Verlag. pp. 207–212 . ISBN 978-0-387-94845-4 。↑ Genest, Christian; Nešlehová, Johanna G.; Ramsay, James O. (2014). "A Conversation with James O. Ramsay" . International Statistical Review / Revue Internationale de Statistique . 82 (2): 161– 183. JSTOR 43299752 . 2021年 6月30日 取得 . ↑ ヴィッケルマイヤー、フロリアン。「MDS入門」。デンマーク、オールボー大学、音質研究ユニット (2003):46 ↑ Bronstein AM、Bronstein MM、Kimmel R (2006 年 1 月)。 「一般 化 多次元尺度構成法: 等長不変部分表面マッチングのフレームワーク」 。 米国 科学 アカデミー 紀要 。103 ( 5 ) : 1168–72。Bibcode : 2006PNAS..103.1168B。doi : 10.1073 / pnas.0508601103。PMC 1360551。PMID 16432211 。 ↑ de Abreu, GTF; Destino, G. (2007). Super MDS: Source Location from Distance and Angle Information . 2007 IEEE Wireless Communications and Networking Conference. Hong Kong, China. pp. 4430–4434 . doi : 10.1109/WCNC.2007.807 . ↑ Kruskal, JB 、および Wish, M. (1978)、多次元尺度構成法 、Sage University Paper series on Quantitative Application in the Social Sciences、07-011。ビバリーヒルズおよびロンドン:Sage Publications。↑ Kruskal, JB (1964). "非計量仮説への適合度を最適化することによる多次元尺度構成法". Psychometrika . 29 (1): 1– 27. doi : 10.1007/BF02289565 . S2CID 48165675 . ↑ Leeuw, Jan de; Mair, Patrick (2009). "Multidimensional Scaling Using Majorization: SMACOF in R" . Journal of Statistical Software . 31 (3). doi : 10.18637/jss.v031.i03 . ISSN 1548-7660 .
参考文献 Cox, TF; Cox, MAA (2001). "多次元尺度構成法" . Unwin, A; Chen, C; Hardle, WK (編). 『データ可視化ハンドブック』 . Springer. doi : 10.1007/978-3-540-33037-0_14 . ISBN 978-3-540-33037-0 。 Coxon, Anthony PM (1982).多次元尺度構成法のユーザーガイド。特にMDS(X)コンピュータプログラムライブラリを参照 。ロンドン:Heinemann Educational Books。 Green, P. (1975年1月). 「MDSのマーケティングへの応用:評価と展望」。Journal of Marketing . 39 (1): 24–31 . doi : 10.2307/1250799 . JSTOR 1250799 . McCune, B. & Grace, JB (2002).生態系群集の分析 . オレゴン州グレネデンビーチ:MjM Software Design. ISBN 978-0-9721290-0-8 。 ヤング、フォレスト・W. (1987).多次元尺度構成法:歴史、理論、応用 . ローレンス・アールバウム・アソシエイツ. ISBN 978-0898596632 。 トーガーソン、ウォーレン・S. (1958).スケーリングの理論と方法 . ニューヨーク: ワイリー. ISBN 978-0-89874-722-5 。