機能のスケーリング

特徴スケーリングは、データの独立変数または特徴の範囲を正規化するために使用される方法です。データ処理では、データ正規化とも呼ばれ、通常はデータ前処理ステップで実行されます。

生データの値の範囲は大きく異なるため、一部の機械学習アルゴリズムでは、正規化を行わないと目的関数が適切に機能しません。たとえば、多くの分類器は、ユークリッド距離で 2 点間の距離を計算します。特徴の 1 つに広い範囲の値がある場合、距離はこの特定の特徴によって決まります。したがって、すべての特徴の範囲を正規化して、各特徴が最終的な距離にほぼ比例して寄与するようにする必要があります。

特徴スケーリングが適用されるもう一つの理由は、特徴スケーリングを使用すると勾配降下法の収束が、特徴スケーリングを使用しない場合よりもはるかに速くなることです。^[1]

正規化が損失関数の一部として使用される 場合は、特徴スケーリングを適用することも重要です（係数が適切にペナルティを受けるようにするため）。

経験的に、特徴スケーリングは確率的勾配降下法の収束速度を向上させることができます。サポートベクターマシン^[2]では、サポートベクターを見つける時間を短縮できます。特徴スケーリングは、クラスタリングや類似性検索など、データポイント間の距離と類似性を含むアプリケーションでもよく使用されます。たとえば、K平均法クラスタリングアルゴリズムは特徴スケールに敏感です。

最小最大スケーリングまたは最小最大正規化とも呼ばれる再スケーリングは、最も簡単な方法であり、特徴の範囲を再スケーリングして範囲を [0, 1] または [-1, 1] にスケーリングします。ターゲット範囲の選択は、データの性質によって異なります。最小最大 [0, 1] の一般的な式は次のとおりです。^[3]

${\displaystyle x'={\frac {x-{\text{min}}(x)}{{\text{max}}(x)-{\text{min}}(x)}}}$

ここで、は元の値、は正規化された値です。たとえば、生徒の体重データがあり、生徒の体重の範囲が [160 ポンド、200 ポンド] であるとします。このデータを再スケールするには、まず各生徒の体重から 160 を減算し、その結果を 40 (最大体重と最小体重の差) で割ります。 ${\displaystyle x}$${\displaystyle x'}$

任意の値セット[a, b]間の範囲を再スケールする場合、式は次のようになります。

${\displaystyle x'=a+{\frac {(x-{\text{min}}(x))(b-a)}{{\text{max}}(x)-{\text{min}}(x)}}}$

最小値と最大値は どこにありますか。${\displaystyle a,b}$

${\displaystyle x'={\frac {x-{\bar {x}}}{{\text{max}}(x)-{\text{min}}(x)}}}$

ここで、は元の値、は正規化された値、はその特徴ベクトルの平均です。平均正規化には、標準偏差で割る別の形式もあり、これは標準化とも呼ばれます。 ${\displaystyle x}$${\displaystyle x'}$${\displaystyle {\bar {x}}={\text{average}}(x)}$

機械学習では、音声信号や画像データのピクセル値など、さまざまな種類のデータを扱うことができ、これらのデータには複数の次元を含めることができます。特徴の標準化により、データ内の各特徴の値は、ゼロ平均（分子の平均を減算した場合）と1分散になります。この方法は、多くの機械学習アルゴリズム（サポートベクターマシン、ロジスティック回帰、人工ニューラルネットワークなど）の正規化に広く使用されています。^{[4] [5]}一般的な計算方法は、各特徴の分布平均と標準偏差を決定することです。次に、各特徴から平均を減算します。次に、各特徴の値（平均はすでに減算されています）をその標準偏差で割ります。

${\displaystyle x'={\frac {x-{\bar {x}}}{\sigma }}}$

ここで、は元の特徴ベクトル、はその特徴ベクトルの平均、はその標準偏差です。 ${\displaystyle x}$${\displaystyle {\bar {x}}={\text{average}}(x)}$${\displaystyle \sigma }$

ロバスト スケーリングは、中央値と四分位範囲(IQR)を使用した標準化とも呼ばれ、外れ値に対して堅牢になるように設計されています。平均値と標準偏差の代わりに、中央値と IQR を参照ポイントとして使用して、特徴量をスケーリングします。ここでは、特徴量の 3 つの四分位数 (25 パーセンタイル、50 パーセンタイル、75 パーセンタイル) です。 $${\displaystyle x'={\frac {x-Q_{2}(x)}{Q_{3}(x)-Q_{1}(x)}}}$$${\displaystyle Q_{1}(x),Q_{2}(x),Q_{3}(x)}$

単位ベクトル正規化では、各データ ポイントをベクトルと見なし、各データ ポイントをそのベクトル ノルムで割ってを取得します。任意のベクトル ノルムを使用できますが、最も一般的なのはL1 ノルムと L2 ノルムです。 ${\displaystyle x'=x/\|x\|}$

たとえば、 の場合、その Lp 正規化バージョンは次のようになります。${\displaystyle x=(v_{1},v_{2},v_{3})}$$${\displaystyle \left({\frac {v_{1}}{(|v_{1}|^{p}+|v_{2}|^{p}+|v_{3}|^{p})^{1/p}}},{\frac {v_{2}}{(|v_{1}|^{p}+|v_{2}|^{p}+|v_{3}|^{p})^{1/p}}},{\frac {v_{3}}{(|v_{1}|^{p}+|v_{2}|^{p}+|v_{3}|^{p})^{1/p}}}\right)}$$

• 正規化（機械学習）
• 正規化（統計）
• 標準スコア
• fMLLR、特徴空間最大尤度線形回帰

• Han, Jiawei、Kamber, Micheline、Pei, Jian (2011)。「データ変換とデータ離散化」。データマイニング: 概念とテクニック。Elsevier。pp. 111–118。ISBN 9780123814807。

• Andrew Ng 氏による特徴スケーリングに関する講義