機械学習において、特徴選択 とは、モデル構築に使用する関連性の高い特徴量 （変数、予測変数）のサブセットを選択するプロセスです。特徴選択手法は、いくつかの理由で使用されます。
特徴選択を使用する際の中心的な前提は、データには冗長 または無関係な 特徴が含まれている場合があり、そのため、情報の損失をほとんど伴わずにそれらを削除できるという点である。[ 9 ] [ 10 ]
特徴抽出は、 元の特徴量の関数から新しい特徴量を生成するのに対し、特徴選択は、特徴量のサブセットを見つけ出します。特徴選択手法は、特徴量が多く、サンプル（データポイント）が比較的少ない分野でよく用いられます。
導入 特徴選択アルゴリズムは、 新しい特徴サブセットを提案するための探索手法と、異なる特徴サブセットを評価する評価尺度との組み合わせと見なすことができます。最も単純なアルゴリズムは、考えられるすべての特徴サブセットをテストし、エラー率を最小化するサブセットを見つけることです。これは空間の網羅的な探索であり、最小の特徴セットを除いては計算上実行不可能です。評価尺度の選択はアルゴリズムに大きな影響を与え、これらの評価尺度によって、ラッパー、フィルタ、埋め込みメソッドという3つの主要なカテゴリの特徴選択アルゴリズムが区別されます。[ 10 ]
ラッパー法は、予測モデルを用いて特徴量サブセットのスコアリングを行います。新しいサブセットごとにモデルを学習させ、それをホールドアウトセットでテストします。ホールドアウトセットでの誤検出数（モデルのエラー率）をカウントすることで、そのサブセットのスコアが得られます。ラッパー法はサブセットごとに新しいモデルを学習させるため、計算負荷が非常に高くなりますが、通常はその特定のモデルタイプや典型的な問題に対して最適なパフォーマンスを発揮する特徴量セットを提供します。 フィルタ法では、エラー率の代わりに代理尺度を使用して特徴サブセットを評価します。この尺度は、特徴セットの有用性を捉えつつ、計算が高速になるように選択されます。一般的な尺度には、相互情報量 [ 10 ] ごとの相互情報量 [ 11 ] ピアソン積率相関係数 、リリーフベースのアルゴリズム [ 12 ] 有意性検定のスコア [ 11 ] [ 13 ] [ 14 ] 交差検証 によって選択されます。フィルタ法は、ラッパー法の前処理ステップとしても使用されており、ラッパーをより大きな問題に使用できます。もう1つの一般的なアプローチは、再帰的特徴除去アルゴリズム[ 15 ] で、サポートベクターマシン でよく使用され、モデルを繰り返し構築し、重みの低い特徴を削除します。 埋め込み手法は、モデル構築プロセスの一部として特徴選択を実行する手法の包括的なグループです。このアプローチの代表例は、線形モデルを構築するためのLASSO 法です。LASSO法は、回帰係数にL1ペナルティを課し、多くの係数をゼロに縮小します。回帰係数がゼロでない特徴は、LASSOアルゴリズムによって「選択」されます。LASSOの改良版には、サンプルをブートストラップするBolasso [ 16 ] 、LASSOのL1ペナルティとリッジ回帰 のL2ペナルティを組み合わせたElastic net regularization 、回帰係数の組み合わせ分析に基づいてすべての特徴にスコアを付けるFeaLect[17]などがあります。AEFSは 、 オート [ 18 ] 従来の回帰分析 では、最も一般的な特徴選択方法はステップワイズ回帰 であり、これはラッパー手法の一種です。これは、各ラウンドで最良の特徴を追加（または最悪の特徴を削除）する貪欲アルゴリズムです。主な制御上の問題は、アルゴリズムをいつ停止するかを決定することです。機械学習では、これは通常 、交差検証によって行われます。統計学では、いくつかの基準が最適化されます。これは、ネストという固有の問題につながります。 分岐限定法や区分 的線形ネットワークなど、より堅牢な手法が検討されています。
部分集合の選択 サブセット選択は、特徴量のサブセットをグループとして評価し、適合性を判断します。サブセット選択アルゴリズムは、ラッパー、フィルタ、および埋め込みメソッドに分類できます。ラッパーは、検索アルゴリズム を使用して可能な特徴量の空間を検索し、各サブセットに対してモデルを実行することで各サブセットを評価します。ラッパーは計算コストが高く、モデルに過学習するリスクがあります。フィルタは、検索アプローチにおいてラッパーに似ていますが、モデルに対して評価する代わりに、より単純なフィルタが評価されます。埋め込みテクニックは、モデルに組み込まれており、モデルに固有のものです。
多くの一般的な検索手法では、貪欲な 山登り法 が用いられます。これは、候補となる特徴のサブセットを繰り返し評価し、そのサブセットを修正して、新しいサブセットが古いサブセットよりも優れているかどうかを評価します。サブセットの評価には、特徴のサブセットを評価するスコアリング指標 が必要です。網羅的な検索は一般的に非現実的なので、実装者（またはオペレーター）が定義した停止ポイントで、その時点までに発見された特徴のサブセットの中で最も高いスコアを持つものが、適切な特徴サブセットとして選択されます。停止基準はアルゴリズムによって異なります。考えられる基準としては、サブセットのスコアが閾値を超えた、プログラムの最大実行時間が超過した、などが挙げられます。
代替的な探索ベースの手法は、ターゲット投影追跡 に基づいており、スコアの高いデータの低次元投影を見つけ出します。そして、低次元空間において最大の投影を持つ特徴が選択されます。
検索方法には以下が含まれます。
分類問題でよく使われるフィルタ指標は相関 と相互情報量 ですが、どちらも三角不等式を 満たさないため、実際の「距離」を計算するものではなく、数学的な意味での真の指標 や「距離尺度」ではありません。むしろ「スコア」とみなすべきです。これらのスコアは、候補となる特徴量（または特徴量のセット）と目的の出力カテゴリの間で計算されます。ただし、相互情報量の単純な関数である真の指標も存在します。 [ 30 ] ください 。
その他の利用可能なフィルタ指標は以下のとおりです。
クラス分離可能性 一貫性に基づく特徴選択 相関に基づく特徴選択
構造学習 フィルタ特徴選択は、構造学習 と呼ばれるより一般的なパラダイムの特定のケースです。特徴選択は特定のターゲット変数に関連する特徴セットを見つけるのに対し、構造学習は通常、これらの関係をグラフとして表現することによって、すべての変数間の関係を見つけます。最も一般的な構造学習アルゴリズムは、データがベイジアンネットワーク によって生成されることを前提としており、そのため構造は有向グラフ モデル です。フィルタ特徴選択問題の最適な解はターゲットノードのマルコフブランケット であり、ベイジアンネットワークでは、各ノードに対して一意のマルコフブランケットが存在します。[ 34 ]
様々な特徴選択メカニズムが存在し、それらは相互情報量 を利用して様々な特徴をスコアリングします。通常、それらはすべて同じアルゴリズムを使用します。
すべての特徴間の相互情報 をスコアとして計算します（f 私 ∈ F {\displaystyle f_{i}\in F} c ） スコアが最も高い機能を選択してください（例：argmax f 私 ∈ F （ 私 （ f 私 、 c ） ） {\displaystyle {\underset {f_{i}\in F}{\operatorname {argmax} }}(I(f_{i},c))} S )に追加します。 相互情報 から導き出される可能性のあるスコアを計算します。スコアが最も高い機能を選択し、選択した機能のセットに追加します（例：argmax f 私 ∈ F （ 私 d e r 私 v e d （ f 私 、 c ） ） {\displaystyle {\underset {f_{i}\in F}{\operatorname {argmax} }}(I_{derived}(f_{i},c))} 特定の数の特徴が選択されるまで、3.と4.を繰り返します（例：| S | = l {\displaystyle |S|=l} 最も単純なアプローチは、相互情報量 を「派生」スコアとして使用する。[ 35 ]
しかし、機能間の冗長性を低減しようとするさまざまなアプローチが存在する。
Pengら [ 36 ] cに対する特徴セット Sの関連性は、個々の特徴 f i c の間のすべての相互情報量の平均値によって次のように定義される。
D （ S 、 c ） = 1 | S | ∑ f 私 ∈ S 私 （ f 私 ; c ） {\displaystyle D(S,c)={\frac {1}{|S|}}\sum _{f_{i}\in S}I(f_{i};c)} セットS 内のすべての特徴の冗長性は、特徴f i f j
R （ S ） = 1 | S | 2 ∑ f 私 、 f j ∈ S 私 （ f 私 ; f j ） {\displaystyle R(S)={\frac {1}{|S|^{2}}}\sum _{f_{i},f_{j}\in S}I(f_{i};f_{j})} mRMR基準は、上記2つの指標を組み合わせたものであり、以下のように定義されます。
m R M R = 最大 S [ 1 | S | ∑ f 私 ∈ S 私 （ f 私 ; c ） − 1 | S | 2 ∑ f 私 、 f j ∈ S 私 （ f 私 ; f j ） ] 。 {\displaystyle \mathrm {mRMR} =\max _{S}\left[{\frac {1}{|S|}}\sum _{f_{i}\in S}I(f_{i};c)-{\frac {1}{|S|^{2}}}\sum _{f_{i},f_{j}\in S}I(f_{i};f_{j})\right].} n 個 のフルセット特徴があると仮定します。特徴f i 指標関数を x i とします。x i =1 はグローバル最適特徴セットに特徴 f i が存在することを示し、x i =0 は特徴f i c 私 = 私 （ f 私 ; c ） {\displaystyle c_{i}=I(f_{i};c)} 1 私 j = 私 （ f 私 ; f j ） {\displaystyle a_{ij}=I(f_{i};f_{j})} 最適化問題 として次のように表すことができます。
m R M R = 最大 x ∈ { 0 、 1 } n [ ∑ 私 = 1 n c 私 x 私 ∑ 私 = 1 n x 私 − ∑ 私 、 j = 1 n 1 私 j x 私 x j （ ∑ 私 = 1 n x 私 ） 2 ] 。 {\displaystyle \mathrm {mRMR} =\max _{x\in \{0,1\}^{n}}\left[{\frac {\sum _{i=1}^{n}c_{i}x_{i}}{\sum _{i=1}^{n}x_{i}}}-{\frac {\sum _{i,j=1}^{n}a_{ij}x_{i}x_{j}}{(\sum _{i=1}^{n}x_{i})^{2}}}\right].} mRMRアルゴリズムは、選択された特徴の同時分布と分類変数間の相互情報量を最大化する、理論的に最適な最大依存性特徴選択アルゴリズムの近似です。mRMRは組み合わせ推定問題を、それぞれ2つの変数のみを含む一連のはるかに小さな問題で近似するため、より堅牢なペアワイズ同時確率を使用します。特定の状況では、関連性を高める可能性のある特徴間の相互作用を測定する方法がないため、アルゴリズムは特徴の有用性を過小評価する可能性があります。これは、特徴が個別には役に立たないが、組み合わせると有用である場合（クラスが特徴のパリティ関数である場合は、病的なケースが見つかります）に、パフォーマンスの低下につながる可能性があります [ 35 ]
mRMRは、関連性と冗長性をさまざまな方法でトレードオフするフィルタ手法の大きなクラスの一例です。[ 35 ] [ 37 ]
相互情報量から導き出された別のスコアは、条件付き関連性に基づいています。[ 39 ]
S P E C C M 私 : 最大 x { x T Q x } st ‖ x ‖ = 1 、 x 私 ≥ 0 {\displaystyle \mathrm {SPEC_{CMI}} :\max _{\mathbf {x} }\left\{\mathbf {x} ^{T}Q\mathbf {x} \right\}\quad {\mbox{st}}\ \|\mathbf {x} \|=1,x_{i}\geq 0} どこQ 私 私 = 私 （ f 私 ; c ） {\displaystyle Q_{ii}=I(f_{i};c)} Q 私 j = （ 私 （ f 私 ; c | f j ） + 私 （ f j ; c | f 私 ） ） / 2 、 私 ≠ j {\displaystyle Q_{ij}=(I(f_{i};c|f_{j})+I(f_{j};c|f_{i}))/2,i\neq j}
SPEC CMI の利点は、 Q の支配的な固有ベクトルを見つけることで簡単に解けるため、非常に拡張性が高いことです。また、 SPEC CMIは 二次特徴相互作用にも対応しています。
Brownら[ 35 ]は 結合相互情報量 [ 40 ]
J M 私 （ f 私 ） = ∑ f j ∈ S （ 私 （ f 私 ; c ） + 私 （ f 私 ; c | f j ） ） = ∑ f j ∈ S [ 私 （ f j ; c ） + 私 （ f 私 ; c ） − （ 私 （ f 私 ; f j ） − 私 （ f 私 ; f j | c ） ） ] {\displaystyle {\begin{aligned}JMI(f_{i})&=\sum _{f_{j}\in S}(I(f_{i};c)+I(f_{i};c|f_{j}))\\&=\sum _{f_{j}\in S}{\bigl [}I(f_{j};c)+I(f_{i};c)-{\bigl (}I(f_{i};f_{j})-I(f_{i};f_{j}|c){\bigr )}{\bigr ]}\end{aligned}}} このスコアは、条件付き相互情報量 と相互情報量 を使用して、既に選択された特徴間の冗長性を推定します（f j ∈ S {\displaystyle f_{j}\in S} f 私 {\displaystyle f_{i}}
ヒルベルト・シュミット独立性基準に基づくLassoベースの特徴選択 高次元かつ小サンプルデータの場合（例：次元数 > 10） 10未満 [ 41 ]
H S 私 C L 1 s s o : ミニ x 1 2 ∑ k 、 l = 1 n x k x l HSIC （ f k 、 f l ） − ∑ k = 1 n x k HSIC （ f k 、 c ） + λ ‖ x ‖ 1 、 st x 1 、 … 、 x n ≥ 0 、 {\displaystyle \mathrm {HSIC_{Lasso}} :\min _{\mathbf {x} }{\frac {1}{2}}\sum _{k,l=1}^{n}x_{k}x_{l}{\mbox{HSIC}}(f_{k},f_{l})-\sum _{k=1}^{n}x_{k}{\mbox{HSIC}}(f_{k},c)+\lambda \|\mathbf {x} \|_{1},\quad {\mbox{st}}\ x_{1},\ldots ,x_{n}\geq 0,} どこHSIC （ f k 、 c ） = tr （ K ¯ （ k ） L ¯ ） {\displaystyle {\mbox{HSIC}}(f_{k},c)={\mbox{tr}}({\bar {\mathbf {K} }}^{(k)}{\bar {\mathbf {L} }})} tr （ ⋅ ） {\displaystyle {\mbox{tr}}(\cdot )} トレース を表します。λ {\displaystyle \lambda } K ¯ （ k ） = Γ K （ k ） Γ {\displaystyle {\bar {\mathbf {K} }}^{(k)}=\mathbf {\Gamma } \mathbf {K} ^{(k)}\mathbf {\Gamma } } L ¯ = Γ L Γ {\displaystyle {\bar {\mathbf {L} }}=\mathbf {\Gamma } \mathbf {L} \mathbf {\Gamma } } グラム行列 であり、K 私 、 j （ k ） = K （ u k 、 私 、 u k 、 j ） {\displaystyle K_{i,j}^{(k)}=K(u_{k,i},u_{k,j})} L 私 、 j = L （ c 私 、 c j ） {\displaystyle L_{i,j}=L(c_{i},c_{j})} K （ u 、 u ′ ） {\displaystyle K(u,u')} L （ c 、 c ′ ） {\displaystyle L(c,c')} Γ = 私 m − 1 m 1 m 1 m T {\displaystyle \mathbf {\Gamma } =\mathbf {I} _{m}-{\frac {1}{m}}\mathbf {1} _{m}\mathbf {1} _{m}^{T}} は中心化行列 です。私 m {\displaystyle \mathbf {I} _{m}} はm 次元の単位行列 ( m : サンプル数)です。1 m {\displaystyle \mathbf {1} _{m}} は、すべて1であるm 次元ベクトルであり、 ‖ ⋅ ‖ 1 {\displaystyle \|\cdot \|_{1}} ℓ 1 {\displaystyle \ell _{1}} 場合に限りゼロになります。
HSIC Lassoは次のように記述できます。
H S 私 C L 1 s s o : ミニ x 1 2 ‖ L ¯ − ∑ k = 1 n x k K ¯ （ k ） ‖ F 2 + λ ‖ x ‖ 1 、 st x 1 、 … 、 x n ≥ 0 、 {\displaystyle \mathrm {HSIC_{Lasso}} :\min _{\mathbf {x} }{\frac {1}{2}}\left\|{\bar {\mathbf {L} }}-\sum _{k=1}^{n}x_{k}{\bar {\mathbf {K} }}^{(k)}\right\|_{F}^{2}+\lambda \|\mathbf {x} \|_{1},\quad {\mbox{st}}\ x_{1},\ldots ,x_{n}\geq 0,} どこ‖ ⋅ ‖ F {\displaystyle \|\cdot \|_{F}} はフロベニウスノルム です。最適化問題はLasso問題であるため、デュアル拡張ラグランジュ法 などの最先端のLassoソルバーを使用して効率的に解くことができます。
相関特徴選択 相関特徴選択（CFS）尺度は、次の仮説に基づいて特徴のサブセットを評価します。「優れた特徴サブセットは、分類と高い相関を持つ特徴を含み、かつ互いに相関を持たない」。[ 42 ] [ 43 ] 次の式は、 k 個の特徴からなる特徴サブセットS のメリットを示します。
M e r 私 t S k = k r c f ¯ k + k （ k − 1 ） r f f ¯ 。 {\displaystyle \mathrm {Merit} _{S_{k}}={\frac {k{\overline {r_{cf}}}}{\sqrt {k+k(k-1){\overline {r_{ff}}}}}}.} ここ、r c f ¯ {\displaystyle {\overline {r_{cf}}}} r f f ¯ {\displaystyle {\overline {r_{ff}}}}
C F S = 最大 S k [ r c f 1 + r c f 2 + ⋯ + r c f k k + 2 （ r f 1 f 2 + ⋯ + r f 私 f j + ⋯ + r f k f k − 1 ） ] 。 {\displaystyle \mathrm {CFS} =\max _{S_{k}}\left[{\frac {r_{cf_{1}}+r_{cf_{2}}+\cdots +r_{cf_{k}}}{\sqrt {k+2(r_{f_{1}f_{2}}+\cdots +r_{f_{i}f_{j}}+\cdots +r_{f_{k}f_{k-1}})}}}\right].} のr c f 私 {\displaystyle r_{cf_{i}}} r f 私 f j {\displaystyle r_{f_{i}f_{j}}} ピアソンの相関係数 やスピアマンのρであるとは限りません。ホールの博士論文ではこれらのどちらも使用せず、 最小記述長 （MDL）、対称的不確実性 、および緩和 という3つの異なる関連性の尺度を使用しています。
x i を 特徴f i 指標関数 とすると、上記は最適化問題として書き直すことができる。
C F S = 最大 x ∈ { 0 、 1 } n [ （ ∑ 私 = 1 n 1 私 x 私 ） 2 ∑ 私 = 1 n x 私 + ∑ 私 ≠ j 2 b 私 j x 私 x j ] 。 {\displaystyle \mathrm {CFS} =\max _{x\in \{0,1\}^{n}}\left[{\frac {(\sum _{i=1}^{n}a_{i}x_{i})^{2}}{\sum _{i=1}^{n}x_{i}+\sum _{i\neq j}2b_{ij}x_{i}x_{j}}}\right].} 上記の組合せ問題は、実際には分岐限定法アルゴリズム を使用して解くことができる混合0-1線形計画 問題である。[ 44 ]
正規化された木 決定木 やツリーアンサンブル の特徴は冗長であることが示されています。特徴部分集合の選択には、正則化ツリー[ 45 ]
正則化ツリーは、数値およびカテゴリカル特徴、相互作用、非線形性を自然に処理します。属性スケール（単位）に対して不変であり、外れ値 に対して鈍感であるため、正規化 などのデータ前処理は ほとんど必要ありません。正則化ランダムフォレスト（RRF）[ 46 ]
メタヒューリスティックとは、古典的な解法が存在しない困難な（典型的には NP困難 問題である）最適化問題を解決するために用いられるアルゴリズムの総称です。一般的に、メタヒューリスティックは、大域的最適解に到達する傾向のある確率的アルゴリズムです。単純な局所探索から複雑な大域探索アルゴリズムまで、様々なメタヒューリスティックが存在します。
主な原則 特徴選択手法は、選択アルゴリズムとモデル構築の組み合わせ方に基づいて、一般的に3つのクラスに分類される。
フィルタメソッド 特徴選択のためのフィルタ方法 フィルタ型メソッドは、モデルに関係なく変数を選択します。予測対象の変数との相関などの一般的な特徴のみに基づいて選択されます。フィルタメソッドは、最も関心の低い変数を抑制します。その他の変数は、データの分類または予測に使用される分類モデルまたは回帰モデルの一部となります。これらのメソッドは、計算時間において特に効果的であり、過学習 に対して頑健です。[ 47 ]
フィルタ法は、変数間の関係を考慮しない場合、冗長な変数を選択する傾向があります。しかし、より高度な機能では、高速相関ベースフィルタ（FCBF）アルゴリズムのように、互いに高い相関を持つ変数を削除することで、この問題を最小限に抑えようとします。[ 48 ]
ラッパーメソッド 特徴選択のためのラッパーメソッド ラッパー法は変数のサブセットを評価するため、フィルタ法とは異なり、変数間の相互作用を検出できます。[ 49 ]
観測数が不十分な場合、過学習のリスクが増大する。 変数の数が多い場合、計算時間が大幅に増加する。
埋め込み方式 特徴選択のための組み込み手法 最近では、これまでの2つの方法の利点を組み合わせようとする埋め込み型手法が提案されている。学習アルゴリズムは、独自の変数選択プロセスを利用して特徴選択と分類を同時に実行する。例えば、FRMTアルゴリズムなどである。[ 50 ]
これは、最近文献で使用されている特徴選択メタヒューリスティクスの応用に関する調査です。この調査は、J. Hammon が 2013 年の論文で実施しました。[ 47 ]
学習アルゴリズムに組み込まれた特徴選択 一部の学習アルゴリズムは、全体的な動作の一部として特徴選択を実行します。これには以下が含まれます。
参考文献 ↑ Gareth James; Daniela Witten; Trevor Hastie; Robert Tibshirani (2013). An Introduction to Statistical Learning . Springer. p. 204. 2019年6月23日にオリジナル からアーカイブ済み。 2016年1月20日 ↑ ブランク、ジャネス。ムラデニッチ、ドゥンハ。グロベルニク、マルコ。リュウ、フアン。ムラデニッチ、ドゥンハ。フラック、ピーター A.ガリガ、ジェマ C.トイボネン、ハンヌ。トイヴォネン、ハンヌ (2011)、 「機能選択」 、サムット、クロード; Webb, Geoffrey I. (編)、 Encyclopedia of Machine Learning 、ボストン、マサチューセッツ州: Springer US、pp. 402–406 、 doi : 10.1007/978-0-387-30164-8_306 、 ISBN 978-0-387-30768-8 2021年7月13日 取得↑ Kramer, Mark A. (1991). "自己連想ニューラルネットワークを用いた非線形主成分分析" . AIChE Journal . 37 (2): 233– 243. Bibcode : 1991AIChE..37..233K . doi : 10.1002/aic.690370209 . ISSN 1547-5905 . ↑ Kratsios, Anastasis; Hyndman, Cody (2021). "NEU: 普遍的な UAP 不変特徴表現のためのメタアルゴリズム" . Journal of Machine Learning Research . 22 (92): 1– 51. ISSN 1533-7928 . ↑ Persello, Claudio; Bruzzone, Lorenzo (2014年7月) 「ハイパースペクトル画像のドメイン一般化のための関連性と不変な特徴選択」 (PDF) . 2014 IEEE Geoscience and Remote Sensing Symposium (PDF) . IEEE. pp. 3562–3565 . doi : 10.1109/igarss.2014.6947252 . ISBN 978-1-4799-5775-0 . S2CID 8368258 . 2024-04-14 にオリジナルからアーカイブされました。2023-07-22 に取得されまし た ↑ Hinkle, Jacob; Muralidharan, Prasanna; Fletcher, P. Thomas; Joshi, Sarang (2012). "リーマン多様体上の多項式回帰" . In Fitzgibbon, Andrew; Lazebnik, Svetlana; Perona, Pietro; Sato, Yoichi; Schmid, Cordelia (eds.). Computer Vision – ECCV 2012 . Lecture Notes in Computer Science. Vol. 7574. Berlin, Heidelberg: Springer. pp. 1– 14. arXiv : 1201.2395 . doi : 10.1007/978-3-642-33712-3_1 . ISBN 978-3-642-33712-3 . S2CID 8849753 . ↑ Yarotsky, Dmitry (2021-04-30). "ニューラルネットワークによる不変マップの普遍近似". Constructive Approximation . 55 : 407–474 . arXiv : 1804.10306 . doi : 10.1007/s00365-021-09546-1 . ISSN 1432-0940 . S2CID 13745401 . ↑ ソーレン、ハウバーグ。ラウズ、フランソワ。ペダーセン、キム・スティーンストラップ (2013-05-01)。 「リーマン多様体における無香料カルマンフィルタリング」。 数学的イメージングとビジョンのジャーナル 。 46 (1): 103–120 。 Bibcode : 2013JMIV...46..103H 。 土井 ： 10.1007/s10851-012-0372-9 。 ISSN 1573-7683 。 S2CID 8501814 。 ↑ Kratsios, Anastasis; Hyndman, Cody (2021年6月8日). "NEU: 普遍的なUAP不変特徴表現のためのメタアルゴリズム" . Journal of Machine Learning Research . 22 10312. Bibcode : 2015NatSR...510312B . doi : 10.1038/srep10312 . PMC 4437376 . PMID 25988841 . 1 2 3 Guyon, Isabelle; Elisseeff, André (2003). "変数と特徴選択の入門" . JMLR . 3 . 1 2 Yang, Yiming; Pedersen, Jan O. (1997). テキスト分類における特徴選択に関する比較研究 (PDF) . ICML. ↑ Urbanowicz, Ryan J.; Meeker, Melissa; LaCava, William; Olson, Randal S.; Moore, Jason H. (2018). "Relief-Based Feature Selection: Introduction and Review" . Journal of Biomedical Informatics . 85 : 189–203 . arXiv : 1711.08421 . doi : 10.1016/ j.jbi.2018.07.014 . PMC 6299836. PMID 30031057 . ↑ Forman, George (2003). 「テキスト分類のための特徴選択指標に関する広範な実証研究」 (PDF) . Journal of Machine Learning Research . 3 : 1289– 1305. ↑ 張宜士；リー・シュジュアン;テン・ワン;張子剛（2013）。 「別々のクラスに対する発散ベースの特徴選択」。 ニューロコンピューティング 。 101 (4): 32–42 。 土井 : 10.1016/j.neucom.2012.06.036 。 ↑ Guyon I.; Weston J.; Barnhill S.; Vapnik V. (2002). "Gene selection for cancer classification using support vector machines" . Machine Learning . 46 ( 1–3 ): 389–422 . doi : 10.1023/A:1012487302797 . ↑ Bach, Francis R (2008). "Bolasso". 第25回国際機械学習会議（ICML '08 ）論文集、pp. 33–40 . doi : 10.1145/1390156.1390161 . ISBN 978-1-60558-205-4 . S2CID 609778 . ↑ Zare, Habil (2013). "Lassoの組み合わせ分析に基づく特徴の関連性のスコアリングとリンパ腫診断への応用" . BMC Genomics . 14 (Suppl 1): S14. doi : 10.1186/1471-2164-14-S1-S14 . PMC 3549810 . PMID 23369194 . ↑ Kai Han; Yunhe Wang; Chao Zhang; Chao Li; Chao Xu (2018). オートエンコーダに着想を得た教師なし特徴選択 . IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). ↑ Hazimeh, Hussein; Mazumder, Rahul; Saab, Ali (2020). "Sparse Regression at Scale: Branch-and-Bound rooted in First-Order Optimization". arXiv : 2004.06152 [ stat.CO ]. ↑ Soufan, Othman; Kleftogiannis, Dimitrios; Kalnis, Panos; Bajic, Vladimir B. (2015-02-26). "DWFS: 並列遺伝的アルゴリズムに基づくラッパー特徴選択ツール" . PLOS ONE . 10 (2) e0117988. Bibcode : 2015PLoSO..1017988S . doi : 10.1371/journal.pone.0117988 . ISSN 1932-6203 . PMC 4342225 . PMID 25719748 . ↑ Figueroa, Alejandro (2015). "Webクエリの背後にあるユーザーの意図を認識するための効果的な機能の探索" . Computers in Industry . 68 : 162– 169. doi : 10.1016/j.compind.2015.01.005 . ↑ Figueroa, Alejandro; Guenter Neumann (2013). Learning to Rank Effective Paraphrases from Query Logs for Community Question Answering . AAAI. ↑ Figueroa, Alejandro; Guenter Neumann (2014). "コミュニティ質問応答における効果的な言い換えのランキングのためのカテゴリ固有のモデル" . Expert Systems with Applications . 41 (10): 4730– 4742. doi : 10.1016/j.eswa.2014.02.004 . hdl : 10533/196878 . 1 2 Zhang, Y.; Wang, S.; Phillips, P. (2014). "スパム検出に適用した決定木を用いた特徴選択のための突然変異演算子付きバイナリPSO". Knowledge-Based Systems . 64 : 22–31 . doi : 10.1016/j.knosys.2014.03.015 . ↑ FC Garcia-Lopez、M. Garcia-Torres、B. Melian、JA Moreno-Perez、JM Moreno-Vega。「並列散乱探索による特徴部分集合選択問題の解決」、 European Journal of Operational Research 、第169巻、第2号、477～489ページ、2006年。 ↑ ガルシア＝トーレス、ミゲル。ゴメス・ベラ、フランシスコ。ディヴィナ、フェデリコ。ピント＝ロア、ディエゴ P.ノゲラ、ホセ・ルイス・バスケス。ロマン、フリオ・C・メロ（2021）。 「特徴グループ化を使用した高次元特徴選択のための散布探索」 。 遺伝的および進化的計算会議の議事録コンパニオン 。ページ 149–150 。 土井 : 10.1145/3449726.3459481 。 ISBN 978-1-4503-8351-6 . S2CID 235770316 . ↑ Garcia-Torres, Miguel (2025). "散布探索に基づく多変量探索空間縮小戦略を用いた高次元データの特徴選択" . Journal of Heuristics . 31 10. doi : 10.1007/s10732-025-09550-9 . ↑ FC Garcia-Lopez、M. Garcia-Torres、B. Melian、JA Moreno-Perez、JM Moreno-Vega。「ハイブリッドメタヒューリスティックによる特徴部分集合選択問題の解決」。第1回ハイブリッドメタヒューリスティック国際ワークショップ 、pp. 59–68、2004年。 ↑ M. Garcia-Torres、F. Gomez-Vela、B. Melian、JM Moreno-Vega。「特徴グループ化による高次元特徴選択：可変近傍探索アプローチ」、 Information Sciences 、vol. 326、pp. 102-118、2016年。 ↑ Kraskov, Alexander; Stögbauer, Harald; Andrzejak, Ralph G; Grassberger, Peter (2003). "相互情報に基づく階層的クラスタリング". arXiv : q-bio/0311039 . Bibcode : 2003q.bio....11039K . ↑ 赤池博 （1985）「予測とエントロピー」、Atkinson, AC; Fienberg, SE （編） 『統計学の祭典 』 （PDF） 、Springer、pp. 1–24 、 2019年8月30日に オリジナル （PDF）からアーカイブ済み ↑ Burnham, KP; Anderson, DR (2002), Model Selection and Multimodel Inference: A practical information-theoretic approach (2nd ed.), Springer-Verlag , ISBN 978-0-387-95364-9 ↑ Einicke, GA (2018). "Maximum-Entropy Rate Selection of Features for Classifying Changes in Knee and Ankle Dynamics During Running". IEEE Journal of Biomedical and Health Informatics . 28 (4): 1097–1103 . arXiv : 2501.13750 . Bibcode : 2018IJBHI..22.1097E . doi : 10.1109 /JBHI.2017.2711487 . hdl : 10810/68978 . PMID 29969403. S2CID 49555941 . ↑ Aliferis, Constantin (2010). "分類のための因果発見と特徴選択のための局所因果およびマルコフブランケット誘導パートI：アルゴリズムと経験的評価" (PDF) . Journal of Machine Learning Research . 11 : 171– 234. 1 2 3 4 Brown, Gavin; Pocock, Adam; Zhao, Ming-Jie; Luján, Mikel (2012). "条件付き尤度最大化: 情報理論的特徴選択のための統一フレームワーク" . Journal of Machine Learning Research . 13 : 27– 66. ↑ Peng, HC; Long, F.; Ding, C. (2005). "相互情報量に基づく特徴選択: 最大依存性、最大関連性、最小冗長性の基準". IEEE Transactions on Pattern Analysis and Machine Intelligence . 27 (8): 1226– 1238. Bibcode : 2005ITPAM..27.1226P . CiteSeerX 10.1.1.63.5765 . doi : 10.1109/TPAMI.2005.159 . PMID 16119262. S2CID 206764015 . ↑ Nguyen, H., Franke, K., Petrovic, S. (2010). "侵入検知のための汎用的な特徴選択尺度に向けて", 国際パターン認識会議 (ICPR) 議事録、イスタンブール、トルコ。 ↑ Rodriguez-Lujan, I.; Huerta, R.; Elkan, C.; Santa Cruz, C. (2010). "二次計画法による特徴選択" (PDF) . JMLR . 11 : 1491– 1516. 1 2 Nguyen X. Vinh、Jeffrey Chan、Simone Romano、James Bailey、「相互情報量に基づく特徴選択のための効果的なグローバルアプローチ」。第20回ACM SIGKDD知識発見・データマイニング会議（KDD'14）議事録、2014年8月24日～27日、ニューヨーク市。「 ↑ Yang, Howard Hua; Moody, John (2000). "データ可視化と特徴選択: 非ガウスデータのための新しいアルゴリズム" (PDF) . Advances in Neural Information Processing Systems : 687– 693. ↑ Yamada, M.; Jitkrittum, W.; Sigal, L.; Xing, EP; Sugiyama, M. (2014). "High-Dimensional Feature Selection by Feature-Wise Non-Linear Lasso". Neural Computation . 26 (1): 185–207 . arXiv : 1202.0515 . doi : 10.1162/NECO_a_00537 . PMID 24102126. S2CID 2742785 . ↑ Hall, M. (1999). 機械学習のための相関ベースの特徴選択 (PDF) (博士論文). ワイカト大学。 ↑ Senliol, Baris; et al. (2008). "異なる検索戦略を用いた高速相関ベースフィルタ (FCBF)". 2008 第23回国際コンピュータ・情報科学シンポジウム . pp. 1–4 . doi : 10.1109/ISCIS.2008.4717949 . ISBN 978-1-4244-2880-9 . S2CID 8398495 . ↑ Nguyen, Hai; Franke, Katrin; Petrovic, Slobodan (2009 年 12 月) 「特徴選択尺度のクラスの最適化」 . NIPS 2009 機械学習における離散最適化ワークショップ: 劣モジュラリティ、スパース性、多面体 (DISCML) の議事録 . カナダ、バンクーバー。 1 2 Deng, Houtao; Runger, George (2012). "Feature Selection via Regularized Trees". arXiv : 1201.1587 [ cs.LG ]. 1 2 RRF: 正則化ランダムフォレスト、 CRANの R パッケージ 1 2 ハモン、ジュリー（2013年11月）。 回帰と大次元の変数選択を組み合わせた最適化: Application en génétique Animale (論文) (フランス語)。 リール科学技術大学 。 ↑ Yu, Lei; Liu, Huan (2003年8月). 「高次元データの特徴選択：高速相関ベースのフィルタソリューション」 (PDF) . ICML'03: Proceedings of the Twentieth International Conference on Machine Learning : 856– 863. 1 2 T. M. Phuong、Z. Lin、RB Altman。特徴選択を用いたSNPの選択。Wayback Machine に2016年9月13日に アーカイブ済み。Proceedings / IEEE Computational Systems Bioinformatics Conference、CSB。IEEE Computational Systems Bioinformatics Conference、301-309ページ、2005年。PMID 16447987。 ↑ Saghapour, E.; Kermani, S.; Sehhati, M. (2017). "プロテオミクスデータを用いた癌病期予測のための新しい特徴ランキング法" . PLOS ONE . 12 (9) e0184203. Bibcode : 2017PLoSO..1284203S . doi : 10.1371/journal.pone.0184203 . PMC 5608217. PMID 28934234 . ↑ Shah, SC; Kusiak, A. (2004). "データマイニングと遺伝的アルゴリズムに基づく遺伝子/SNP選択". Artificial Intelligence in Medicine . 31 (3): 183– 196. doi : 10.1016/j.artmed.2004.04.002 . PMID 15302085 . ↑ Long, N.; Gianola, D.; Weigel, K. A (2011). "ゲノム選抜のための次元削減と変数選択：ホルスタインの乳量予測への応用". Journal of Animal Breeding and Genetics . 128 (4): 247– 257. doi : 10.1111/j.1439-0388.2011.00917.x . PMID 21749471 . ↑ ウストゥンカール、グルカン。オゾグル・アキュズ、スレーヤ。ウェーバー、ゲルハルト W.フリードリヒ、クリストフ M.アイドゥン・ソン、イェシム（2012）。 「ゲノムワイド関連研究のための代表的な SNP セットの選択: メタヒューリスティック アプローチ」。 最適化レター 。 6 (6): 1207–1218 。 土井 : 10.1007/s11590-011-0419-7 。 hdl : 11511/30584 。 S2CID 8075318 。 ↑ Al-Ani, A. (2005). "アリコロニー最適化を用いた特徴部分集合選択". International Journal of Computational Intelligence . ↑ Meiri, R.; Zahavi, J. (2006). "マーケティングアプリケーションにおける特徴選択問題の最適化のためのシミュレーテッドアニーリングの使用". European Journal of Operational Research . 171 (3): 842– 858. doi : 10.1016/j.ejor.2004.09.010 . ↑ Kapetanios, G. (2007). "非標準情報基準最適化を用いた回帰モデルにおける変数選択". Computational Statistics & Data Analysis . 52 (1): 4– 15. doi : 10.1016/j.csda.2007.04.006 . ↑ Broadhurst, D.; Goodacre, R.; Jones, A.; Rowland, JJ; Kell, DB (1997). "Genetic algorithms as a method for variable selection in multiple linear regression and partial least squares regression, with applications to pyrolysis mass spectrometry". Analytica Chimica Acta . 348 ( 1– 3): 71– 86. Bibcode : 1997AcAC..348...71B . doi : 10.1016/S0003-2670(97)00065-2 . ↑ Chuang, L.-Y.; Yang, C.-H. (2009). "マイクロアレイデータを用いた特徴選択のためのタブー探索と二値粒子群最適化". Journal of Computational Biology . 16 (12): 1689– 1703. doi : 10.1089/cmb.2007.0211 . PMID 20047491 . ↑ E. Alba、J. Garia-Nieto、L. Jourdan、E.-G. Talbi。PSO -SVMおよびGA-SVMハイブリッドアルゴリズムを用いた癌分類における遺伝子選択。Wayback Machine に2016年8月18日に アーカイブ済み。進化計算に関する会議、シンガポール：シンガポール（2007）、2007年 ↑ B. Duval、J.-K. Hao、JC Hernandez Hernandez。癌の遺伝子選択と分子分類のためのミームアルゴリズム。第11回遺伝的および進化的計算に関する年次会議、GECCO '09 の議事録、201-208 ページ、ニューヨーク、NY、米国、2009 年。ACM。 ↑ C. Hans、A. Dobra、M. West。「大きなp」回帰のためのショットガン確率探索。米国統計学会誌、2007年。 ↑ Aitken, S. (2005). "マイクロアレイデータ解析のための特徴選択と分類：予測遺伝子 を 特定するための進化的手法" . BMC Bioinformatics . 6 (1) 148. doi : 10.1186/1471-2105-6-148 . PMC 1181625. PMID 15958165 . ↑ Oh, IS; Moon, BR (2004). "特徴選択のためのハイブリッド遺伝的アルゴリズム". IEEE Transactions on Pattern Analysis and Machine Intelligence . 26 (11): 1424– 1437. Bibcode : 2004ITPAM..26.1424O . CiteSeerX 10.1.1.467.4179 . doi : 10.1109/tpami.2004.105 . PMID 15521491 . ↑ Xuan, P.; Guo, MZ; Wang, J.; Liu, XY; Liu, Y. (2011). "遺伝的アルゴリズムに基づく効率的なpre-miRNA分類のための特徴選択". Genetics and Molecular Research . 10 (2): 588–603 . doi : 10.4238/vol10-2gmr969 (2026年4月22日非アクティブ). PMID 21491369 . {{cite journal}}: CS1メンテナンス: DOIは2026年4月現在非アクティブです（リンク）↑ Peng, S. (2003). "遺伝的アルゴリズムとサポートベクターマシンの組み合わせを用いたマイクロアレイデータからの癌タイプの分子分類" . FEBS Letters . 555 (2): 358– 362. Bibcode : 2003FEBSL.555..358P . doi : 10.1016/s0014-5793(03)01275-4 . PMID 14644442 . ↑ Hernandez, JCH; Duval, B.; Hao, J.-K. (2007). "マイクロアレイデータの遺伝子選択と分類のための遺伝子埋め込みアプローチ". Evolutionary Computation, Machine Learning and Data Mining in Bioinformatics. EvoBIO 2007. Lecture Notes in Computer Science. Vol. 4447. Berlin: Springer Verlag. pp. 90–101 . doi : 10.1007/978-3-540-71783-6_9 . ISBN 978-3-540-71782-9 。↑ Huerta, EB; Duval, B.; Hao, J.-K. (2006). "マイクロアレイデータの遺伝子選択と分類のためのハイブリッドGA/SVMアプローチ". 進化 計算 の応用。EvoWorkshops 2006。Lecture Notes in Computer Science。Vol. 3907。pp. 34–44。doi : 10.1007/11732242_4。ISBN 978-3-540-33237-4 。↑ Muni, DP; Pal, NR; Das, J. (2006). "Genetic programming for simultaneous feature selection and classifier design". IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics . 36 (1): 106– 117. Bibcode : 2006ITSMB..36..106M . doi : 10.1109/TSMCB.2005.854499 . PMID 16468570. S2CID 2073035 . ↑ Jourdan, L.; Dhaenens, C.; Talbi, E.-G. (2005). "並列適応型GAによる連鎖不平衡の研究". International Journal of Foundations of Computer Science . 16 (2): 241– 260. doi : 10.1142/S0129054105002978 . ↑ Zhang, Y.; Dong, Z.; Phillips, P.; Wang, S. (2015). "固有脳と機械学習に基づく3D MRIスキャンを用いたアルツハイマー病に関連する被験者と脳領域の検出" . Frontiers in Computational Neuroscience . 9:66 . doi : 10.3389 / fncom.2015.00066 . PMC 4451357. PMID 26082713 . ↑ Roffo, G.; Melzi, S.; Cristani, M. (2015-12-01). "Infinite Feature Selection". 2015 IEEE International Conference on Computer Vision (ICCV) . pp. 4202–4210 . doi : 10.1109/ICCV.2015.478 . ISBN 978-1-4673-8391-2 . S2CID 3223980 . ↑ Roffo, Giorgio; Melzi, Simone (2016年9月)。 「固有ベクトル中心性による特徴選択」 (PDF) 。NFmcp2016 。 2016年 11月12日 取得 。 ↑ R. Kohavi および G. John、「特徴部分集合選択のためのラッパー」、人工知能 ↑ Das, Abhimanyu; Kempe, David (2011). "Submodular meets Spectral: Greedy Algorithms for Subset Selection, Sparse Approximation and Dictionary Selection". arXiv : 1102.3975 [ stat.ML ]. ↑ Liu, Yuzong; Wei, Kai; Kirchhoff, Katrin; Song, Yisong; Bilmes, Jeff (2013). 高次元音響スコア空間のためのサブモジュラ特徴選択 (PDF) . roc. IEEE Intl. Conf. on Acoustics, Speech, and Signal Processing. Vancouver, Canada. ↑ Zheng et al.、「動画における動作認識のためのサブモジュラ属性選択」、Wayback Machine に2015年11月18日に アーカイブ済み ↑ Sun, Y.; Todorovic, S.; Goodison, S. (2010). "高次元データ分析のための局所学習に基づく特徴選択" . IEEE Transactions on Pattern Analysis and Machine Intelligence . 32 (9): 1610– 1626. Bibcode : 2010ITPAM..32.1610S . doi : 10.1109/tpami.2009.190 . PMC 3445441 . PMID 20634556 . ↑ DH Wang、YC Liang、D.Xu、XY Feng、RC Guan（2018）「コンピュータサイエンス出版物のためのコンテンツベース推薦システム」、 Knowledge-Based Systems
さらに読む Guyon, Isabelle; Elisseeff, Andre (2003). 「変数と特徴選択の入門」 . Journal of Machine Learning Research . 3 : 1157–1182 . ハレル、F. (2001).回帰モデリング戦略 . Springer. ISBN 0-387-95232-2 。 Liu, Huan; Motoda, Hiroshi (1998).知識発見とデータマイニングのための特徴選択 . Springer. ISBN 0-7923-8198-X 。 Liu, Huan; Yu, Lei (2005). "分類とクラスタリングのための特徴選択アルゴリズムの統合に向けて". IEEE Transactions on Knowledge and Data Engineering . 17 (4): 491–502 . Bibcode : 2005IDSO...17..491L . doi : 10.1109/TKDE.2005.66 . S2CID 1607600 .
外部リンク 特徴選択パッケージ、アリゾナ州立大学（Matlabコード） NIPSチャレンジ2003 （ NIPS も参照） Visual Basic で実装された特徴選択機能付きナイーブベイズアルゴリズム（ 2009年2月14日時点の アーカイブ 最小冗長性最大関連性（mRMR）特徴選択プログラム FEAST（C言語とMATLABで記述されたオープンソースの特徴選択アルゴリズム） 
![{\displaystyle \mathrm {mRMR} =\max _{S}\left[{\frac {1}{|S|}}\sum _{f_{i}\in S}I(f_{i};c)-{\frac {1}{|S|^{2}}}\sum _{f_{i},f_{j}\in S}I(f_{i};f_{j})\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3eec7b98cd9e6fc9b3b61c0ac4712a16379c8859)
![{\displaystyle \mathrm {mRMR} =\max _{x\in \{0,1\}^{n}}\left[{\frac {\sum _{i=1}^{n}c_{i}x_{i}}{\sum _{i=1}^{n}x_{i}}}-{\frac {\sum _{i,j=1}^{n}a_{ij}x_{i}x_{j}}{(\sum _{i=1}^{n}x_{i})^{2}}}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0baef01e8c550ba917099a82e0ac43e826f59d37)
![${\displaystyle F_{n\times 1}=[I(f_{1};c),\ldots ,I(f_{n};c)]^{T}}$](https://wikimedia.org/api/rest_v1/media/math/render/svg/e655a9d669fdf3ca7c6572563f8b5d1c1d7af44e)
![{\displaystyle H_{n\times n}=[I(f_{i};f_{j})]_{i,j=1\ldots n}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e5d1966a8fa8bd4894b5d768dcfc4da9b1caa9de)
![{\displaystyle {\begin{aligned}JMI(f_{i})&=\sum _{f_{j}\in S}(I(f_{i};c)+I(f_{i};c|f_{j}))\\&=\sum _{f_{j}\in S}{\bigl [}I(f_{j};c)+I(f_{i};c)-{\bigl (}I(f_{i};f_{j})-I(f_{i};f_{j}|c){\bigr )}{\bigr ]}\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3c44f7ace0374e11b551d8a9f254513a1cb431d1)
![{\displaystyle \mathrm {CFS} =\max _{S_{k}}\left[{\frac {r_{cf_{1}}+r_{cf_{2}}+\cdots +r_{cf_{k}}}{\sqrt {k+2(r_{f_{1}f_{2}}+\cdots +r_{f_{i}f_{j}}+\cdots +r_{f_{k}f_{k-1}})}}}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/83568ac8d01463888fbfb13c56c9dd32a790699e)
![{\displaystyle \mathrm {CFS} =\max _{x\in \{0,1\}^{n}}\left[{\frac {(\sum _{i=1}^{n}a_{i}x_{i})^{2}}{\sum _{i=1}^{n}x_{i}+\sum _{i\neq j}2b_{ij}x_{i}x_{j}}}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9491bc46548bd4416952e59704e78388e8726480)
