特徴選択

機械学習において、特徴選択とは、モデル構築に使用する 関連する特徴（変数、予測子）のサブセットを選択するプロセスです。特徴選択手法は、いくつかの理由で使用されます。

• モデルの解釈を容易にするための単純化、^[1]
• トレーニング時間の短縮、^[2]
• 次元の呪いを避けるため、^[3]
• 特定の学習モデルクラスとのデータの互換性を向上させる、^[4]
• 入力空間に存在する固有の対称性を符号化する。 ^{[5] [6] [7] [8]}

特徴選択を使用する際の中心的な前提は、データには冗長または無関係な特徴が含まれることがあるため、情報の大きな損失を招くことなく削除できるということです。^[9]冗長性と無関係性は2つの異なる概念です。1つの関連する特徴が、それと強く相関する別の関連する特徴が存在する場合、冗長になる可能性があるからです。^[10]

特徴抽出は、元の特徴の機能から新しい特徴を作​​成しますが、特徴選択は特徴のサブセットを見つけます。特徴選択技術は、特徴が多く、サンプル (データ ポイント) が比較的少ない領域でよく使用されます。

特徴選択アルゴリズムは、新しい特徴サブセットを提案するための検索手法と、さまざまな特徴サブセットにスコアを付ける評価尺度の組み合わせと見ることができます。最も単純なアルゴリズムは、考えられる特徴の各サブセットをテストして、エラー率を最小化するサブセットを見つけることです。これは空間の徹底的な検索であり、最小の特徴セットを除いて、計算上は扱いにくいものです。評価尺度の選択はアルゴリズムに大きな影響を与え、これらの評価尺度によって、ラッパー、フィルター、埋め込みメソッドという 3 つの主要な特徴選択アルゴリズムのカテゴリが区別されます。^[10]

• ラッパー メソッドは、予測モデルを使用して機能サブセットにスコアを付けます。新しいサブセットはそれぞれ、ホールドアウト セットでテストされるモデルのトレーニングに使用されます。ホールドアウト セットで発生したエラーの数 (モデルのエラー率) を数えると、そのサブセットのスコアが得られます。ラッパー メソッドはサブセットごとに新しいモデルをトレーニングするため、非常に計算量が多くなりますが、通常、特定の種類のモデルまたは一般的な問題に対して最もパフォーマンスの高い機能セットを提供します。
• フィルタ法では、エラー率の代わりにプロキシ指標を使用して特徴サブセットにスコアを付けます。この指標は、計算が高速でありながら、特徴セットの有用性も捉えられるように選択されています。一般的な指標には、相互情報量、^[10]、点単位の相互情報量、^[11]、 ピアソンの積率相関係数、レリーフベースのアルゴリズム、^{[12] 、クラス間/クラス内距離、または各クラス/特徴の組み合わせに対する}有意性検定のスコアなどがあります。^{[11] [13]}フィルタは通常、ラッパーよりも計算量が少なくて済みますが、特定の種類の予測モデルに合わせて調整されていない特徴セットを生成します。^[14]この調整の欠如は、フィルタからの特徴セットがラッパーからの特徴セットよりも一般的であることを意味し、通常はラッパーよりも予測パフォーマンスが低くなります。ただし、特徴セットには予測モデルの仮定が含まれていないため、特徴間の関係を明らかにするのにより役立ちます。多くのフィルタは、明示的な最良の特徴サブセットではなく、特徴のランキングを提供し、ランキングのカットオフポイントはクロス検証によって選択されます。フィルタメソッドはラッパーメソッドの前処理ステップとしても使用されており、ラッパーをより大きな問題に使用できるようになりました。もう1つの一般的なアプローチは、モデルを繰り返し構築し、重みの低い特徴を削除するためにサポートベクターマシンでよく使用される再帰的特徴除去アルゴリズム^{[15]です。}
• 埋め込み法は、モデル構築プロセスの一部として特徴選択を実行する包括的な技術のグループです。このアプローチの代表例は、線形モデルを構築するためのLASSO法です。これは、回帰係数にL1ペナルティを課し、それらの多くをゼロに縮小します。ゼロ以外の回帰係数を持つ特徴は、LASSOアルゴリズムによって「選択」されます。LASSOの改良版には、サンプルをブートストラップするBolasso、^{[16] LASSOのL1ペナルティと} リッジ回帰のL2ペナルティを組み合わせたElastic net normalization 、および回帰係数の組み合わせ分析に基づいてすべての特徴にスコアを付けるFeaLectがあります。^[17] AEFSは、オートエンコーダを使用してLASSOを非線形シナリオにさらに拡張します。^[18]これらのアプローチは、計算の複雑さの点でフィルターとラッパーの中間に位置する傾向があります。

従来の回帰分析では、特徴選択の最も一般的な形式は、ラッパー手法であるステップワイズ回帰です。これは、各ラウンドで最良の特徴を追加（または最悪の特徴を削除）する貪欲アルゴリズムです。主な制御問題は、アルゴリズムを停止するタイミングを決定することです。機械学習では、これは通常、クロス検証によって行われます。統計では、いくつかの基準が最適化されます。これにより、ネストの問題が発生します。分枝限定法や区分線形ネットワークなど、より堅牢な方法が研究されてきました。

サブセット選択では、機能のサブセットをグループとして適合性を評価します。サブセット選択アルゴリズムは、ラッパー、フィルター、および埋め込みメソッドに分類できます。ラッパーは、検索アルゴリズムを使用して、可能性のある機能の空間を検索し、サブセットに対してモデルを実行して各サブセットを評価します。ラッパーは計算コストが高く、モデルに過剰適合するリスクがあります。フィルターは、検索アプローチではラッパーに似ていますが、モデルに対して評価する代わりに、より単純なフィルターが評価されます。埋め込みテクニックは、モデルに埋め込まれ、モデルに固有です。

多くの一般的な検索アプローチでは、貪欲な 山登り法が使用されています。これは、候補となる機能のサブセットを繰り返し評価し、次にサブセットを変更して、新しいサブセットが古いものよりも改善されているかどうかを評価します。サブセットの評価には、機能のサブセットを評価するスコアリングメトリックが必要です。網羅的な検索は一般に非現実的であるため、実装者 (またはオペレーター) が定義した停止ポイントで、そのポイントまでに発見されたスコアが最も高い機能のサブセットが、適切な機能のサブセットとして選択されます。停止基準はアルゴリズムによって異なります。考えられる基準には、サブセット スコアがしきい値を超えた、プログラムの最大許容実行時間を超えた、などがあります。

代替の検索ベースの手法は、スコアの高いデータの低次元投影を見つける ターゲット投影追跡に基づいています。次に、低次元空間で最大の投影を持つ特徴が選択されます。

検索アプローチには次のものがあります:

• 徹底的^[19]
• ベストファースト
• シミュレーテッドアニーリング
• 遺伝的アルゴリズム^[20]
• 貪欲な前向き選択^{[21] [22] [23]}
• 貪欲な後方消去法
• 粒子群最適化^[24]
• ターゲット投影の追求
• 散布探索^{[25] [26]}
• 可変近傍探索^{[27] [28]}

分類問題でよく使われるフィルターメトリクスは相関と相互情報量ですが、どちらも数学的な意味での真のメトリクスや「距離測定」ではありません。三角不等式に従わず、実際の「距離」を計算しないため、むしろ「スコア」とみなすべきです。これらのスコアは、候補となる特徴（または特徴のセット）と目的の出力カテゴリの間で計算されます。ただし、相互情報量の単純な関数である真のメトリクスもあります。^[29]こちらを参照してください。

利用可能なその他のフィルター メトリックは次のとおりです。

• クラスの分離可能性
  • エラー確率
  • クラス間の距離
  • 確率的距離
  • エントロピ
• 一貫性に基づく特徴選択
• 相関に基づく特徴選択

特徴選択タスクには複数の目的があるため、最適基準の選択は困難です。多くの一般的な基準には、選択された特徴の数によってペナルティが課せられる精度の尺度が組み込まれています。例としては、赤池情報量基準(AIC) やマローズのC _pがあり、追加された特徴ごとに 2 のペナルティが課せられます。AIC は情報理論に基づいており、最大エントロピー原理によって効果的に導出されます。^{[30] [31]}

その他の基準としては、追加された特徴ごとに のペナルティを使用するベイズ情報量基準(BIC) 、漸近的に を使用する最小記述長(MDL)、を使用するBonferroni / RIC 、最大依存性特徴選択、および に近い値を使用する偽発見率(FDR)に基づくさまざまな新しい基準があります。最大エントロピー率基準も、最も関連性の高い特徴のサブセットを選択するために使用される場合があります。^[32]${\displaystyle {\sqrt {\log {n}}}}$${\displaystyle {\sqrt {\log {n}}}}$${\displaystyle {\sqrt {2\log {p}}}}$${\displaystyle {\sqrt {2\log {\frac {p}{q}}}}}$

フィルタ特徴選択は、構造学習と呼ばれるより一般的なパラダイムの特殊なケースです。特徴選択は特定のターゲット変数に関連する特徴セットを見つけますが、構造学習はすべての変数間の関係を見つけ、通常はこれらの関係をグラフとして表現します。最も一般的な構造学習アルゴリズムは、データがベイジアンネットワークによって生成されることを前提としているため、構造は有向グラフ ィカルモデルです。フィルタ特徴選択問題の最適解はターゲットノードのマルコフブランケットであり、ベイジアンネットワークでは、各ノードに固有のマルコフブランケットが存在します。^[33]

相互情報量を利用してさまざまな特徴をスコアリングする さまざまな特徴選択メカニズムが存在します。通常、それらはすべて同じアルゴリズムを使用します。

1. すべての特徴量（ ）とターゲットクラス（c）の間の相互情報量をスコアとして計算する。${\displaystyle f_{i}\in F}$
2. 最もスコアが大きい特徴量（例：）を選択し、それを選択された特徴量セット（S）に追加する${\displaystyle {\underset {f_{i}\in F}{\operatorname {argmax} }}(I(f_{i},c))}$
3. 相互情報量から得られるスコアを計算する
4. 最もスコアの高い特徴を選択し、それを選択特徴のセットに追加します（例：）${\displaystyle {\underset {f_{i}\in F}{\operatorname {argmax} }}(I_{derived}(f_{i},c))}$
5. 特定の数の機能が選択されるまで、3. と 4. を繰り返します (例)${\displaystyle |S|=l}$

最も単純なアプローチは相互情報量を「導出」スコアとして使用することである。^[34]

ただし、機能間の冗長性を削減しようとするさまざまなアプローチがあります。

Pengら^[35]は、相互情報量、相関、距離/類似度スコアのいずれかを使用して特徴を選択できる特徴選択方法を提案した。その目的は、選択された他の特徴の存在下での特徴の関連性を冗長性によって減点することである。クラスcに対する特徴セットSの関連性は_、個々の特徴fiとクラスcの間のすべての相互情報量の平均値によって次のように定義される。

${\displaystyle D(S,c)={\frac {1}{|S|}}\sum _{f_{i}\in S}I(f_{i};c)}$。

集合S内のすべての特徴の冗長性は、特徴f _iと特徴f _{j の}間のすべての相互情報量の平均値である。

${\displaystyle R(S)={\frac {1}{|S|^{2}}}\sum _{f_{i},f_{j}\in S}I(f_{i};f_{j})}$

mRMR 基準は上記の 2 つの基準を組み合わせたもので、次のように定義されます。

${\displaystyle \mathrm {mRMR} =\max _{S}\left[{\frac {1}{|S|}}\sum _{f_{i}\in S}I(f_{i};c)-{\frac {1}{|S|^{2}}}\sum _{f_{i},f_{j}\in S}I(f_{i};f_{j})\right].}$

n 個のフルセット特徴があるとします。 x _{i を}特徴f _iのセットメンバーシップインジケーター関数とすると、x _i =1はグローバルに最適な特徴セットに特徴f _{i が}存在することを示し、x _i =0は存在しないことを示します。 およびとします。上記は最適化問題として次のように記述できます。 ${\displaystyle c_{i}=I(f_{i};c)}$${\displaystyle a_{ij}=I(f_{i};f_{j})}$

${\displaystyle \mathrm {mRMR} =\max _{x\in \{0,1\}^{n}}\left[{\frac {\sum _{i=1}^{n}c_{i}x_{i}}{\sum _{i=1}^{n}x_{i}}}-{\frac {\sum _{i,j=1}^{n}a_{ij}x_{i}x_{j}}{(\sum _{i=1}^{n}x_{i})^{2}}}\right].}$

mRMR アルゴリズムは、選択された特徴の結合分布と分類変数の間の相互情報量を最大化する、理論的に最適な最大依存性特徴選択アルゴリズムの近似です。mRMR は、それぞれが 2 つの変数のみを含む一連の非常に小さな問題で組み合わせ推定問題を近似するため、より堅牢なペアワイズ結合確率を使用します。特定の状況では、関連性を高めることができる特徴間の相互作用を測定する方法がないため、アルゴリズムは特徴の有用性を過小評価する可能性があります。これにより、特徴が個別には役に立たないが、組み合わせると有用になる場合 (クラスが特徴のパリティ関数である場合に異常なケースが見つかります)、パフォーマンスが低下する可能性があります^[34]。全体的に、アルゴリズムは理論的に最適な最大依存性選択よりも効率的です (必要なデータ量の点で)。それでも、ペアワイズ冗長性がほとんどない特徴セットを生成します。

mRMRは、関連性と冗長性をさまざまな方法でトレードオフするフィルタ手法の大規模なクラスのインスタンスです。^{[34] [36]}

mRMRは特徴選択のための増分貪欲戦略の典型的な例である。特徴が一度選択されると、後の段階で選択解除することはできない。mRMRは浮動探索を使用して最適化することでいくつかの特徴を削減できるが、次のようにグローバル二次計画最適化問題として再定式化することもできる。^[37]

${\displaystyle \mathrm {QPFS} :\min _{\mathbf {x} }\left\{\alpha \mathbf {x} ^{T}H\mathbf {x} -\mathbf {x} ^{T}F\right\}\quad {\mbox{s.t.}}\ \sum _{i=1}^{n}x_{i}=1,x_{i}\geq 0}$

ここで、は特徴の関連性のベクトル（合計でn個の特徴があると仮定）、は特徴のペアワイズ冗長性の行列、は相対的な特徴の重みを表す。QPFSは二次計画法によって解かれる。最近、QFPSはエントロピーが小さい特徴に偏っていることが示された^{[38] 。これは、特徴の自己冗長性の項が}Hの対角線上に配置されていたためである。 ${\displaystyle F_{n\times 1}=[I(f_{1};c),\ldots ,I(f_{n};c)]^{T}}$${\displaystyle H_{n\times n}=[I(f_{i};f_{j})]_{i,j=1\ldots n}}$${\displaystyle \mathbf {x} _{n\times 1}}$${\displaystyle I(f_{i};f_{i})}$

相互情報量から導かれるもう一つのスコアは条件付き関連性に基づいている: ^[38]

${\displaystyle \mathrm {SPEC_{CMI}} :\max _{\mathbf {x} }\left\{\mathbf {x} ^{T}Q\mathbf {x} \right\}\quad {\mbox{s.t.}}\ \|\mathbf {x} \|=1,x_{i}\geq 0}$

ここで、および。 ${\displaystyle Q_{ii}=I(f_{i};c)}$${\displaystyle Q_{ij}=(I(f_{i};c|f_{j})+I(f_{j};c|f_{i}))/2,i\neq j}$

SPEC _CMIの利点は、 Qの支配的な固有ベクトルを見つけるだけで解決できるため、非常にスケーラブルであることです。SPEC _{CMI は、} 2次特徴相互作用も処理します。

さまざまなスコアの研究において、ブラウンら^[34]は、特徴選択に適したスコアとして 、結合相互情報量^[39]を推奨しました。このスコアは、冗長性を避けるために、すでに選択された特徴に最も新しい情報を追加する特徴を見つけようとします。このスコアは次のように定式化されます。

${\displaystyle {\begin{aligned}JMI(f_{i})&=\sum _{f_{j}\in S}(I(f_{i};c)+I(f_{i};c|f_{j}))\\&=\sum _{f_{j}\in S}{\bigl [}I(f_{j};c)+I(f_{i};c)-{\bigl (}I(f_{i};f_{j})-I(f_{i};f_{j}|c){\bigr )}{\bigr ]}\end{aligned}}}$

スコアは条件付き相互情報量と相互情報量を使用して、すでに選択されている特徴量（ ）と調査中の特徴量（ ）間の冗長性を推定します。 ${\displaystyle f_{j}\in S}$${\displaystyle f_{i}}$

高次元かつ小規模なサンプルデータ（例えば次元数 > 10）の場合⁵かつサンプル数 < 10³ ) ヒルベルト・シュミット独立基準ラッソ（HSICラッソ）が有用である。 ^[40] HSICラッソ最適化問題は次のように与えられる。

${\displaystyle \mathrm {HSIC_{Lasso}} :\min _{\mathbf {x} }{\frac {1}{2}}\sum _{k,l=1}^{n}x_{k}x_{l}{\mbox{HSIC}}(f_{k},f_{l})-\sum _{k=1}^{n}x_{k}{\mbox{HSIC}}(f_{k},c)+\lambda \|\mathbf {x} \|_{1},\quad {\mbox{s.t.}}\ x_{1},\ldots ,x_{n}\geq 0,}$

ここで、は（経験的）ヒルベルト・シュミット独立基準（HSIC）と呼ばれるカーネルベースの独立性尺度、トレース、は正則化パラメータ、およびは入力および出力の中心化されたグラム行列、およびはグラム行列、およびはカーネル関数、は中心化行列、はm次元の単位行列（m : サンプル数）、 はすべて1 であるm次元のベクトル、 は -ノルムです。 HSIC は常に非負の値を取り、ガウスカーネルなどの普遍的な再生カーネルが使用されるときに 2 つのランダム変数が統計的に独立している場合にのみ 0 になります。 ${\displaystyle {\mbox{HSIC}}(f_{k},c)={\mbox{tr}}({\bar {\mathbf {K} }}^{(k)}{\bar {\mathbf {L} }})}$${\displaystyle {\mbox{tr}}(\cdot )}$${\displaystyle \lambda }$${\displaystyle {\bar {\mathbf {K} }}^{(k)}=\mathbf {\Gamma } \mathbf {K} ^{(k)}\mathbf {\Gamma } }$${\displaystyle {\bar {\mathbf {L} }}=\mathbf {\Gamma } \mathbf {L} \mathbf {\Gamma } }$${\displaystyle K_{i,j}^{(k)}=K(u_{k,i},u_{k,j})}$${\displaystyle L_{i,j}=L(c_{i},c_{j})}$${\displaystyle K(u,u')}$${\displaystyle L(c,c')}$${\displaystyle \mathbf {\Gamma } =\mathbf {I} _{m}-{\frac {1}{m}}\mathbf {1} _{m}\mathbf {1} _{m}^{T}}$${\displaystyle \mathbf {I} _{m}}$${\displaystyle \mathbf {1} _{m}}$${\displaystyle \|\cdot \|_{1}}$${\displaystyle \ell _{1}}$

HSIC Lassoは次のように記述できる。

${\displaystyle \mathrm {HSIC_{Lasso}} :\min _{\mathbf {x} }{\frac {1}{2}}\left\|{\bar {\mathbf {L} }}-\sum _{k=1}^{n}x_{k}{\bar {\mathbf {K} }}^{(k)}\right\|_{F}^{2}+\lambda \|\mathbf {x} \|_{1},\quad {\mbox{s.t.}}\ x_{1},\ldots ,x_{n}\geq 0,}$

ここで、 はフロベニウスノルムです。最適化問題はLasso問題であるため、双対拡張ラグランジアン法などの最先端のLassoソルバーを使用して効率的に解くことができます。 ${\displaystyle \|\cdot \|_{F}}$

相関特徴選択（CFS）尺度は、「良い特徴サブセットには、分類と高い相関関係がありながら、互いに相関関係のない特徴が含まれている」という仮説に基づいて特徴のサブセットを評価する。^{[41] [42]次の式は、} k個の特徴からなる特徴サブセットSの利点を示す。

${\displaystyle \mathrm {Merit} _{S_{k}}={\frac {k{\overline {r_{cf}}}}{\sqrt {k+k(k-1){\overline {r_{ff}}}}}}.}$

ここで、はすべての特徴-分類相関の平均値であり、はすべての特徴-特徴相関の平均値です。CFS 基準は次のように定義されます。 ${\displaystyle {\overline {r_{cf}}}}$${\displaystyle {\overline {r_{ff}}}}$

${\displaystyle \mathrm {CFS} =\max _{S_{k}}\left[{\frac {r_{cf_{1}}+r_{cf_{2}}+\cdots +r_{cf_{k}}}{\sqrt {k+2(r_{f_{1}f_{2}}+\cdots +r_{f_{i}f_{j}}+\cdots +r_{f_{k}f_{k-1}})}}}\right].}$

変数と変数は相関と呼ばれますが、必ずしもピアソンの相関係数やスピアマンの ρであるとは限りません。ホールの論文では、これらのいずれも使用せず、最小記述長(MDL)、対称的不確実性、および救済という 3 つの異なる関連性の尺度を使用しています。 ${\displaystyle r_{cf_{i}}}$${\displaystyle r_{f_{i}f_{j}}}$

x _{i を}特徴f _iの集合メンバーシップ指標関数とすると、上記は最適化問題として書き直すことができます。

${\displaystyle \mathrm {CFS} =\max _{x\in \{0,1\}^{n}}\left[{\frac {(\sum _{i=1}^{n}a_{i}x_{i})^{2}}{\sum _{i=1}^{n}x_{i}+\sum _{i\neq j}2b_{ij}x_{i}x_{j}}}\right].}$

上記の組み合わせ問題は、実際には分岐限定アルゴリズムを使用して解くことができる混合0-1線形計画問題です。^[43]

決定木またはツリーアンサンブルからの特徴は冗長であることが示されています。正規化ツリー^[44]と呼ばれる最近の方法は、特徴サブセットの選択に使用できます。正規化ツリーは、現在のノードを分割するために、前のツリーノードで選択された変数と同様の変数を使用してペナルティを課します。正規化ツリーは、1つのツリーモデル（または1つのツリーアンサンブルモデル）を構築するだけでよいため、計算効率が高くなります。

正規化木は、数値的特徴やカテゴリ的特徴、相互作用、非線形性を自然に処理します。属性スケール（単位）に対して不変で外れ値の影響を受けないため、正規化などのデータ前処理はほとんど必要ありません。正規化ランダムフォレスト（RRF）^[45]は、正規化木の一種です。ガイド付きRRFは、通常のランダムフォレストからの重要度スコアによってガイドされる拡張RRFです。

メタヒューリスティックとは、従来の解決法が存在しない困難な (通常はNP 困難問題) 最適化問題を解決することに特化したアルゴリズムの一般的な説明です。一般的に、メタヒューリスティックとは、グローバル最適解に到達する傾向のある確率的アルゴリズムです。単純なローカル検索から複雑なグローバル検索アルゴリズムまで、多くのメタヒューリスティックが存在します。

特徴選択方法は、選択アルゴリズムとモデル構築を組み合わせる方法に基づいて、通常 3 つのクラスに分類されます。

フィルター型メソッドは、モデルに関係なく変数を選択します。これらは、予測する変数との相関関係などの一般的な特徴のみに基づいています。フィルターメソッドは、最も興味のない変数を抑制します。他の変数は、データの分類または予測に使用される分類モデルまたは回帰モデルの一部になります。これらの方法は、計算時間の点で特に効果的であり、過剰適合に対して堅牢です。^[46]

フィルタ法は、変数間の関係性を考慮しない場合、冗長な変数を選択する傾向があります。しかし、より精巧な機能では、高速相関ベースフィルタ（FCBF）アルゴリズムのように、互いに相関性の高い変数を削除することで、この問題を最小限に抑えようとします。^[47]

ラッパー法は変数のサブセットを評価するため、フィルター法とは異なり、変数間の相互作用を検出することができます。^[48]これらの方法の主な欠点は次の2つです。

• 観測数が不十分な場合、過剰適合のリスクが増大します。
• 変数の数が多い場合の計算時間が大幅に長くなります。

最近、これまでの2つの方法の利点を組み合わせた組み込み法が提案されている。学習アルゴリズムは、独自の変数選択プロセスを活用し、FRMTアルゴリズムなどの特徴選択と分類を同時に実行する。^[49]

これは、最近文献で使用されている特徴選択メタヒューリスティックスの応用に関する調査です。この調査は、J.ハモンが2013年の論文で行ったものです。^[46]

一部の学習アルゴリズムでは、全体的な操作の一部として特徴選択を実行します。これには次のものが含まれます。

• ⁠ ⁠ -${\displaystyle l_{1}}$正規化手法（スパース回帰、LASSO、SVMなど）${\displaystyle l_{1}}$
• 正規化木^[44] 、例えばRRFパッケージに実装された正規化ランダムフォレスト^[45]
• 決定木^[71]
• ミームアルゴリズム
• ランダム多項ロジット(RMNL)
• ボトルネック層を備えた自動エンコードネットワーク
• サブモジュラー特徴選択^{[72] [73] [74]}
• 局所学習に基づく特徴選択。^[75]従来の方法と比較して、ヒューリスティック検索を必要とせず、多クラス問題を簡単に処理でき、線形問題と非線形問題の両方で機能します。また、強力な理論的根拠によってサポートされています。数値実験では、データに100万を超える無関係な特徴が含まれている場合でも、この方法は最適に近いソリューションを実現できることが示されました。
• 特徴選択に基づく推薦システム。^[76]特徴選択手法は推薦システムの研究に導入されている。

• クラスター分析
• データマイニング
• 次元削減
• 特徴抽出
• ハイパーパラメータの最適化
• モデルの選択
• 救済（特徴選択）

• Guyon, Isabelle; Elisseeff, Andre (2003). 「変数と特徴選択の紹介」。機械学習研究ジャーナル。3 : 1157–1182。
• Harrell, F. (2001).回帰モデリング戦略. Springer. ISBN 0-387-95232-2。
• Liu, Huan; Motoda, Hiroshi (1998). 知識発見とデータマイニングのための特徴選択。Springer。ISBN 0-7923-8198-X。
• Liu, Huan; Yu, Lei (2005). 「分類とクラスタリングのための特徴選択アルゴリズムの統合に向けて」IEEE Transactions on Knowledge and Data Engineering . 17 (4): 491–502. doi :10.1109/TKDE.2005.66. S2CID  1607600.

• 特徴選択パッケージ、アリゾナ州立大学 (Matlab コード)
• NIPS チャレンジ 2003 ( NIPSも参照)
• Visual Basic での特徴選択による Naive Bayes の実装 ( Wayback Machineで 2009-02-14 にアーカイブ) (実行ファイルとソース コードを含む)
• 最小冗長性最大関連性（mRMR）特徴選択プログラム
• FEAST (C および MATLAB のオープンソースの特徴選択アルゴリズム)