アベス

abess（Adaptive Best Subset Selection、略称ABESS）は、最適なサブセット選択の問題に対処するために設計された機械学習手法です。データセットと予測タスクが与えられたときに、どの特徴量または変数が最適なモデルパフォーマンスにとって重要かを決定することを目的としています。abessは2020年にZhuによって導入され^{[ 1 ]}、適切なモデルサイズを動的に適応的に選択し、正則化パラメータを選択する必要性を排除します。

abess は、線形回帰、単一インデックスモデル、その他の一般的な予測モデルなど、さまざまな統計および機械学習タスクに適用できます。 ^{[ 1 ] [ 2 ]} abess は生物統計学にも適用できます。^{[ 3 ] [ 4 ] [ 5 ] [ 6 ]}

abess ^{[ 1 ]}の基本形式は、一般線形回帰における最適な部分集合選択問題に対処するために用いられる。abessは、${\displaystyle l_{0}}$この手法は、多項式時間計算量と、偏りのない一貫性のある推定値を提供するという特性によって特徴付けられます。

線形回帰の文脈では、${\displaystyle n}$独立したサンプル${\displaystyle (x_{i},y_{i}),i=1,\ldots ,n}$、 どこ$${\displaystyle x_{i}\in \mathbb {R} ^{p\times 1}}$$そして$\displaystyle y_{i}\in \mathbb {R} }$定義する${\displaystyle X=(x_{1},\ldots ,x_{n})^{\top }}$そして${\displaystyle y=(y_{1},\ldots ,y_{n})^{\top }}$以下の式は、一般的な線形回帰モデルを表しています。

${\displaystyle y=X\beta +\varepsilon .}$

適切なパラメータを取得するために${\displaystyle \beta }$線形回帰の損失関数を考えることができる。

${\displaystyle {\mathcal {L}}_{n}^{\text{LR}}(\beta ;X,y)={\frac {1}{2n}}\|y-X\beta \|_{2}^{2}.}$

abessでは、最初の焦点は、以下の条件の下で損失関数を最適化することです。${\displaystyle l_{0}}$制約。つまり、次の問題を考えます。

${\displaystyle \min _{\beta \in \mathbb {R} ^{p\times 1}}{\mathcal {L}}_{n}^{\text{LR}}(\beta ;X,y),{\text{ subject to }}\|\beta \|_{0}\leq s,}$

どこ${\displaystyle s}$はサポートセットの希望サイズを表し、${\displaystyle \|\beta \|_{0}=\sum _{i=1}^{p}{\mathcal {I}}_{(\beta _{i}\neq 0)}}$は${\displaystyle l_{0}}$ベクトルのノルム。

上記の最適化問題を解決するために、 abessはアクティブセットと非アクティブセットの間で同数の変数を繰り返し交換します。各反復において、犠牲の概念は次のように導入されます。

• アクティブセット内の j について (${\displaystyle j\in {\hat {\mathcal {A}}}}$):

${\displaystyle \xi _{j}={\mathcal {L}}_{n}^{\text{LR}}\left({\hat {\boldsymbol {\beta }}}^{{\mathcal {A}}\backslash \{j\}}\right)-{\mathcal {L}}_{n}^{\text{LR}}\left({\hat {\boldsymbol {\beta }}}^{\mathcal {A}}\right)={\frac {{\boldsymbol {X}}_{j}^{\top }{\boldsymbol {X}}_{j}}{2n}}\left({\hat {\beta }}_{j}\right)^{2}}$

• 非アクティブセット内の j について (${\displaystyle j\notin {\hat {\mathcal {A}}}}$):

${\displaystyle \xi _{j}={\mathcal {L}}_{n}^{\text{LR}}\left({\hat {\boldsymbol {\beta }}}^{\mathcal {A}}\right)-{\mathcal {L}}_{n}^{\text{LR}}\left({\hat {\boldsymbol {\beta }}}^{\mathcal {A}}+{\hat {\boldsymbol {t}}}^{\{j\}}\right)={\frac {{\boldsymbol {X}}_{j}^{\top }{\boldsymbol {X}}_{j}}{2n}}\left({\frac {{\hat {\mathrm {d} }}_{j}}{{\boldsymbol {X}}_{j}^{\top }{\boldsymbol {X}}_{j}/n}}\right)^{2}}$

上記の数式における主要な要素は以下のとおりです。

• ${\displaystyle {\hat {\beta }}^{\mathcal {A}}}$これは推定値を表します${\displaystyle \beta }$前回の反復で得られた値。
• ${\displaystyle {\hat {\mathcal {A}}}}$これは、前回の反復処理で推定されたアクティブセットを表します。
• ${\displaystyle {\hat {\boldsymbol {\beta }}}^{{\mathcal {A}}\backslash \{j\}}}$これは、j 番目の要素が 0 に設定され、他の要素は と同じであるベクトルです。${\displaystyle {\hat {\beta }}^{\mathcal {A}}}$。
• ${\displaystyle {\hat {\boldsymbol {t}}}^{\{j\}}=\arg \min _{t}{\mathcal {L}}_{n}^{\text{LR}}\left({\hat {\boldsymbol {\beta }}}^{\mathcal {A}}+{\boldsymbol {t}}^{\{j\}}\right)}$： ここ、${\displaystyle t^{\{j\}}}$は、j 番目の要素を除くすべての要素が 0 であるベクトルを表します。
• ${\displaystyle {\hat {d}}_{j}={\boldsymbol {X}}_{j}^{\top }({\boldsymbol {y}}-{\boldsymbol {X}}{\hat {\boldsymbol {\beta }}})/n}$これは、前述の式に基づいて計算されます。

反復処理では、各反復において、アクティブセットにおける犠牲を最小限に抑えつつ、インアクティブセットにおける犠牲を最大限にすることを目的として、変数の交換が行われます。このアプローチにより、abessは最適な特徴サブセットを効率的に探索することができます。

absで、適切なオプションを選択します${\displaystyle s_{\max }}$そして、上記の問題をアクティブセットのサイズに合わせて最適化する。${\displaystyle s=1,\ldots ,s_{\max }}$情報基準を用いる${\displaystyle {\text{GIC}}=n\log {\mathcal {L}}_{n}^{\text{LR}}+s\log p\log \log n,}$適切なアクティブセットサイズを適応的に選択する${\displaystyle s}$そして、それに対応するabess推定量を取得する。

abessのスプライシングアルゴリズムは、他のモデルにおける部分集合の選択にも利用できる。

abessライブラリ^{[ 12 ]}（バージョン0.4.5）は、C++アルゴリズムに基づいたRパッケージおよびPythonパッケージです。GitHubでオープンソースとして公開されています。このライブラリは、線形回帰、（多）分類、および打ち切り応答モデリングモデルにおける最適なサブセット選択に使用できます。abessパッケージでは、パラメータをグループ化された形式で選択できます。情報とチュートリアルは、abessホームページ^{[ 13 ]で入手できます。}

abess は^、 COVID-19患者の重症度を評価するなど生物統計学に適用できます^{[ 3 ]}結核菌の抗生物質耐性を調査する[ ^{4 ]}頸部痛の予後因子を探索する^{[ 5 ]}経皮的腎結石摘出術後の患者の重度の痛みの予測モデルを開発する^{[ 6 ]} abess は遺伝子選択にも適用できます^{[ 14 ]}データ駆動型偏微分方程式(PDE) 発見の分野では、Thanasutives ^{[ 15 ]}がabessを適用して、最も簡潔な支配 PDE を自動的に識別しました。