Loading article…
特徴エンジニアリングは、教師あり機械学習と統計モデリング[1]の前処理ステップであり、生データをより効果的な入力セットに変換します。各入力は、特徴と呼ばれるいくつかの属性で構成されています。モデルに関連情報を提供することで、特徴エンジニアリングは予測精度と意思決定能力を大幅に向上させます。[2] [3] [4]
機械学習以外にも、特徴エンジニアリングの原理は物理学を含む様々な科学分野に応用されています。例えば、物理学者は流体力学におけるレイノルズ数、熱伝達におけるヌセルト数、沈降におけるアルキメデス数などの無次元数を構築します。また、力学における材料強度の解析解など、解の第一近似値も開発しています。[5]
クラスタリング
特徴エンジニアリングの応用例の 1 つは、データセット内の特徴オブジェクトまたはサンプル オブジェクトのクラスタリングです。特に、行列分解に基づく特徴エンジニアリングは、特徴係数に対する非負性制約の下でのデータ クラスタリングに広く使用されています。これらには、非負値行列因数分解(NMF) [6] 、 非負値行列三因数分解(NMTF) [7]、 非負値テンソル分解/因数分解(NTF/NTD) [8]などがあります。上記のアルゴリズムによってマイニングされた特徴ベクトルの係数に対する非負性制約により、部分ベースの表現が生成され、さまざまな因子行列が自然なクラスタリング特性を示します。上記の特徴エンジニアリング手法のいくつかの拡張が文献で報告されており、これにはハード クラスタリング用の直交性制約付き因数分解や、これらのアルゴリズムに固有の問題を克服するため の多様体学習が含まれます。
他のクラスの特徴エンジニアリングアルゴリズムには、複数の相互に関連するデータセットにまたがる共通の隠れ構造を活用して、コンセンサス（共通）クラスタリングスキームを取得するものがあります。一例として、コンセンサスマトリックス分解に基づくマルチビュー分類（MCMD）[2]があり、これは複数のデータセットにまたがる共通のクラスタリングスキームをマイニングします。MCMDは、2種類のクラスラベル（スケールバリアントクラスタリングとスケール不変クラスタリング）を出力するように設計されています。
- 欠損情報に対して計算的に堅牢である、
- 形状とスケールに基づいた外れ値を取得できる
- 高次元データを効率的に処理できます。
結合行列分解と結合テンソル分解は、マルチビュー特徴エンジニアリングでよく使用されます。[9]
予測モデリング
機械学習と統計モデリングにおける特徴エンジニアリングには、データ特徴の選択、作成、変換、抽出が含まれます。主要なコンポーネントには、既存データからの特徴の作成、欠落または無効な特徴の変換と補完、主成分分析(PCA)、独立成分分析(ICA)、線形判別分析(LDA) などの方法によるデータ次元の削減、重要度スコアと相関行列に基づくモデルトレーニングに最も関連性の高い特徴の選択などがあります。[10]
特徴の重要性は様々です。[11]比較的重要でない特徴であっても、モデルに貢献する可能性があります。特徴選択により、特徴の数を減らして、モデルがトレーニングデータセットに特化しすぎること（過剰適合）を防ぐことができます。[12]
特徴爆発は、識別された特徴の数が多すぎて、効果的なモデル推定や最適化が行えない場合に発生します。一般的な原因は次のとおりです。
- 機能テンプレート - 新しい機能をコーディングする代わりに機能テンプレートを実装する
- 特徴の組み合わせ - 線形システムでは表現できない組み合わせ
特徴爆発は、正則化、カーネル法、特徴選択などの技術によって制限することができます。[13]
オートメーション
特徴量エンジニアリングの自動化は、1990年代にまで遡る研究テーマである。[14]自動化された特徴量エンジニアリングを組み込んだ機械学習ソフトウェアは、2016年から市販されている。[15]関連する学術文献は、大まかに2種類に分けられる。
- マルチリレーショナル決定木学習 (MRDTL) は、決定木に似た教師ありアルゴリズムを使用します。
- ディープフィーチャーシンセシスはより単純な方法を使用します。[引用が必要]
マルチリレーショナル決定木学習 (MRDTL)
マルチリレーショナル決定木学習（MRDTL）は、従来の決定木手法をリレーショナルデータベースに拡張し、テーブル間の複雑なデータ関係を処理します。これは、選択グラフを決定ノードとして革新的に使用し、特定の終了基準に達するまで体系的に洗練されます。[14]
MRDTL研究のほとんどはリレーショナルデータベースをベースとした実装であり、多くの冗長な操作が発生します。これらの冗長性はタプルID伝播などの技術を使用することで削減できます。[16] [17]
オープンソース実装
リレーショナル データと時系列の特徴エンジニアリングを自動化するオープンソース ライブラリとツールは数多くあります。
- featuretoolsは、時系列データとリレーショナルデータを機械学習用の特徴行列に変換するためのPythonライブラリです。[18] [19] [20]
- MCMD:複数のデータセットを共同クラスタリングするためのオープンソースの特徴エンジニアリングアルゴリズム。[21] [2]
- OneBMまたはワンボタンマシンは、リレーショナルデータ上の特徴変換と特徴選択を特徴選択技術と組み合わせたものです。[22]
[OneBM]は、データサイエンティストがデータ探索時間を短縮し、短時間で多くのアイデアを試行錯誤できるように支援します。一方、データサイエンスに精通していない非専門家でも、少しの労力、時間、コストでデータから素早く価値を引き出すことができます。[22]
- getMLコミュニティは、時系列データとリレーショナルデータの自動特徴エンジニアリングのためのオープンソースツールです。[23] [24]これは、 Pythonインターフェースを使用してC / C ++で実装されています。 [24] tsflex、tsfresh、tsfel、featuretools、katsよりも少なくとも60倍高速であることが示されています。[24]
- tsfreshは時系列データの特徴抽出のためのPythonライブラリです。[25]仮説検定を使用して特徴の品質を評価します。[26]
- tsflexは時系列データから特徴を抽出するためのオープンソースのPythonライブラリです。[27] 100%Pythonで書かれているにもかかわらず、tsfresh、seglearn、tsfelよりも高速でメモリ効率が高いことが示されています。[28]
- seglearnは、scikit-learn Pythonライブラリの多変量、連続時系列データ用の拡張機能です。[29]
- tsfelは時系列データの特徴抽出のためのPythonパッケージです。[30]
- katsは時系列データを解析するためのPythonツールキットです。[31]
ディープフィーチャー合成
ディープフィーチャーシンセシス（DFS）アルゴリズムは、コンテストで906チーム中615チームに勝利しました。[32] [33]
フィーチャーストア
Feature Store は、モデルをトレーニングする (データ サイエンティストによる) か、予測を行う (トレーニング済みのモデルを持つアプリケーションによる) という明確な目的のために、特徴が保存され、整理される場所です。これは、複数の異なるデータ ソースから作成された特徴のグループを作成または更新したり、それらの特徴グループから新しいデータセットを作成および更新したりして、モデルをトレーニングしたり、特徴を計算しないで予測を行うために必要なときに取得するだけのアプリケーションで使用したりできる中心的な場所です。[34]
機能ストアには、機能を生成するために使用されるコードを保存し、そのコードを生データに適用し、要求に応じてそれらの機能をモデルに提供する機能が含まれます。便利な機能には、機能のバージョン管理や、機能が使用できる状況を管理するポリシーなどがあります。[35]
機能ストアは、スタンドアロンのソフトウェア ツールにすることも、機械学習プラットフォームに組み込むこともできます。
代替案
特徴エンジニアリングは、ドメインの専門知識が必要であり、試行錯誤を伴うことが多いため、時間がかかり、エラーが発生しやすいプロセスになる可能性があります。[36] [37] ディープラーニングアルゴリズムを使用すると、特徴エンジニアリングに頼ることなく、大規模な生のデータセットを処理できます。[38]ただし、ディープラーニングアルゴリズムでは、入力データの慎重な前処理とクリーニングが必要です。 [39]さらに、ディープニューラルネットワークに適切なアーキテクチャ、ハイパーパラメータ、最適化アルゴリズムを選択することは、困難で反復的なプロセスになる可能性があります。[40 ]
参照
参考文献
- ^ ハスティー、トレバー、ティブシラニ、ロバート、フリードマン、ジェローム H. (2009)。統計学習の要素: データマイニング、推論、予測。シュプリンガー。ISBN 978-0-387-84884-6。
- ^ abc Sharma, Shubham; Nayak, Richi; Bhaskar, Ashish (2024-05-01). 「複数の交通データセットの日々の共同クラスタリングのためのマルチビュー特徴エンジニアリング」. Transportation Research Part C: Emerging Technologies . 162 : 104607. Bibcode :2024TRPC..16204607S. doi : 10.1016/j.trc.2024.104607 . ISSN 0968-090X.
- ^ Shalev-Shwartz, Shai; Ben-David, Shai (2014). 『機械学習を理解する: 理論からアルゴリズムまで』 ケンブリッジ: ケンブリッジ大学出版局. ISBN 9781107057135。
- ^ マーフィー、ケビン・P. (2022).確率的機械学習。マサチューセッツ州ケンブリッジ：MITプレス（Copyright 2022 Massachusetts Institute of Technology、この作品はクリエイティブ・コモンズCC-BY-NC-NDライセンスの対象です）。ISBN 9780262046824。
- ^ MacQueron C (2021). 撹拌タンク内での固体と液体の混合：モデリング、検証、設計の最適化、懸濁液の品質予測（レポート）. doi :10.13140/RG.2.2.11074.84164/1.
- ^ Lee, Daniel D.; Seung, H. Sebastian (1999). 「非負行列分解による物体の部品の学習」. Nature . 401 (6755): 788–791. Bibcode :1999Natur.401..788L. doi :10.1038/44565. ISSN 1476-4687. PMID 10548103.
- ^ Wang, Hua; Nie, Feiping; Huang, Heng; Ding, Chris (2011)。「非負行列三因子分解に基づく高次共クラスタリングとその高速実装」。2011 IEEE 第 11 回国際データマイニング会議。IEEE。pp. 774–783。doi : 10.1109 / icdm.2011.109。ISBN 978-1-4577-2075-8。
- ^ Lim, Lek-Heng; Comon, Pierre (2009-04-12). 「非負テンソルの非負近似」. arXiv : 0903.4530 [cs.NA].
- ^ Nayak, Richi; Luong, Khanh (2023). 「多面的学習」.インテリジェントシステムリファレンスライブラリ. 242. doi :10.1007/978-3-031-33560-0. ISBN 978-3-031-33559-4. ISSN 1868-4394。
- ^ 「特徴エンジニアリング - 機械学習レンズ」。docs.aws.amazon.com 。2024年3月1日閲覧。
- ^ 「Feature Engineering」（PDF） 2010年4月22日2015年11月12日閲覧。
- ^ 「特徴エンジニアリングと選択」(PDF)。Alexandre Bouchard-Côté。2009 年 10 月 1 日。2015年11 月 12 日閲覧。
- ^ 「機械学習における特徴エンジニアリング」(PDF) 。Zdenek Zabokrtsky。 2016年3月4日時点のオリジナル(PDF)からアーカイブ。 2015年11月12日閲覧。
- ^ ab Knobbe AJ、Siebes A、Van Der Wallen D (1999)。「マルチリレーショナル決定木誘導」(PDF)。データマイニングと知識発見の原理。コンピュータサイエンスの講義ノート。第 1704 巻。pp. 378–383。doi : 10.1007 /978-3-540-48247-5_46。ISBN 978-3-540-66490-1。
- ^ 「すべては機能について」。Reality AI ブログ。2017 年 9 月。
- ^ Yin X、Han J、Yang J、Yu PS (2004)。「CrossMine: 複数のデータベース関係にわたる効率的な分類」。議事録。第 20 回国際データ エンジニアリング会議。pp. 399–410。doi : 10.1109 / ICDE.2004.1320014。ISBN 0-7695-2065-0.S2CID 1183403 。
- ^ Frank R、Moser F、Ester M (2007)。「単一および複数特徴集約関数を使用したマルチリレーショナル分類の方法」。データベースにおける知識発見: PKDD 2007。コンピュータサイエンスの講義ノート。第 4702 巻。pp. 430–437。doi : 10.1007 /978-3-540-74976-9_43。ISBN 978-3-540-74975-2。
- ^ 「Featuretools とは?」2022 年9 月 7 日閲覧。
- ^ 「Featuretools - 自動特徴エンジニアリングのためのオープンソースの Python フレームワーク」。2022 年9 月 7 日閲覧。
- ^ “github: alteryx/featuretools”. GitHub . 2022年9月7日閲覧。
- ^ Sharma、Shubham、mcmd: Shubham Sharma が QUT で開発したコンセンサス マトリックス分解に基づくマルチビュー分類フレームワーク、2024-04-14取得
- ^ ab Thanh Lam, Hoang; Thiebaut, Johann-Michael; Sinn, Mathieu; Chen, Bei; Mai, Tiep; Alkan, Oznur (2017-06-01). 「リレーショナル データベースで機能エンジニアリングを自動化するワンボタン マシン」. arXiv : 1706.00327 [cs.DB].
- ^ 「getML ドキュメント」 。2022年9 月 7 日閲覧。
- ^ abc "github: getml/getml-community". GitHub . 2022年9月7日閲覧。
- ^ 「tsfresh ドキュメント」 。2022年9 月 7 日閲覧。
- ^ 「スケーラブルな仮説検定に基づく時系列特徴抽出（tsfresh – Python パッケージ）」 。 2022 年9 月 7 日閲覧。
- ^ “predict-idlab/tsflex”. GitHub . 2022年9月7日閲覧。
- ^ ヴァン・デル・ドンクト、ジョナス;ファン・デル・ドンクト、ジェローン。デプロスト、エミエル。ヴァン・ホッケ、ソフィー（2022）。 「tsflex: 柔軟な時系列処理と特徴抽出」。ソフトウェアX。17 : 100971.arXiv : 2111.12429。Bibcode :2022SoftX..1700971V。土井：10.1016/j.softx.2021.100971。S2CID 244527198 。2022 年9 月 7 日に取得。
- ^ 「seglearn ユーザーガイド」 。 2022年9月7日閲覧。
- ^ 「TSFELドキュメントへようこそ！」2022年9月7日閲覧。
- ^ “github: facebookresearch/Kats”. GitHub . 2022年9月7日閲覧。
- ^ 「ビッグデータ分析の自動化」2015年10月16日。
- ^ Kanter, James Max; Veeramachaneni, Kalyan (2015). 「ディープフィーチャー合成: データサイエンスの取り組みの自動化に向け て」2015 IEEE 国際データサイエンスおよび高度分析会議 (DSAA)。pp. 1–10。doi :10.1109 / DSAA.2015.7344858。ISBN 978-1-4673-8272-4. S2CID 206610380。
- ^ 「フィーチャーストアとは」。2022年4月19日閲覧。
- ^ 「フィーチャーストア入門」。2021年4月15日閲覧。
- ^ 「機械学習における特徴エンジニアリング」。エンジニアリング教育 (EngEd) プログラム | セクション。2023年 3 月 21 日閲覧。
- ^ explorium_admin (2021-10-25). 「特徴エンジニアリングが難しい5つの理由」. Explorium . 2023-03-21閲覧。
- ^ Spiegelhalter, DJ (2019). 統計の芸術：データから学ぶ. [ロンドン] イギリス. ISBN 978-0-241-39863-0. OCLC 1064776283.
{{cite book}}: CS1 maint: location missing publisher (link) - ^ Sarker IH (2021年11月). 「ディープラーニング：技術、分類、アプリケーション、研究の方向性に関する包括的な概要」. SN Computer Science . 2 (6): 420. doi :10.1007/s42979-021-00815-1. PMC 8372231. PMID 34426802 .
- ^ Bengio, Yoshua (2012)、「深層アーキテクチャの勾配ベーストレーニングに関する実践的な推奨事項」、ニューラルネットワーク：トレードのコツ、コンピュータサイエンスの講義ノート、vol. 7700、ベルリン、ハイデルベルク：Springer Berlin Heidelberg、pp. 437–478、arXiv：1206.5533、doi：10.1007/978-3-642-35289-8_26、ISBN 978-3-642-35288-1, S2CID 10808461 , 2023-03-21取得
さらに読む
- Boehmke B、Greenwell B (2019)。「フィーチャー&ターゲットエンジニアリング」。Rによる実践機械学習。Chapman & Hall。pp. 41–75。ISBN 978-1-138-49568-5。
- Zheng A、Casari A (2018)。機械学習のための特徴量エンジニアリング：データサイエンティストのための原理とテクニック。O'Reilly。ISBN 978-1-4919-5324-2。
- Zumel N、Mount (2020)。「データエンジニアリングとデータシェーピング」。Rによる実践データサイエンス（第2版）。Manning。pp. 113–160。ISBN 978-1-61729-587-4。
- Abououf, M.、Singh, S.、Mizouni, R.、Otrok, H. (2024)、医療用モノのインターネット (MIoT) におけるイベント検出のための特徴エンジニアリングとディープラーニングベースのアプローチ、Elsevier BV
- Chicco D、Oneto L、Tavazzi E (2022 年 12 月)。 「データクリーニングと特徴量エンジニアリング のための11の簡単なヒント」。PLOS Computational Biology。18 ( 12): e1010718。doi : 10.1371 / journal.pcbi.1010718。PMC 9754225。PMID 36520712。S2CID 254733288。