自動化された機械学習

自動機械学習（AutoML ）は、機械学習を現実世界の問題に適用するタスクを自動化するプロセスです。これは、自動化とMLを組み合わせたものです。 ^[1]

AutoML には、生のデータセットから始めて、展開可能な機械学習モデルを構築するまでのすべての段階が含まれる可能性があります。AutoML は、機械学習の適用という増大する課題に対する人工知能ベースのソリューションとして提案されました。 ^[2]^[3] AutoML の高度な自動化は、機械学習の専門家にならなくても、専門家以外の人が機械学習モデルや手法を利用できるようにすることを目指しています。機械学習をエンドツーエンドで適用するプロセスを自動化すると、よりシンプルなソリューション、それらのソリューションをより迅速に作成できる、手作業で設計されたモデルよりも優れたモデルを作成できるという利点もあります。^[4]

AutoML で使用される一般的な手法には、ハイパーパラメータ最適化、メタ学習、ニューラルアーキテクチャ検索などがあります。

標準的なアプローチとの比較

典型的な機械学習アプリケーションでは、実践者はトレーニングに使用する入力データポイントのセットを持っています。生データは、すべてのアルゴリズムを適用できる形式ではない可能性があります。データを機械学習に適したものにするために、専門家は適切なデータ前処理、特徴エンジニアリング、特徴抽出、および特徴選択の方法を適用する必要があります。これらの手順の後、実践者はモデルの予測パフォーマンスを最大化するために、アルゴリズムの選択とハイパーパラメータの最適化を実行する必要があります。ディープラーニングを使用する場合は、機械学習の専門家がニューラルネットワークのアーキテクチャも手動で選択する必要があります。

これらの各ステップは難しい場合があり、機械学習の使用に大きな障害となります。AutoML は、専門家以外のユーザーのためにこれらのステップを簡素化し、機械学習技術を正しく効果的に使用しやすくすることを目的としています。

AutoMLは、データエンジニアリング、データ探索、モデルの解釈と予測などの困難なタスクも含む、データサイエンスの自動化という幅広いアプローチの中で重要な役割を果たしています。 ^[5]

自動化の対象

自動化された機械学習は、機械学習プロセスのさまざまな段階をターゲットにすることができます。^[3] 自動化の手順は次のとおりです。

データの準備と取り込み（生データとさまざまな形式から）
- 列タイプの検出（例：ブール値、離散数値、連続数値、テキスト）
- 列の意図検出。例: ターゲット/ラベル、階層化フィールド、数値特徴、カテゴリテキスト特徴、フリーテキスト特徴
- タスク検出（例：バイナリ分類、回帰、クラスタリング、ランキング）
特徴エンジニアリング
- 特徴選択
- 特徴抽出
- メタ学習と転移学習
- 歪んだデータや欠損値の検出と処理
モデル選択- 使用する機械学習アルゴリズムの選択。多くの場合、複数の競合するソフトウェア実装が含まれます。
アンサンブル- 複数のモデルを使用すると単一のモデルよりも良い結果が得られるコンセンサス形式^[6]
学習アルゴリズムのハイパーパラメータ最適化と特徴量化
- ニューラルアーキテクチャ検索
時間、メモリ、複雑さの制約下でのパイプラインの選択
評価指標と検証手順の選択
問題の確認
- 漏れ検出
- 誤った設定の検出
得られた結果の分析
ユーザーインターフェースと視覚化の作成

課題と限界

自動化された機械学習をめぐっては、いくつかの重要な課題が取り組まれています。この分野を取り巻く大きな問題は、「家内工業としての開発」と呼ばれています。^[7]このフレーズは、機械学習における開発が専門家の手動決定と偏見に依存しているという問題を指します。これは、データの使用と分析から学習して改善できるシステムを作成することを目的とする機械学習の目標とは対照的です。基本的に、専門家がシステムの学習にどれだけ関与すべきか、機械にどれだけの自由を与えるべきかという葛藤です。しかし、専門家と開発者は、これらの機械が自ら学習できるように準備できるように、機械の作成とガイドに協力する必要があります。このシステムを作成するには、機械学習アルゴリズムとシステム設計の知識を備えた労働集約的な作業が必要です。^[8]

さらに、他の課題としては、メタ学習の課題^[9]や計算リソースの割り当てなどが挙げられます。

参照

参考文献

^ スピアーズ、テイラー、ボンド・ハンセン、クリスチャン（2023-12-18）、「金融市場における機械学習の活用と将来性」、オックスフォード機械学習社会学ハンドブック、オックスフォード大学出版局、doi：10.1093/oxfordhb/9780197653609.013.6、ISBN 978-0-19-765360-9、 2024-06-10取得
^ Thornton C、Hutter F、Hoos HH、Leyton-Brown K (2013)。Auto-WEKA: 分類アルゴリズムの選択とハイパーパラメータの最適化の組み合わせ。KDD '13 知識発見とデータマイニングに関する第 19 回 ACM SIGKDD 国際会議の議事録。pp. 847–855。
^ ab Hutter F、Caruana R、Bardenet R、Bilenko M、Guyon I、Kegl B、および Larochelle H. 「AutoML 2014 @ ICML」。AutoML 2014 ワークショップ @ ICML。2018年 3 月 28 日閲覧。^{[永久リンク切れ‍ ]}
^ Olson, RS、Urbanowicz, RJ、Andrews, PC、Lavender, NA、Kidd, LC、Moore, JH (2016)。ツリーベースのパイプライン最適化によるバイオメディカルデータサイエンスの自動化。Squillero, G.、Burelli, P. (編) 進化的計算の応用。EvoApplications 2016。コンピュータサイエンスの講義ノート()、vol 9597。Springer、Cham。doi : 10.1007/978-3-319-31204-0_9
^ デ・ビー、ティル;デ・レート、リュック；ヘルナンデス・オラロ、ホセ。ホース、ホルガー H.スミス、パドライ語。ウィリアムズ、クリストファー・KI（2022年3月）。「データサイエンスの自動化」。ACM の通信。65 (3):76-87。土井：10.1145/3495256。hdl : 10251/199907。
^ Erickson, Nick; Mueller, Jonas; Shirkov, Alexander; Zhang, Hang; Larroy, Pedro; Li, Mu; Smola, Alexander (2020-03-13). 「AutoGluon-Tabular: 構造化データ向けの堅牢で正確な AutoML」. arXiv : 2003.06505 [stat.ML].
^ Hutter, Frank; Kotthoff, Lars; Vanschoren, Joaquin, 編 (2019). 自動機械学習: 方法、システム、課題。機械学習の課題に関する Springer シリーズ。Springer Nature。doi : 10.1007/978-3-030-05318-5. hdl :20.500.12657/23012. ISBN 978-3-030-05317-8。
^ Glover, Ellen (2018). 「Python による機械学習: クラスタリング」. Built in . doi :10.4135/9781526466426.
^ 「メタ学習チャレンジ」. metalearning.chalearn.org . 2023年12月3日閲覧。

さらに読む

「オープンソースの AutoML ツール: AutoGluon、TransmogrifAI、Auto-sklearn、NNI」。Bizety . 2020-06-16。
Ferreira, Luís、他「機械学習、ディープラーニング、XGBoost 向け AutoML ツールの比較」2021 国際ニューラルネットワーク合同会議 (IJCNN)。IEEE、2021 年。https://repositorium.sdum.uminho.pt/bitstream/1822/74125/1/automl_ijcnn.pdf
Feurer, M., Klein, A., Eggensperger, K., Springenberg, J., Blum, M., & Hutter, F. (2015). 効率的で堅牢な自動機械学習。ニューラル情報処理システムの進歩、28。https ://proceedings.neurips.cc/paper_files/paper/2015/file/11d0e6287202fced83f79975ec59a3a6-Paper.pdf

[1] スピアーズ、テイラー、ボンド・ハンセン、クリスチャン（2023-12-18）、「金融市場における機械学習の活用と将来性」、オックスフォード機械学習社会学ハンドブック、オックスフォード大学出版局、doi：10.1093/oxfordhb/9780197653609.013.6、ISBN 978-0-19-765360-9、 2024-06-10取得

[autoweka1-2] Thornton C、Hutter F、Hoos HH、Leyton-Brown K (2013)。Auto-WEKA: 分類アルゴリズムの選択とハイパーパラメータの最適化の組み合わせ。KDD '13 知識発見とデータマイニングに関する第 19 回 ACM SIGKDD 国際会議の議事録。pp. 847–855。

[AutoML2014ICML-3] Hutter F、Caruana R、Bardenet R、Bilenko M、Guyon I、Kegl B、および Larochelle H. 「AutoML 2014 @ ICML」。AutoML 2014 ワークショップ @ ICML。2018年 3 月 28 日閲覧。^{[永久リンク切れ‍ ]}

[4] Olson, RS、Urbanowicz, RJ、Andrews, PC、Lavender, NA、Kidd, LC、Moore, JH (2016)。ツリーベースのパイプライン最適化によるバイオメディカルデータサイエンスの自動化。Squillero, G.、Burelli, P. (編) 進化的計算の応用。EvoApplications 2016。コンピュータサイエンスの講義ノート()、vol 9597。Springer、Cham。doi : 10.1007/978-3-319-31204-0_9

[5] デ・ビー、ティル;デ・レート、リュック；ヘルナンデス・オラロ、ホセ。ホース、ホルガー H.スミス、パドライ語。ウィリアムズ、クリストファー・KI（2022年3月）。「データサイエンスの自動化」。ACM の通信。65 (3):76-87。土井：10.1145/3495256。hdl : 10251/199907。

[6] Erickson, Nick; Mueller, Jonas; Shirkov, Alexander; Zhang, Hang; Larroy, Pedro; Li, Mu; Smola, Alexander (2020-03-13). 「AutoGluon-Tabular: 構造化データ向けの堅牢で正確な AutoML」. arXiv : 2003.06505 [stat.ML].

[7] Hutter, Frank; Kotthoff, Lars; Vanschoren, Joaquin, 編 (2019). 自動機械学習: 方法、システム、課題。機械学習の課題に関する Springer シリーズ。Springer Nature。doi : 10.1007/978-3-030-05318-5. hdl :20.500.12657/23012. ISBN 978-3-030-05317-8。

[8] Glover, Ellen (2018). 「Python による機械学習: クラスタリング」. Built in . doi :10.4135/9781526466426.

[9] 「メタ学習チャレンジ」. metalearning.chalearn.org . 2023年12月3日閲覧。