怠惰な学習

(遅延学習方式と混同しないでください。Neural_tangent_kernelを参照してください)。

機械学習において、遅延学習は、システムがクエリを受け取る前にトレーニングデータを一般化しようとする積極的学習とは対照的に、理論的には、システムにクエリが行われるまでトレーニングデータの一般化を遅らせる学習方法です。^[1]

オンライン推奨システム（「この映画/アイテム/曲を視聴/購入/聴いた人は、次のこともしています...」）で使用されるK 近傍法アルゴリズムのような遅延学習を採用する主な動機は、データセットが新しいエントリ（Amazon で販売される新しいアイテム、Netflix で視聴する新しい映画、YouTube の新しいクリップ、Spotify または Pandora の新しい音楽など）で継続的に更新されるためです。継続的な更新により、「トレーニング データ」は比較的短期間で古くなります。特に、新しいベストセラーやヒット映画/音楽が継続的に出版/リリースされる書籍や映画の分野ではそうです。したがって、「トレーニング フェーズ」について語ることはできません。

遅延分類器は、一般的にクエリされる属性が少ない、大規模で継続的に変化するデータセットに最も役立ちます。具体的には、大量の属性セットが存在する場合でも（たとえば、書籍には出版年、著者、出版社、タイトル、版、ISBN、販売価格など）、推奨クエリははるかに少ない属性（たとえば、購入または閲覧の共起データ、購入/閲覧したアイテムのユーザー評価など）に依存します。^[2]

遅延学習法を採用することで得られる主な利点は、k近傍法アルゴリズムのように、ターゲット関数が局所的に近似されることです。ターゲット関数はシステムへのクエリごとに局所的に近似されるため、遅延学習システムは複数の問題を同時に解決し、問題領域の変化にうまく対処できます。同時に、線形回帰モデリング（特にPRESS統計）と制御からの多くの理論的および応用結果を再利用できます。^[3]このシステムの利点は、単一のトレーニングセットを使用した予測が少数のオブジェクトに対してのみ開発される場合に達成されると言われています。^[4]これは、インスタンスベースで関数が局所的にのみ推定されるk-NN手法の場合に実証できます。^{[5] [6]}

怠惰な学習の理論的な欠点は次のとおりです。

• トレーニング データセット全体を保存するための大きなスペース要件。実際には、ハードウェアの進歩と、保存する必要がある属性 (共起頻度など) の数が比較的少ないため、これは問題になりません。
• 特にノイズの多いトレーニング データは、トレーニング フェーズで抽象化が行われないため、ケース ベースを不必要に増加させます。実際には、前述のように、遅延学習は、事前に実行された学習がデータの変更によってすぐに古くなる状況に適用されます。また、遅延学習が最適な問題の場合、「ノイズの多い」データは実際には発生しません。つまり、ある本の購入者は別の本を購入するか、購入しないかのどちらかです。
• 遅延学習法は、通常、評価に時間がかかります。実際には、同時実行負荷が高い非常に大規模なデータベースの場合、クエリは実際のクエリ時間まで延期されるのではなく、将来のクエリと保存された回答を見越して、たとえば夜間など定期的に事前に再計算されます。このように、データベース内の既存のエントリについて次に新しいクエリが要求されたときに、回答は即座に検索されるだけで、オンザフライで計算する必要はありません。オンザフライでは、同時実行性の高いマルチユーザー システムがほぼ確実に機能しなくなります。
• トレーニングデータが大きくなればコストも増加します。特に、プロセッサが限られた量のトレーニングデータポイントしか処理できない場合、計算コストは​​一定になります。^[7]

再計算の効率を向上させる標​​準的な手法があり、特定の回答は、その回答に影響を与えるデータが変更されない限り (新しいアイテム、新しい購入、新しいビューなど)、再計算されません。つまり、保存された回答は段階的に更新されます。

大規模な電子商取引サイトやメディアサイトで使用されているこのアプローチは、国立生物工学情報センター(NCBI) のEntrezポータルで、生物学的配列、3D タンパク質構造、公開された論文の要約など、大規模なデータセット内のさまざまな項目間の類似性を事前に計算するために長い間使用されてきました。「類似点の検索」クエリは頻繁に実行されるため、NCBI は高度に並列化されたハードウェアを使用して夜間の再計算を実行します。再計算は、データセット内の新しいエントリ同士、および既存のエントリに対してのみ実行されます。既存の 2 つのエントリ間の類似性を再計算する必要はありません。

• K近傍法は、インスタンスベース学習の特殊なケースです。
• ローカル回帰。
• 商用スパム検出ソフトウェアで広く使用されている、 Lazy Naive Bayesルール。スパマーはより賢くなり、スパム戦略を改訂し続けるため、学習ルールも継続的に更新する必要があります。

• lazy: ローカル回帰のための遅延学習、リファレンスマニュアル付きのRパッケージ
• 「The Lazy Learning Package」。2012年2月16日時点のオリジナルよりアーカイブ。
• Webb GI (2011) Lazy Learning。Sammut C.、Webb GI (編) 機械学習百科事典。Springer、ボストン、マサチューセッツ州
• David W. Aha: Lazy Learning。Kluwer Academic Publishers、Norwell 1997、ISBN 0-7923-4584-3。
• Atkeson, Christopher G.; Moore, Andrew W.; Schaal, Stefan (1997 年 2 月1日)。「制御のための局所加重学習」。人工知能レビュー。11 (1): 75–113。doi : 10.1023 /A:1006511328852。S2CID 3694612  。
• Bontempi、Birattari、Bersini、Huges Bersini、Iridia: ローカル モデリングと制御設計のための遅延学習。 1997年。
• Aha, David W.; Kibler, Dennis; Albert, Marc K. (1991 年 1 月 1 日). 「インスタンスベースの学習アルゴリズム」.機械学習. 6 (1): 37–66. doi :10.1007/BF00153759.