Loading article…
機械学習において、グロッキング、または遅延一般化とは、補間しきい値に達した後にゆっくりと段階的に一般化が起こる通常のプロセスとは対照的に、一見ほとんど進歩がないように見える多くの反復の後に、補間しきい値後の多くのトレーニング反復で発生する一般化への移行である。[1] [2] [3]
この用語は、ロバート・A・ハインラインの小説『異星人』で作られた「grok」という言葉に由来しています。
グロッキングは、トレーニングプロセス中の相転移として理解することができます。 [4]グロッキングは主に比較的浅いモデルの現象であると考えられてきましたが、グロッキングはディープニューラルネットワークや非ニューラルモデルでも観察されており、活発な研究の対象となっています。[5] [6] [7] [8]
参考文献
- ^ Pearce, Adam; Ghandeharioun, Asma; Hussein, Nada; Thain, Nithum; Wattenberg, Martin; Dixon, Lucas. 「機械学習モデルは記憶するのか、一般化するのか?」pair.withgoogle.com . 2024年6月4日閲覧。
- ^ Power, Alethea; Burda, Yuri; Edwards, Harri; Babuschkin, Igor; Misra, Vedant (2022-01-06). 「Grokking: 小規模アルゴリズムデータセットでの過剰適合を超えた一般化」. arXiv : 2201.02177 [cs.LG].
- ^ 峰岸剛樹; 岩澤裕介; 松尾豊 (2024-05-09). 「宝くじとグロッキングをつなぐ: 重みノルムは遅延一般化を説明するのに十分か?」arXiv : 2310.19470 [cs.LG].
- ^ Liu, Ziming; Kitouni, Ouail; Nolte, Niklas; Michaud, Eric J.; Tegmark, Max; Williams, Mike (2022). 「グロッキング理解に向けて：表現学習の効果的な理論」。Koyejo, Sanmi; Mohamed, S.; Agarwal, A.; Belgrave, Danielle; Cho, K.; Oh, A. (編)。Advances in Neural Information Processing Systems 35：Annual Conference on Neural Information Processing Systems 2022、NeurIPS 2022、米国ルイジアナ州ニューオーリンズ、2022年11月28日～12月9日。arXiv ：2205.10343。
- ^ Fan, Simin; Pascanu, Razvan; Jaggi, Martin (2024-05-29). 「ディープグロッキング：ディープニューラルネットワークはより良く一般化できるか？」arXiv : 2405.19454 [cs.LG].
- ^ミラー、ジャック、オニール、チャールズ、ブイ、タン (2024-03-31)。「ニューラルネットワークを超えた理解： モデルの複雑性に関する実証的探究」。arXiv ：2310.17247 [cs.LG]。
- ^ Liu, Ziming; Michaud, Eric J.; Tegmark, Max (2023). 「Omnigrok: アルゴリズムデータを超えた理解」.第11回国際学習表現会議、ICLR 2023、ルワンダ、キガリ、2023年5月1日～5日。OpenReview.net。arXiv : 2210.01117。
- ^ サモトラキス、スピリドン; マトラン・フェルナンデス、アナ; アブドゥラヒ、ウマル・I.; フェアバンク、マイケル; ファスリ、マリア (2022)。「反事実的推論におけるグロッキングのような効果」。国際ニューラルネットワーク合同会議、IJCNN 2022、パドヴァ、イタリア、2022年7月18〜23日。IEEE。pp. 1–8。doi :10.1109 / IJCNN55064.2022.9891910。ISBN 978-1-7281-8671-9。
参照