ノード（ニューロン）の剪定
剪定の基本的なアルゴリズムは次のとおりです。[ 3 ] [ 4 ]
- 各ニューロンの重要性を評価する。
- ニューロンをその重要度に応じてランク付けする（「重要度」には明確に定義された尺度があると仮定する）。
- 最も重要度の低いニューロンを取り除く。
- （ユーザーが設定する）終了条件を確認し、剪定を続行するかどうかを判断します。
エッジ（重み）剪定
ニューラルネットワークのプルーニングに関する研究のほとんどは、ニューロンや層全体を削除するのではなく（構造化プルーニング）、最も重要でない重みを削除すること（非構造化プルーニング）、つまり、それらの値をゼロに設定することに焦点を当てています。これは、ネットワーク内のすべての層の重みを比較することによってグローバルに行うことも、各層の重みを個別に比較することによってローカルに行うこともできます。[ 5 ]
各重みの重要性を測定するために、さまざまな指標を使用できます。重みの大きさや、重みと勾配情報の組み合わせは、一般的に使用される指標です。[ 6 ] [ 7 ] [ 8 ]
初期の研究では、剪定されていない重みの値を変更することも提案された。[ 9 ]
ニューラルネットワークの枝刈りはいつ行うべきか？
プルーニングは、トレーニング前、トレーニング中、トレーニング後の3つの異なる段階で適用できます。トレーニング中またはトレーニング後にプルーニングを実行する場合、通常は追加の微調整エポックが必要です。各アプローチには、精度と計算コストの間の異なるトレードオフが伴います。[ 5 ]
参考文献
- ↑ Blalock, Davis; Ortiz, Jose Javier Gonzalez; Frankle, Jonathan; Guttag, John (2020-03-06). "ニューラルネットワークのプルーニングの現状は？". arXiv : 2003.03033 [ cs.LG ].
- ↑ Chechik, Gal; Meilijson, Isaac; Ruppin, Eytan (1998 年 10 月). "発達におけるシナプス刈り込み: 計算論的説明" . Neural Computation . 10 (7): 1759– 1777. doi : 10.1162/089976698300017124 . ISSN 0899-7667 . PMID 9744896 . S2CID 14629275 .
- ↑ Molchanov, P., Tyree, S., Karras, T., Aila, T., & Kautz, J. (2016).リソース効率の良い推論のための畳み込みニューラルネットワークの剪定。arXiv プレプリント arXiv:1611.06440。
- ↑ Gildenblat, Jacob (2017-06-23). "ディープニューラルネットワークを剪定して高速かつ小型化する" . Github . 2024-02-04に取得.
- 1 2 Cheng, Hongrong; Zhang, Miao; Shi, Javen Qinfeng (2024 年 12 月). "深層ニューラルネットワークの枝刈りに関する調査: 分類、比較、分析、および推奨事項". IEEE Transactions on Pattern Analysis and Machine Intelligence . 46 (12): 10558– 10578. Bibcode : 2024ITPAM..4610558C . doi : 10.1109/TPAMI.2024.3447085 . ISSN 0162-8828 . PMID 39167504 .
- ↑ LeCun, Yann; Denker, John; Solla, Sara (1989). "Optimal Brain Damage" . Advances in Neural Information Processing Systems . 2. Morgan-Kaufmann.
- ↑劉、紫偉。チェン、ティアンロン。チェン、シャオハン。アタシュガヒ、ザーラ。イン、ルー。コウ、フアンユー。シェン、リー。ペチェニズキー、ミコラ。王、張陽（2022-02-06）。 「神経再生による剪定可塑性の向上によるスパーストレーニング」。arXiv : 2106.10404 [ cs.LG ]。
- ↑ Zhu, Lingkai; Bezek, Can Deniz; Goksel, Orcun (2025). "FGGP: Fixed-Rate Gradient-First Gradual Pruning" . In Petersen, Jens; Dahl, Vedrana Andersen (eds.). Image Analysis . Lecture Notes in Computer Science. Vol. 15725. Cham: Springer Nature Switzerland. pp. 3– 15. doi : 10.1007/978-3-031-95911-0_1 . ISBN 978-3-031-95911-0。
- ↑ Chechik, Gal; Meilijson, Isaac; Ruppin, Eytan (2001 年 4 月) 「非効率的なヘッブ学習規則による効率的なニューラル学習」 . Neural Computation . 13 (4): 817– 840. doi : 10.1162/089976601300014367 . ISSN 0899-7667 . PMID 11255571 . S2CID 133186 .
