ニューラルアーキテクチャ検索

ニューラルアーキテクチャ探索（NAS）^{[1] [2]は、}機械学習の分野で広く使用されているモデルである人工ニューラルネットワーク（ANN）の設計を自動化する技術です。NASは、手作業で設計されたアーキテクチャと同等かそれ以上の性能を持つネットワークを設計するために使用されています。^{[3] [4]} NASの手法は、使用される探索空間、探索戦略、および性能推定戦略に応じて分類できます。^[1]

• 検索空間は、設計および最適化できる ANN のタイプを定義します。
• 検索戦略は、検索空間を探索するために使用されるアプローチを定義します。
• パフォーマンス推定戦略では、 ANNの設計から (ANN を構築してトレーニングせずに) 可能な ANN のパフォーマンスを評価します。

NASはハイパーパラメータ最適化^[5]やメタ学習^{[6]と密接に関連しており、}自動機械学習（AutoML）のサブフィールドです。^[7]

強化学習（RL）は、NAS検索戦略の基盤となることができます。Barret ZophとQuoc Viet Le ^[3]は、CIFAR-10データセットを対象にNASをRLに適用し、精度に関して最高の手動設計アーキテクチャに匹敵するネットワークアーキテクチャを実現しました。エラー率は3.65で、関連する手動設計モデルよりも0.09％優れており、1.05倍高速です。Penn Treebankデータセットでは、そのモデルはLSTMを上回る再帰セルを構成し、テストセットのパープレキシティは62.4に達し、以前の主要システムよりも3.6パープレキシティが優れていました。PTB文字言語モデリングタスクでは、1文字あたり1.214ビットを達成しました。^[3]

大規模なデータセットで直接モデル アーキテクチャを学習することは、時間のかかるプロセスになる場合があります。NASNet ^{[4] [8]}は、小規模なデータセット用に設計されたビルディング ブロックを大規模なデータセットに転送することで、この問題に対処しました。設計では、入力された特徴マップを畳み込むときに 2 つの主な機能を果たす特徴マップを返す2 種類の畳み込みセルを使用するように制約されていました。1 つは、同じ範囲 (高さと幅) のマップを返す通常のセル、もう 1 つは、返された特徴マップの高さと幅が 2 分の 1 に削減される削減セルです。削減セルの場合、セルの入力に適用される初期操作では、2 のストライドが使用されます (高さと幅を削減するため)。^[4]設計の学習された側面には、各上位層がどの下位層を入力として受け取るか、その層で適用される変換、各層で複数の出力をマージするなどの要素が含まれます。研究された例では、最適な畳み込み層 (または「セル」) が CIFAR-10 データセット用に設計され、次に、それぞれ独自のパラメーターを持つこのセルのコピーを積み重ねてImageNetデータセットに適用されました。このアプローチにより、トップ 1 の精度が 82.7%、トップ 5 の精度が 96.2% になりました。これは、90 億FLOPS少ないコスト (28% の削減) で、人間が発明した最高のアーキテクチャを上回りました。システムは、さまざまな計算レベルで手動で設計された代替案を上回り続けました。画像分類から学習した画像の特徴は、他のコンピューター ビジョンの問題に転用できます。たとえば、物体検出の場合、学習したセルを Faster-RCNN フレームワークと統合すると、 COCOデータセットでパフォーマンスが 4.0% 向上しました。^[4]

いわゆる Efficient Neural Architecture Search (ENAS) では、コントローラは大きなグラフ内で最適なサブグラフを検索することを学習することでアーキテクチャを発見します。コントローラは、ポリシー勾配を使用してトレーニングされ、検証セットの期待報酬を最大化するサブグラフを選択します。サブグラフに対応するモデルは、標準クロスエントロピー損失を最小化するようにトレーニングされます。複数の子モデルがパラメータを共有し、ENAS は他のアプローチよりも GPU 時間が少なく、「標準」NAS よりも 1000 倍少ない GPU 時間しか必要としません。CIFAR-10 では、ENAS 設計は NASNet に匹敵する 2.89% のテスト エラーを達成しました。Penn Treebank では、ENAS 設計は 55.8 のテスト パープレキシティに達しました。^[9]

NASの代替アプローチは進化的アルゴリズムに基づいており、いくつかのグループで採用されています。^{[10] [11] [12] [13] [14] [15] [16]}ニューラルアーキテクチャ検索のための進化的アルゴリズムは、一般的に次の手順を実行します。^[17]最初に、さまざまな候補アーキテクチャとその検証スコア（適応度）で構成されるプールが初期化されます。各ステップで、候補プール内のアーキテクチャが変異します（例：5x5畳み込みの代わりに3x3畳み込み）。次に、新しいアーキテクチャを数エポックにわたってゼロからトレーニングし、その検証スコアを取得します。その後、候補プール内の最もスコアの低いアーキテクチャを、より優れた新しいアーキテクチャに置き換えます。この手順は複数回繰り返され、候補プールは時間の経過とともに洗練されていきます。進化型ANNにおける突然変異とは、層の追加や削除などの操作であり、層の種類の変更（畳み込みからプーリングへなど）、層のハイパーパラメータの変更、トレーニングハイパーパラメータの変更などが含まれます。CIFAR -10とImageNetでは、進化とRLのパフォーマンスは同等でしたが、どちらもランダム検索をわずかに上回りました。^{[13] [12]}

ベイズ最適化(BO) は、ハイパーパラメータの最適化に効果的な方法であることが証明されており、NAS にも適用できます。このコンテキストでは、目的関数は、いくつかのエポックにわたってトレーニングされた後、アーキテクチャをその検証エラーにマッピングします。各反復で、BO は、以前に取得したアーキテクチャとその検証エラーに基づいて、サロゲートを使用してこの目的関数をモデル化します。次に、探索と活用のバランスを提供する、期待される改善などの獲得関数を最大化することにより、評価する次のアーキテクチャを選択します。獲得関数の最大化と目的関数の評価は、NAS では計算コストが高くなることが多く、このコンテキストでの BO の適用を困難にします。最近、BANANAS ^[18]は、ニューラル予測子と結合された BO の高性能なインスタンス化を導入することで、この方向で有望な結果を達成しました 。

別のグループは、ネットワークモルフィズムを適用したヒルクライミング手順を使用し、その後に短いコサインアニーリング最適化を実行しました。このアプローチは、単一のネットワークをトレーニングする場合と同程度のリソースで、競争力のある結果をもたらしました。たとえば、CIFAR-10では、この方法では、単一のGPUで12時間でエラー率が5%未満のネットワークを設計およびトレーニングしました。^[19]

ほとんどのアプローチは、最大の予測性能を持つアーキテクチャを見つけることにのみ焦点を当てていますが、ほとんどの実用的なアプリケーションでは、メモリ消費、モデルサイズ、推論時間（予測を得るのに必要な時間）などの他の目的も重要です。そのため、研究者は多目的検索を作成しました。^{[16] [20]}

LEMONADE ^[16]はラマルク主義を採用した進化的アルゴリズムであり、複数の目的を効率的に最適化します。世代ごとに子ネットワークが生成され、現在のANNの集団に対する パレート境界が改善されます。

Neural Architect ^[20]は、ネットワーク埋め込みとパフォーマンス予測を備えた、リソースを考慮した多目的RLベースのNASであると主張されています。ネットワーク埋め込みは、既存のネットワークをトレーニング可能な埋め込みベクトルにエンコードします。埋め込みに基づいて、コントローラーネットワークはターゲットネットワークの変換を生成します。多目的報酬関数は、ネットワークの精度、計算リソース、およびトレーニング時間を考慮します。報酬は、コントローラーネットワークと事前トレーニングまたは共同トレーニングされた複数のパフォーマンスシミュレーションネットワークによって予測されます。コントローラーネットワークは、ポリシー勾配によってトレーニングされます。変更後、結果として得られる候補ネットワークは、精度ネットワークとトレーニング時間ネットワークの両方によって評価されます。結果は、出力をコントローラーネットワークに返す報酬エンジンによって結合されます。

NASNet、mNASNet、MobileNetV3の論文に記載されているように、RLまたは進化ベースのNASでは、最先端のコンピュータービジョンの結果を得るために、数千のGPU日数の検索/トレーニングが必要です。^{[4] [21] [22]}

計算コストを削減するために、最近の多くの NAS 手法は重み共有の考え方に依存しています。^{[23] [24]}このアプローチでは、単一の過剰パラメータ化されたスーパーネットワーク (ワンショット モデルとも呼ばれる) が定義されます。スーパーネットワークは、サブグラフが異なる候補ニューラル ネットワークである非常に大規模な有向非巡回グラフ(DAG) です。したがって、スーパーネットワークでは、共通のエッジを持つ多数の異なるサブアーキテクチャ間で重みが共有され、各サブアーキテクチャはスーパーネット内のパスと見なされます。基本的な考え方は、何千ものネットワークを個別に生成してトレーニングするのではなく、最終設計の多くのオプションにまたがる 1 つのスーパーネットワークをトレーニングすることです。学習されたパラメータに加えて、あるモジュールを他のモジュールよりも優先することを示すアーキテクチャ パラメータのセットが学習されます。このような方法により、必要な計算リソースがわずか数 GPU 日に削減されます。

最近の研究では、この重み共有パラダイムと探索空間の連続的な緩和をさらに組み合わせて、^{[25] [26] [27] [28]}勾配ベースの最適化手法の使用を可能にしています。これらのアプローチは一般に微分可能NASと呼ばれ、ニューラルアーキテクチャの探索空間の探索に非常に効率的であることが証明されています。NASの勾配ベースの方法の中で最も人気のあるアルゴリズムの1つはDARTSです。^[27]しかし、DARTSは、スキップ接続の必然的な集約によるパフォーマンスの低下や、一般化の低さなどの問題に直面しており、多くの将来のアルゴリズムで対処されています。^{[29] [30] [31] [32] [ 30] [31 ]}などの方法は、ヘッセノルムベースの正則化とランダムスムージング/敵対的攻撃をそれぞれ導入することで、DARTSを堅牢化し、検証精度のランドスケープをより滑らかにすることを目的としています。パフォーマンス低下の原因は、後でアーキテクチャ選択の観点から分析されます。^[33]

微分可能NASは、RLベースの検索方法に必要な検索時間のほ​​んの一部で競争力のある結果を生み出すことが示されています。たとえば、FBNet（Facebook Berkeley Networkの略）は、スーパーネットワークベースの検索が、ImageNet画像分類データセットでmNASNetとMobileNetV2の速度と精度のトレードオフ曲線を上回るネットワークを生成することを実証しました。FBNetは、mNASNetで使用された検索時間の400倍以上少ない検索時間でこれを実現します。 ^{[34] [35] [36]}さらに、SqueezeNASは、スーパーネットワークベースのNASがCityscapesセマンティックセグメンテーションデータセットでMobileNetV3の速度と精度のトレードオフ曲線を上回るニューラルネットワークを生成することを実証しました。また、SqueezeNASは、MobileNetV3の著者のRLベースの検索で使用された検索時間の100倍以上少ない検索時間を使用します。^{[37] [38]}

ニューラルアーキテクチャ検索は、コストのかかるトレーニングおよび評価フェーズのため、多くの場合、大量の計算リソースを必要とします。これにより、これらの方法の評価に必要な大きなカーボンフットプリントも発生します。この制限を克服するために、NASベンチマーク^{[39] [40] [41] [42]}が導入され、数秒でニューラルアーキテクチャの最終的なパフォーマンスを照会または予測できるようになりました。NASベンチマークは、固定されたトレーニングとテストの分割、検索空間、および固定されたトレーニングパイプライン（ハイパーパラメータ）を持つデータセットとして定義されます。NASベンチマークには、主に、サロゲートNASベンチマークと表形式NASベンチマークの2種類があります。サロゲートベンチマークは、サロゲートモデル（例：ニューラルネットワーク）を使用して、検索空間からアーキテクチャのパフォーマンスを予測します。一方、表形式ベンチマークは、収束までトレーニングされたアーキテクチャの実際のパフォーマンスを照会します。これらのベンチマークは両方ともクエリ可能であり、アーキテクチャを最初からトレーニングする代わりに、CPU のみを使用してベンチマークをクエリすることで、多くの NAS アルゴリズムを効率的にシミュレートするために使用できます。

• ニューラルネットワークインテリジェンス
• 自動化された機械学習
• ハイパーパラメータの最適化

調査記事。

• ウィストゥバ、マーティン。アンブリッシュ州ラワット。ペダパティ、テジャスウィニ (2019-05-04)。 「ニューラルアーキテクチャ検索に関する調査」。arXiv : 1905.01392 [cs.LG]。
• Elsken , Thomas; Metzen, Jan Hendrik; Hutter, Frank (2019年8月8日) .「ニューラルアーキテクチャ検索：調査」。機械学習研究ジャーナル。20 (55): 1–21。arXiv : 1808.05377。
• Liu, Yuqiao; Sun, Yanan; Xue, Bing; Zhang, Mengjie; Yen, Gary G; Tan, Kay Chen (2021). 「進化的ニューラルアーキテクチャ検索に関する調査」。IEEE Transactions on Neural  Networks and Learning Systems。34 ( 2): 1–21。arXiv : 2008.10937。doi : 10.1109 /TNNLS.2021.3100554。PMID 34357870。S2CID 221293236  。
• White, Colin; Safari, Mahmoud; Sukthanker, Rhea; Ru, Binxin; Elsken, Thomas; Zela, Arber; Dey, Debadeepta; Hutter, Frank (2023-01-25). 「ニューラルアーキテクチャ検索: 1000件の論文からの洞察」. arXiv : 2301.08727 [cs.LG].