ニューラルアーキテクチャ探索

ニューラルアーキテクチャ探索（NAS）^{[ 1 ]}^{[ 2 ]}は、機械学習の分野で広く使用されているモデルである人工ニューラルネットワーク（ANN）の設計を自動化する技術です。NASは、手作業で設計されたアーキテクチャと同等またはそれ以上の性能を持つネットワークを設計するために使用されてきました。^[³^]^[⁴^] NASの手法は、使用される探索空間、探索戦略、および性能推定戦略に応じて分類できます。^[¹^]

探索空間は、設計および最適化可能な人工ニューラルネットワークの種類を定義します。
探索戦略とは、探索空間を探索するために用いられる手法を定義するものである。
性能推定戦略は、設計段階から（構築や学習を行わずに）可能性のある人工ニューラルネットワークの性能を評価する。

NASはハイパーパラメータ最適化^{[ 5 ]}やメタ学習^{[ 6 ]}と密接に関連しており、自動機械学習（AutoML）のサブフィールドである^{[ 7 ] 。}

強化学習

強化学習(RL) は NAS 探索戦略の基盤となり得る。Barret Zoph とQuoc Viet Le ^{[ 3 ]}はCIFAR-10データセットを対象に RL を用いた NAS を適用し、精度において手動で設計された最良のアーキテクチャに匹敵するネットワークアーキテクチャを実現した。エラー率は 3.65 で、関連する手動設計モデルより 0.09 パーセント優れ、1.05 倍高速である。Penn Treebankデータセットでは、このモデルは LSTMを上回るリカレントセルを構成し、テストセットのパープレキシティは 62.4 に達し、以前の最先端システムより 3.6 パープレキシティ優れている。PTB 文字言語モデリングタスクでは、1 文字あたりのビット数は 1.214 に達した。^{[ 3 ]}

大規模データセットでモデルアーキテクチャを直接学習することは、時間がかかるプロセスになる可能性があります。NASNet ^{[ 4 ]}^{[ 8 ]}は、小規模データセット用に設計されたビルディングブロックを大規模データセットに転送することで、この問題に対処しました。この設計では、入力特徴マップを畳み込む際に 2 つの主要な機能を果たす特徴マップを返す2 種類の畳み込みセルを使用するように制約されていました。1つは、同じ範囲 (高さと幅) のマップを返す通常のセル、もう 1 つは返される特徴マップの高さと幅が 2 分の 1 に縮小される縮小セルです。縮小セルの場合、セルの入力に適用される最初の操作では、ストライド 2 (高さと幅を縮小するため) を使用します。^{[ 4 ]}設計の学習された側面には、各上位層が入力として受け取る下位層、その層で適用される変換、各層で複数の出力をマージするなどの要素が含まれていました。研究された例では、最適な畳み込み層 (または「セル」) が CIFAR-10 データセット用に設計され、その後、このセルのコピーをそれぞれ独自のパラメータで積み重ねることでImageNetデータセットに適用されました。このアプローチでは、トップ1で82.7%、トップ5で96.2%の精度が得られました。これは、90億FLOPS少ないコスト（28%の削減）で、人間が考案した最高のアーキテクチャを上回りました。このシステムは、さまざまな計算レベルで手動で設計された代替案を上回り続けました。画像分類から学習した画像特徴は、他のコンピュータビジョン問題に転用できます。たとえば、物体検出の場合、Faster-RCNNフレームワークに統合された学習済みセルは、COCOデータセットで4.0%のパフォーマンスを向上させました。^{[ 4 ]}

いわゆる効率的なニューラルアーキテクチャ探索（ENAS）では、コントローラは大規模グラフ内で最適なサブグラフを探索することを学習することでアーキテクチャを発見します。コントローラは、検証セットの期待報酬を最大化するサブグラフを選択するようにポリシー勾配でトレーニングされます。サブグラフに対応するモデルは、標準的な交差エントロピー損失を最小化するようにトレーニングされます。複数の子モデルがパラメータを共有し、ENASは他のアプローチよりも少ないGPU時間で済み、「標準」NASよりも1000倍少なくて済みます。CIFAR-10では、ENAS設計はNASNetに匹敵する2.89%のテストエラーを達成しました。Penn Treebankでは、ENAS設計は55.8のテストパープレキシティを達成しました。^{[ 9 ]}

進化

NAS の代替アプローチは進化アルゴリズムに基づいており、いくつかのグループによって採用されています。^{[ 10 ]}^{[ 11 ]}^{[ 12 ]}^{[ 13 ]}^{[ 14 ]}^{[ 15 ]}^{[ 16 ]}ニューラルアーキテクチャ検索のための進化アルゴリズムは、一般的に次の手順を実行します。^{[ 17 ]}まず、さまざまな候補アーキテクチャとその検証スコア (適合度) からなるプールが初期化されます。各ステップで、候補プール内のアーキテクチャが突然変異します (例: 5x5 畳み込みの代わりに 3x3 畳み込み)。次に、新しいアーキテクチャが数エポックにわたってゼロからトレーニングされ、その検証スコアが取得されます。その後、候補プール内のスコアが最も低いアーキテクチャが、より優れた新しいアーキテクチャに置き換えられます。この手順が複数回繰り返され、候補プールは時間の経過とともに洗練されます。進化型ANNの文脈における突然変異とは、層の追加や削除などの操作であり、これには層の種類の変更（畳み込みからプーリングへの変更など）、層のハイパーパラメータの変更、またはトレーニングハイパーパラメータの変更が含まれます。CIFAR -10とImageNetでは、進化とRLは同等の性能を示し、どちらもランダムサーチをわずかに上回りました。^{[ 13 ]}^{[ 12 ]}

ベイズ最適化

ハイパーパラメータ最適化の効率的な手法であることが証明されているベイズ最適化（BO）は、NASにも適用できます。このコンテキストでは、目的関数は、一定数のエポックで学習された後、アーキテクチャをその検証誤差にマッピングします。各イテレーションで、BOは代理モデルを使用して、以前に取得したアーキテクチャとその検証誤差に基づいてこの目的関数をモデル化します。次に、探索と活用のバランスを提供する期待改善などの獲得関数を最大化することによって、評価する次のアーキテクチャを選択します。獲得関数の最大化と目的関数の評価は、NASでは計算コストが高くなることが多く、このコンテキストでのBOの適用を困難にしています。最近、BANANAS ^{[ 18 ]}は、ニューラル予測器と結合した高性能なBOのインスタンスを導入することにより、この方向で有望な結果を達成しました。

丘登り

別のグループは、ネットワークモルフィズムを適用するヒルクライミング手順と、それに続く短いコサインアニーリング最適化実行を使用しました。このアプローチは、単一のネットワークをトレーニングするのと同程度のリソースを必要とするものの、競争力のある結果をもたらしました。たとえば、CIFAR-10では、この手法は単一のGPUで12時間以内にエラー率が5%未満のネットワークを設計およびトレーニングしました。^{[ 19 ]}

多目的探索

ほとんどのアプローチは予測性能が最大となるアーキテクチャを見つけることにのみ焦点を当てていますが、ほとんどの実用的なアプリケーションでは、メモリ消費量、モデルサイズ、推論時間（つまり、予測を得るのに必要な時間）などの他の目的も関係します。そのため、研究者たちは多目的探索を作成しました。^{[ 16 ]}^{[ 20 ]}

LEMONADE ^{[ 16 ]}は、ラマルク主義を採用して複数の目的を効率的に最適化する進化アルゴリズムです。各世代で、現在の ANN の集団に関してパレートフロンティアを改善するために子ネットワークが生成されます。

Neural Architect ^{[ 20 ]}は、ネットワーク埋め込みとパフォーマンス予測を備えた、リソース認識型の多目的RLベースのNASであるとされています。ネットワーク埋め込みは、既存のネットワークを学習可能な埋め込みベクトルにエンコードします。埋め込みに基づいて、コントローラネットワークはターゲットネットワークの変換を生成します。多目的報酬関数は、ネットワーク精度、計算リソース、およびトレーニング時間を考慮します。報酬は、コントローラネットワークと事前学習または共同学習された複数のパフォーマンスシミュレーションネットワークによって予測されます。コントローラネットワークは、ポリシー勾配によってトレーニングされます。変更後、結果として得られた候補ネットワークは、精度ネットワークとトレーニング時間ネットワークの両方によって評価されます。結果は、その出力をコントローラネットワークに返す報酬エンジンによって統合されます。

ワンショットモデル

RL または進化ベースの NAS では、NASNet、mNASNet、MobileNetV3 の論文で説明されているように、最先端のコンピュータビジョン結果を達成するには、数千 GPU 日の探索/トレーニングが必要です。^{[ 4 ]}^{[ 21 ]}^{[ 22 ]}

計算コストを削減するために、最近の多くのNAS手法は重み共有のアイデアに依存しています。^{[ 23 ]}^{[ 24 ]}このアプローチでは、単一の過剰パラメータ化されたスーパーネットワーク（ワンショットモデルとも呼ばれる）が定義されます。スーパーネットワークは、サブグラフが異なる候補ニューラルネットワークである非常に大きな有向非巡回グラフ（DAG）です。したがって、スーパーネットワークでは、重みは共通のエッジを持つ多数の異なるサブアーキテクチャ間で共有され、それぞれがスーパーネットワーク内のパスと見なされます。基本的なアイデアは、何千ものネットワークを個別に生成してトレーニングするのではなく、最終設計の多くのオプションを網羅する1つのスーパーネットワークをトレーニングすることです。学習されたパラメータに加えて、あるモジュールを別のモジュールよりも優先することを示す一連のアーキテクチャパラメータが学習されます。このような方法により、必要な計算リソースはわずか数GPU日に削減されます。

最近の研究では、この重み共有パラダイムを探索空間の連続的な緩和と組み合わせることで、勾配ベースの最適化手法の使用を可能にしています。 ^{[ 25 ]}^{[ 26 ]}^{[ 27 ]}^{[ 28 ]}これらのアプローチは一般に微分可能なNASと呼ばれ、ニューラルアーキテクチャの探索空間を探索するのに非常に効率的であることが証明されています。NASの勾配ベースの手法の中で最も人気のあるアルゴリズムの1つはDARTSです。^{[ 27 ]}しかし、DARTSは、スキップ接続の必然的な集約によるパフォーマンスの低下や汎化性能の低さなどの問題に直面しており、これらは多くの将来のアルゴリズムによって対処されました。^{[ 29 ]}^{[ 30 ]}^{[ 31 ]}^{[32] [}³⁰^]^[³¹^]^などの^手法は、それぞれヘッセノルムベースの正則化とランダム平滑化/敵対的攻撃を導入することで、DARTSを堅牢にし、検証精度ランドスケープをより滑らかにすることを目指しています。パフォーマンス低下の原因は、後でアーキテクチャ選択の観点から分析されます。^{[ 33 ]}

微分可能なNASは、RLベースの検索方法に必要な検索時間のほんの一部で、競争力のある結果を生み出すことが示されています。たとえば、FBNet（Facebook Berkeley Networkの略）は、スーパーネットワークベースの検索が、ImageNet画像分類データセットでmNASNetとMobileNetV2の速度と精度のトレードオフ曲線を上回るネットワークを生成することを実証しました。FBNetは、mNASNetで使用された検索時間の400分の1以下でこれを実現しています。 ^{[ 34 ]}^{[ 35 ]}^{[ 36 ]}さらに、SqueezeNASは、スーパーネットワークベースのNASが、CityscapesセマンティックセグメンテーションデータセットでMobileNetV3の速度と精度のトレードオフ曲線を上回るニューラルネットワークを生成することを実証し、SqueezeNASはMobileNetV3の著者のRLベースの検索で使用された検索時間の100分の1以下で済みます。^{[ 37 ]}^{[ 38 ]}