Loading article…
| 原作者 | フォレスト・イアンドラ、ソン・ハン、マシュー・W・モスケヴィッツ、ハリド・アシュラフ、ビル・ダリー、カート・コイツァー |
|---|---|
| 初回リリース | 2016年2月22日 |
| 安定版リリース | v1.1 (2016年6月6日)
|
| リポジトリ | github.com/DeepScale/SqueezeNet |
| タイプ | ディープニューラルネットワーク |
| ライセンス | BSDライセンス |
SqueezeNetは、2016年にリリースされた画像分類用のディープニューラルネットワークです。SqueezeNetは、DeepScale 、カリフォルニア大学バークレー校、スタンフォード大学の研究者によって開発されました。SqueezeNetの設計における著者らの目標は、競争力のある精度を達成しながら、より少ないパラメータでより小さなニューラルネットワークを作成することでした。彼らの最高性能のモデルは、 ImageNet分類でAlexNetと同じ精度を達成しましたが、サイズはAlexNetの510分の1です。[1]
バージョン履歴
SqueezeNetは、2016年2月22日に最初にリリースされました。[2]このSqueezeNetのオリジナルバージョンは、 Caffeディープラーニングソフトウェアフレームワーク上に実装されました。その後まもなく、オープンソース研究コミュニティはSqueezeNetを他の多くのディープラーニングフレームワークに移植しました。2016年2月26日、Eddie Bellは、Chainerディープラーニングフレームワーク用のSqueezeNetの移植版をリリースしました。[3] 2016年3月2日、Guo Hariaは、 Apache MXNetフレームワーク用のSqueezeNetの移植版をリリースしました。[4] 2016年6月3日、Tammy Yangは、Kerasフレームワーク用のSqueezeNetの移植版をリリースしました。[5] 2017年には、 Baidu、Xilinx、Imagination Technologies、Synopsysなどの企業が、スマートフォン、FPGA、カスタムプロセッサなどの低電力処理プラットフォーム上で動作するSqueezeNetを実証しました。 [6] [7] [8] [9]
2018年現在、SqueezeNetはPyTorch、Apache MXNet、Apple CoreMLなどの多くのディープラーニングフレームワークのソースコードの一部として「ネイティブ」に出荷されています。[10] [11] [12]さらに、サードパーティの開発者は、 TensorFlowなどのフレームワークと互換性のあるSqueezeNetの実装を作成しました。[13]以下は、SqueezeNetをサポートするフレームワークの概要です。
他のネットワークとの関係
アレックスネット
SqueezeNet は、もともとSqueezeNet: AlexNet レベルの精度を 50 倍少ないパラメータと 0.5MB 未満のモデル サイズで実現 で説明されました。[1] AlexNetは 240 MB のパラメータを持つディープ ニューラル ネットワークで、SqueezeNet のパラメータはわずか 5 MB です。この小さなモデル サイズは、コンピュータ メモリに簡単に収まり、コンピュータ ネットワーク経由で簡単に転送できます。ただし、SqueezeNet は「AlexNet の圧縮バージョン」ではないことに注意することが重要です。むしろ、SqueezeNet は AlexNet とはまったく異なる DNN アーキテクチャです。[18] SqueezeNet と AlexNet の共通点は、どちらもImageNet画像分類検証データセットで評価したときにほぼ同じレベルの精度を達成することです。
モデル圧縮
モデル圧縮（例：モデルパラメータの量子化や剪定）は、トレーニング後のディープニューラルネットワークに適用できます。[19] SqueezeNetの論文では、著者らは、Deep Compressionと呼ばれるモデル圧縮技術をSqueezeNetに適用して、パラメータファイルのサイズを5 MBから500 KBにさらに削減できることを実証しました。[1] Deep Compressionは、AlexNetやVGGなどの他のDNNにも適用されています。[20]
バリエーション
オリジナルの SqueezeNet チームのメンバーの一部は、さまざまなアプリケーション向けにリソース効率の高いディープ ニューラル ネットワークの開発を続けています。これらの作業のいくつかを次の表に示します。オリジナルの SqueezeNet モデルと同様に、オープンソースの研究コミュニティは、これらの新しい「スクイーズ」ファミリー モデルを移植および適応させ、複数のディープ ラーニング フレームワークとの互換性を実現しました。
さらに、オープンソースの研究コミュニティは、SqueezeNetを画像の意味的セグメンテーションやスタイル転送などの他のアプリケーションに拡張しました。[38] [39] [40]
参照
参考文献
- ^ abc Iandola, Forrest N; Han, Song; Moskewicz, Matthew W; Ashraf, Khalid; Dally, William J; Keutzer, Kurt (2016). 「SqueezeNet: AlexNet レベルの精度を 50 倍少ないパラメータと 0.5MB 未満のモデル サイズで実現」。arXiv : 1602.07360 [ cs.CV ]。
- ^ 「SqueezeNet」。GitHub 。 2016年2月22日。 2018年5月12日閲覧。
- ^ Bell, Eddie (2016-02-26). 「Chainer での SqueezeNet の実装」. GitHub . 2018-05-12に閲覧。
- ^ ハリア、郭 (2016-03-02)。 「MXNet 用 SqueezeNet」。GitHub 。2018年5月12日に取得。
- ^ ab ヤン、タミー (2016-06-03)。 「SqueezeNet Keras 実装」。GitHub 。2018年5月12日に取得。
- ^ Chirgwin, Richard (2017-09-26). 「Baidu がオープンソースのディープラーニングをスマートフォンに導入」The Register . 2018-04-07閲覧。
- ^ Bush, Steve (2018-01-25). 「PowerVR GPU 向けニューラル ネットワーク SDK」. Electronics Weekly . 2018 年 4 月 7 日閲覧。
- ^ Yoshida, Junko (2017-03-13). 「Xilinx AI エンジンが新たな道を進む」. EE Times . 2018-05-13閲覧。
- ^ Boughton, Paul (2017-08-28). 「ディープラーニング コンピューター ビジョン アルゴリズムをプロセッサ IP に移植」。Engineer Live。2018年 4 月 7 日閲覧。
- ^ ab "squeezenet.py". GitHub: PyTorch . 2018年5月12日閲覧。
- ^ ab "squeezenet.py". GitHub: Apache MXNet . 2018年4月7日閲覧。
- ^ ab "CoreML". Apple . 2018年4月10日閲覧。
- ^ ab Poster、Domenick。「Tensorflow による SqueezeNet の実装」。GitHub。2018年5 月 12 日閲覧。
- ^ Inkawhich, Nathan. 「SqueezeNet モデル クイックロード チュートリアル」。GitHub : Caffe2。2018年 4 月 7 日閲覧。
- ^ 「MATLAB Deep Learning Toolbox 用 SqueezeNet」。Mathworks。2018年 10 月 3 日閲覧。
- ^ Fang, Lu. 「SqueezeNet for ONNX」。Open Neural Network eXchange。
- ^ 「ImageNet 競技データでトレーニングされた SqueezeNet V1.1」。Wolfram Neural Net Repository 。 2018 年 5 月 12 日閲覧。
- ^ 「SqueezeNet」。Short Science 。 2018年5月13日閲覧。
- ^ Han, Song; Mao, Huizi; Dally, William J. (2016-02-15)、Deep Compression: プルーニング、トレーニング済み量子化、ハフマン符号化によるディープニューラルネットワークの圧縮、arXiv : 1510.00149
- ^ Han, Song (2016-11-06). 「ディープニューラルネットワークの圧縮と正規化」O'Reilly . 2018-05-08閲覧。
- ^ Wu, Bichen; Wan, Alvin; Iandola, Forrest; Jin, Peter H.; Keutzer, Kurt (2016). 「SqueezeDet: 自動運転におけるリアルタイム物体検出のための統合型小型低消費電力完全畳み込みニューラルネットワーク」arXiv : 1612.01051 [cs.CV].
- ^ Nunes Fernandes, Edgar (2017-03-02). 「SqueezeDet の紹介: 自動運転のための低消費電力完全畳み込みニューラル ネットワーク フレームワーク」The Intelligence of Information 。2019年 3 月 31 日閲覧。
- ^ Wu, Bichen (2016-12-08). 「SqueezeDet: 自動運転におけるリアルタイム物体検出のための統合型小型低消費電力完全畳み込みニューラルネットワーク」. GitHub . 2018-12-26閲覧。
- ^ Kuan, Xu (2017-12-20). 「Caffe SqueezeDet」. GitHub . 2018-12-26閲覧。
- ^ パドマナーバ、ニシャル (2017-03-20)。 「Keras の SqueezeDet」。GitHub 。2018年12月26日に取得。
- ^ Ehmann, Christopher (2018-05-29). 「Keras 上の SqueezeDet による高速オブジェクト検出」。Medium。2019年3 月 31 日閲覧。
- ^ Ehmann, Christopher (2018-05-02). 「Keras 上の SqueezeDet の詳細」. Medium . 2019-03-31閲覧。
- ^ Wu, Bichen; Wan, Alvin; Yue, Xiangyu; Keutzer, Kurt (2017). 「SqueezeSeg: 3D LiDAR ポイント クラウドからのリアルタイム道路オブジェクト セグメンテーションのためのリカレント CRF を備えた畳み込みニューラル ネット」. arXiv : 1710.07368 [cs.CV].
- ^ Wu, Bichen (2017-12-06). 「SqueezeSeg: 3D LiDAR ポイント クラウドからのリアルタイム道路オブジェクト セグメンテーションのためのリカレント CRF を備えた畳み込みニューラル ネット」。GitHub。2018年12 月 26 日閲覧。
- ^ アミール、ゴラミ;クォン・ギソク。ウー、ビチェン。タイ、ジジェン。ユエ、シャンユー。ジン、ピーター。趙、四城。クルト・コイツァー (2018)。 「SqueezeNext: ハードウェアを意識したニューラル ネットワーク設計」。arXiv : 1803.10615 [cs.CV]。
- ^ Gholami, Amir (2018-04-18). 「SqueezeNext」. GitHub . 2018年12月29日閲覧。
- ^ Verhulsdonck, Tijmen (2018-07-09). 「SqueezeNext Tensorflow: SqueezeNext の Tensorflow 実装」. GitHub . 2018-12-29に取得。
- ^ Sémery, Oleg (2018-09-24). 「SqueezeNext、Keras で実装」. GitHub . 2018-12-29に取得。
- ^ ルー、イー (2018-06-21)。 「SqueezeNext.PyTorch」。GitHub 。2018年12月29日に取得。
- ^ Shaw, Albert; Hunter, Daniel; Iandola, Forrest; Sidhu, Sammy (2019). 「SqueezeNAS: 高速なセマンティックセグメンテーションのための高速ニューラルアーキテクチャ検索」. arXiv : 1908.01748 [cs.LG].
- ^ 吉田 順子 (2019-08-25). 「AIチップには独自のDNNがありますか?」EE Times . 2019年9月12日閲覧。
- ^ Shaw, Albert (2019-08-27). 「SqueezeNAS」. GitHub . 2019-09-12閲覧。
- ^ Treml, Michael; et al. (2016). 「自動運転のためのセマンティックセグメンテーションの高速化」NIPS MLITS ワークショップ。2019-07-21に閲覧。
- ^ Zeng, Li (2017-03-22). 「PyTorch 上の SqueezeNet Neural Style」. GitHub . 2019-07-21に取得。
- ^ Wu, Bichen; Keutzer, Kurt (2017). 「SqueezeNetの影響」(PDF) .カリフォルニア大学バークレー校. 2019年7月21日閲覧。