ニューラルネットワークソフトウェア

ニューラル ネットワーク ソフトウェアは、人工ニューラル ネットワーク、生物学的ニューラル ネットワークから適応されたソフトウェア概念、場合によっては人工知能や機械学習などのより広範な適応型システムのシミュレーション、研究、開発、適用に使用されます。

ニューラル ネットワーク シミュレーターは、人工または生物学的ニューラル ネットワークの動作をシミュレートするために使用されるソフトウェア アプリケーションです。これらは、1 種類または限られた数の特定の種類のニューラル ネットワークに焦点を当てています。これらは通常スタンドアロンであり、他のソフトウェアに統合できる一般的なニューラル ネットワークを生成することを目的としたものではありません。シミュレーターには通常、トレーニング プロセスを監視できる何らかの形式の視覚化機能が組み込まれています。一部のシミュレーターでは、ニューラル ネットワークの物理構造も視覚化されます。

歴史的に、最も一般的なタイプのニューラル ネットワーク ソフトウェアは、ニューラル ネットワークの構造とアルゴリズムの研究を目的としていました。このタイプのソフトウェアの主な目的は、シミュレーションを通じて、ニューラル ネットワークの動作と特性をより深く理解することです。今日、人工ニューラル ネットワークの研究では、シミュレーターは研究プラットフォームとして、より一般的なコンポーネント ベースの開発環境に大きく置き換えられています。

一般的に使用される人工ニューラル ネットワーク シミュレーターには、Stuttgart Neural Network Simulator (SNNS) やEmergent などがあります。

しかし、生物学的ニューラル ネットワークの研究では、シミュレーション ソフトウェアが依然として唯一の利用可能なアプローチです。このようなシミュレーターでは、神経組織の物理的、生物学的、化学的特性、およびニューロン間の電磁インパルスが研究されます。

一般的に使用される生物学的ネットワークシミュレーターには、Neuron、GENESIS、NEST、Brianなどがあります。

研究用シミュレータとは異なり、データ分析シミュレータは人工ニューラル ネットワークの実用的応用を目的としています。主な焦点は、データ マイニングと予測です。データ分析シミュレータには通常、何らかの前処理機能があります。より一般的な開発環境とは異なり、データ分析シミュレータは、構成可能な比較的単純な静的ニューラル ネットワークを使用します。市販されているデータ分析シミュレータの大部分は、バックプロパゲーション ネットワークまたは自己組織化マップをコアとして使用しています。このタイプのソフトウェアの利点は、比較的使いやすいことです。Neural Designer は、データ分析シミュレータの一例です。

1986年から1987年にかけてParallel Distributed Processingの巻^{[1] [2] [3]}が発表された際、比較的シンプルなソフトウェアが提供されました。オリジナルのPDPソフトウェアはプログラミングスキルを必要としなかったため、さまざまな分野のさまざまな研究者に採用されました。オリジナルのPDPソフトウェアはPDP++と呼ばれるより強力なパッケージに開発され、さらに Emergentと呼ばれるより強力なプラットフォームになりました。開発が進むにつれてソフトウェアはより強力になりましたが、初心者が使用するにはより困難になってきました。

1997年、tLearnソフトウェアが書籍に付随してリリースされました。^[4] これは、初心者を念頭に置いて設計された、小型でユーザーフレンドリーなシミュレータを提供するというアイデアへの回帰でした。tLearnは、基本的なフィードフォワードネットワークと単純なリカレントネットワークを許可し、どちらも単純なバックプロパゲーションアルゴリズムでトレーニングできます。tLearnは1999年以来更新されていません。

2011 年に、Basic Prop シミュレーターがリリースされました。Basic Prop は、プラットフォームに依存しない JAR ファイルとして配布される自己完結型アプリケーションで、tLearn と同じシンプルな機能の多くを提供します。

ニューラル ネットワークの開発環境は、主に 2 つの点で上記のソフトウェアと異なります。カスタム タイプのニューラル ネットワークを開発するために使用でき、環境外でのニューラル ネットワークの展開をサポートしている点です。場合によっては、高度な前処理、分析、視覚化機能を備えています。

現在、産業および科学の両方で好まれている、より現代的なタイプの開発環境は、コンポーネント ベースのパラダイムに基づいています。ニューラル ネットワークは、パイプ フィルター フローで適応フィルター コンポーネントを接続することによって構築されます。これにより、カスタム ネットワークを構築できるだけでなく、ネットワークで使用されるカスタム コンポーネントも構築できるため、柔軟性が向上します。多くの場合、これにより、適応型コンポーネントと非適応型コンポーネントの組み合わせが連携して動作できます。データ フローは、適応アルゴリズムと同様に交換可能な制御システムによって制御されます。その他の重要な機能は、展開機能です。

.NETやJavaなどのコンポーネントベースのフレームワークの登場により、コンポーネントベースの開発環境では、開発されたニューラル ネットワークを継承可能なコンポーネントとしてこれらのフレームワークに展開できるようになりました。さらに、一部のソフトウェアでは、これらのコンポーネントを組み込みシステムなどの複数のプラットフォームに展開することもできます。

コンポーネント ベースの開発環境には、Peltarion Synapse、NeuroDimension NeuroSolutions、Scientific Software Neuro Laboratory、LIONsolver統合ソフトウェアなどがあります。無料のオープン ソースコンポーネント ベースの環境には、EncogとNeuroph などがあります。

コンポーネントベースの開発環境の欠点は、シミュレーターよりも複雑であることです。完全に操作するにはより多くの学習が必要であり、開発もより複雑です。

ただし、利用可能なニューラル ネットワークの実装の大部分は、さまざまなプログラミング言語とさまざまなプラットフォームでのカスタム実装です。基本的なタイプのニューラル ネットワークは、直接実装するのが簡単です。また、ニューラル ネットワーク機能を含み、カスタム実装で使用できるプログラミングライブラリも多数あります ( TensorFlow、Theanoなど、通常はPython、C++、Javaなどの言語へのバインディングを提供します)。

ニューラル ネットワーク モデルをさまざまなアプリケーションで共有するには、共通の言語が必要です。このニーズに対応するために、予測モデル マークアップ言語(PMML) が提案されました。PMML は XML ベースの言語で、アプリケーションが PMML 準拠のアプリケーション間でニューラル ネットワーク モデル (およびその他のデータ マイニング モデル) を定義して共有する方法を提供します。

PMML は、ベンダーに依存しないモデル定義方法をアプリケーションに提供するため、独自の問題や非互換性がアプリケーション間のモデル交換の障害にならなくなります。これにより、ユーザーは 1 つのベンダーのアプリケーション内でモデルを開発し、他のベンダーのアプリケーションを使用してそのモデルを視覚化、分析、評価したり、その他の方法で使用したりすることができます。以前は、これは非常に困難でしたが、PMML を使用すると、準拠アプリケーション間でのモデルの交換が簡単になります。

PMML を生成および使用するためのさまざまな製品が提供されています。この増え続けるリストには、次のニューラル ネットワーク製品が含まれています。

• R: pmml パッケージを介して、ニューラル ネットやその他の機械学習モデル用の PMML を生成します。
• SAS Enterprise Miner:ニューラル ネットワーク、線形回帰、ロジスティック回帰、決定木、その他のデータ マイニング モデルなど、いくつかのマイニング モデル用の PMML を生成します。
• SPSS: ニューラル ネットワークやその他の多くのマイニング モデル用の PMML を生成します。
• STATISTICA: ニューラル ネットワーク、データ マイニング モデル、従来の統計モデル用の PMML を生成します。

• AIアクセラレータ
• 物理的ニューラルネットワーク
• ディープラーニングソフトウェアの比較
• データマイニング
• 統合開発環境
• ロジスティック回帰
• メモリスタ

• コロラド大学におけるニューラルネットワークシミュレータの比較