OpenVINO

OpenVINOは、 Intelが開発した、深層学習モデルの最適化と展開のためのオープンソースソフトウェアツールキットです。大規模言語モデル、コンピュータビジョン、生成AIなど、いくつかの一般的なモデル形式^{[ 2 ]}とカテゴリをサポートしています。

OpenVINOはIntelハードウェア向けに最適化されていますが、 ARM/ARM64プロセッサもサポートしています。 ^{[ 2 ]} Intelのガウス＆ニューラルアクセラレータ（GNA）と組み合わせると、AIサウンド処理ドライバで使用されます。

C++をベースとしており、 C、Python、そしてNode.js（早期プレビュー版）のAPIサポートを拡張しています。

OpenVINOはクロスプラットフォームであり、Apache License 2.0の下で無料で使用できます。^{[ 3 ]}

OpenVINOの最もシンプルな使い方は、モデルを取得してそのまま実行することです。しかし、最良の結果を得るには、より完全なワークフローが推奨されます。^{[ 4 ]}

• サポートされているフレームワークのいずれかでモデルを取得し、
• OpenVINO Converterツールを使用してモデルをOpenVINO IRに変換します。
• OpenVINOのNNCFが提供するトレーニング時またはトレーニング後のオプションを使用してモデルを最適化します。^{[ 5 ]}
• 複数の推論モードのいずれかを指定することで、OpenVINOランタイムを使用して推論を実行します。

OpenVINO IR ^{[ 6 ]}は、推論を実行するために使用されるデフォルトのフォーマットです。これは、重みとトポロジーをそれぞれ含む * .binと * .xmlの 2 つのファイルとして保存されます。これは、アプリケーションの API または専用のコンバータを使用して、サポートされているフレームワークのいずれかからモデルを変換することによって取得されます。

サポートされている形式のモデルは、OpenVINO IR への事前変換なしに、推論に直接使用することもできます。このようなアプローチはより便利ですが、推論前に自動的に変換が行われるため、最適化オプションが少なく、パフォーマンスも低下します。事前変換済みのモデルは、Hugging Faceリポジトリにあります。^{[ 7 ]}

サポートされているモデル形式は次のとおりです。^{[ 8 ]}

• PyTorch
• テンソルフロー
• TensorFlow Lite
• ONNX（ONNXにシリアル化可能なフォーマットを含む）
• パドルパドル
• JAX/Flax

OpenVINOはWindows、Linux、MacOSで動作します。^{[ 9 ]}

• ディープラーニングソフトウェアの比較

• OpenVINO （GitHub）