モデルオペレーション

ガートナーの定義によれば、 ModelOps（モデル運用またはモデル運用化）は、「マルチエージェントシステムにおける、機械学習、知識グラフ、ルール、最適化、言語モデル、エージェントベースモデルなど、運用化された幅広い人工知能（AI）および意思決定モデルのガバナンスとライフサイクル管理に主に焦点を当てている」^{[ 1 ]}。「ModelOpsは、あらゆる企業のAI戦略の中核を成す」^{[ 2 ]} 。モデルを本番環境に導入し、技術的およびビジネス上の主要業績評価指標（KPI）を含む一連のガバナンスルールに従って、結果として得られるアプリケーションを評価および更新するまで、企業全体で本番環境にあるすべてのモデルのモデルライフサイクルをオーケストレーションする。これにより、ビジネスドメインの専門家は、データサイエンティストとは独立して、本番環境にあるAIモデルを評価できるようになる^{[ 3 ]}。

Forbesの記事ではModelOpsが推奨されており、「企業がAIイニシアチブを拡大して真のエンタープライズAI組織になるにつれて、完全な運用分析機能を持つことでModelOpsが中心となり、DataOpsとDevOpsの両方が接続される」と述べられている。^{[ 4 ]}

2018年のガートナーの調査では、回答者の37%が何らかの形でAIを導入したと回答しましたが、ガートナーは、導入の課題を挙げ、企業はAIの実装にはまだ程遠いと指摘しました。^{[ 5 ]}企業は、未導入、未使用、未更新のモデルを蓄積し、多くの場合ビジネスユニットレベルで手動で導入しているため、企業全体のリスクエクスポージャーが増加しています。^{[ 6 ]}独立系アナリスト企業のフォレスターも、機械学習と予測分析ベンダーに関する2018年のレポートでこのトピックを取り上げています。「データサイエンティストは、モデルが時々しか導入されないか、まったく導入されないとよく不満を漏らします。問題の大きな部分は、モデルをアプリケーションに適用して設計する方法を理解する上での組織の混乱です。しかし、問題のもう1つの大きな部分はテクノロジーです。モデルはソフトウェアコードとは異なり、モデル管理が必要です。」^{[ 7 ]}

2018年12月、IBMリサーチAIのWaldemar HummerとVinod Muthusamyは、IBMプログラミング言語デーで「再利用可能でプラットフォームに依存せず、構成可能なAIワークフローのためのプログラミングモデル」としてModelOpsを提案した。 ^{[ 8 ]}彼らのプレゼンテーションでは、 DevOpsに代表されるアプリケーション開発ライフサイクルとAIアプリケーションライフサイクルの違いについて言及した。^{[ 9 ]}

ModelOps の開発目標は、モデル展開とモデルガバナンスの間のギャップに対処し、すべてのモデルが強力なガバナンスの下で本番環境で実行され、技術的およびビジネス KPI と整合し、リスクを管理することでした。プレゼンテーションで、Hummer と Muthusamy は、AI 対応の段階的展開と再利用可能なコンポーネントのためのプログラムによるソリューションについて説明しました。これにより、モデルのバージョンをビジネス アプリケーションに合わせることができ、モデル監視、ドリフト検出、アクティブ ラーニングなどの AI モデルの概念が含まれます。このソリューションは、モデルのパフォーマンスとビジネス KPI、アプリケーションとモデルのログ、モデル プロキシと進化するポリシーの間の緊張にも対処します。さまざまなクラウド プラットフォームが提案に含まれていました。2019 年 6 月に、Hummer、Muthusamy、Thomas Rausch、Parijat Dube、Kaoutar El Maghraoui は、2019 IEEE International Conference on Cloud Engineering (IC2E) で論文を発表しました。^{[ 10 ]}この論文は、2018 年のプレゼンテーションを拡張し、人工知能 (AI) アプリケーションのエンドツーエンドの開発とライフサイクル管理のためのクラウドベースのフレームワークおよびプラットフォームとして ModelOps を提案しました。要約では、このフレームワークが、ソフトウェアライフサイクル管理の原則を拡張して、AI モデルパイプラインの自動化、信頼性、信頼性、トレーサビリティ、品質管理、再現性を実現する方法を示すと述べています。^{[ 11 ]} 2020 年 3 月に、ModelOp, Inc. は ModelOps 方法論に関する最初の包括的なガイドを公開しました。この出版物の目的は、ModelOps の機能の概要と、ModelOps プラクティスを実装するための技術的および組織的要件を提供することでした。^{[ 12 ]}

ModelOpsの典型的なユースケースの一つは金融サービス分野です。この分野では、バイアスと監査可能性に関する厳格なルールを遵守するために、数百もの時系列モデルが使用されています。このようなケースでは、モデルの公平性と堅牢性が極めて重要であり、モデルは公平かつ正確でなければならず、かつ確実に動作する必要があります。ModelOpsは、本番環境におけるモデルのライフサイクルを自動化します。この自動化には、技術的、ビジネス的、コンプライアンス上のKPIと閾値を含むモデルライフサイクルの設計、モデルの実行中の管理と監視、バイアスやその他の技術的・ビジネス上の異常の監視、そしてアプリケーションを中断することなく必要に応じてモデルを更新することが含まれます。ModelOpsは、すべての列車を時間通りに正しい軌道に乗せ、リスク管理、コンプライアンス、そしてビジネスパフォーマンスを確保する運行管理者の役割を果たします。

もう一つのユースケースは、患者のリアルタイムデータに基づいて糖尿病患者の血糖値をモニタリングすることです。低血糖を予測できるモデルは、常に最新のデータで更新する必要があり、ビジネスKPIや異常は継続的に監視され、分散環境で利用可能である必要があります。これにより、情報はモバイルデバイスで利用できるだけでなく、より大規模なシステムにも報告されます。オーケストレーション、ガバナンス、再トレーニング、モニタリング、および更新は、ModelOpsによって行われます。

ModelOpsプロセスは、企業全体で本番環境におけるモデルのガバナンス、管理、監視を自動化することに重点を置いており、AIおよびアプリケーション開発者が、AIモデルをビジネスアプリケーションとして本番環境に導入するためのライフサイクル機能（バイアス検出、堅牢性および信頼性、ドリフト検出、技術的、ビジネスおよびコンプライアンスKPI、規制上の制約、承認フローなど）を容易に組み込めるようにします。このプロセスは、本番環境向けの候補モデルの標準的な表現から始まります。この表現には、データ、ハードウェアおよびソフトウェア環境、分類器、コードプラグイン、そして最も重要なビジネスおよびコンプライアンス/リスクKPIなど、モデル構築に必要なすべてのコンポーネントと依存関係を含むメタモデル（モデル仕様）が含まれます。

MLOps（機械学習オペレーション）は、データサイエンティストとITプロフェッショナルが機械学習アルゴリズムを自動化しながら協力し、コミュニケーションを取ることを可能にする分野です。これは、DevOpsの原則を拡張し、機械学習モデルとアプリケーションの開発と展開の自動化をサポートします。^{[ 13 ]}実践としては、MLOpsはルーチン的な機械学習（ML）モデルを伴います。しかし、モデルの種類と用途は変化し、アプリケーションに追加される意思決定最適化モデル、最適化モデル、および変換モデルが含まれるようになりました。ModelOpsはMLOpsの進化形であり、その原則を拡張して、ルーチン的な機械学習モデルの展開だけでなく、より複雑な機械学習モデルの継続的な再トレーニング、自動更新、同期的な開発と展開も含むようにしています。^{[ 14 ]} ModelOpsは、MLOpsが関係する機械学習モデルを含む、すべてのAIモデルの運用化を指します。^{[ 15 ]}