予測モデルマークアップ言語

予測モデルマークアップ言語（PMML）は、当時イリノイ大学シカゴ校国立データマイニングセンター所長であったロバート・リー・グロスマンによって考案された、 XMLベースの予測モデル交換フォーマットです。PMML は、データマイニングおよび機械学習アルゴリズムによって生成された予測モデルを分析アプリケーションが記述および交換する方法を提供します。ロジスティック回帰やその他のフィードフォワードニューラルネットワークなどの一般的なモデルをサポートしています。バージョン 0.9 は 1998 年に公開されました。^{[ 1 ]} その後のバージョンは、データマイニンググループによって開発されました。^{[ 2 ]}

PMMLはXMLベースの標準であるため、仕様はXMLスキーマの形式で提供されます。PMML自体は成熟した標準であり、30以上の組織がPMMLをサポートする製品を発表しています。^{[ 3 ]}

PMMLファイルは、以下のコンポーネントで記述できます。^{[ 4 ] [ 5 ]}

• ヘッダー：モデルの著作権情報、モデルの説明、モデルの生成に使用されたアプリケーションの名前やバージョンなどの情報といった、PMMLドキュメントに関する一般的な情報が含まれています。また、モデルの作成日を指定するために使用できるタイムスタンプ属性も含まれています。
• データディクショナリ：モデルで使用されるすべてのフィールドの定義が含まれています。ここで、フィールドが連続型、カテゴリ型、または順序型（属性オプタイプ）として定義されます。この定義に基づいて、適切な値の範囲とデータ型（文字列型や倍精度浮動小数点型など）が定義されます。
• データ変換：変換によって、ユーザーデータをマイニングモデルで使用するのに適した形式にマッピングできます。PMMLは、いくつかの種類の単純なデータ変換を定義しています。
  • 正規化：値を数値にマッピングします。入力は連続値でも離散値でも構いません。
  • 離散化：連続値を離散値にマッピングする。
  • 値マッピング：離散値を離散値にマッピングします。
  • 関数（カスタム関数および組み込み関数）：1つまたは複数のパラメータに関数を適用して値を導き出します。
  • 集計：値のグループを要約または収集するために使用されます。
• モデル：データマイニングモデルの定義が含まれます。例えば、多層フィードフォワードニューラルネットワークは、PMMLでは「NeuralNetwork」要素で表現され、以下のような属性が含まれます。
  • モデル名（属性 modelName）
  • 関数名（属性 functionName）
  • アルゴリズム名（属性 algorithmName）
  • 活性化関数（属性 activationFunction）
  • レイヤー数（属性 numberOfLayers）

この情報に続いて、PMML 文書で表現されるニューラルネットワークモデルのアーキテクチャを指定する 3 種類のニューラルレイヤーが記述されます。これらの属性は、NeuralInputs、NeuralLayer、および NeuralOutputs です。ニューラルネットワーク以外にも、PMML では、サポートベクターマシン、アソシエーションルール、ナイーブベイズ分類器、クラスタリングモデル、テキストモデル、決定木、およびさまざまな回帰モデルなど、他の多くの種類のモデルを表現できます。

• マイニングスキーマ：モデルで使用されるすべてのフィールドのリスト。これは、データ辞書で定義されているフィールドのサブセットである場合があります。各フィールドに関する具体的な情報が含まれています。例えば、次のとおりです。
  • 名前（属性名）：データ辞書内のフィールドを参照する必要があります
  • 使用タイプ（属性 usageType）：モデル内でフィールドがどのように使用されるかを定義します。一般的な値は、active、predicted、supplementary です。予測フィールドとは、モデルによって値が予測されるフィールドのことです。
  • 外れ値処理（属性外れ値）：使用する外れ値処理を定義します。PMMLでは、外れ値は欠損値、極値（特定のフィールドの高値と低値の定義に基づく）、またはそのまま処理できます。
  • 欠損値置換ポリシー（属性 missingValueReplacement）：この属性が指定されている場合、欠損値は指定された値で自動的に置換されます。
  • 欠損値の処理方法（属性 missingValueTreatment）：欠損値の代替方法（値、平均値、中央値など）を示します。
• ターゲット：モデルの出力が連続値の場合、予測値をスケーリング形式で後処理できます。ターゲットは分類タスクにも使用できます。この場合、属性 priorProbability は対応するターゲットカテゴリのデフォルトの確率を指定します。これは、予測ロジック自体が結果を生成しなかった場合、たとえば入力値が欠落していて、欠落値を処理する他の方法がない場合に発生します。
• 出力: この要素は、モデルから期待されるすべての出力フィールドに名前を付けるために使用できます。これらは予測フィールドの特徴であり、通常は予測値自体、確率、クラスタ親和性 (クラスタリング モデルの場合)、標準誤差などです。PMML の最新リリースである PMML 4.1 では、モデル出力の汎用的な後処理を可能にするために出力が拡張されました。PMML 4.1 では、元々は前処理でのみ利用可能だったすべての組み込み関数とカスタム関数が、後処理でも利用できるようになりました。

PMML 4.0は2009年6月16日にリリースされました。^{[ 6 ] [ 7 ] [ 8 ]}

新機能の例としては、以下のようなものがあります。

• プリプロセス機能の向上：組み込み関数に、さまざまなブール演算とIf-Then-Else関数が追加されました。
• 時系列モデル：新しい指数平滑化モデル。また、 ARIMA、季節トレンド分解、スペクトル密度推定のプレースホルダーも用意されており、これらは近い将来サポートされる予定です。
• モデルの説明：評価およびモデル性能指標をPMMLファイル自体に保存します。
• 複数モデル：モデルの構成、アンサンブル、セグメンテーション（例：回帰と決定木の組み合わせ）のための機能。
• 既存要素の拡張:サポートベクターマシンのマルチクラス分類の追加、アソシエーションルールの表現の改善、およびコックス回帰モデルの追加。

PMML 4.1は2011年12月31日にリリースされました。^{[ 9 ] [ 10 ]}

新機能：

• スコアカード、k近傍法（KNN）、およびベースラインモデルを表現するための新しいモデル要素。
• 複数のモデルの簡略化。PMML 4.1では、モデルの分割、アンサンブル、および連鎖を表すために同じ要素が使用されます。
• フィールド範囲とフィールド名の全体的な定義。
• 各モデル要素について、モデルが本番環境への展開準備ができているかどうかを識別する新しい属性。
• 出力要素を介した、強化された後処理機能。

PMML 4.2は2014年2月28日にリリースされました。^{[ 11 ] [ 12 ]}

新機能は以下のとおりです。

• 変革：テキストマイニングを実装するための新しい要素
• 正規表現を実装するための新しい組み込み関数：matches、concat、replace
• 後処理用の簡略化された出力
• スコアカードおよびナイーブベイズモデル要素の強化

PMML 4.3は2016年8月23日にリリースされました。^{[ 13 ] [ 14 ]}

新機能は以下のとおりです。

• 新モデルタイプ：
  • ガウス過程
  • ベイジアンネットワーク
• 新しい組み込み機能
• 使用上の注意点
• ドキュメントの改善

バージョン4.4は2019年11月にリリースされました。^{[ 15 ] [ 16 ]}

データマイニンググループは、2008年に設立された非営利団体であるCenter for Computational Science Research, Inc.が運営するコンソーシアムです。^{[ 17 ]}データマイニンググループは、 PMMLを補完するPortable Format for Analytics（PFA）と呼ばれる標準も開発しました。

• オープンニューラルネットワークエクスチェンジ

• PMMLとADAPAにおけるデータ前処理入門
• Alex Guazzelli氏によるACMデータマイニンググループ向けPMMLプレゼンテーションの動画（LinkedIn提供）
• PMML 3.2 仕様
• PMML 4.0仕様
• PMML 4.1仕様
• PMML 4.2.1 仕様
• PMML 4.4仕様
• PMMLにおける予測ソリューションの表現：生データから予測への移行- IBM developerWorksウェブサイトに掲載された記事。
• 医療における予測分析：オープンスタンダードの重要性- IBM developerWorksウェブサイトに掲載された記事。