最小メッセージ文字数

最小メッセージ長( MML ) は、統計モデルの比較と選択のためのベイズ情報理論的手法です。^{[ 1 ]}これは、オッカムの剃刀を形式的に情報理論的に再定式化したものです。つまり、モデルが観測データへの適合精度の尺度で等しい場合でも、データの最も簡潔な説明を生成するモデルが正しい可能性が高いということです (説明は、モデルの記述と、記述されたモデルを使用したデータのロスレス符号化で構成されます)。MML はクリス・ウォレスによって考案され、画期的な論文「分類のための情報尺度」で初めて登場しました。^{[ 2 ]} MML は、単なる理論的構成物としてではなく、実際に展開できる技術として意図されています。^{[ 3 ]}関連する概念であるコルモゴロフ複雑性とは、データをモデル化するためにチューリング完全な言語を使用する必要がない点で異なります。^{[ 4 ]}

シャノンの『通信の数学的理論』（1948年）では、最適なコードでは、イベントのメッセージ長（バイナリ）は${\displaystyle E}$、${\displaystyle \operatorname {length} (E)}$、 どこ${\displaystyle E}$確率がある${\displaystyle P(E)}$は、${\displaystyle \operatorname {length} (E)=-\log _{2}(P(E))}$。

ベイズの定理は、（変数）仮説の確率が${\displaystyle H}$固定された証拠が与えられた${\displaystyle E}$に比例する${\displaystyle P(E|H)P(H)}$これは、条件付き確率の定義により、${\displaystyle P(H\land E)}$我々は、そのような事後確率が最も高いモデル（仮説）を求めたい。モデルとデータの両方を同時に表現（記述）するメッセージをエンコードすると仮定する。${\displaystyle \operatorname {length} (H\land E)=-\log _{2}(P(H\land E))}$最も可能性の高いモデルは、そのようなメッセージが最も短いものとなる。メッセージは2つの部分に分かれる。${\displaystyle -\log _{2}(P(H\land E))=-\log _{2}(P(H))+-\log _{2}(P(E|H))}$最初の部分はモデル自体を符号化します。2番目の部分は、モデルによって処理されると観測データが出力される情報（例えば、パラメータの値、初期条件など）を含みます。

MMLは、モデルの複雑さと適合度とのトレードオフを自然かつ正確に行います。より複雑なモデルは記述に時間がかかりますが（前半部分が長い）、データへの適合度は高くなります（後半部分が短い）。したがって、MML指標は、そのモデルがコストに見合うだけのメリットをもたらさない限り、複雑なモデルを選択することはありません。

モデルが長くなる理由の一つは、様々なパラメータがより高い精度で記述されるため、より多くの桁数が必要になるからです。MMLの強みの多くは、モデル内のパラメータをどの程度正確に記述するかという処理能力と、それを実際に可能にする様々な近似手法にあります。これにより、例えば、多くのパラメータが不正確に記述されたモデルと、より少ないパラメータがより正確に記述されたモデルを、有効に比較することが可能になります。

• MMLは、構造の異なるモデルを比較するために使用できます。例えば、初期の応用例としては、最適なクラス数を持つ混合モデルを見つけることが挙げられます。混合モデルにクラスを追加すると、データの適合精度は常に向上しますが、MMLによれば、これは、それらのクラスを定義するパラメータをエンコードするために必要な追加ビット数とのバランスを考慮する必要があります。
• MMLはベイズモデル比較の手法であり、各モデルにスコアを付与する。
• MMLはスケール不変かつ統計的に不変です。多くのベイズ選択法とは異なり、MMLは測定単位を長さから体積に変更したり、直交座標から極座標に変更したりしても問題ありません。
• MMLは統計的に一貫性があります。ネイマン・スコット問題（1948）や因子分析のように、パラメータごとのデータ量が上限で制限されている問題では、MMLはすべてのパラメータを統計的に一貫性をもって推定できます。
• MMLは測定精度を考慮します。連続パラメータを最適に離散化するために、フィッシャー情報量（ウォレス・フリーマン1987近似、または他の近似における他のハイパーボリューム）を使用します。したがって、事後分布は常に確率であり、確率密度ではありません。
• MMLは1968年から使用されています。MMLの符号化方式は、いくつかのディストリビューション向けに開発されており、教師なし分類、決定木とグラフ、DNA配列、ベイジアンネットワーク、ニューラルネットワーク（今のところ1層のみ）、画像圧縮、画像および関数セグメンテーションなど、多くの種類の機械学習器に利用されています。

• アルゴリズム確率
• アルゴリズム情報理論
• 文法帰納法
• 帰納的推論
• 帰納的確率
• コルモゴロフ複雑度– 絶対的な複雑度（特定のユニバーサルチューリングマシンの選択に応じて定数の範囲内）；MMLは通常、計算可能な近似値である（^{[ 4 ]}を参照）。
• 最小記述長– MMLから10年後に開発された、おそらく異なる（非ベイズ的な）動機に基づく代替案。
• オッカムの剃刀

オリジナル出版物：

• Wallace; Boulton (1968年8月) 「分類のための情報尺度」 Computer Journal.11 ( 2 ): 185–194.doi : 10.1093 / comjnl /11.2.185 .

書籍：

• Wallace, CS (2005年5月).最小メッセージ長による統計的および帰納的推論. 情報科学と統計. Springer-Verlag. doi : 10.1007/0-387-27656-4 . ISBN 978-0-387-23795-4。
• Allison, L. (2018). Coding Ockham's Razor . Springer. doi : 10.1007/978-3-319-76433-7 . ISBN 978-3319764320. S2CID 19136282 . MMLの実装とソースコードについて。

関連リンク：

• クリス・ウォレスの既知の出版物すべてへのリンク。
• クリス・ウォレスの出版物を検索できるデータベース。
• Wallace, CS; Dowe, DL (1999). "最小メッセージ長とコルモゴロフ複雑度". Computer Journal . 42 (4): 270–283 . CiteSeerX 10.1.1.17.321 . doi : 10.1093/comjnl/ 42.4.270 . 
• 「コルモゴロフ複雑性に関する特集号」 .コンピュータジャーナル. 42 (4). 1999.
• Dowe, DL; Wallace, CS (1997).最小メッセージ長によるネイマン・スコット問題の解決. 第28回インターフェースシンポジウム、シドニー、オーストラリア.計算機科学と統計. 第28巻、 614–618 ページ. 
• MMLの歴史、CSWの最後の講演。
• Needham, S.; Dowe, D. (2001).メッセージの長さは決定木誘導における効果的なオッカムの剃刀である(PDF) .第 8 回国際 AI および統計ワークショップ議事録. pp. 253–260 . （オッカムの剃刀がMMLとして解釈された場合にも問題なく機能することを示す。）
• Allison, L. (2005年1月). 「関数型プログラミングにおける機械学習とデータマイニングのモデル」 . J​​ournal of Functional Programming . 15 (1): 15–32 . doi : 10.1017/S0956796804005301 . S2CID 5218889 . （MML、FP、およびHaskellコード）
• Comley, JW; Dowe, DL (2005年4月) 「第11章：最小メッセージ長、MDL、および非対称言語を用いた一般化ベイジアンネットワーク」 Grunwald, P.; Pitt, MA; Myung, IJ (編)『最小記述長の進歩：理論と応用』MIT Press、pp. 265–294。ISBN  978-0-262-07262-5。
• コムリー、ジョシュア W.、ドウ、DL (2003 年 6 月 5 ～ 8 日)。一般ベイジアンネットワークと非対称言語。第 2 回ハワイ国際統計学および関連分野会議議事録。、.pdf。Comley & Dowe ( 2003、2005 ) は、離散値と連続値の両方パラメータを使用した MML ベイズネットに関する最初の 2 つの論文です。

• Dowe, David L. (2010). 「MML、ハイブリッドベイジアンネットワークグラフィカルモデル、統計的一貫性、不変性、一意性」(PDF) .科学哲学ハンドブック（第7巻：統計哲学ハンドブック） . Elsevier. pp. 901–982 . ISBN  978-0-444-51862-0。
• 最小メッセージ長 (MML)、LA の MML 導入、(MML の別表記)。
• 最小メッセージ長 (MML)、研究者、およびリンク。
• 「別のMML研究ウェブサイト」 。2017年4月12日にオリジナルからアーカイブされました。
• MML混合モデルに関するスノッブページ。
• MITECS：クリス・ウォレスがMITECS向けにMMLに関する記事を執筆しました。（アカウントが必要です）
• mikko.ps : ヘルシンキのミッコ・コイヴィストによる短い紹介スライド
• モデル選択の赤池情報量規準（AIC）法とMMLとの比較： Dowe, DL; Gardner, S.; Oppy, G. (2007年12月)「ベイズは破綻しない！ベイズ主義者にとって単純さは問題にならない理由」Br. J. Philos. Sci . 58 (4): 709– 754. doi : 10.1093/bjps/axm033。