マクリダキス競技会

マクリダキス・コンペティション（ MコンペティションまたはMコンペティションとも呼ばれる）は、さまざまな時系列予測方法の精度を評価および比較するための公開コンペティションのシリーズです。予測研究者のスピロス・マクリダキスが率いるチームによって組織され、1982年に初めて開催されました。^{[1] [2] [3] [4]}

1982年に開催された第1回マクリダキス・コンペティションは、予測の文献ではMコンペティションとして知られており、1001の時系列と15の予測手法（さらにそれらの手法の9つのバリエーションを含む）が使用されました。^{[1] [5]}著者らの後の論文によると、Mコンペティションの主な結論は次のとおりです。^[1]

1. 統計的に洗練された、または複雑な方法は、必ずしも単純な方法よりも正確な予測を提供するわけではありません。
2. さまざまな方法のパフォーマンスの相対的な順位は、使用されている精度の測定方法によって異なります。
3. さまざまな方法を組み合わせた場合の精度は、平均すると、組み合わせた個々の方法よりも優れており、他の方法と比較しても非常に優れています。
4. さまざまな方法の精度は、予測期間の長さによって異なります。

この研究結果は他の研究者によって新しい方法を用いて検証され、再現されている。^{[8] [9] [10]}

ロブ・J・ハインドマンによれば、「誰でも予測を提出することができ、私の知る限りではこれが最初の真の予測コンテストとなった。」^[7]

ニューボールド（1983）はM競争に批判的であり、複雑な問題を解決するために単一の競争を利用するという一般的な考え方に反対した。^[11]

最初のMコンペティションの前に、マクリダキスとヒボン^[12]は、より複雑で統計的に洗練された方法と比較して、単純な方法が優れたパフォーマンスを発揮することを示す論文を王立統計学会誌（JRSS）に発表しました。当時の統計学者は、その結果は不可能であると主張して批判しました。彼らの批判が、マクリダキスとヒボンの研究の理論を証明するその後のM、M2、M3コンペティションの動機となりました。^[要出典]

2 回目のコンペは M-2 コンペまたは M2 コンペティションと呼ばれ、より大規模に実施されました。参加の呼びかけはInternational Journal of Forecastingに掲載され、International Symposium of Forecasting で発表され、さまざまな時系列手法に関するすべての既知の専門家に書面による招待状が送られました。M2 コンペティションは 4 つの企業と共同で開催され、6 つのマクロ経済シリーズが含まれ、リアルタイムで実施されました。データは米国から提供されました。^[1]コンペティションの結果は 1993 年の論文で発表されました。^[6]結果は M コンペティションの結果と統計的に同一であると主張されました。^[1]

M2コンペティションでは、元のMコンペティションよりもずっと少ない時系列が使用されました。元のMコンペティションでは1001の時系列が使用されていましたが、M2コンペティションでは、協力企業4社からの23とマクロ経済の6つの時系列を含む29のみを使用しました。^[6]企業からのデータは、独自のプライバシーを保護するために定数乗数を使用して難読化されました。^[6] M2コンペティションの目的は、次の点で現実世界の予測をより適切にシミュレートすることでした。^[6]

• 予測者がトレンドに基づく予測方法と個人的な判断を組み合わせることを可能にします。
• 予測者がより正確な予測を行うために、関係する企業にデータを要求して追加の質問をできるようにします。
• 予測者が 1 回の予測演習から学び、フィードバックに基づいて次の予測演習の予測を修正できるようにします。

コンテストは以下のように開催された。^[6]

• 最初の一連のデータは 1987 年の夏に参加予報士に送信されました。
• 予測者には、予測を行う上で関連性があると考えられる追加情報を収集するために、仲介者を介して関係企業に連絡するという選択肢がありました。
• 1987 年 10 月に、予報官に最新のデータが送られました。
• 予報官は1987年11月末までに予報を提出する必要がありました。
• 1年後、予報士たちには予報の分析結果が送られ、1988年11月に次の予報を提出するよう求められました。
• 予測の最終的な分析と評価は、1990 年 12 月を含むデータの実際の最終値が協力企業に知らされた 1991 年 4 月から行われました。

発表された結果に加えて、参加者の多くは、コンテストに参加した経験やコンテストで示されたことに対する感想を述べた短い記事を書いた。クリス・チャットフィールドは、コンテストの設計を賞賛したが、主催者の最善の努力にもかかわらず、予測者は現実世界の予測で人々が持つような企業内部へのアクセスがまだ十分にできていないと感じていると述べた。^[13] フィルデスとマクリダキス（1995）は、これらのコンテストによって生み出された証拠にもかかわらず、理論統計学者は引き続きその意味を無視していると主張している。^[14]

3回目のコンペはM-3コンペまたはM3コンペと呼ばれ、MコンペとM2コンペの特徴を再現し、拡張することを目的としており、より多くの手法と研究者（特にニューラルネットワーク分野の研究者）とより多くの時系列が組み込まれました。^[1]合計3003の時系列が使用されました。コンペの結果を文書化した論文は、 2000年にInternational Journal of Forecasting ^{[1]に掲載され、生データは}International Institute of Forecastersのウェブサイトでも公開されました。^[4]著者によると、M3コンペの結論は以前のコンペの結論と似ていました。^[1]

時系列には、年次、四半期、月次、日次、その他の時系列が含まれていました。正確な予測モデルを開発するために十分なデータが利用できるようにするために、観測数に最小閾値が設定されました。年次シリーズの場合は14、四半期シリーズの場合は16、月次シリーズの場合は48、その他のシリーズの場合は60です。^[1]

時系列は、ミクロ、産業、マクロ、金融、人口統計、その他などの領域に分類されました。^{[ 1] [4 ]}以下は、時間間隔と領域に基づく時系列の数です。^{[1] [4]}

さまざまな予測の精度を評価するために使用された5つの指標は、対称平均絶対パーセンテージ誤差（対称MAPEとも呼ばれる）、平均ランキング、中央対称絶対パーセンテージ誤差（中央対称APEとも呼ばれる）、パーセンテージ改善、および中央RAEでした。^[1]

M3コンペティションのデータセットのさまざまな分析による他の多くの論文が発表されています。^{[2] [3]}国際予測ジャーナル（IJF）の編集長であるRob J. Hyndmanによると、「M3データは2000年以来、新しい時系列予測手法のテストに使用され続けています。実際、提案された予測手法が元のM3参加手法と競合しない限り、IJFで発表されるのは難しいのです。」

第4回コンペティションM4は2017年11月に発表されました。^[15]コンペティションは2018年1月1日に始まり、2018年5月31日に終了しました。最初の結果は2018年6月21日にInternational Journal of Forecastingに掲載されました。 ^[16]

M4 は、過去 3 回のコンテストの結果を拡張して再現し、拡張された多様な時系列セットを使用して、さまざまな種類の予測に対して最も正確な予測方法を特定しました。予測精度を向上させる方法と、各ケースに最も適した方法を特定する方法についての答えを得ることを目指しました。正確で説得力のある答えを得るために、M4 コンペティションでは 100,000 の実際の時系列を使用し、人工知能 (機械学習、ML) に基づくものや従来の統計的なものなど、すべての主要な予測方法を組み込んでいます。

ロブ・J・ハインドマンは自身のブログでM4について次のように述べている。「スパイロス・マクリダキスが主催した「M」コンテストは予測の分野に多大な影響を与えました。彼らはモデルの数学的特性ではなく、どのモデルが優れた予測を生み出すかに注目しました。そのため、スパイロスは一連のコンテストを通じて予測研究の展望を変えたことを称賛されるに値します。」^[17]

以下は、時間間隔とドメインに基づく時系列の数です。

正確な予測モデルを開発するために十分なデータが利用可能であることを保証するため、観測数に最小しきい値が設定されました。年間で 13、四半期で 16、月間で 42、週で 80、日で 93、時間単位で 700 です。

その主な目的の 1 つは、ML 手法の精度と統計手法の精度を比較し、ML 手法の優れたパフォーマンスの主張を経験的に検証することでした。

以下は、M4 コンペティションとその主な調査結果および結論の簡単な説明です。

M4 コンペティションは 2018 年 5 月 31 日に終了し、ポイント予測に加えて、予測間隔 (PI) の指定も含まれていました。M4 はオープン コンペティションであり、その最も重要な目標は (以前の 3 つの M コンペティションと同じ) 「予測精度の向上を学び、可能な限りこの分野を前進させること」です。

M4 の 5 つの主要な調査結果と結論:

以下では、M4 コンペティションの 5 つの主要な調査結果の概要を示し、これらの調査結果から論理的な結論を導き出します。

1. 方法の組み合わせは M4 の王様でした。最も正確な 17 の方法のうち、12 は主に統計的アプローチの「組み合わせ」でした。
2. しかし、最も驚いたのは、統計機能と ML 機能の両方を活用した「ハイブリッド」アプローチでした。この方法は、最も正確な予測と最も精密な PI を生成し、Uber Technologies のデータ サイエンティストである Slawek Smyl によって提出されました。sMAPE によると、これはコンペティションの組み合わせ (Comb) ベンチマークよりも 10% 近く (大幅な改善) 正確でした (以下を参照)。M3 コンペティション (Makridakis & Hibon、2000) では、最良の方法が同じ組み合わせよりも 4% 正確であったことが注目されます。
3. 2番目に正確な方法は、7つの統計的手法と1つのML手法を組み合わせたもので、平均化の重みはホールドアウトテストを通じて予測誤差を最小化するように訓練されたMLアルゴリズムによって計算された。この方法は、スペインのア・コルーニャ大学とオーストラリアのモナシュ大学が共同で提出した。
4. 最も正確な方法の 1 番目と 2 番目は、95% PI を正確に指定することにも驚くべき成功を収めました。これらは、私たちが知る限り、その方法の中で初めて、不確実性を大幅に過小評価することなく、その目標を達成した方法です。
5. M4に提出された6つの純粋なML法はパフォーマンスが低く、どれもCombよりも正確ではなく、Naïve2よりも正確だったのは1つだけでした。これらの結果は、私たちがPLoS Oneに発表した最近の研究（Makridakis、et al.、2018）の結果と一致しています。^[18]

上記の調査結果から得られる結論は、個々の統計的または ML 手法の精度は低く、予測の精度を向上させ、予測の価値を高めるためには、ハイブリッド アプローチと手法の組み合わせが前進への道であるということです。

M5は2020年3月3日に開始され、結果は2020年7月1日に発表されました。ウォルマートの実際のデータを使用し、Kaggleのプラットフォームで実施されました。優勝者には総額10万ドルの多額の賞金が提供されました。データはウォルマートから提供され、SKUレベルから始まり、いくつかの大きな地理的エリアの総需要で終わる約42,000の階層的な毎日の時系列で構成されていました。売上データに加えて、価格、広告/プロモーション活動、在庫レベル、データが参照する曜日に関する情報もありました。

以下のカテゴリーで第1位、第2位、第3位の受賞者にいくつかの主要な賞が授与されました。

• ウォルマートデータの最も正確な予測
• ウォルマートデータの不確実性の最も正確な推定

学生賞や企業賞もあり、参加者一人またはチームが獲得できる賞の数に制限はありませんでした。

M5 の焦点は、主に学者ではなく実務家にありました。M5 コンペティションには 6,000 人近くの参加者とチームが集まり、大きな関心を集めました。

このコンペティションは、主に機械学習手法をリーダーボードの上位に挙げた「M」コンペティションの1つでした。上位の成績を収めたものはすべて、「純粋なMLアプローチであり、すべての統計ベンチマークとその組み合わせよりも優れていました。」^[19] LightGBMモデルとディープニューラルネットワークは、上位の応募作品で目立っていました。M4コンペティションと同様に、上位3つのコンペティションでは、それぞれ別々にトレーニングおよび調整されたモデルのアンサンブル、つまり組み合わせが採用されており、各モデルには異なるトレーニング手順とトレーニングデータセットがありました。

M3-コンペティションの主催者は人工ニューラルネットワーク(ANN) 分野の研究者に連絡を取り、コンペティションへの参加を求めたが、参加したのは 1 人の研究者だけで、その研究者の予測は芳しくなかった。当時、ほとんどの ANN 研究者が参加をためらったのは、ANN ベースの予測が計算集約的であることと、コンペティションで使用された時系列が膨大だったためである。^[1] 2005 年、Crone、Nikolopoulos、Hibon は、M3-コンペティションの時系列 111 件 (時間的にずれているため同じデータではないが、同じソース) を使用して、NN-3 コンペティションを主催した。NN-3 コンペティションでは、最も優れた ANN ベースの予測は、最もよく知られている予測方法と同等の性能を示したが、計算集約的であることがわかった。また、理論上は優れた性能を発揮する可能性が高いにもかかわらず、多くの ANN ベースの手法は単純な予測方法よりもかなり劣っていたことも指摘された。^[20]

ナシム・ニコラス・タレブは著書『ブラック・スワン』の中で、マクリダキス・コンペティションについて次のように述べている。「学術的手法が現実世界でどの程度通用するかをテストする最も興味深い方法は、スピロス・マクリダキスによって提供された。彼はキャリアの一部を、経済理論と統計的測定を組み合わせたアプローチである計量経済学と呼ばれる「科学的手法」を実践する予測者間のコンペティションの運営に費やした。簡単に言えば、彼は人々に現実世界で予測させ、その正確さを判定した。これが、ミシェル・ヒボンの協力を得て彼が運営する一連の「Mコンペティション」につながり、そのうちの3番目で最新のM3は1999年に完了した。マクリダキスとヒボンは、「統計的に洗練され複雑な手法は、必ずしも単純な手法よりも正確な予測を提供するわけではない」という悲しい結論に達した。」^[21]

ダンカン・ワッツは著書『Everything is Obvious』の中で、マクリダキスとヒボンの研究を引用し、「経済時系列の予測においては、単純なモデルも複雑なモデルと同程度に優れている」ことを示していると述べている。^[22]

• Makridakis, Spyros; Hibon, Michele; Moser , Claus ( 1979)。「予測の精度: 実証的調査」。Journal of the Royal Statistical Society。シリーズ A (一般)。142 (2): 97。doi :10.2307/  2345077。JSTOR 2345077。S2CID 173769248  。
• Makridakis, Spyros; Spiliotis, Evangelos; Assimakopoulos, Vassilios; Hernandez Montoya, Alejandro Raul (2018 年 3 月 27 日)。「統計および機械学習による予測方法: 懸念事項と今後の方向性」。PLoS One . 13 (3): e0194889. Bibcode :2018PLoSO..1394889M. doi : 10.1371/journal.pone.0194889 . PMC  5870978 . PMID  29584784.
• Makridakis , Spyros; Spiliotis, Evangelos; Assimakopoulos, Vassilios (2018 年 10 月)。「M4 コンペティション: 結果、調査結果、結論、今後の方向性」。International Journal of Forecasting。34 (4): 802–808。doi :10.1016/j.ijforecast.2018.06.001。S2CID 158696437  。

• マクリダキス競技会 Mオープン予測センターのウェブサイトの情報
• https://github.com/Mcompetitions/ M4、M5、M6 競技の GitHub リポジトリ