モデル選択

モデル選択とは、さまざまな候補の中から最適なモデルを選択するために、パフォーマンス基準に基づいてモデルを選択するタスクです。 ^{[ 1 ]}機械学習やより一般的には統計分析の 文脈では、これは、与えられたデータに基づいて、候補モデルの集合から統計モデルを選択することになります。最も単純なケースでは、既存のデータセットが考慮されます。しかし、このタスクには、収集されたデータがモデル選択の問題によく適するように実験を設計することも含まれる場合があります。予測力や説明力が類似した候補モデルがある場合、最も単純なモデルが最良の選択肢である可能性が最も高いです（オッカムの剃刀）。

小西・北川（2008年、75頁）は、「統計的推論における問題の大部分は、統計モデリングに関連する問題であると考えられる」と述べている。これに関連して、コックス（2006年、 197頁）は、「主題問題から統計モデルへの変換方法こそが、分析において最も重要な部分であることが多い」と述べている。  

モデル選択とは、不確実性下での意思決定や最適化を目的として、多数の計算モデルの中から代表的なモデルをいくつか選択する問題を指す場合もある。^{[ 2 ]}

機械学習において、モデル選択のためのアルゴリズム的手法には、特徴選択、ハイパーパラメータ最適化、統計的学習理論などがある。

モデル選択は、最も基本的な形では、科学的探究における基本的な課題の一つです。一連の観測結果を説明する原理を特定することは、多くの場合、それらの観測結果を予測する数学モデルと直接結びついています。例えば、ガリレオが斜面実験を行った際、彼は球の運動が自身のモデルによって予測された放物線に一致することを実証しました。

データを生み出した可能性のある無数のメカニズムやプロセスの中から、どのようにして最適なモデルを選び始めることができるでしょうか。一般的に用いられる数学的手法では、候補となるモデルのセットの中から決定します。このセットは研究者が選択する必要があります。多くの場合、少なくとも初期段階では、多項式などの単純なモデルが使用されます。Burnham & Anderson (2002) は、データに内在する現象論的プロセスやメカニズム (化学反応など) の理解など、健全な科学的原理に基づいてモデルを選択することの重要性を、著書全体を通して強調しています。

候補モデルのセットが選択されたら、統計分析によってこれらのモデルの中から最適なものを選ぶことができます。ここでいう「最適」の意味は議論の余地があります。優れたモデル選択手法は、適合度と単純さのバランスを取るものです。より複雑なモデルは、データに適合するように形状をより適切に調整できます（例えば、5次多項式は6つの点を正確に近似できます）が、追加のパラメータは有用な情報を表さない可能性があります（おそらく、それらの6つの点は実際には直線上にランダムに分布しているだけでしょう）。適合度は一般的に尤度比法、またはその近似法を用いて決定され、カイ二乗検定につながります。複雑さは一般的に、モデル内のパラメータの数を数えることで測定されます。

モデル選択手法は、与えられたデータを生成するモデルの確率など、何らかの物理量を推定する手段と考えることができる。バイアスと分散は、この推定量の質を測る重要な指標であり、効率性もしばしば考慮される。

モデル選択の標準的な例として、曲線フィッティングが挙げられます。曲線フィッティングでは、一連の点とその他の背景知識（例えば、点が独立同分布のサンプルから得られたものであること）が与えられた場合、それらの点を生成した関数を記述する曲線を選択する必要があります。

データからの推論と学習には、主に2つの目的があります。1つは科学的発見、つまり統計的推論と呼ばれるもので、データ生成のメカニズムを理解し、データの性質を解釈することです。もう1つの目的は、将来の観測や未知の観測を予測すること、つまり統計的予測です。後者の目的においては、データサイエンティストは必ずしもデータの正確な確率的記述にこだわる必要はありません。もちろん、両方の方向性に関心を持つ場合もあります。

2つの異なる目的に沿って、モデル選択には推論のためのモデル選択と予測のためのモデル選択という2つの方向性があります。^{[ 3 ]}最初の方向性は、データに最適なモデルを特定することです。このモデルは、科学的解釈のための不確実性の原因を信頼性高く特徴付けることが望ましいです。この目的のために、選択されたモデルがサンプルサイズに過度に敏感でないことが非常に重要です。したがって、モデル選択を評価するための適切な概念は選択の一貫性であり、これは、十分な数のデータサンプルが与えられた場合に最も堅牢な候補が一貫して選択されることを意味します。

2つ目の方向性は、優れた予測性能を発揮するモデルを機械として選択することです。しかし、後者の場合、選択されたモデルは、いくつかの有力な競合モデルの中からたまたま選ばれただけかもしれませんが、それでも予測性能は最高レベルになる可能性があります。その場合、モデルの選択は2つ目の目標（予測）には適していますが、選択されたモデルを洞察や解釈に用いることは、非常に信頼性が低く、誤解を招く可能性があります。^{[ 3 ]}さらに、このように選択された非常に複雑なモデルの場合、選択に使用されたデータとわずかに異なるデータに対しても、予測が不合理になることがあります。^{[ 4 ]}

• データ変換（統計）
• 探索的データ分析
• モデル仕様
• 科学的方法

以下はモデル選択の基準の一覧です。最も一般的に使用される情報基準は、（i）赤池情報量規準、および（ii）ベイズ因子および／またはベイズ情報量規準（ある程度ベイズ因子に近似する）です。 レビューについては、 Stoica & Selen（2004）を参照してください。

• 赤池情報量規準（AIC）は、推定された統計モデルの適合度を測る指標である。
• ベイズ因子
• ベイズ情報量規準（BIC）、別名シュワルツ情報量規準は、モデル選択のための統計的基準である。
• ブリッジ基準（BC）は、モデル仕様の適切性に関わらず、AICやBICよりも優れたパフォーマンスを達成できる統計的基準である。^{[ 5 ]}
• 交差検証
• 逸脱情報量規準（DIC）は、ベイズ指向のモデル選択基準の一つである。
• 偽発見率
• フォーカス情報基準（FIC）は、特定のフォーカスパラメータに対する有効性に基づいて統計モデルを分類する選択基準である。
• ハンナン・クイン情報量規準（赤池情報量規準およびベイズ情報量規準の代替案）
• カシャップ情報量規準（KIC）は、フィッシャー情報行列を使用するため、AICやBICに代わる強力な指標です。
• 尤度比検定
• マロウズC _p
• 最小説明文字数
• 最小メッセージ長（MML）
• PRESS統計、別名PRESS基準
• 準情報量規準（QIC）は、対数尤度を準対数尤度に置き換えたモデル選択（例：一般化推定方程式）に用いられる。
• 構造的リスクの最小化
• 段階的回帰
• 渡辺・赤池情報量規準（WAIC）は、広く適用可能な情報量規準とも呼ばれる。
• 拡張ベイズ情報量規準（EBIC）は、パラメータ空間が大きいモデル向けに通常のベイズ情報量規準（BIC）を拡張したものです。
• 拡張フィッシャー情報量規準（EFIC）は、線形回帰モデルのモデル選択基準である。
• 制約付き最小基準(CMC) は、以下の幾何学的観察に基づく回帰モデル選択のための頻度論的手法です。完全モデルのパラメータベクトル空間では、すべてのベクトルがモデルを表します。完全モデルの真のパラメータベクトルを中心とする球が存在し、その球の中で真のモデルは最小のモデルです (${\displaystyle L_{0}}$正規)。サンプルサイズが無限大に近づくと、真のパラメータベクトルの最尤推定値は収束し、縮小する尤度比信頼領域を真のパラメータベクトルに引き寄せます。信頼領域は、確率が 1 に近づくにつれて球の内部に入ります。CMC はこの領域で最小のモデルを選択します。領域が真のパラメータベクトルを捉えると、CMC の選択が真のモデルになります。したがって、CMC の選択が真のモデルである確率は信頼水準以上になります。^{[ 6 ]}

これらの基準の中で、交差検証は一般的に最も正確であり、計算コストも最も高いが、教師あり学習の問題においてはその傾向が顕著である。

バーナムとアンダーソン（2002年、§6.3）は次のように述べている。

モデル選択方法にはさまざまな種類があります。しかし、方法の統計的パフォーマンスと使用目的の観点から、明確に区別できる方法は 2 つのクラスしかありません。これらは効率的で一貫性のあるものとされています。(...) モデル選択の頻度論的パラダイムでは、一般的に次の 3 つの主要なアプローチがあります。(I) 何らかの選択基準の最適化、(II) 仮説検定、(III) アドホックな方法。

• Aho, K.; Derryberry, D.; Peterson, T. (2014), "生態学者のためのモデル選択：AICとBICの世界観", Ecology , 95 (3): 631–636 , Bibcode : 2014Ecol...95..631A , doi : 10.1890/13-1452.1 , PMID 24804445 
• 赤池弘志（1994）「情報論的観点が統計科学の発展に及ぼす影響」、H. Bozdogan編『第1回日米統計モデリングの最前線に関する会議：情報論的アプローチ―第3巻』、Kluwer Academic Publishers、pp. 27–38 
• Anderson, DR (2008), Model Based Inference in the Life Sciences , Springer, ISBN 9780387740751
• 安藤 隆（2010）『ベイズモデル選択と統計モデリング』CRC Press、ISBN 9781439836156
• Breiman, L. (2001)、「統計モデリング：2つの文化」、Statistical Science、16：199–231、doi：10.1214/ss/1009213726
• Burnham, KP; Anderson, DR (2002), Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach (2nd  ed.), Springer-Verlag, ISBN 0-387-95364-7[この論文はGoogle Scholarで38,000件以上の引用を受けています]
• Chamberlin, TC (1890)、「複数の作業仮説の方法​​」、Science、15 (366): 92–6、Bibcode : 1890Sci....15R..92.、doi : 10.1126/science.ns-15.366.92、PMID 17782687 （1965年、サイエンス誌148巻754-759ページに再録）doi : 10.1126/science.148.3671.754 )
• Claeskens, G. (2016), "統計モデルの選択" (PDF) , Annual Review of Statistics and Its Application , 3 (1): 233– 256, Bibcode : 2016AnRSA...3..233C , doi : 10.1146/annurev-statistics-041715-033413
• Claeskens, G.; Hjort, NL (2008), Model Selection and Model Averaging , Cambridge University Press, ISBN 9781139471800
• Cox, DR (2006),統計的推論の原理, Cambridge University Press
• Ding, J.; Tarokh, V.; Yang, Y. (2018)、「モデル選択技術の概要」、IEEE Signal Processing Magazine、35 (6): 16–34、arXiv : 1810.09583、Bibcode : 2018ISPM...35f..16D、doi : 10.1109/MSP.2018.2867638、S2CID 53035396 
• Kashyap, RL (1982)、「自己回帰移動平均モデルにおけるARおよびMA部分の最適選択」、IEEE Transactions on Pattern Analysis and Machine Intelligence、PAMI-4 (2)、IEEE: 99–104、doi : 10.1109/TPAMI.1982.4767213、PMID 21869012、S2CID 18484243  
• 小西 聡、北川 剛（2008）『情報量規準と統計モデリング』、Springer、Bibcode：2007icsm.book.....K、ISBN 9780387718866
• ラヒリ、P. (2001)、モデル選択、数理統計学研究所
• Leeb, H.; Pötscher, BM (2009)、「モデル選択」、Anderson, TG (編) 『金融時系列ハンドブック』、Springer、pp. 889–925、doi : 10.1007/978-3-540-71297-8_39、ISBN  978-3-540-71296-1
• Lukacs, PM; Thompson, WL; Kendall, WL; Gould, WR; Doherty, PF Jr.; Burnham, KP; Anderson, DR (2007)、「情報理論と仮説検定の多元主義を求める声に関する懸念」、Journal of Applied Ecology、44 (2): 456–460、Bibcode : 2007JApEc..44..456L、doi : 10.1111/j.1365-2664.2006.01267.x、S2CID 83816981 
• McQuarrie, Allan DR; Tsai, Chih-Ling (1998),回帰と時系列モデルの選択, シンガポール: World Scientific, ISBN 981-02-3242-X
• Massart, P. (2007), Concentration Inequalities and Model Selection , Springer
• Massart, P. (2014)、「確率と統計における非漸近的ウォーク」、Lin, Xihong (編) 『統計科学の過去、現在、未来』、Chapman & Hall、pp. 309–321、ISBN  9781482204988
• Navarro, DJ (2019)、「悪魔と深海の狭間：科学的判断と統計モデル選択の間の緊張」、Computational Brain & Behavior、2：28–34、doi：10.1007/s42113-018-0019-z、hdl：1959.4/unsworks_64247
• Resende, Paulo Angelo Alves; Dorea, Chang Chung Yu (2016)、「効率的な決定基準を用いたモデル識別」、Journal of Multivariate Analysis、150 : 229–244、arXiv : 1409.7441、doi : 10.1016/j.jmva.2016.06.002、S2CID 5469654 
• Shmueli, G. (2010)、「説明するか予測するか？」、Statistical Science、25 (3): 289–310、arXiv : 1101.0891、doi : 10.1214/10-STS330、MR 2791669、S2CID 15900983  
• Stoica, P.; Selen, Y. (2004)、「モデル次数選択：情報基準ルールのレビュー」（PDF）、IEEE Signal Processing Magazine、21（4）：36–47、Bibcode：2004ISPM...21...36S、doi：10.1109/MSP.2004.1311138、S2CID 17338979 
• ウィット、E。ファン・デン・フーベル、E.ローメイン、J.-W. （2012年）、「「すべてのモデルは間違っている…」：モデルの不確実性入門（PDF）、Statistica Neerlandica、66（3）：217–236、doi：10.1111/j.1467-9574.2012.00530.x、S2CID 7793470 
• Wit, E.; McCullagh, P. (2001), Viana, MAG; Richards, D. St. P. (編), "統計モデルの拡張性", Algebraic Methods in Statistics and Probability , pp . 327–340 
• Wójtowicz, Anna; Bigaj, Tomasz (2016)、「正当化、確認、および相互排他的仮説の問題」、Kuźniar, Adrian; Odrowąż-Sypniewska, Joanna (編)『事実と価値の解明』、Brill Publishers、pp. 122–143、doi : 10.1163/9789004312654_009、ISBN  9789004312654
• Owrang, Arash; Jansson, Magnus (2018)、「高次元線形回帰のためのモデル選択基準」、IEEE Transactions on Signal Processing、66 (13): 3436–3446、Bibcode : 2018ITSP...66.3436O、doi : 10.1109/TSP.2018.2821628、ISSN 1941-0476、S2CID 46931136  
• B. Gohain, Prakash; Jansson, Magnus (2022)、「線形回帰モデルにおける次数選択のためのスケール不変かつ一貫性のあるベイズ情報量規準」、Signal Processing、196 108499、Bibcode : 2022SigPr.19608499G、doi : 10.1016/j.sigpro.2022.108499、ISSN 0165-1684、S2CID 246759677