ランダムフォレスト

ランダムフォレストまたはランダム決定フォレストは、分類、回帰、その他のタスクのためのアンサンブル学習法であり、トレーニング中に多数の決定木を作成することで機能します。分類タスクの場合、ランダムフォレストの出力は、ほとんどのツリーによって選択されたクラスです。回帰タスクの場合、出力はツリーの予測の平均です。^{[1] [2]ランダムフォレストは、決定木の}トレーニングセットへの過剰適合の癖を修正します。^{[3] : 587–588}

ランダム決定林の最初のアルゴリズムは、1995年にティン・カム・ホー^{[1]によって}ランダムサブスペース法[ ^2]を使用して作成されました。これは、ホーの定式化によれば、ユージン・クラインバーグによって提案された分類に対する「確率的判別」アプローチを実装する方法です。^{[4] [5] [6]}

このアルゴリズムの拡張はレオ・ブレイマン^[7]とアデル・カトラー^[8]によって開発され、2人は2006年に「ランダムフォレスト」を商標として登録しました^[9]（2019年現在、 Minitab, Inc.が所有）。^[10]この拡張は、ブレイマンの「バギング」のアイデアと特徴のランダム選択を組み合わせたもので、最初はホー^[1]によって導入され、後にアミットとゲマン^[11]によって独立して導入され、分散が制御された決定木のコレクションを構築します。 ^[update]

ランダム決定フォレストの一般的な方法は、1993 年に Salzberg と Heath によって初めて提案されました^[12]。この方法では、ランダム決定ツリー アルゴリズムを使用して複数のツリーを作成し、多数決を使用してそれらを結合します。このアイデアは、1995 年に Ho によってさらに発展しました^[1] 。Ho は、斜交超平面で分割するツリーのフォレストは、フォレストが選択された特徴次元のみに敏感になるようにランダムに制限されている限り、オーバートレーニングの影響を受けずに成長するにつれて精度が向上することを確立しました。同じ方向のその後の研究^[2]では、他の分割方法も、いくつかの特徴次元に鈍感になるようにランダムに制限されている限り、同様に動作すると結論付けられました。より複雑な分類器 (より大きなフォレスト) がほぼ単調に精度が向上するというこの観察は、分類器の複雑さは、オーバーフィッティングによって損なわれる前に特定の精度レベルまでしか成長できないという一般的な考えとは著しく対照的です。フォレスト メソッドのオーバートレーニングに対する耐性の説明は、Kleinberg の確率的判別理論にあります。^{[4] [5] [6]}

ブレイマンのランダムフォレストの概念の初期の開発は、単一の木を成長させる文脈で、ノードを分割するときに利用可能な決定のランダムなサブセットを検索するというアイデアを導入したアミットとゲマン^{[11]の研究に影響を受けています。Ho [2]}のランダムなサブスペース選択のアイデアも、ランダムフォレストの設計に影響を与えました。この方法は、木の森を成長させ、各木または各ノードを適合させる前に、トレーニングデータをランダムに選択されたサブスペースに投影することにより、木の間に変化を導入します。最後に、各ノードでの決定が決定論的最適化ではなくランダム化された手順によって選択されるランダムノード最適化のアイデアは、トーマスG.ディーテリッヒによって初めて導入されました。^[13]

ランダムフォレストの適切な導入は、レオ・ブレイマンの論文で行われました。^{[7]この論文では、} CARTのような手順とランダムノード最適化およびバギングを組み合わせて、 相関のないツリーのフォレストを構築する方法について説明しています。さらに、この論文では、ランダムフォレストの現代の実践の基礎を形成する、既知のものと新しいものを含むいくつかの要素を組み合わせています。

1. 一般化誤差の推定値としてout-of-bag誤差を使用します。
2. 順列を通じて変数の重要性を測定します。

このレポートでは、フォレスト内のツリーの強度とそれらの相関に依存する一般化誤差の上限という形で、ランダムフォレストに関する初の理論的結果も提供しています。

決定木は、さまざまな機械学習タスクでよく使われる手法です。Hastieらは、ツリー学習は「データマイニングの既成の手順」に近いと述べています。「なぜなら、ツリー 学習はスケーリングやさまざまな特徴値の変換に対して不変であり、無関係な特徴の包含に対して堅牢であり、検査可能なモデルを生成するからです。しかし、正確であることはほとんどありません」。^{[3] : 352}

特に、非常に深く成長した木は、非常に不規則なパターンを学習する傾向があります。つまり、トレーニング セットに過剰適合し、バイアスは低いですが、分散は非常に高くなります。ランダム フォレストは、分散を減らすことを目的として、同じトレーニング セットの異なる部分でトレーニングされた複数の深い決定木を平均化する方法です。^{[3] : 587–588}これには、バイアスのわずかな増加と解釈可能性のいくらかの損失が伴いますが、一般に最終モデルのパフォーマンスが大幅に向上します。

ランダムフォレストのトレーニングアルゴリズムは、ブートストラップ集約、またはバギングの一般的な手法をツリー学習者に適用します。トレーニングセットX = x ₁、...、x _nと応答Y = y ₁、...、y _nが与えられた場合、バギングを繰り返して（B回） 、トレーニングセットを置き換えてランダムサンプルを選択し、これらのサンプルにツリーを適合させます。

トレーニング後、x'上のすべての個別の回帰ツリーからの予測を平均化することで、未知のサンプルx'の予測を行うことができます。

$${\displaystyle {\hat {f}}={\frac {1}{B}}\sum _{b=1}^{B}f_{b}(x')}$$

または、分類ツリーの場合は多数決をとることによって行われます。

このブートストラップ手順により、モデルの分散が減り、バイアスが増大しないため、モデルのパフォーマンスが向上します。つまり、単一のツリーの予測はトレーニング セット内のノイズに非常に敏感ですが、ツリーが相関していない限り、多数のツリーの平均はそうではありません。単一のトレーニング セットで多数のツリーを単純にトレーニングすると、相関の強いツリー (または、トレーニング アルゴリズムが決定論的である場合は、同じツリーが何度も表示される) が生成されます。ブートストラップ サンプリングは、異なるトレーニング セットを表示することでツリーの相関を解消する方法です。

さらに、予測の不確実性の推定は、 x′上のすべての個別の回帰木からの予測の標準偏差として行うことができます。 $${\displaystyle \sigma ={\sqrt {\frac {\sum _{b=1}^{B}(f_{b}(x')-{\hat {f}})^{2}}{B-1}}}.}$$

サンプル数（つまり、ツリー数） Bは自由なパラメータである。通常、トレーニングセットのサイズと性質に応じて、数百から数千のツリーが使用される。Bは、クロスバリデーションを使用するか、または、ブートストラップサンプルにx _{i が}含まれていないツリーのみを使用して、各トレーニングサンプルx _{iの平均予測誤差である}out-of-bag errorを観察することによって最適化できる。^[14]

一定数のツリーが適合されると、トレーニングおよびテストのエラーは安定する傾向があります。

上記の手順は、ツリーの元のバギング アルゴリズムについて説明しています。ランダム フォレストには、別の種類のバギング スキームも含まれています。これは、学習プロセスの各候補分割で、特徴のランダムなサブセットを選択する修正されたツリー学習アルゴリズムを使用します。このプロセスは、「特徴バギング」と呼ばれることもあります。これを行う理由は、通常のブートストラップ サンプルでのツリーの相関です。1 つまたはいくつかの特徴が応答変数 (ターゲット出力) の非常に強力な予測子である場合、これらの特徴は多くのBツリーで選択され、相関するようになります。バギングとランダム サブスペース投影がさまざまな条件下で精度の向上にどのように貢献するかの分析は、Ho によって提供されています。^[15]

通常、 p個の特徴を持つ分類問題では、各分割で√p （切り捨て）の特徴が使用されます。^{[3] : 592} 回帰問題の場合、発明者はp /3（切り捨て）を推奨し、最小ノードサイズはデフォルトで 5 です。^{[3] : 592}実際には、これらのパラメータの最適な値は、問題ごとにケースバイケースで調整する必要があります。^{[3] : 592}

ランダム化のステップをさらに 1 つ追加すると、非常にランダム化されたツリー、つまり ExtraTrees が生成されます。通常のランダム フォレストと同様に、これらは個別のツリーの集合ですが、主に次の 2 つの違いがあります。(1) 各ツリーは、学習サンプル全体 (ブートストラップ サンプルではなく) を使用してトレーニングされます。(2) トップダウン分割はランダム化されます。つまり、検討中の各機能に対して、ローカルに最適なカット ポイント (情報ゲインやジニ係数などに基づく)を計算するのではなく、いくつかのランダムなカット ポイントが選択されます。値は、機能の実験範囲 (ツリーのトレーニング セット内) 内の均一分布から選択されます。次に、ランダムに選択されたすべての分割のうち、最も高いスコアを生成する分割がノードの分割に選択されます。

通常のランダムフォレストと同様に、各ノードで考慮されるランダムに選択された特徴の数を指定できます。このパラメータのデフォルト値は分類と回帰で、モデル内の特徴の数です。^[16]${\displaystyle {\sqrt {p}}}$${\displaystyle p}$${\displaystyle p}$

基本的なランダム フォレスト手順は、多数の特徴があるものの、サンプル分類に関して有益な特徴がこれらの特徴のごく一部にしか存在しない状況では、うまく機能しない可能性があります。この問題は、手順が有益な特徴とツリーに主に焦点を当てるようにすることで解決できます。これを実現する方法には、次のものがあります。

• プレフィルタリング：主にノイズである特徴を除去します。^{[17] [18]}
• エンリッチドランダムフォレスト（ERF）：各ツリーの各ノードで単純ランダムサンプリングの代わりに加重ランダムサンプリングを使用し、より有益と思われる特徴に大きな重みを付けます。^{[19] [20]}
• ツリー重み付けランダムフォレスト（TWRF）：より正確なツリーに重みを付ける。^{[21] [22]}

ランダムフォレストは、回帰問題や分類問題における変数の重要度を自然な方法でランク付けするために使用できます。以下の手法は、Breimanの元の論文^{[7]で説明されており、} Rパッケージ^[8]に実装されていますrandomForest。

データ セット内の特徴の重要性を測定するには、まずデータに対してランダム フォレストをトレーニングします。トレーニング中、各データ ポイントのout-of-bag エラーが記録され、フォレスト全体で平均化されます。(トレーニング中に bagging を使用しない場合は、代わりに独立したテスト セットでエラーを計算できます。) ${\displaystyle {\mathcal {D}}_{n}=\{(X_{i},Y_{i})\}_{i=1}^{n}}$

トレーニング後、特徴の値は out-of-bag サンプル内で並べ替えられ、この変更されたデータ セットで out-of-bag エラーが再度計算されます。特徴の重要度は、すべてのツリーでの並べ替えの前後の out-of-bag エラーの差を平均化することによって計算されます。スコアは、これらの差の標準偏差によって正規化されます。

このスコアに大きな値を生成する特徴は、小さな値を生成する特徴よりも重要であるとランク付けされます。変数重要度測定の統計的定義は、Zhu et al. ^{[23]によって与えられ、分析されました。}

変数の重要性を決定するこの方法には、いくつかの欠点があります。

• 特徴量に異なる数の値がある場合、ランダムフォレストはより多くの値を持つ特徴量を優先します。この問題の解決策には、部分順列^{[24] [25] [26]}と偏りのない木の成長などがあります。^{[27] [28]}
• データに類似した関連性のある相関特徴のグループが含まれている場合、小さなグループが大きなグループよりも優先されます。^[29]
• 共線的な特徴がある場合、この手順では重要な特徴を識別できない可能性があります。解決策としては、相関のある特徴のグループを並べ替えることです。^[30]

ランダムフォレストの特徴重要度に対するこのアプローチは、分割中に不純度を大幅に減らす変数を重要視する。^[31]これは、レオ・ブレイマン著の分類と回帰ツリー^[32]で説明されており、Rsci-kit learnおよびRのデフォルトの実装である。定義は以下のとおりで ある。$${\displaystyle {\text{unormalized average importance}}(x)={\frac {1}{n_{T}}}\sum _{i=1}^{n_{T}}\sum _{{\text{node }}j\in T_{i}|{\text{split variable}}(j)=x}p_{T_{i}}(j)\Delta i_{T_{i}}(j),}$$

• ${\displaystyle x}$特徴です
• ${\displaystyle n_{T}}$森の木の数です
• ${\displaystyle T_{i}}$木です${\displaystyle i}$
• ${\displaystyle p_{T_{i}}(j)={\frac {n_{j}}{n}}}$ノードに到達したサンプルの割合${\displaystyle j}$
• ${\displaystyle \Delta i_{T_{i}}(j)}$は、ノードにおけるツリーの不純度の変化です。${\displaystyle t}$${\displaystyle j}$

たとえば、ノードに含まれるサンプルの不純度の尺度として、次の統計を使用できます。

• エントロピ
• ジニ係数
• 平均二乗誤差

正規化された重要度は、すべての特徴を正規化することによって取得され、正規化された特徴の重要度の合計は 1 になります。

デフォルトsci-kit learnの実装では、誤解を招くような特徴の重要性を報告する可能性がある: ^[30]

• 高いカーディナリティの特徴を好む
• 訓練統計を使用するため、テストセットでの予測に対する特徴の有用性を反映していない^[33]

ランダムフォレストとk最近傍アルゴリズム( k -NN)の関係は、2002 年に Lin と Jeon によって指摘されました。^[34]どちらも、いわゆる加重近傍法として考えることができます。これらは、重み関数Wによって形式化されたポイントの「近傍」を調べることによって新しいポイントx'を予測するトレーニング セットから構築されたモデルです。ここで、は、同じツリー内の新しいポイントx'に対するi番目のトレーニング ポイントの非負の重みです。任意のx'について、ポイントの重みの合計は1 にならなければなりません。重み関数は次のとおりです。 ${\displaystyle \{(x_{i},y_{i})\}_{i=1}^{n}}$${\displaystyle {\hat {y}}}$$${\displaystyle {\hat {y}}=\sum _{i=1}^{n}W(x_{i},x')\,y_{i}.}$$${\displaystyle W(x_{i},x')}$${\displaystyle x_{i}}$

• k -NNでは、 x _{i が}x' に最も近いk点の 1 つである場合、 x i はx'に最も近い k 点の 1 つであり、それ以外の場合は 0 です。${\displaystyle W(x_{i},x')={\frac {1}{k}}}$
• ツリーでは、x _{i が}x'と同じリーフ内のk'個のポイントの 1 つである場合、それ以外の場合は 0 になります。${\displaystyle W(x_{i},x')={\frac {1}{k'}}}$

フォレストは、個々の重み関数を持つm本の木の集合の予測値を平均化するため、その予測値は${\displaystyle W_{j}}$$${\displaystyle {\hat {y}}={\frac {1}{m}}\sum _{j=1}^{m}\sum _{i=1}^{n}W_{j}(x_{i},x')\,y_{i}=\sum _{i=1}^{n}\left({\frac {1}{m}}\sum _{j=1}^{m}W_{j}(x_{i},x')\right)\,y_{i}.}$$

これは、森全体が重み付き近傍スキームであり、重みは個々の木の重みの平均であることを示しています。この解釈では、 x'の近傍は、任意の木で同じ葉を共有する点です。このように、x'の近傍は木の構造、つまりトレーニングセットの構造に複雑に依存します。Lin と Jeon は、ランダムフォレストによって使用される近傍の形状が、各特徴のローカルな重要性に適応することを示しました。^[34]${\displaystyle x_{i}}$${\displaystyle j}$

ランダムフォレスト予測子は、その構築の一環として、観測値間の非類似度測定を自然に導きます。ラベルなしデータ間の非類似度は、元の「観測」データと、参照分布から抽出された適切に生成された合成データを区別するようにフォレストをトレーニングすることで、同様に定義できます。^{[7] [35]}ランダムフォレスト非類似度は、混合変数タイプを非常にうまく処理し、入力変数の単調な変換に対して不変であり、外れ値の観測に対して堅牢であるため、魅力的です。ランダムフォレスト非類似度は、その固有の変数選択により、多数の半連続変数を簡単に処理します。たとえば、「Addcl 1」ランダムフォレスト非類似度は、各変数の寄与を他の変数への依存度に応じて重み付けします。ランダムフォレスト非類似度は、組織マーカーデータに基づいて患者のクラスターを見つけるなど、さまざまなアプリケーションで使用されています。^[36]

決定木の代わりに、線形モデルがランダムフォレストの基本推定器として提案され、評価されており、特に多項ロジスティック回帰とナイーブベイズ分類器がそうである。^{[37] [38] [39]}予測変数と目標変数の関係が線形である場合、基本学習器はアンサンブル学習器と同等の高い精度を持つ可能性がある。^{[40] [37]}

機械学習において、カーネルランダムフォレスト（KeRF）はランダムフォレストとカーネル法の関係を確立します。定義を少し変更することで、ランダムフォレストはカーネル法として書き換えることができ、より解釈しやすく分析が容易になります。^[41]

ランダムフォレストとカーネル法の関係に最初に気づいたのはレオ・ブレイマン^[42]である。彼は、ツリー構築でiidランダムベクトルを使用してトレーニングされたランダムフォレストは、真のマージンに作用するカーネルと同等であると指摘した。リンとジェオン^[43]は、ランダムフォレストと適応型最近傍の関係を確立し、ランダムフォレストを適応型カーネル推定値と見なすことができることを示唆した。デイヴィスとガフラマニ^[44]はカーネルランダムフォレスト(KeRF)を提案し、それが最先端のカーネル法よりも経験的に優れていることを示しました。スコーネット^[41]は、最初にKeRF推定値を定義し、KeRF推定値とランダムフォレストとの明確な関係を示しました。彼はまた、ランダムフォレストの2つの簡略化されたモデルである中心ランダムフォレスト^[45]と均一ランダムフォレスト^[46]に基づくカーネルの明示的な表現を示しました。彼はこれら2つのKeRFをCentered KeRFとUniform KeRFと名付け、それらの一貫性の率の上限を証明しました。

中心フォレスト^[45]は、ブレイマンのオリジナルのランダムフォレストを簡略化したモデルであり、すべての属性の中から1つの属性を均一に選択し、事前に選択された属性に沿ってセルの中心で分割を実行します。このアルゴリズムは、レベルの完全なバイナリツリーが構築されると停止します。ここで、はアルゴリズムのパラメータです。 ${\displaystyle k}$${\displaystyle k\in \mathbb {N} }$

ユニフォームフォレスト^[46]は、ブレイマンのオリジナルのランダムフォレストの別の簡略化されたモデルであり、すべての特徴の中から1つの特徴を均一に選択し、事前に選択された特徴に沿ってセルの側面に均一に描かれた点で分割を実行します。

独立したプロトタイプペア として分布する 値の独立したランダム変数のトレーニングサンプルが与えられます 。ここで、回帰関数 を推定することにより、ランダム変数 に関連付けられた応答 を予測することを目標とします。ランダム回帰フォレストは、ランダム化された回帰ツリーのアンサンブルです。ポイント での予測値を番目のツリーで表します。ここで、 は独立したランダム変数であり、サンプル とは無関係に、一般的なランダム変数 として分布します。このランダム変数は、ノード分割によって生じるランダム性やツリー構築のサンプリング手順を説明するために使用できます。ツリーを組み合わせて、有限フォレスト推定値 を形成します。回帰ツリーの場合、となります。 ここで、はランダム性とデータセットで設計された を含むセルです。${\displaystyle {\mathcal {D}}_{n}=\{(\mathbf {X} _{i},Y_{i})\}_{i=1}^{n}}$${\displaystyle [0,1]^{p}\times \mathbb {R} }$${\displaystyle (\mathbf {X} ,Y)}$${\displaystyle \operatorname {E} [Y^{2}]<\infty }$${\displaystyle Y}$${\displaystyle \mathbf {X} }$${\displaystyle m(\mathbf {x} )=\operatorname {E} [Y\mid \mathbf {X} =\mathbf {x} ]}$${\displaystyle M}$${\displaystyle m_{n}(\mathbf {x} ,\mathbf {\Theta } _{j})}$${\displaystyle \mathbf {x} }$${\displaystyle j}$${\displaystyle \mathbf {\Theta } _{1},\ldots ,\mathbf {\Theta } _{M}}$${\displaystyle \mathbf {\Theta } }$${\displaystyle {\mathcal {D}}_{n}}$${\displaystyle m_{M,n}(\mathbf {x} ,\Theta _{1},\ldots ,\Theta _{M})={\frac {1}{M}}\sum _{j=1}^{M}m_{n}(\mathbf {x} ,\Theta _{j})}$${\displaystyle m_{n}=\sum _{i=1}^{n}{\frac {Y_{i}\mathbf {1} _{\mathbf {X} _{i}\in A_{n}(\mathbf {x} ,\Theta _{j})}}{N_{n}(\mathbf {x} ,\Theta _{j})}}}$${\displaystyle A_{n}(\mathbf {x} ,\Theta _{j})}$${\displaystyle \mathbf {x} }$${\displaystyle \Theta _{j}}$${\displaystyle {\mathcal {D}}_{n}}$${\displaystyle N_{n}(\mathbf {x} ,\Theta _{j})=\sum _{i=1}^{n}\mathbf {1} _{\mathbf {X} _{i}\in A_{n}(\mathbf {x} ,\Theta _{j})}}$

したがって、ランダムフォレスト推定値は、すべての に対して、を満たします。ランダム回帰フォレストには、最初はツリーのターゲットセルのサンプルに対して、次にすべてのツリーに対してという 2 つの平均化レベルがあります。したがって、データポイントの密度が高いセルにある観測値の寄与は、より人口の少ないセルに属する観測値の寄与よりも小さくなります。ランダムフォレスト法を改良し、推定値の誤差を補正するために、Scornet ^{[41] は、}フォレスト内のセルに含まれる の平均に等しいKeRF を定義しました 。有限フォレストの接続関数を、つまりと の間で共有されるセルの割合と定義すると、ほぼ確実に となり、これが KeRF を定義します。 ${\displaystyle \mathbf {x} \in [0,1]^{d}}$${\displaystyle m_{M,n}(\mathbf {x} ,\Theta _{1},\ldots ,\Theta _{M})={\frac {1}{M}}\sum _{j=1}^{M}\left(\sum _{i=1}^{n}{\frac {Y_{i}\mathbf {1} _{\mathbf {X} _{i}\in A_{n}(\mathbf {x} ,\Theta _{j})}}{N_{n}(\mathbf {x} ,\Theta _{j})}}\right)}$$${\displaystyle {\tilde {m}}_{M,n}(\mathbf {x} ,\Theta _{1},\ldots ,\Theta _{M})={\frac {1}{\sum _{j=1}^{M}N_{n}(\mathbf {x} ,\Theta _{j})}}\sum _{j=1}^{M}\sum _{i=1}^{n}Y_{i}\mathbf {1} _{\mathbf {X} _{i}\in A_{n}(\mathbf {x} ,\Theta _{j})},}$$${\displaystyle Y_{i}}$${\displaystyle \mathbf {x} }$${\displaystyle M}$${\displaystyle K_{M,n}(\mathbf {x} ,\mathbf {z} )={\frac {1}{M}}\sum _{j=1}^{M}\mathbf {1} _{\mathbf {z} \in A_{n}(\mathbf {x} ,\Theta _{j})}}$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {z} }$${\displaystyle {\tilde {m}}_{M,n}(\mathbf {x} ,\Theta _{1},\ldots ,\Theta _{M})={\frac {\sum _{i=1}^{n}Y_{i}K_{M,n}(\mathbf {x} ,\mathbf {x} _{i})}{\sum _{\ell =1}^{n}K_{M,n}(\mathbf {x} ,\mathbf {x} _{\ell })}}}$

レベルのCentered KeRFの構築は、予測が対応するカーネル関数または接続関数 によって行われることを除いて、中心化森林の場合と同じです。${\displaystyle k}$${\displaystyle {\tilde {m}}_{M,n}(\mathbf {x} ,\Theta _{1},\ldots ,\Theta _{M})}$$${\displaystyle K_{k}^{cc}(\mathbf {x} ,\mathbf {z} )=\sum _{k_{1},\ldots ,k_{d},\sum _{j=1}^{d}k_{j}=k}{\frac {k!}{k_{1}!\cdots k_{d}!}}\left({\frac {1}{d}}\right)^{k}\prod _{j=1}^{d}\mathbf {1} _{\lceil 2^{k_{j}}x_{j}\rceil =\lceil 2^{k_{j}}z_{j}\rceil },\qquad {\text{ for all }}\mathbf {x} ,\mathbf {z} \in [0,1]^{d}.}$$

ユニフォームKeRFはユニフォームフォレストと同じ方法で構築されますが、予測は対応するカーネル関数または接続関数によって行われます。 ${\displaystyle {\tilde {m}}_{M,n}(\mathbf {x} ,\Theta _{1},\ldots ,\Theta _{M})}$$${\displaystyle K_{k}^{uf}(\mathbf {0} ,\mathbf {x} )=\sum _{k_{1},\ldots ,k_{d},\sum _{j=1}^{d}k_{j}=k}{\frac {k!}{k_{1}!\ldots k_{d}!}}\left({\frac {1}{d}}\right)^{k}\prod _{m=1}^{d}\left(1-|x_{m}|\sum _{j=0}^{k_{m}-1}{\frac {\left(-\ln |x_{m}|\right)^{j}}{j!}}\right){\text{ for all }}\mathbf {x} \in [0,1]^{d}.}$$

各セル内のポイントの数を制御すると、KeRF とランダム フォレストによる予測は近くなります。

ほぼ確実に、次のような シーケンスが存在すると仮定すると、 ほぼ確実に、 ${\displaystyle (a_{n}),(b_{n})}$$${\displaystyle a_{n}\leq N_{n}(\mathbf {x} ,\Theta )\leq b_{n}{\text{ and }}a_{n}\leq {\frac {1}{M}}\sum _{m=1}^{M}N_{n}{\mathbf {x} ,\Theta _{m}}\leq b_{n}.}$$$${\displaystyle |m_{M,n}(\mathbf {x} )-{\tilde {m}}_{M,n}(\mathbf {x} )|\leq {\frac {b_{n}-a_{n}}{a_{n}}}{\tilde {m}}_{M,n}(\mathbf {x} ).}$$

ツリーの数が無限になると、ランダム フォレストと KeRF も無限になります。各セルの観測数が制限されている場合、推定値は近くなります。 ${\displaystyle M}$

ほぼ確実に、次のような シーケンスが存在すると仮定します。${\displaystyle (\varepsilon _{n}),(a_{n}),(b_{n})}$

• ${\displaystyle \operatorname {E} [N_{n}(\mathbf {x} ,\Theta )]\geq 1,}$
• ${\displaystyle \operatorname {P} [a_{n}\leq N_{n}(\mathbf {x} ,\Theta )\leq b_{n}\mid {\mathcal {D}}_{n}]\geq 1-\varepsilon _{n}/2,}$
• ${\displaystyle \operatorname {P} [a_{n}\leq \operatorname {E} _{\Theta }[N_{n}(\mathbf {x} ,\Theta )]\leq b_{n}\mid {\mathcal {D}}_{n}]\geq 1-\varepsilon _{n}/2,}$

するとほぼ確実に、 $${\displaystyle |m_{\infty ,n}(\mathbf {x} )-{\tilde {m}}_{\infty ,n}(\mathbf {x} )|\leq {\frac {b_{n}-a_{n}}{a_{n}}}{\tilde {m}}_{\infty ,n}(\mathbf {x} )+n\varepsilon _{n}\left(\max _{1\leq i\leq n}Y_{i}\right).}$$

と仮定します。ここで は中心ガウスノイズで、 に依存せず、有限分散 を持ちます。さらに、は 上で一様分布し、 はリプシッツです。Scornet ^{[41] は}中心 KeRF と一様 KeRF の一致率の上限を証明しました。 ${\displaystyle Y=m(\mathbf {X} )+\varepsilon }$${\displaystyle \varepsilon }$${\displaystyle \mathbf {X} }$${\displaystyle \sigma ^{2}<\infty }$${\displaystyle \mathbf {X} }$${\displaystyle [0,1]^{d}}$${\displaystyle m}$

および を仮定すると、 すべての に対して となる定数が存在します。 ${\displaystyle k\rightarrow \infty }$${\displaystyle n/2^{k}\rightarrow \infty }$${\displaystyle C_{1}>0}$${\displaystyle n}$${\displaystyle \mathbb {E} [{\tilde {m}}_{n}^{cc}(\mathbf {X} )-m(\mathbf {X} )]^{2}\leq C_{1}n^{-1/(3+d\log 2)}(\log n)^{2}}$

および を仮定すると、となる 定数が存在します。 ${\displaystyle k\rightarrow \infty }$${\displaystyle n/2^{k}\rightarrow \infty }$${\displaystyle C>0}$${\displaystyle \mathbb {E} [{\tilde {m}}_{n}^{uf}(\mathbf {X} )-m(\mathbf {X} )]^{2}\leq Cn^{-2/(6+3d\log 2)}(\log n)^{2}}$

ランダム フォレストは単一の決定木よりも高い精度を達成することが多いが、決定木の本質的な解釈可能性を犠牲にしている。決定木は、線形モデル、ルール ベースモデル、および注意ベース モデルとともに、簡単に解釈できる機械学習モデルの比較的小さなファミリーの 1 つである。この解釈可能性は、決定木の主な利点の 1 つである。これにより、開発者はモデルがデータから現実的な情報を学習したことを確認でき、エンド ユーザーはモデルによる決定を信頼して確信できる。^{[37] [3]}たとえば、決定木が決定を下すためにたどるパスをたどるのは非常に簡単ですが、数十または数百のツリーのパスをたどるのははるかに困難です。パフォーマンスと解釈可能性の両方を実現するために、一部のモデル圧縮手法では、ランダム フォレストを、同じ決定機能を忠実に再現する最小限の「生まれ変わった」決定木に変換できます。^{[37] [47] [48]}

ランダムフォレストのもう一つの限界は、特徴量がターゲットと線形相関している場合、ランダムフォレストはベース学習器の精度を向上させない可能性があることである。^{[37] [40]}複数のカテゴリ変数を持つ問題でも同様である。^[49]

• ブースティング – 機械学習における手法
• 決定木学習 – 機械学習アルゴリズム
• アンサンブル学習 – 統計と機械学習の手法
• 勾配ブースティング – 機械学習技術
• ノンパラメトリック統計 – 統計分析の種類Pages displaying short descriptions of redirect targets
• ランダム化アルゴリズム – ロジックまたは手順の一部としてある程度のランダム性を採用したアルゴリズム

Scholia には、ランダム フォレストのトピックプロファイルがあります。

• ランダムフォレスト分類器の説明 (Leo Breiman のサイト)
• Liaw, Andy & Wiener, Matthew 「randomForest による分類と回帰」 R News (2002) Vol. 2/3 p. 18 ( Rのランダム フォレスト パッケージの使用に関する説明)