交互の条件付き期待

交代条件付き期待値（ACE）は、回帰分析における応答変数と予測変数の間の最適な変換を見つけるアルゴリズムです。^[1]

統計学では、変数の非線形変換は、回帰問題で実際によく使用されます。交代条件付き期待値 (ACE) は、最も適合する加法モデルを生成する変換を見つける方法の 1 つです。このような変換に関する知識は、応答と予測子の関係の解釈と理解に役立ちます。

ACE は、応答変数とその予測変数を変換して、説明されない分散の割合を最小化します。変換は非線形であり、データから反復的に取得されます。 ${\displaystyle Y}$${\displaystyle X_{i}}$

をランダム変数とする。を予測するために使用する。をゼロ平均関数とし、これらの変換関数を使用すると、説明できない の分散の割合は次のようになる。${\displaystyle Y,X_{1},\dots ,X_{p}}$${\displaystyle X_{1},\dots ,X_{p}}$${\displaystyle Y}$${\displaystyle \theta (Y),\varphi _{1}(X_{1}),\dots ,\varphi _{p}(X_{p})}$${\displaystyle \theta (Y)}$

${\displaystyle e^{2}(\theta ,\varphi _{1},\dots ,\varphi _{p})={\frac {\mathbb {E} \left[\theta (Y)-\sum _{i=1}^{p}\varphi _{i}(X_{i})\right]^{2}}{\mathbb {E} [\theta ^{2}(Y)]}}}$

一般的に、説明できない部分を最小化する最適な変換を直接計算することは困難です。代替手段として、ACE は最適な変換を計算する反復法です。ACE の手順は、以下のとおりです。

1. 固定したまま、最小限に抑えることで${\displaystyle \varphi _{1}(X_{1}),\dots ,\varphi _{p}(X_{p})}$${\displaystyle e^{2}}$${\displaystyle \theta _{1}(Y)=\mathbb {E} \left[\sum _{i=1}^{p}\varphi _{i}(X_{i}){\Bigg |}Y\right]}$
2. 単位分散に正規化します。${\displaystyle \theta _{1}(Y)}$
3. 各 について、他のと を固定し、 と を最小化すると、解は次のようになります。${\displaystyle k}$${\displaystyle \varphi _{i}(X_{i})}$${\displaystyle \theta (Y)}$${\displaystyle e^{2}}$${\displaystyle {\tilde {\varphi }}_{k}=\mathbb {E} \left[\theta (Y)-\sum _{i\neq k}\varphi _{i}(X_{i}){\Bigg |}X_{k}\right]}$
4. 誤差許容範囲内になるまで、上記の 3 つの手順を繰り返します。${\displaystyle e^{2}}$

の最適変換は以下を満たす ${\displaystyle \theta ^{*}(Y),\varphi ^{*}(X)}$${\displaystyle p=1}$

${\displaystyle \rho ^{*}(X,Y)=\rho ^{*}(\theta ^{*},\varphi ^{*})=\max _{\theta ,\varphi }\rho (\theta (Y),\varphi (X))}$

ここで、はピアソンの相関係数です。はとの間の最大相関として知られています 。 これは依存性の一般的な尺度として使用できます。 ${\displaystyle \rho }$${\displaystyle \rho ^{*}(X,Y)}$${\displaystyle X}$${\displaystyle Y}$

二変量の場合、ACE アルゴリズムは 2 つの変数間の最大相関を推定する方法としても考えられます。

ACE アルゴリズムは、既知の分布のコンテキストで開発されました。実際には、データ分布が既知であることはめったになく、条件付き期待値はデータから推定する必要があります。R言語には、ACE アルゴリズムを実装するパッケージがありますacepack。次の例は、その使用方法を示しています。

library ( acepack ) 
TWOPI <- 8 * atan ( 1 ) x <- runif ( 200 , 0 , TWOPI ) y <- exp ( sin ( x ) + rnorm ( 200 ) / 2 ) a <- ace ( x , y ) par ( mfrow = c ( 3 , 1 )) plot ( a $ y , a $ ty ) # 応答変換を表示しますplot ( a $ x , a $ tx ) # キャリア変換を表示しますplot ( a $ tx , a $ ty ) # 適合モデルの線形性を調べます    
    
    
   

   
   
  

ACE アルゴリズムは、多重回帰における最適な変換を推定する完全に自動化された方法を提供します。また、ランダム変数間の最大相関を推定する方法も提供します。反復プロセスは通常、限られた実行回数で終了するため、アルゴリズムの時間計算量は、サンプル数です。アルゴリズムは、かなりコンピュータ効率に優れています 。${\displaystyle O(np)}$${\displaystyle n}$

ACE 手順の大きな利点は、想定できる値のセットに関して、まったく異なるタイプの変数を組み込むことができることです。変換関数は実数ライン上の値を想定します。ただし、その引数は任意のセット上の値を想定できます。たとえば、順序付けされた実数変数と順序付けされていないカテゴリ変数を同じ回帰方程式に組み込むことができます。混合タイプの変数も許容されます。 ${\displaystyle \theta (y),\varphi _{i}(x_{i})}$

ACE 手順は、データ分析ツールとして、変換の必要性を示すとともに、変換の選択をガイドするグラフィカル出力を提供します。特定のプロットが変換の一般的な関数形式を示唆している場合は、この機能形式を使用してデータを事前に変換し、ACE アルゴリズムを再実行できます。

あらゆる回帰手順と同様に、予測変数間の関連性が高いと、モデル全体がかなり安定していても、個々の変換推定値に大きな変動が生じることがあります。このことが疑われる場合は、ランダムに選択されたデータのサブセットまたはブートストラップ サンプルでアルゴリズムを実行すると、変動性を評価するのに役立ちます。

• この草稿には、パブリック ドメインである Leo Breiman と Jerome Freidman 著「多重回帰と相関の最適変換の推定」技術レポート No. 9 (1982 年 7 月) からの引用が含まれています。