きめ細かなコンピューティング

変数をこのように細分化するのに、相互に関連するいくつかの理由があります。

• 事前のドメイン知識に基づくと、温度のわずかな変動（例えば、 80～80.7 °F（26.7～27.1 °C）の差）が、フィットネスクラブの申し込み件数に影響を与える行動に影響を与えるとは考えられません。そのため、この解像度レベルで学習アルゴリズムが検出する可能性のある「規則性」は、過学習によるアーティファクトとして、偽のものであると考えられます。事前のドメイン知識に基づいて、フィットネスクラブの申し込み件数に影響を与える可能性があると予測される差を持つ区間に温度変数を粗くすることで、これらの偽のパターンを検出する可能性を排除できます。したがって、この場合、解像度を下げることは過学習を制御する方法となります。  
• 温度変数の区間数を減らす（つまり、粒度を大きくする）ことで、各区間指定によってインデックス付けされるサンプルデータの量を増やすことができます。このように、変数を粗くすることでサンプルサイズが増加し、より精度の高い統計的推定が可能になります。この意味で、粒度を大きくすることは、次元数や変数の要素数が増加するにつれて統計的検出力が指数関数的に低下するという、いわゆる「次元の呪い」に対する解決策となります。
• 事前のドメイン知識とは無関係に、意味のある規則性（つまり、特定の学習方法論、表現言語などで検出できる規則性）は、ある解像度レベルでは存在するが、別の解像度レベルでは存在しないということがよくある。

例えば、単純な学習器やパターン認識システムは、次のような条件付き確率閾値を満たす規則性を抽出しようとするかもしれない。${\displaystyle p(Y=y_{j}|X=x_{i})\geq \alpha .}$特別な場合${\displaystyle \alpha =1,}$この認識システムは基本的に次の形式の論理的含意を検出します${\displaystyle X=x_{i}\rightarrow Y=y_{j}}$または、言葉で言うと、「もし${\displaystyle X=x_{i},}$それから${\displaystyle Y=y_{j}}$システムがそのような影響（または一般的には、閾値を超える条件付き確率）を認識する能力は、システムが変数を分析する解像度に部分的に依存します。

この最後の点の例として、右図に示す特徴空間を考えてみましょう。各変数は、2つの異なる解像度で考えることができます。変数${\displaystyle X}$高解像度（四元）で見れば、4つの値をとる。${\displaystyle \{x_{1},x_{2},x_{3},x_{4}\}}$または、より低い（バイナリ）解像度では、2つの値をとります${\displaystyle \{X_{1},X_{2}\}.}$ 同様に、変数${\displaystyle Y}$高解像度（四元）または低解像度（二元）で見ることができ、その値は${\displaystyle \{y_{1},y_{2},y_{3},y_{4}\}}$または${\displaystyle \{Y_{1},Y_{2}\},}$それぞれ。高解像度では、その形式の検出可能な影響はありません。${\displaystyle X=x_{i}\rightarrow Y=y_{j},}$なぜなら、すべての${\displaystyle x_{i}}$複数のものに関連付けられています${\displaystyle y_{j},}$そして、すべての${\displaystyle x_{i},}$${\displaystyle p(Y=y_{j}|X=x_{i})<1.}$しかし、低い（二値）変数解像度では、2つの双方向的な意味合いが検出可能になる。 ${\displaystyle X=X_{1}\leftrightarrow Y=Y_{1}}$そして${\displaystyle X=X_{2}\leftrightarrow Y=Y_{2}}$なぜなら、${\displaystyle X_{1}}$発生するのは、${\displaystyle Y_{1}}$そして${\displaystyle X_{2}}$発生するのは、${\displaystyle Y_{2}.}$したがって、このような意味合いをスキャンするパターン認識システムは、二値変数解像度ではそれらを検出できるが、より高い四値変数解像度では検出できないだろう。

すべての変数に対して考えられるすべての離散化解像度を網羅的にテストして、どの解像度の組み合わせが興味深い、あるいは重要な結果をもたらすかを確認することは現実的ではありません。そのため、特徴空間を前処理（多くの場合、何らかのエントロピー分析によって）し、離散化プロセスをどのように進めるべきかについて何らかの指針を与える必要があります。さらに、各変数を単純に個別に分析して離散化するだけでは、一般的に良い結果は得られません。なぜなら、そうすることで、発見しようとしていた相互作用そのものが失われてしまう可能性があるからです。

一般的に変数離散化の問題、特に多変数離散化の問題を扱った論文の例は次のとおりです。Chiu 、Wong & Cheung (1991)、Bay (2001)、 Liu et al. (2002)、Wang & Liu (1998)、Zighed、Rabaséda & Rakotomalala (1998)、Catlett (1991)、Dougherty、Kohavi & Sahami (1995)、Monti & Cooper (1999)、Fayyad & Irani (1993)、Chiu、Cheung & Wong (1990)、Nguyen & Nguyen (1998)、Grzymala-Busse & Stefanowski (2001)、Ting (1994)、Ludl & Widmer (2000)、Pfahringer (1995)、An & Cercone (1999)、 Chiu & Cheung (1989)、Chmielewski &グジマラ・ブッセ (1996)、リー& Shin (1994)、Liu & Wellman (2002)、Liu & Wellman (2004)。

主成分分析、多次元尺度構成法、因子分析、構造方程式モデリングなどの古典的な手法とその関連手法の多くは、「変数変換」という範疇に属します。また、次元削減、射影追跡、独立成分分析などのより現代的な研究分野もこの範疇に含まれます。これらの手法の一般的な目標は、元の変数の線形または非線形変換である新しい変数を用いてデータを表現することです。この新しい変数からは重要な統計的関係が浮かび上がります。結果として得られる変数セットは、元の変数セットよりもほぼ常に小さくなるため、これらの手法は特徴空間に粒度を与えるものと大まかに言えます。これらの次元削減手法はすべて、Duda、Hart & Stork (2001)、Witten & Frank (2005)、Hastie、Tibshirani & Friedman (2001)などの標準的なテキストで解説されています。

変数粒度化手法の別のクラスは、上記の手法を支える線形システム理論よりも、データクラスタリング手法から派生している。関連する変数を「クラスタリング」することは、関連するデータをクラスタリングすることとまったく同じように考えられることは、かなり早い段階で指摘された。データクラスタリングでは、類似したエンティティのグループを特定し（ドメインに適した「類似度尺度」を使用 — Martino、Giuliani & Rizzi (2018)）、その後、ある意味でそれらのエンティティを何らかのプロトタイプに置き換える。プロトタイプは、特定されたクラスタ内のデータの単純平均、またはその他の代表尺度である可能性がある。しかし、重要な考え方は、後続の操作において、データクラスタの単一のプロトタイプ（おそらくプロトタイプから例がどのように導出されるかを記述する統計モデルとともに）を使用して、はるかに大きな例のセットを代用できる可能性があるということである。これらのプロトタイプは一般的に、エンティティに関する関心のある情報のほとんどを捉えるものである。

同様に、多数の変数を、変数間の最も顕著な関係を捉える少数のプロトタイプ変数に集約できるかどうかを問うのは妥当である。線形相関に基づく変数クラスタリング手法が提案されているが（Duda、Hart & Stork 2001、Rencher 2002 ）、より強力な変数クラスタリング手法は、変数間の相互情報量に基づいている。渡辺は（渡辺 1960、渡辺 1969）、任意の変数セットに対して、一連の変数凝集を表す多項式（すなわちn分）ツリーを構築できることを示した。このツリーでは、完全な変数セット間の最終的な「総」相関は、各凝集サブセットによって示される「部分」相関の合計である（図を参照）。渡辺は、観察者は、まるで自然な分割や隠れた亀裂を探しているかのように、各部分間の相互依存性を最小限に抑えるようにシステムを分割しようとするかもしれないと示唆している。

このようなツリーを構築するための実際的なアプローチの1つは、ペアワイズ相互情報量が最も高い2つの変数（原子変数または以前に集約された変数）を順次集約対象として選択することです（Kraskov et al. 2003 ） 。各集約の産物は、2つの集約変数の局所的な同時分布を反映する新しい（構築された）変数であり、したがってそれらの同時エントロピーに等しいエントロピーを持ちます。 （手続き上の観点から言えば、この集約ステップでは、属性値テーブルの 2 つの列（集約する 2 つの変数を表す）を、置き換えられた列の値のすべての固有の組み合わせに対して固有の値を持つ単一の列に置き換えます（Kraskov et al. 2003 ）。このような操作によって情報が失われることはありません。ただし、変数間の関係を調べるためにデータを探索する場合、このような方法で冗長な変数をマージすることは一般的に望ましくありません。なぜなら、そのような状況では、変数間の冗長性または依存関係がまさに関心の対象となる可能性が高く、冗長な変数がマージされると、それらの相互関係を研究できなくなるからです。）

例を用いて説明しましょう。以下の属性値システムを考えてみてください。

属性の完全なセット${\displaystyle P=\{P_{1},P_{2},P_{3},P_{4},P_{5}\}}$考慮すると、次の 7 つの同値類または原始的（単純）概念が存在することがわかります。

${\displaystyle {\begin{cases}\{O_{1},O_{2}\}\\\{O_{3},O_{7},O_{10}\}\\\{O_{4}\}\\\{O_{5}\}\\\{O_{6}\}\\\{O_{8}\}\\\{O_{9}\}\end{cases}}}$

したがって、最初の同値類内の 2 つのオブジェクトは、${\displaystyle \{O_{1},O_{2}\},}$利用可能な属性に基づいて互いに区別することはできず、第 2 等価クラス内の 3 つのオブジェクトは、${\displaystyle \{O_{3},O_{7},O_{10}\},}$利用可能な属性に基づいて互いに区別することはできません。残りの 5 つのオブジェクトはそれぞれ他のすべてのオブジェクトと区別できます。次に、属性値システムを属性に投影することを想像してみましょう。${\displaystyle P_{1}}$これは、例えば、この単一の属性しか検出できない観察者からの視点を表す。すると、以下のような、より粗い同値類構造が得られる。

${\displaystyle {\begin{ケース}\{O_{1},O_{2}\}\\\{O_{3},O_{5},O_{7},O_{9},O_{10}\}\\\{O_{4},O_{6},O_{8}\}\end{ケース}}}$

これはある意味では以前と同じ構造ですが、解像度が低くなっています（粒度が大きくなっています）。値の粒度化（離散化／量子化）の場合と同様に、ある粒度レベルでは存在する関係（依存関係）が、別の粒度レベルでは存在しない可能性があります。その例として、概念の粒度化が属性依存性（相互情報量のより単純な類似物）と呼ばれる尺度に与える影響を考えてみましょう。

この依存関係の概念を確立するために（ラフ集合も参照）、${\displaystyle [x]_{Q}=\{Q_{1},Q_{2},Q_{3},\dots ,Q_{N}\}}$それぞれが特定の概念の粒度を表し、${\displaystyle Q_{i}}$は、属性セットQによって誘導される概念構造からの同値類です。たとえば、属性セットQが属性で構成されている場合${\displaystyle P_{1}}$単独で、上記のように、概念構造${\displaystyle [x]_{Q}}$構成する

${\displaystyle {\begin{aligned}Q_{1}&=\{O_{1},O_{2}\},\\Q_{2}&=\{O_{3},O_{5},O_{7},O_{9},O_{10}\},\\Q_{3}&=\{O_{4},O_{6},O_{8}\}.\end{aligned}}}$

属性セットQが別の属性セットPに依存していること、${\displaystyle \gamma _{P}(Q),}$は

${\displaystyle \gamma _{P}(Q)={\frac {\left|\sum _{i=1}^{N}{\underline {P}}Q_{i}\right|}{\left|\mathbb {U} \right|}}\leq 1}$

つまり、各同値類について${\displaystyle Q_{i}}$で${\displaystyle [x]_{Q},}$Pの属性によってその「下近似値」（ラフ集合を参照）のサイズを合計します。${\displaystyle {\underline {P}}Q_{i}.}$より簡単に言うと、この近似値は、属性セットPにおいて、ターゲットセットに属すると確実に識別できるオブジェクトの数である。${\displaystyle Q_{i}.}$すべての同値類に追加されました${\displaystyle [x]_{Q},}$上記の分子は、属性セットPに基づいて、属性Qによって誘導される分類に従って正に分類できるオブジェクトの総数を表します。したがって、依存度は、そのような分類可能なオブジェクトの割合（全体の中で）を表し、ある意味で2つの概念構造の「同期」を捉えています。${\displaystyle [x]_{Q}}$そして${\displaystyle [x]_{P}.}$依存関係${\displaystyle \gamma _{P}(Q)}$「情報システム内のそのようなオブジェクトのうち、 Pの属性の値を知るだけでQの属性の値を決定するのに十分であるものの割合として解釈できる」（Ziarko & Shan 1995）。

定義を済ませたところで、概念の粒度（つまり属性の選択）の選択が、属性間の依存関係の検出に影響を与えるという単純な観察結果を得ることができます。上記の属性値テーブルをもう一度考えてみましょう。

属性セットの依存関係を考慮する ${\displaystyle Q=\{P_{4},P_{5}\}}$属性セット${\displaystyle P=\{P_{2},P_{3}\}.}$ つまり、オブジェクトのうち、どの割合がクラスに正しく分類できるかを知りたいのです。${\displaystyle [x]_{Q}}$知識に基づいて${\displaystyle [x]_{P}.}$同値類${\displaystyle [x]_{Q}}$そして${\displaystyle [x]_{P}}$以下に示します。

概念構造に基づいて明確に分類できる対象${\displaystyle [x]_{Q}}$に基づく${\displaystyle [x]_{P}}$セット内のもの${\displaystyle \{O_{1},O_{2},O_{3},O_{7},O_{8},O_{10}\},}$そして、これらが 6 つあるので、QのPへの依存性は、${\displaystyle \gamma _{P}(Q)=6/10.}$これはそれ自体興味深い依存関係と見なせるかもしれないが、特定のデータマイニングアプリケーションにおいては、より強い依存関係のみが望ましい場合もあるだろう。

次に、より小さな属性セットの依存性について検討する。 ${\displaystyle Q=\{P_{4}\}}$属性セットについて${\displaystyle P=\{P_{2},P_{3}\}.}$ 移動${\displaystyle Q=\{P_{4},P_{5}\}}$に${\displaystyle Q=\{P_{4}\}}$クラス構造の粗大化を引き起こす${\displaystyle [x]_{Q},}$後ほど説明します。私たちは、オブジェクトのうち、(より大きな) クラスに正しく分類できる割合を改めて知りたいと考えています。${\displaystyle [x]_{Q}}$知識に基づいて${\displaystyle [x]_{P}.}$新しい同値類${\displaystyle [x]_{Q}}$そして${\displaystyle [x]_{P}}$以下に示します。

明らかに、${\displaystyle [x]_{Q}}$以前よりも粒度が粗くなっている。概念構造に従って明確に分類できるオブジェクトは${\displaystyle [x]_{Q}}$に基づく${\displaystyle [x]_{P}}$完全な宇宙を構成する${\displaystyle \{O_{1},O_{2},\ldots ,O_{10}\}}$したがって、QのPへの依存性、${\displaystyle \gamma _{P}(Q)=1.}$つまり、カテゴリセットに基づくメンバーシップの知識 ${\displaystyle [x]_{P}}$カテゴリーメンバーシップを決定するのに十分です${\displaystyle [x]_{Q}}$完全に確信を持って; この場合、次のように言えるでしょう。${\displaystyle P\rightarrow Q.}$このように、概念構造を粗くすることで、より強い（決定論的な）依存関係を見つけることができました。しかし、誘導されたクラスは${\displaystyle [x]_{Q}}$この決定論的依存関係を得るために必要な解像度の低下から生じるものは、現在ではそれ自体が大きく、数が少ない。その結果、我々が発見した依存関係は強いものの、以前に高解像度の視点の下で発見された弱い依存関係よりも価値が低い可能性がある。${\displaystyle [x]_{Q}.}$

一般的に、どの誘導概念構造が最も強い依存関係を生み出すかを確認するために、すべての属性セットをテストすることは不可能であり、したがって、この探索はある程度の知性をもって行われる必要がある。この問題、および粒度化の賢明な使用に関連するその他の問題について論じた論文は、以下の#Referencesに記載されているYY YaoとLotfi Zadehによるものである。

概念の粒度化に関する別の視点は、カテゴリのパラメトリックモデルに関する研究から得られる。例えば、混合モデル学習では、データセットは異なるガウス分布（またはその他の分布）の混合として説明される。つまり、大量のデータが少数の分布に「置き換えられる」。これらの分布の数とそのサイズの選択は、やはり概念の粒度化の問題と見なすことができる。一般に、分布またはパラメータの数が多いほどデータへの適合性は向上するが、意味のあるパターンを抽出するためには、分布の数を制限する必要があり、それによって概念の解像度を意図的に 粗くする必要がある。適切な概念の解像度を見つけることは難しい問題であり、多くの手法（例えば、AIC、BIC、MDLなど）が提案されており、これらはしばしば「モデル正則化」という枠組みで検討される。