ヒストグラム

ヒストグラムは、定量的データの分布を視覚的に表現したものです。ヒストグラムを作成するための最初のステップは、値の範囲を「ビン」（または「バケット」）に分けることです。つまり、値の範囲全体を一連の間隔に分割し、各間隔に含まれる値の数を数えます。ビンは通常、変数の連続した重複しない間隔として指定されます。ビン（間隔）は隣接しており、通常は（必ずしもそうである必要はありませんが）同じサイズです。^[1]

ヒストグラムは、データの基になる分布の密度の大まかな感覚を示し、多くの場合、密度推定、つまり基になる変数の確率密度関数の推定に使用されます。確率密度に使用されるヒストグラムの合計面積は常に 1 に正規化されます。x軸上の間隔の長さがすべて 1 の場合、ヒストグラムは相対頻度プロットと同一です。

ヒストグラムは棒グラフと混同されることがあります。ヒストグラムでは、各ビンは異なる範囲の値を表すため、全体としてヒストグラムは値の分布を示します。しかし、棒グラフでは、各バーは異なるカテゴリの観測値を表すため（たとえば、各バーは異なる母集団を表す）、全体として棒グラフは異なるカテゴリを比較するために使用できます。一部の著者は、棒グラフがヒストグラムではないことを明確にするために、棒の間に常に隙間があることを推奨しています。^{[2] [3]}

「ヒストグラム」という用語は、数理統計学の創始者であるカール・ピアソンが、 1892年にロンドン大学ユニバーシティ・カレッジで行った講義で初めて導入しました。ピアソンの用語は、ギリシャ語の語源γραμμα (gramma) = 「図」または「図解」と語源ἱστορία (historia) = 「調査」または「歴史」を組み合わせたものだと誤って言われることがあります。あるいは、「網」または「組織」を意味する語源ἱστίον (histion) も提案されています (例えば、生物組織の研究であるhistologyなど)。これらの語源は両方とも間違っており、実際には、古代ギリシャ語に精通していたピアソンは、グラフの垂直バーを指す同音異義語の異なるギリシャ語語源ἱστός = 「垂直に立てられたもの」からこの用語を派生させました。ピアソンの新しい用語は、「スティグモグラム」や「ラジオグラム」など、他の類似の新語のシリーズに組み込まれました。 ^[4]

ピアソン自身は1895年に、「ヒストグラム」という用語は新しいが、それが指すグラフの種類は「一般的なグラフ表現形式」であると述べています。^[5] 実際、統計測定を表すために棒グラフを使用する手法は、スコットランドの経済学者ウィリアム・プレイフェアが彼の著書『商業および政治地図』（1786年）で考案しました。^[4]

これは、500 個の項目を使用した右側のヒストグラムのデータです。

ヒストグラムのパターンを説明するために使用される言葉は、「対称」、「左に偏っている」、「右に偏っている」、「単峰性」、「二峰性」、「多峰性」です。

• 
  対称的、単峰性
• 
  右に傾いている
• 
  左に傾いている
• 
  バイモーダル
• 
  マルチモーダル
• 
  対称的

より詳しく知るには、いくつかの異なるビン幅を使用してデータをプロットすることをお勧めします。以下は、レストランで提供されるチップの例です。

• 
  1 ドルのビン幅、右に偏った単峰型のヒント
• 
  10セントのビン幅を使用するヒント、依然として右に偏っている、$と50セントの金額でモードを持つ多峰性、丸めを示し、いくつかの外れ値もある

米国国勢調査局は、自宅以外で働く人が 1 億 2,400 万人いることを発見しました。^[6] 通勤に要する時間に関するデータを使用した以下の表では、通勤時間が「30 分以上 35 分未満」と回答した人の絶対数が、その上と下のカテゴリの数値よりも高いことが示されています。これは、報告された移動時間を丸めているためであると考えられます。^{[引用が必要]値をやや恣意的に}丸めた数値として報告するという問題は、人々からデータを収集する際によく見られる現象です。^{[引用が必要]}

このヒストグラムは、単位間隔あたりの症例数を各ブロックの高さとして表示します。そのため、各ブロックの面積は、調査でそのカテゴリに該当する人の数に等しくなります。曲線の下の面積は、症例の総数 (1 億 2,400 万) を表します。このタイプのヒストグラムは、Q が千単位の絶対数を示します。

このヒストグラムは、最初のヒストグラムと垂直スケールのみが異なります。各ブロックの面積は、各カテゴリが表す合計の割合であり、すべてのバーの合計面積は 1 に等しくなります (割合は「すべて」を意味します)。表示される曲線は、単純な密度推定値です。このバージョンは比率を示し、単位面積ヒストグラムとも呼ばれます。

言い換えれば、ヒストグラムは、幅がクラス間隔を表し、面積が対応する頻度に比例する長方形によって頻度分布を表します。各長方形の高さは、間隔の平均頻度密度です。間隔が一緒に配置されているのは、ヒストグラムによって表されるデータが排他的でありながら連続していることを示すためです。（たとえば、ヒストグラムでは、10.5–20.5 と 20.5–33.5 の 2 つの接続区間を持つことは可能ですが、10.5–20.5 と 22.5–32.5 の 2 つの接続区間を持つことはできません。空の区間は空として表され、スキップされません。）^[7]

ヒストグラムを作成するために使用されるデータは、各分離カテゴリ（ビンと呼ばれる）に分類される観測値の数をカウントする関数m _iによって生成されます。したがって、観測値の総数をn 、ビンの総数をkとすると、ヒストグラム データm _{i は}次の条件を満たします。

${\displaystyle n=\sum _{i=1}^{k}{m_{i}}.}$

ヒストグラムは、カーネルを使用してビン上の頻度を平滑化する、単純化されたカーネル密度推定と考えることができます。これにより、より滑らかな確率密度関数が生成され、一般に基礎となる変数の分布をより正確に反映します。密度推定は、ヒストグラムの代わりにプロットすることができ、通常はボックスの集合ではなく曲線として描画されます。それでも、統計的特性をモデル化する必要があるアプリケーションでは、ヒストグラムが好まれます。カーネル密度推定の相関変動を数学的に記述するのは非常に困難ですが、各ビンが独立して変化するヒストグラムの場合は簡単です。

カーネル密度推定の代替法として平均シフトヒストグラム^[8]があり、 これは計算が速く、カーネルを使用せずに密度の滑らかな曲線推定値を与えます。

累積ヒストグラムは、指定されたビンまでのすべてのビンの観測値の累積数をカウントするマッピングです。つまり、ヒストグラムm _jの累積ヒストグラムM _{i は}次のように定義されます。

${\displaystyle M_{i}=\sum _{j=1}^{i}{m_{j}}.}$

ビンの数に「最適」なものはなく、ビンのサイズを変えることでデータのさまざまな特徴を明らかにすることができます。データのグループ化は少なくとも17世紀のGrauntの研究と同じくらい古いものですが、 1926年のSturgesの研究まで体系的なガイドラインは示されていませんでした^{[9] 。 [10]}

基になるデータ ポイントの密度が低い場合に広いビンを使用すると、サンプリングのランダム性によるノイズが軽減されます。密度が高い場合に狭いビンを使用すると (信号がノイズをかき消すため)、密度の推定精度が向上します。したがって、ヒストグラム内でビンの幅を変えることは有益です。とはいえ、等幅のビンが広く使用されています。

最適なビンの数を決定しようとした理論家もいるが、これらの方法は一般に分布の形状について強い仮定を立てている。実際のデータ分布と分析の目的に応じて、異なるビン幅が適切となる場合があり、適切な幅を決定するには通常実験が必要である。しかし、さまざまな有用なガイドラインと経験則がある。^[11]

ビンの数kは直接割り当てることも、推奨されるビン幅 hから次のように計算することもできます。

${\displaystyle k=\left\lceil {\frac {\max x-\min x}{h}}\right\rceil .}$

中括弧は天井関数を示します。

${\displaystyle k=\lceil {\sqrt {n}}\rceil \,}$

これはサンプル内のデータポイントの数の平方根を取り、次の整数に丸めます。このルールは多くの初等統計の教科書^[12]で提案されており、多くのソフトウェアパッケージで広く実装されています。^[13]

スタージスの法則^[10]は二項分布から導かれ、暗黙的に近似的に正規分布を仮定している。

${\displaystyle k=\lceil \log _{2}n\rceil +1,\,}$

スタージスの公式は、ビンのサイズをデータの範囲に基づいて暗黙的に決定するため、n  < 30の場合、ビンの数が少なくなり（7未満）、データの傾向をうまく表示できなくなるため、パフォーマンスが低下する可能性があります。その一方で、スタージスの公式は、非常に大きなデータセットに対してビンの幅を過大評価し、ヒストグラムが過度に平滑化される可能性があります。^[14]データが正規分布していない場合にも、パフォーマンスが低下する可能性があります。

ヒストグラムビンの2つの広く受け入れられている公式であるスコットの法則とテレル・スコットの法則と比較すると、スタージスの法則の出力はn ≈ 100のときに最も近くなります。^[14]

${\displaystyle k=\lceil 2{\sqrt[{3}]{n}}\rceil }$

ライスルール^[15]はスタージスのルールの単純な代替として提示されています。

ドーンの公式^[16]は、非正規データでの性能を向上させるためにスタージスの公式を修正したものである。

${\displaystyle k=1+\log _{2}(n)+\log _{2}\left(1+{\frac {|g_{1}|}{\sigma _{g_{1}}}}\right)}$

ここで分布の 推定3次モーメント歪度であり、${\displaystyle g_{1}}$

${\displaystyle \sigma _{g_{1}}={\sqrt {\frac {6(n-2)}{(n+1)(n+3)}}}}$

ビンの幅は次のように与えられる。 ${\displaystyle h}$

${\displaystyle h={\frac {3.49{\hat {\sigma }}}{\sqrt[{3}]{n}}},}$

ここで、は標本標準偏差である。スコットの正規参照則^[17]は、密度推定値の積分平均二乗誤差を最小化するという意味で、正規分布データのランダム標本に対して最適である。^[9]これはMicrosoft Excelで使用されるデフォルトの規則である。^[18]${\displaystyle {\hat {\sigma }}}$

${\displaystyle k={\sqrt[{3}]{2n}}}$

テレル・スコット則^{[14] [19]}は通常の参照則ではない。これは漸近的に最適なヒストグラムに必要な最小のビン数を与えるもので、最適性は積分平均二乗誤差によって測定される。この境界は「最も滑らかな」可能な密度を見つけることによって導かれ、それは となる。他の密度ではより多くのビンが必要になるため、上記の推定値は「過剰平滑化」則とも呼ばれる。式の類似性と、この則を提案したときにテレルとスコットがライス大学にいたという事実は、これがライス則の起源でもあることを示唆している。 ${\displaystyle {\frac {3}{4}}(1-x^{2})}$

フリードマン・ディアコニス則はビンの幅を次のように表す: ^{[20] [9]}${\displaystyle h}$

${\displaystyle h=2{\frac {\operatorname {IQR} (x)}{\sqrt[{3}]{n}}},}$

これは、IQR で表される四分位範囲に基づいています。これは、スコットのルールの 3.5σ を 2 IQR に置き換えたもので、データの外れ値に対する標準偏差よりも感度が低くなります。

スコットの法則から得られる積分平均二乗誤差を最小化するこのアプローチは、leave-one out交差検証を使用することで、正規分布を超えて一般化することができる。^{[21] [22]}

${\displaystyle {\underset {h}{\operatorname {arg\,min} }}{\hat {J}}(h)={\underset {h}{\operatorname {arg\,min} }}\left({\frac {2}{(n-1)h}}-{\frac {n+1}{n^{2}(n-1)h}}\sum _{k}N_{k}^{2}\right)}$

ここで、はk番目のビンのデータポイントの数であり、J を最小化するhの値を選択すると、積分平均二乗誤差が最小化されます。 ${\displaystyle N_{k}}$

^{この選択は、}推定L2リスク関数の最小化に基づいている^[23]

${\displaystyle {\underset {h}{\operatorname {arg\,min} }}{\frac {2{\bar {m}}-v}{h^{2}}}}$

ここで、およびは、ビン幅、のヒストグラムの平均と偏りのある分散です。 ${\displaystyle \textstyle {\bar {m}}}$${\displaystyle \textstyle v}$${\displaystyle \textstyle h}$${\displaystyle \textstyle {\bar {m}}={\frac {1}{k}}\sum _{i=1}^{k}m_{i}}$${\displaystyle \textstyle v={\frac {1}{k}}\sum _{i=1}^{k}(m_{i}-{\bar {m}})^{2}}$

均等間隔のビンを選択するのではなく、一部のアプリケーションではビンの幅を変えることが望ましい場合があります。これにより、カウントの少ないビンを回避できます。一般的なケースは、各ビンのサンプル数がほぼ等しいと予想される等確率ビンを選択することです。ビンは、既知の分布に従って選択することも、各ビンにサンプルが含まれるようにデータに基づいて選択することもできます。ヒストグラムをプロットする場合、従属軸には頻度密度が使用されます。すべてのビンの面積はほぼ等しくなりますが、ヒストグラムの高さは密度分布に近似します。 ${\displaystyle \approx n/k}$

等確率ビンの場合、ビンの数に関する次の規則が提案されている：^[24]

${\displaystyle k=2n^{2/5}}$

このビンの選択は、ビンに等しい数のサンプルが含まれているかどうかをテストするピアソンカイ2乗検定の検出力を最大化することを目的とします。より具体的には、与えられた信頼区間に対して、次の式の1/2倍から1倍の間で選択することが推奨されます。^[25]${\displaystyle \alpha }$

${\displaystyle k=4\left({\frac {2n^{2}}{\Phi ^{-1}(\alpha )}}\right)^{\frac {1}{5}}}$

ここで、 はプロビット関数です。 に対するこの規則に従うと、は との間になります。この広い最適値から覚えやすい値として、係数 2 が選択されます。 ${\displaystyle \Phi ^{-1}}$${\displaystyle \alpha =0.05}$${\displaystyle 1.88n^{2/5}}$${\displaystyle 3.77n^{2/5}}$

ビンの数が に比例するべき理由として、次のことが挙げられます。データが、滑らかな密度を持つ有界確率分布の独立した実現として取得されると仮定します。この場合、ヒストグラムは、無限大に近づくにつれて、同様に「凹凸」したままになります。 が分布の「幅」（標準偏差または四分位範囲など）である場合、ビン内のユニット数（頻度）は のオーダーで、相対標準誤差は のオーダーです。次のビンと比較すると、頻度の相対的な変化は、密度の導関数がゼロでない場合、 のオーダーです。が のオーダーである場合、これら 2 つは同じオーダーであるため、 はのオーダーです。この単純な立方根の選択は、一定でない幅のビンにも適用できます。^{[引用が必要]}${\displaystyle {\sqrt[{3}]{n}}}$${\displaystyle n}$${\displaystyle n}$${\displaystyle s}$${\displaystyle nh/s}$${\displaystyle {\sqrt {s/(nh)}}}$${\displaystyle h/s}$${\displaystyle h}$${\displaystyle s/{\sqrt[{3}]{n}}}$${\displaystyle k}$${\displaystyle {\sqrt[{3}]{n}}}$

• 水文学では、降雨量と河川流量データのヒストグラムと推定密度関数を確率分布で解析し、それらの挙動と発生頻度についての洞察を得るために使用されます。^[27]一例を青い図に示します。
• 多くのデジタル画像処理プログラムには、ピクセルのコントラスト/明るさの分布を表示するヒストグラム ツールがあります。

  

ウィキメディア・コモンズには、ヒストグラムに関連するメディアがあります。

• データと情報の視覚化
• データビニング
• 密度推定
  • カーネル密度推定、より滑らかだがより複雑な密度推定方法
• エントロピー推定
• フリードマン・ディアコニス則
• 画像ヒストグラム
• パレート図
• 品質の7つの基本ツール
• V最適ヒストグラム

• ランカスター、HO医療統計学入門。ジョン・ワイリー・アンド・サンズ。1974年。ISBN 0-471-51250-8 

ウィキメディア・コモンズには、ヒストグラムに関連するメディアがあります。

無料辞書『ウィクショナリー』でヒストグラムを調べてください。

• ヒストグラムの探究、アラン・ルンツァーとアメリア・マクナマラによるエッセイ
• 通勤経路と勤務地（例で引用した国勢調査文書の場所）
• 少数のサンプルからの信号と画像の滑らかなヒストグラム
• ヒストグラム: 外部リンクと素粒子物理学への応用による構築、分析、理解。
• ヒストグラムのビンサイズを選択する方法
• ヒストグラム: 理論と実践、上記で導き出されたビン幅の概念のいくつかをわかりやすく図示しています。
• ヒストグラムを正しく使う
• インタラクティブなヒストグラムジェネレーター
• きれいなヒストグラムをプロットする Matlab 関数
• MS Excel の動的ヒストグラム
• Java アプレットを使用したヒストグラムの構築と操作、およびSOCR上のチャート
• 最高のヒストグラムを作成するためのツールボックス 2017-10-24 にWayback Machineでアーカイブされました