Loading article…
データセット（またはデータセット）は、データの集まりです。表形式のデータの場合、データセットは1つ以上のデータベーステーブルに対応し、テーブルの各列は特定の変数を表し、各行はデータセットの特定のレコードに対応します。データセットには、データセットの各メンバーについて、たとえば物体の高さや重さなどの各変数の値がリストされます。データセットは、ドキュメントやファイルのコレクションで構成されることもあります。[2]
オープンデータ分野では、データセットは公開オープンデータリポジトリに公開された情報を測定する単位です。欧州のdata.europa.euポータルには、100万を超えるデータセットが集約されています。[3]
プロパティ
データセットの構造と特性はいくつかの特性によって定義されます。これには、属性や変数の数と種類、標準偏差や尖度など、それらに適用可能なさまざまな統計的尺度が含まれます。[4]
値は、実数や整数などの数値（たとえば、人の身長をセンチメートルで表す）である場合もありますが、名目データ（つまり、数値で構成されていないデータ）（たとえば、人の民族性を表す）である場合もあります。より一般的には、値は、測定レベルとして説明される種類のいずれでもかまいません。各変数について、値は通常、すべて同じ種類です。欠損値が存在する可能性があり、何らかの方法でそれを示す必要があります。
統計学では、データセットは通常、統計的母集団をサンプリングすることによって得られた実際の観察から得られ、各行はその母集団の1つの要素の観察に対応します。データセットはさらに、特定の種類のソフトウェアをテストする目的でアルゴリズムによって生成されることもあります。SPSSなどの一部の最新の統計分析ソフトウェアは、依然としてデータを古典的なデータセット形式で表示します。データが欠落しているか疑わしい場合は、補完法を使用してデータセットを補完することができます。[5]
クラシック
統計文献では、いくつかの古典的なデータセットが広く使用されてきました。
- アイリスの花のデータセット–ロナルド・フィッシャー（1936）によって導入された多変量データセット。 [1]カリフォルニア大学アーバイン校機械学習リポジトリによってオンラインで提供されています。[6]
- MNIST データベース– 分類、クラスタリング、画像処理アルゴリズムのテストによく使用される手書き数字の画像
- カテゴリカルデータ分析– UCLA Advanced Research Computingがオンラインで提供している書籍「カテゴリカルデータ分析入門」で使用されているデータセット。 [7]
- ロバスト統計–ロバスト回帰と外れ値検出で使用されるデータセット（ RousseeuwとLeroy、1968年）。ケルン大学でオンラインで提供されています。 [8]
- 時系列データ– チャットフィールドの著書『時系列分析』で使用されているデータは、StatLibによってオンラインで提供されています。 [9]
- 極値- 書籍「極値の統計モデル化入門」で使用されているデータは、書籍の著者である Stuart Coles がオンラインで提供したデータのスナップショットです。
- ベイジアンデータ分析- この本で使用されているデータは、本の著者の一人であるAndrew Gelmanによってオンラインで提供されています (アーカイブ リンク) 。
- Bupa 肝臓データ –機械学習(データマイニング) 文献のいくつかの論文で使用されています。
- アンスコムの四重奏– 統計的誤りを避けるためにデータをグラフ化することの重要性を示す小さなデータセット
参照
参考文献
- ^ ab Fisher, RA (1963). 「分類学的問題における複数の測定の使用」(PDF) . Annals of Eugenics . 7 (2): 179–188. doi :10.1111/j.1469-1809.1936.tb02137.x. hdl : 2440/15227 . 2011-09-28 にオリジナル(PDF)からアーカイブ。2007-05-22に取得。
- ^ Snijders, C.; Matzat, U.; Reips, U.-D. (2012). 「『ビッグデータ』：インターネット分野における知識の大きなギャップ」International Journal of Internet Science . 7 : 1–5. 2019-11-23 時点のオリジナルよりアーカイブ。2017-02-10に取得。
- ^ 「欧州オープンデータポータル」。欧州オープンデータポータル。欧州委員会。2016年9月23日閲覧。
- ^ Jan M. Żytkow、Jan Rauch (2000)。データマイニングと知識発見の原理。Springer。ISBN 978-3-540-66490-1。
- ^ 国連統計委員会、国連欧州経済委員会 (2007)。統計データ編集：データ品質への影響：統計データ編集第 3 巻、欧州統計家会議統計基準および研究(PDF)。国連出版物。p. 20。ISBN 978-9211169522。
- ^ 「UCI機械学習リポジトリ：アイリスデータセット」。2023年4月26日時点のオリジナルよりアーカイブ。2023年5月2日閲覧。
- ^ 「教科書の例: カテゴリカルデータ分析入門、Alan Agresti著」。2023年1月31日時点のオリジナルよりアーカイブ。2023年5月2日閲覧。
- ^ 「ROUSSEEUWデータセット」。2005年2月7日時点のオリジナルよりアーカイブ。
- ^ 「StatLib :: 統計コミュニティからのデータ、ソフトウェア、ニュース」。2011 年 1 月 2 日時点のオリジナルよりアーカイブ。
外部リンク
無料辞書の Wiktionary でデータセットを調べます。
- Data.gov – 米国政府のオープンデータ
- GCMD – 地球科学と環境科学のデータセットとサービスに関する34,000以上の説明を含む地球変化マスターディレクトリ
- 人道データ交換 (HDX) – 人道データ交換 (HDX) は、国連人道問題調整事務所が管理するオープンな人道データ共有プラットフォームです。
- NYC オープン データ – ニューヨーク市の機関やその他のパートナーによって公開されている無料の公開データ。
- リレーショナルデータセットリポジトリ 2018-03-07 にWayback Machineでアーカイブされました
- 研究パイプライン – さまざまなトピックに関するデータセットへのリンクがあるウィキ/ウェブサイト
- StatLib–JASA データ アーカイブ
- UCI – 機械学習リポジトリ
- 英国政府の公開データ
- 世界銀行オープンデータ –世界銀行による世界の開発データへの無料かつオープンなアクセス