機械学習研究用データセット一覧

これらのデータセットは機械学習 (ML)研究で使用され、査読付き学術誌で引用されています。データセットは機械学習分野の不可欠な部分です。この分野における大きな進歩は、学習アルゴリズム(深層学習など)、コンピュータ ハードウェア、そして直感的には分かりにくいですが、高品質のトレーニング データセットの入手可能性の進歩によってもたらされます。^{[ 1 ]}教師ありおよび半教師あり機械学習アルゴリズム用の高品質のラベル付きトレーニング データセットは、データのラベル付けに多くの時間が必要なため、通常は作成が困難で高価です。ラベル付けする必要はありませんが、教師なし学習用の高品質のラベルなしデータセットも作成が困難で高価になる場合があります。^{[ 2 ] [ 3 ] [ 4 ]}

政府を含む多くの組織は、共通のメタデータ形式（ Croissantなど）を使用してデータセットを公開および共有しています。^{[ 5 ]}データセットは、ライセンスに基づいて、オープンデータと非オープンデータの2つのグループに分類されます。

様々な政府機関のデータセットは、「オープンガバメントデータサイト一覧」に掲載されています。これらのデータセットはオープンデータポータルに移植され、 Open APIなどのインターフェースを通じて検索、登録、アクセスが可能となっています。データセットは、様々な分類タイプとサブタイプで提供されています。

データポータルは、ライセンスの種類に基づいて分類されます。オープンソースライセンスに基づくデータポータルはオープンデータポータルと呼ばれ、多くの政府機関や学術機関で利用されています。

データポータルには、多くの機械学習アプリケーションに関連する、さまざまなサブタイプのデータセットが掲載されている場合があります。

特定の種類の機械学習アプリケーションに適したデータポータルは、 以降のセクションで一覧表示されています。

これらのデータセットは、主に自然言語処理、感情分析、翻訳、クラスタ分析などのタスクに使用されるテキストで構成されています。

これらのデータセットは、音声認識や音声合成などのタスクに使用される音と音響特徴で構成されています。

電気信号情報を含むデータセットで、さらなる分析のために何らかの信号処理が必要となるもの。

物理システムからのデータセット。

物理システムからのデータセット。

生物系からのデータセット。

このセクションには、構造化データを扱うデータセットが含まれています。

このセクションには、少なくとも2人のアクター（「ユーザー」と「エージェント」）を含む複数ターンのテキストデータセットが含まれています。ユーザーはエージェントにリクエストを行い、エージェントはそのリクエストを実行します。

データセットは様々な形式で存在し、時には使いづらい場合もあるため、機械学習研究でデータセットをより使いやすくするために、データセットの形式を整理・標準化する取り組みが数多く行われてきた。

• OpenML: ^{[ 506 ]}数百の機械学習データセットをダウンロードし、データセット上でアルゴリズムを評価し、数十の他のアルゴリズムと比較してアルゴリズムのパフォーマンスをベンチマークするための、Python、R、Java、およびその他のAPIを備えたWebプラットフォーム。
• PMLB: ^{[ 507 ]}教師あり機械学習アルゴリズムを評価するためのベンチマークデータセットの大規模で厳選されたリポジトリ。Python API を介してアクセスできる標準化された形式の分類および回帰データセットを提供します。
• Metatext NLP: https://metatext.io/datasetsコミュニティによって維持されているウェブリポジトリで、1000近いベンチマークデータセットが含まれており、今後も増える予定です。分類からQAまで、さまざまなタスクに対応しており、英語、ポルトガル語、アラビア語など、多様な言語に対応しています。
• Appen：同社がホストおよび管理する既製データセットとオープンソースデータセット。これらの生物学的、画像、物理的、質問応答、信号、音声、テキスト、ビデオのリソースは250以上あり、25以上の異なるユースケースに適用できます。^{[ 508 ] [ 509 ]}

• ディープラーニングソフトウェアの比較
• 手動画像注釈ツール一覧
• 生物学的データベース一覧