パイル（データセット）

Pileは、大規模言語モデル（LLM）のトレーニングデータセットとして作成された、886.03 GBの多様な英語テキストのオープンソースデータセットです。2020年にEleutherAIによって構築され、同年12月31日に公開されました。^{[1] [2]} 14の新しいデータセットを含む22の小さなデータセットで構成されています。^[1]

LLM のトレーニングには膨大な量のデータが必要であるため、Pile が導入される前は、LLM のトレーニングに使用されるデータのほとんどはCommon Crawlから取得されていました。^[3]ただし、より多様なデータセットでトレーニングされた LLM は、トレーニング後に幅広い状況に対処できるようになります。^[4] Pile の作成は、さまざまなソースとライティング スタイルのデータを含む十分に大きなデータセットの必要性に動機付けられました。^{[1] [5]} 他のデータセットと比較して、Pile の主な特徴は、EleutherAI の研究者が言語モデルが学習する必要があると考える情報を含むように選択したデータの精選されたセレクションであり、それを開発した研究者によって徹底的に文書化された唯一のデータセットであることです。^[6]

人工知能は最初のパスでデータから学習できるすべてのことを学習するわけではないため、データセット全体の各パスを「エポック」として、同じデータでAIを複数回トレーニングするのが一般的な方法です。^[7]パイルを構成する22のサブデータセットにはそれぞれ、データの認識された品質に応じて異なる数のエポックが割り当てられました。^[1]以下の表は、エポック数を乗算する前と乗算した後の22のサブデータセットの相対的なサイズを示しています。数値はGBに変換され、アスタリスクは新しく導入されたデータセットを示します。

EleutherAIは、他のデータセットで訓練されたモデルでは対応が困難であることが判明した学術的な文章を含む、幅広いトピックや文章スタイルをカバーしようとデータセットを選択しました。^[1]

Pile で使用されたすべてのデータは、公開されているソースから取得されました。EleutherAI は、データセット全体をフィルタリングして重複を削除しました。一部のサブデータセットも品質管理のためにフィルタリングされました。最も注目すべきは、Pile-CC は Common Crawl の修正版であり、HTMLフォーマットやリンクなど、テキスト以外の部分を削除するためにデータがフィルタリングされていることです。^[1]

いくつかの潜在的なサブデータセットは、人種差別的な内容のために除外された米国議会記録など、さまざまな理由で除外されました。 ^[1]

含まれているサブデータセット内では、個々の文書は英語以外の、偏見のある、または卑猥なテキストを削除するためにフィルタリングされていません。また、同意に基づいてフィルタリングされていません。つまり、たとえば、Pile-CC は Common Crawl 自体と同じ倫理的問題をすべて抱えています。ただし、EleutherAI は、サブデータセットごとに、偏見 (性別、宗教、人種に基づく) と卑猥な表現の量、および同意のレベルを文書化しているため、倫理を気にする研究者は、Pile のうち自分の基準を満たす部分のみを使用できます。^[1]

PileはもともとEleutherAIのGPT-Neoモデル^{[8] [9] [10]}を訓練するために開発されましたが、MicrosoftのMegatron-Turing Natural Language Generation、^{[11] [12]} Meta AIのOpen Pre-trained Transformers、^[13] LLaMA、^[14] Galactica、^[15] スタンフォード大学のBioMedLM 2.7B、^[16 ]北京人工知能アカデミーのChinese-Transformer-XL、^[17] YandexのYaLM 100B、^[18] AppleのOpenELM ^[19]など、他のモデルの訓練にも広く使用されるようになりました。

Pileはトレーニングデータセットとして使用されるだけでなく、モデルをテストし、さまざまなライティングスタイルでのパフォーマンスを評価するベンチマークとしても使用できます。^{[2] [20] [21]}

データセットのBooks3コンポーネントには、海賊版ウェブサイトBibliotikから収集された著作権で保護された資料が含まれています。^[22] 2023年7月、Rights AllianceはDMCA通知を通じてThe Pileのコピーを削除しました。^{[23] [24]}ユーザーは、問題のあるコンテンツを削除したThe Pileのコピーを作成することで対応しました。^[25]

• チャットボットのリスト