GPT-J

GPT-J

ロゴ
開発者	エリューサーAI
初回リリース	2021年6月9日; 3年前 ( 2021-06-09 )
タイプ	大規模言語モデル 生成的事前学習済みトランスフォーマー 基礎モデル
ライセンス	オープンソース
Webサイト	6b.エレウザー

GPT-JまたはGPT-J-6Bは、2021年にEleutherAIによって開発されたオープンソースの大規模言語モデル（LLM）です^。[1]名前が示すように、プロンプトから続く人間のようなテキストを生成するように設計された、生成的な事前トレーニング済みトランスフォーマーモデルです。名前のオプションの「6B」は、60億のパラメータがあるという事実を示しています。^[2]

GPT-Jは、 60億のパラメータを持つGPT-3のようなモデルです。 ^[3] GPT-3と同様に、テキストがどのように続くかを予測することで自然言語処理（NLP）タスクを解決するように設計された、自己回帰型のデコーダーのみのトランスフォーマーモデルです。^[1]

そのアーキテクチャはGPT-3とは主に3つの点で異なります。^[1]

• 注意とフィードフォワード ニューラル ネットワークはトレーニング中に並行して計算され、効率が向上しました。
• GPT-Jモデルは回転位置埋め込みを使用しており、これはトランスフォーマーに位置情報を注入する優れた方法であることがわかっています。^{[4] [5]}
• GPT-J は、GPT-3 で使用される効率的なスパース アテンションではなく、密なアテンションを使用します。

さらに、このモデルには28のトランスフォーマー層と16のアテンションヘッドがあります。語彙サイズは50257トークンで、 GPT-2と同じです。^[2]コンテキストウィンドウサイズは2048トークンです。 ^[6]

これはPileデータセット^{[2] [3]}で訓練され、並列化スキームを処理するためにJAXのMesh Transformer JAXライブラリを使用しました。 ^{[2] [7]}

GPT-Jはプロンプトから英語のテキストを生成するために設計されました。他の言語に翻訳したりテキストを生成したり、特定のタスクのためにモデルを微調整せずにパフォーマンスを発揮するようには設計されていませんでした。 ^[2]それにもかかわらず、GPT-Jは微調整なしでも、翻訳（少なくとも英語からフランス語への翻訳）でもかなり良好なパフォーマンスを発揮します。^[8]

どちらも微調整されていない場合、GPT-J-6Bは、さまざまなタスクで67億パラメータのGPT-3（Curie）とほぼ同等のパフォーマンスを発揮します。^[3]コード生成タスクでは、1750億パラメータのGPT-3（Davinci）よりも優れています。^[9]微調整を行うと、多くのタスクで調整されていないGPT-3（Davinci）よりも優れたパフォーマンスを発揮します。^[1]

他のLLMと同様に、事実に基づいた正確な情報を提供するようにプログラムされているわけではなく、確率に基づいてテキストを生成するようにプログラムされているだけです。^[2]

調整されていないGPT-Jは、EleutherAIのウェブサイト^{[10] 、} NVIDIAのTriton推論サーバー^[11]、NLP Cloudのウェブサイト[ ^{12]で入手できます。Cerebras [1]}とAmazon Web Services ^{[13] [14]は}、企業固有のタスクに合わせてGPT-Jモデルを微調整するサービスを提供しています。Graphcoreは、調整されていないGPT-Jの微調整とホスティングの両方のサービスを提供しており、微調整されたモデルが作成された後にホスティングも提供しています。^[15] CoreWeaveは、調整されていないGPT-Jと微調整されたバリアントの両方のホスティングサービスを提供しています。^{[16] [17]}

2023年3月、Databricksはスタンフォード大学のAlpacaデータセットでGPT-Jを微調整して作成されたApacheライセンスの命令追跡モデルDollyをリリースしました。 ^[18] NovelAIのSigurd ^[19]とGenji-JP 6B ^[20]モデルはどちらもGPT-Jの微調整バージョンです。また、カスタムモデルを生成してホストするためのさらなる微調整サービスも提供しています。^[21]

EleutherAIは、モデルをオープンソース化したことでCerebras ^[1] 、 GPT-3 Demo、^[3] 、 NLP Cloud ^[12]、Databricks ^[18]から賞賛を受けており、そのオープンソースステータスは、どのモデルを使用するかを選択する際の大きな利点としてよく挙げられます。^{[9] [15] [22]}