GPT-3

Generative Pre-trained Transformer 3 ( GPT-3 ) は、OpenAIが 2020 年にリリースした大規模な言語モデルであり、同社のGPT シリーズモデルの一部です。

前身のGPT-2と同様に、これはデコーダーのみの^{[ 2 ]}トランスフォーマーモデルで、深層ニューラルネットワークであり、「アテンション」と呼ばれる技術でリカレンスと畳み込みベースのアーキテクチャを置き換えています。^{[ 3 ]}このアテンションメカニズムにより、モデルは最も関連性が高いと予測される入力テキストのセグメントに選択的に焦点を合わせることができます。^{[ 4 ]} GPT-3は1,750億個のパラメータを持ち、^{[ 1 ]}それぞれが16ビットの精度を持ち、各パラメータが2バイトを占めるため、350GBのストレージが必要です。コンテキストウィンドウサイズは2,048トークン^{[ 1 ]} : ^43で、多くのタスクで強力な「ゼロショット」および「少数ショット」学習能力を示しています。^{[ 2 ]}

2020年9月22日、マイクロソフトはGPT-3の独占ライセンスを取得したと発表した。他の企業も引き続き公開APIから出力を受け取ることができるが、基盤となるモデルにアクセスできるのはマイクロソフトのみである。^{[ 5 ]}

エコノミスト誌によると、アルゴリズムの改善、より高性能なコンピューター、そして近年のデジタル化された資料の増加が、機械学習の革命を促した。2010年代の新しい技術は、言語操作を含む「タスクの急速な改善」をもたらした。^{[ 6 ]}

ソフトウェアモデルは、「 脳の神経アーキテクチャにゆるやかに基づいた構造」で、数千または数百万の例を使用して学習するように訓練されます。^{[ 6 ]}自然言語処理（NLP）で使用されるアーキテクチャの1つは、2017年に導入された深層学習モデルに基づくニューラルネットワークであるトランスフォーマーアーキテクチャです。^{[ 7 ]}テキスト入力を処理、マイニング、整理、接続、比較し、質問に正しく答えることができるNLPシステムは数多く存在します。^{[ 8 ]}

2018 年 6 月 11 日、OpenAI の研究者とエンジニアは、最初の生成事前学習済みトランスフォーマー(GPT)を紹介する論文を発表しました。これは、データセット内の膨大で多様なテキスト コーパスで事前学習され、特定のタスクに焦点を当てるために識別的な微調整が行われるタイプの生成大規模言語モデルです。GPT モデルは、トランスフォーマーベースの深層学習ニューラル ネットワーク アーキテクチャです。以前は、最もパフォーマンスの高いニューラル NLP モデルは、大量の手動でラベル付けされたデータからの教師あり学習を一般的に使用していましたが、そのため、非常に大規模な言語モデルをトレーニングするには、法外なコストと時間がかかりました。^{[ 2 ]}最初の GPT モデルはGPT-1として知られており、2019 年 2 月にGPT-2がそれに続きました。前身の直接スケールアップとして作成された GPT-2 は、パラメータ数とデータセット サイズの両方が 10 倍に増加しました。15 億のパラメータを持ち、800 万のウェブ ページのデータセットでトレーニングされました。^{[ 9 ]}

2020年2月、マイクロソフトはチューリング自然言語生成（T-NLG）を発表し、これは「170億個のパラメータを持つ、これまで公開された中で最大の言語モデル」であると主張した。^{[ 10 ]}これは、テキストの要約や質問への回答など、さまざまなタスクにおいて他のどの言語モデルよりも優れたパフォーマンスを発揮した。

2020年5月28日、 OpenAIの31人のエンジニアと研究者のグループによるarXivプレプリントで、第3世代の「最先端の言語モデル」であるGPT-3の成果と開発について説明されました。^{[ 1 ] [ 12 ]}チームは、GPT-3の容量を前身のGPT-2の容量から2桁以上増加させ、^{[ 13 ]}当時、GPT-3は最大の非スパース言語モデルとなりました。^{[ 1 ] : 14 [ 14 ]} GPT-3は構造的に前身のモデルと似ているため、^{[ 1 ]}その精度の向上は、容量の増加とパラメータ数の増加によるものと考えられています。^{[ 15 ]} GPT-3の容量は、当時知られていた次に大きいNLPモデルであるMicrosoftのTuring NLGの10倍です。^{[ 12 ]}

Lambdalabsは2020年に、単一のGPUでGPT-3をトレーニングするのに約460万米ドルと355年の仮想コストがかかると推定したが^{[ 16 ]} 、複数のGPUを並列で使用することで実際のトレーニング時間は短縮される。

GPT-3 の重み付き事前学習データセットの 60% は、4100 億バイトペアエンコードされたトークンで構成されるCommon Crawlのフィルタリングされたバージョンから取得されています。ファジー重複排除にはApache SparkのMinHash LSH が使用されました。^{[ 1 ] : 9}その他のソースは、重み付き合計の 22% を占める WebText2 の 190 億トークン、8% を占める Books1 の 120 億トークン、8% を占める Books2 の 550 億トークン、3% を占める Wikipedia の 30 億トークンです。^{[ 1 ] : 9} GPT-3 は、数千億の単語でトレーニングされており、 CSS、JSX、Pythonなどでコーディングすることもできます。

GPT-3 のトレーニング データは包括的​​であるため、個別の言語タスクのための追加のトレーニングは必要ありません。トレーニング データには時折有害な言語が含まれており、GPT-3 はトレーニング データを模倣する結果として時折有害な言語を生成します。ワシントン大学の研究では、GPT-3 が生成する有害な言語の毒性レベルは、GPT-2や CTRL といった類似の自然言語処理モデルと同程度であることがわかりました。OpenAI は、GPT-3 によって生成される有害な言語の量を制限するためにいくつかの戦略を実装しました。その結果、GPT-3 は、前身モデルである GPT-1 と比較して有害な言語の生成量は少なくなりましたが、Wikipedia データのみでトレーニングされた言語モデルである CTRL Wiki と比較すると、より多くの世代とより高い毒性の有害な言語を生成しました。^{[ 17 ]}

2020年6月11日、OpenAIは、ユーザーが使いやすいGPT-3 API（「機械学習ツールセット」）へのアクセスをリクエストできると発表し、OpenAIがこの新技術の「強みと限界を探る」のに役立てられるようにした。^{[ 18 ] [ 19 ]}この招待状では、このAPIが、通常の単一のユースケースではなく、ほぼ「あらゆる英語のタスク」を完了できる汎用的な「テキスト入力、テキスト出力」インターフェースを備えていると説明されていた。^{[ 18 ]} OpenAI GPT-3 APIのプライベートな早期リリースにアクセスできたあるユーザーによると、GPT-3は、いくつかの簡単なプロンプトだけで「驚くほど一貫性のあるテキスト」を書くのに「不気味なほど優れている」とのことだった。^{[ 20 ]}最初の実験では、80人の米国人被験者に、約200語の短い記事が人間によって書かれたものかGPT-3によって書かれたものかを判断するように求められた。参加者は52%の確率で正しく判断したが、これはランダムな推測よりもわずかに良い結果だった。^{[ 1 ]}

2021年11月18日、OpenAIは、APIへのアクセスが制限されないよう十分な安全対策が実施されたと発表した。^{[ 21 ]} OpenAIは、開発者がOpenAIのコンテンツポリシーを遵守するのに役立つコンテンツモデレーションツールを提供した。^{[ 22 ]} 2022年1月27日、OpenAIは、最新のGPT-3言語モデル（総称してInstructGPTと呼ばれる）が、 APIで使用されるデフォルトの言語モデルになったと発表した。OpenAIによると、InstructGPTは、指示によく従い、捏造された事実の生成を減らし、有害なコンテンツをやや減らすことで、ユーザーの意図により合致したコンテンツを生成した。^{[ 23 ]}

GPT-3は「人間の評価者が人間が書いた記事と区別するのが難しいニュース記事を生成できる」ため^{[ 12 ]、} GPT-3は「言語モデルの有益な応用と有害な応用の両方を促進する可能性」を秘めている^{[ 1 ]： 34。 2020年5月28日の論文で、研究者らは「GPT-3の潜在的な有害な影響」 [ 12 ]}について詳細に説明しており、これには「誤報、スパム、フィッシング、法的および政府的手続きの悪用、不正な学術論文作成、ソーシャルエンジニアリングによる偽装」が含まれる^{[ 1 ]}。著者らはこれらの危険性に注意を喚起し、リスク軽減に関する研究を求めている^{[ 1 ]： 34}

GPT-3は、ゼロショット学習と少数ショット学習（ワンショット学習を含む）を実行できる。^{[ 1 ]}

2022年6月、アルミラ・オスマノヴィッチ・トゥンストロムは、GPT-3が自身に関する論文の主著者であり、出版のために投稿したこと^{[ 24 ]}、そして査読完了を待つ間に先行公開されたことを記した^{[ 25 ] 。}

GPT-3ファミリーには多くのモデルがあり、それぞれ異なる目的で使用される。OpenAIが発表した最初の研究論文では、主要なGPT-3モデルの8つの異なるサイズについて言及している（表2.1）。

モデルの半分はAPI経由でアクセス可能で、GPT-3-medium、GPT-3-xl、GPT-3-6.7B、GPT-3-175bであり、それぞれada、babbage、curie、davinciと呼ばれています。APIモデルのサイズは当初OpenAIによって公開されていませんでしたが、EleutherAIは2021年5月にモデルサイズとAPI名の対応関係を発表しました。^{[ 26 ]}これらのモデルサイズは後にOpenAIによって確認されましたが、^{[ 27 ]}それ以降のモデルのサイズは公開されていません。

Generative Pre-trained Transformer 3.5 ( GPT-3.5 ) は、 OpenAIが 2022 年に作成した GPT-3 モデルのサブクラスです。

2022 年 3 月 15 日、OpenAI は、編集および挿入機能を備えた GPT-3 およびCodexの新バージョンを「text-davinci-002」および「code-davinci-002」という名前で API で公開しました。 ^{[ 28 ]}これらのモデルは、以前のバージョンよりも高性能であると説明されており、2021 年 6 月までのデータでトレーニングされています。^{[ 29 ]} 2022 年 11 月 28 日、OpenAI は text-davinci-003 を発表しました。^{[ 30 ]} 2022 年 11 月 30 日、OpenAI はこれらのモデルを「GPT-3.5」シリーズに属するものとして言及し始め、^{[ 29 ]} GPT-3.5 シリーズのモデルからファインチューニングされたChatGPTをリリースしました。 ^{[ 31 ]} OpenAI は GPT-3.5 を GPT-3 に含めていません。^{[ 32 ]}

• GPTゼロ
• 幻覚（人工知能）
• 大規模言語モデルのリスト
• ウー・ダオ