GPT-2

生成的事前学習済みトランスフォーマー 2 (GPT-2)

Hugging Face Write With Transformer Web サイトを使用した GPT-2 補完。この記事のテキストがプロンプト表示されます (最初のプロンプトの後の強調表示されたテキストはすべて、最初の補完候補から機械生成されており、それ以上の編集は行われません)。
原作者	オープンAI
初回リリース	2019年2月14日; 5年前 ( 2019年2月14日)
リポジトリ	https://github.com/openai/gpt-2
前任者	GPT-1
後継	GPT-3
タイプ	大規模言語モデル 生成的事前学習済みトランスフォーマー
ライセンス	マサチューセッツ工科大学[1]
Webサイト	openai.com/blog/gpt-2-1-5b-release/

生成事前学習済みトランスフォーマー2（GPT-2）は、OpenAIによる大規模言語モデルであり、 GPTモデルの基礎シリーズの2番目です。GPT-2は、800万のWebページのデータセットで事前学習されました。^[2] 2019年2月に部分的にリリースされ、2019年11月5日に15億パラメータのモデルが完全リリースされました。^{[3] [4] [5]}

GPT-2はGPT-1 ^[6]の「直接的なスケールアップ」として作成され、パラメータ数とトレーニングデータセットのサイズが10倍に増加しました。^[5]これは汎用学習器であり、さまざまなタスクを実行できるのは、シーケンス内の次の項目を正確に予測する一般的な能力の結果です。^{[2] [7]}これにより、テキストを翻訳したり、テキストからトピックに関する質問に答えたり、大きなテキストから文章を要約したり、 ^[7]人間と区別がつかないレベルでテキスト出力を生成したりすることができますが、長い文章を生成すると繰り返しになったり意味不明になったりする可能性があります。^[8]これは、もはやオープンソースではないGPT-3およびGPT-4モデルに取って代わられました。

GPT-2は、その前身であるGPT-1や後継のGPT-3、GPT-4と同様に、生成的な事前トレーニング済みトランスフォーマーアーキテクチャを持ち、ディープニューラルネットワーク、具体的にはトランスフォーマーモデルを実装しています。 ^[6]これは、古い再帰ベースおよび畳み込みベースのアーキテクチャの代わりに注意を使用します。 ^{[9] [10]}注意メカニズムにより、モデルは入力テキストの中で最も関連性が高いと予測されるセグメントに選択的に焦点を合わせることができます。^{[11] [12]このモデルは、大幅に向上した}並列化を可能にし、RNN / CNN / LSTMベースのモデルの以前のベンチマークよりも優れた性能を発揮します。^[6]

トランスフォーマーアーキテクチャにより大規模な並列化が可能になったため、GPTモデルは以前のNLP（自然言語処理）モデルよりも大きなコーパスでトレーニングできました。GPT-1モデルはこのアプローチが実行可能であることを実証しましたが、GPT-2では、非常に大きなコーパスでトレーニングされたネットワークの出現特性をさらに探求しました。Webクロールによって生成され、以前はNLPシステムのトレーニングに使用されていた大規模なコーパスであるCommonCrawl ^[13]は、そのサイズが大きいため検討されましたが、さらなるレビューで大量の理解できないコンテンツが明らかになったため却下されました。^{[2] [13]代わりに、OpenAIは}WebTextと呼ばれる新しいコーパスを開発しました。World Wide Webから無差別にコンテンツをスクレイピングするのではなく、2017年12月以前に少なくとも3つの賛成票を獲得したRedditの投稿にリンクされたページのみをスクレイピングすることによってWebTextが生成されました。コーパスはその後クリーニングされました。HTML文書はプレーンテキストに解析され、重複ページは削除され、Wikipediaページは削除されました（他の多くのデータセットに存在すると過剰適合を引き起こす可能性があるため）。^[2]

GPT-2のトレーニングコストは1時間あたり256ドルであることがわかっていますが、^{[14] [15]}トレーニングを完了するのにかかった時間は不明であるため、全体的なトレーニングコストを正確に推定することはできません。^[16]ただし、トランスフォーマーアーキテクチャを使用した同等の大規模言語モデルのコストはより詳細に文書化されており、BERTとXLNetのトレーニングプロセスでは、それぞれ6,912ドルと245,000ドルのリソースが消費されました。^[15]

GPT-2は2019年2月14日に初めて発表されました。2019年2月のThe Vergeの記事で、ジェームズ・ヴィンセントは「それが生成する文章は通常、非人間のものであると簡単に識別できる」と述べながらも、言語生成プログラムの「これまでで最もエキサイティングな例の1つ」であり続けていると述べています。^[17]

偽の見出しを与えると、偽の引用や統計を含む記事の残りの部分を書き上げます。短編小説の最初の行を入力すると、キャラクターに次に何が起こるかを教えてくれます。適切なプロンプトがあれば、ファンフィクションを書くこともできます。^[17]

ガーディアン紙はこの出力を「もっともらしい新聞の文章」と評した。 ^[8] Voxのケルシー・パイパー氏は「私が今まで見た中で最もクールなAIシステムの1つは、私を職から追い出すものかもしれない」と述べた^{。 [18] GPT-2の柔軟性は}The Vergeによって「印象的」と評され、特に言語間でテキストを翻訳したり、長い記事を要約したり、雑学クイズに答えたりする能力が注目された。 ^[17]

アムステルダム大学が改良チューリングテストを用いて行った研究では、少なくともいくつかのシナリオでは、参加者はGPT-2によって生成された詩と人間が書いた詩を区別できなかったことが判明した。^[19]

以前のOpenAIモデルはすぐに一般に公開されていましたが、OpenAIは2月にGPT-2を発表した当初、悪意のある使用のリスクを理由にソースコードの公開を拒否しました。^[8]発表時に、モデル（つまり、ソースコード自体ではなく、入力を許可し出力を提供するインターフェイス）への限定的なアクセスが、選ばれた報道機関に許可されました。^{[8]よく引用される正当化の1つは、生成されたテキストは通常​​完全に新しいため、}スパマーが自動フィルターを回避するために使用できるというものでした。OpenAIは、「製品の肯定的または否定的なレビューを無限に生成する」ように微調整されたGPT-2のバージョンを実演しました。^[8]

もう一つの正当化は、GPT-2がわいせつまたは人種差別的なテキストを生成するのに使用できるということだった。ジェレミー・ハワードなどの研究者は、「Twitter、電子メール、Webを、妥当に聞こえる文脈に適した散文で完全に埋め尽くし、他のすべての発言をかき消してフィルタリングが不可能になる技術」について警告した。^[17]アレン人工知能研究所は、GPT-2への対応として、「ニューラルフェイクニュース」を検出するツールを発表した。^[20]

しかし、意見は分かれた。2019年2月のThe Vergeの記事では、GPT-2がもたらす脅威は誇張されていると主張した。^[21] カリフォルニア工科大学の教授でNvidiaの機械学習研究ディレクターのAnima Anandkumar氏は、GPT-2がOpenAIが述べた脅威をもたらす能力を持っているという証拠はなく、彼らの行動は「オープンとは正反対」であり、完全なモデルの公開を拒否したことを「悪意のあるBS」と特徴づけた。^[21] The GradientはOpenAIに公開書簡を発表し、テキスト生成AIがもたらす脅威を印刷機がもたらす脅威と比較し、「（ありがたいことに）現代社会を破壊していない技術」の例としてPhotoshopを挙げ、モデルを公開するよう要請した。 ^[22]

30年後、Photoshopは高校生でも簡単に使えるほど普及し、それ自体が動詞になるほど普及したにもかかわらず、社会は比較的無傷のままで復活しました。なぜでしょうか？それはまさに、誰もがPhotoshopを知っているからです。^[22]

OpenAIは完全に訓練されたモデルやその訓練に使用されたコーパスを公開しなかったが、以前の出版物で彼らの手法が説明されていたこと（および基盤となる技術が無料で利用可能であったこと）により、GPT-2を他の人がフリーソフトウェアとして複製することが可能になった。そのような複製の1つであるOpenGPT-2は、2019年8月に、WebTextのフリーライセンス版であるOpenWebTextと組み合わせてリリースされた。OpenGPT-2のクラウドコンピューティングコストは約5万ドルとされている。^[23]

2019年8月20日、OpenAIは7億7400万のパラメータ（完全な15億パラメータモデルの約半分のサイズ）を持つGPT-2の部分バージョンをリリースしました。^[24]

GPT-2が広範囲に悪用されるのではないかという当初の懸念は現実にはならなかった。The Vergeは「AI技術がある種の『インフォポカリプス』をもたらすという主張には懐疑的になる理由がある。まず第一に、低コストで大量のもっともらしいテキストを生成できるプログラムがすでに存在している。人間だ」と述べている。^[25] 2019年11月までに、OpenAIは「これまでのところ悪用の強い証拠は見つかっていない」と述べ、40ギガバイトのデータで訓練された15億のパラメータを備えた完全版は「シェイクスピアの全集の約8000倍」である^[26] 2019年11月5日にリリースされた。^{[3] [4]}

GPT-2には、124Mパラメータの小型バージョンと355Mパラメータの中型バージョンの2つの小規模バージョンがあります。どちらもHuggingfaceからダウンロードできます。^{[27] [28]}

GPT-2 が自然言語テキストのもっともらしい文章を生成する能力は概ね肯定的に評価されているが、欠点も指摘されており、特に数段落以上のテキストを生成する場合はその欠点が顕著である。Voxは「散文はかなり荒く、時折脈絡のない部分があり、記事は長くなるにつれて一貫性が失われる」と述べている。^[18] The Verge も同様に、GPT-2 の文章の長いサンプルは「話題から逸れ」、全体的な一貫性に欠ける傾向があると指摘している。^[17] The Register は「人間が読んでも、しばらくすると何かがおかしいことに気づくはずだ」と述べ、「GPT-2 は、情報を抽出して取得するためにアルゴリズムに依存する他のシステムほど質問に答えない」と指摘している。^[14]

GPT-2 の導入には大量のリソースが必要です。モデルのフル バージョンは 5 GB を超えるため、ローカル アプリケーションに組み込むのが難しく、大量の RAM を消費します。さらに、1 つの予測を実行すると、「CPU が 100% の使用率で数分間占有される」可能性があり、GPU処理でも「1 つの予測に数秒かかる」可能性があります。これらの問題を軽減するために、 Hugging Face社はDistilGPT2 を作成し、知識蒸留を使用して「一部の品質ベンチマークで数ポイント低いスコア」を出した小型モデルを作成しましたが、「33% 小さく、2 倍高速です」。^{[引用が必要]}

フルバージョンがリリースされる前から、GPT-2はさまざまなアプリケーションやサービス、エンターテインメントに使用されていました。2019年6月には、 r/SubSimulatorGPT2というサブレディットが作成され、さまざまなサブレディットでトレーニングされたさまざまなGPT-2インスタンスが投稿し、お互いのコメントに返信し、「r/BitcoinのAI擬人化がr/ShittyFoodPornの機械学習由来の精神と議論している」という状況が見られました。 ^{[25]その年の7月までに、さまざまなプログラミング言語のコード行を}自動補完するためにリリースされたGPT-2ベースのソフトウェアプログラムは、ユーザーから「ゲームチェンジャー」と評されました。^[29]

2019年には、GPT-2を使用してユーザー入力に基づいて動的なテキストアドベンチャーを生成するAIダンジョンが立ち上げられました。 ^{[30] AIダンジョンは現在、オプションの有料アップグレードとして}GPT-3 APIの最大リリースへのアクセスを提供しており、サイトの無料バージョンではGPT-3の2番目に大きなリリースを使用しています。^[31] AIダンジョンを中心に設立された会社であるLatitudeは、 2021年に330万ドルのシード資金を調達しました。 ^[32]いくつかのウェブサイトでは、GPT-2やその他のトランスフォーマーモデルのさまざまなインスタンスのインタラクティブなデモをホストしています。^{[33] [34] [35]}

2021年2月、問題を抱えた10代の若者のための危機センターは、カウンセラーが模擬の10代の若者と会話できるようにすることで、カウンセラーの訓練にGPT-2由来のチャットボットの使用を開始すると発表しました（この使用は純粋に内部目的であり、GPT-2が10代の若者自身とコミュニケーションをとることを伴うものではありません）。^[36]

2023年5月9日、OpenAIはGPT-2のマップ版をリリースした。OpenAIは後継モデルGPT-4を使用してGPT-2の各ニューロンをマップし、その機能を決定した。^[37]

GPT-2は、そのデータセットと技術の幅広さにより、単純なテキスト生成を超えたさまざまなタスクを実行できるようになりました。つまり、シーケンス内の次の単語を予測する方法以外の指示を受けることなく、質問に答えたり、要約したり、さまざまな特定のドメインの言語間で翻訳したりできるようになりました。^{[17] [18]}

一般化学習の一例としては、GPT-2のフランス語と英語間の機械翻訳能力が挙げられます。このタスクでは、GPT-2のパフォーマンスはWMT-14翻訳タスクを使用して評価されました。GPT-2のトレーニングコーパスにはフランス語のテキストがほとんど含まれていませんでした。トレーニング前のデータセットのクリーニング中に英語以外のテキストは意図的に削除され、その結果、残りの40,000MBのうち、モデルが学習できるフランス語は10MBのみでした（ほとんどは英語の投稿や記事の外国語の引用です）。^[2]

それにもかかわらず、GPT-2はWMT-14英語からフランス語へのテストセットで5 BLEUを達成しました（逐語的置換による翻訳のスコアをわずかに下回ります）。また、フランス語から英語へのテストセットでは、GPT-2が11.5 BLEUを達成したいくつかの現代的な（2017年）教師なし機械翻訳ベースラインを上回ることができました。これは、33.5 BLEUを達成した最高性能の現代の教師なしアプローチ（2019年）を下回っていました。^[2]ただし、他のモデルでは、これらの結果を達成するために大量のフランス語のテキストを使用していました。GPT-2は、同等のアプローチの約1/500のサイズの単一言語のフランス語コーパスを使用したと推定されています。^[2]

GPT-2の後継となるのは1750億パラメータのGPT-3 ^[40]で、2020年に公開されました^{[41] （ソースコードは公開されていません）。GPT-3へのアクセスは、OpenAIと}Microsoftが提供するAPIを通じてのみ提供されます。^[42]その後、GPT-4が続きました。