生成的事前学習済みトランスフォーマー

生成的事前学習済みトランスフォーマー（GPT ）は、大規模言語モデル（LLM）の一種であり^{[1] [2] [3] 、}生成的人工知能の主要なフレームワークです。^{[4] [5]}これは、機械による自然言語処理に使用される人工ニューラルネットワークです。^[6]これは、トランスフォーマーディープラーニングアーキテクチャに基づいており、ラベルなしテキストの大規模なデータセットで事前学習されており、人間のような新しいコンテンツを生成できます。^{[2] [3]} 2023年現在、ほとんどのLLMがこれらの特性を備えており^[7]、広義にはGPTと呼ばれることもあります。^[8]

最初のGPTは2018年にOpenAIによって導入されました。^[9] OpenAIは、連続番号が付けられた重要なGPT基礎モデルをリリースし、「GPT- n」シリーズを構成しています。^[10]これらはそれぞれ、サイズ（トレーニング可能なパラメータの数）とトレーニングの増加により、以前のものよりも大幅に機能が向上しました。これらの最新のGPT-4oは、2024年5月にリリースされました。 ^{[11]このようなモデルは、}指示に従うように微調整されたモデルを含む、よりタスク固有のGPTシステムの基礎となっており、 ChatGPT チャットボットサービスに力を与えています。^[1]

「GPT」という用語は、他者が開発したモデルの名前や説明にも使用されています。例えば、他のGPT基礎モデルには、EleutherAIが作成した一連のモデル^[12]や、 2023年にCerebrasが作成した7つのモデル^{[13]などがあります。Salesforceの「} EinsteinGPT」（CRM用）^[14]やBloombergの「BloombergGPT」（金融用） ^[15]など、さまざまな業界の企業がそれぞれの分野でタスク固有のGPTを開発しています。

生成的事前学習（GP）は、機械学習アプリケーションにおいて長年確立された概念でした。^{[16] [17]これはもともと}半教師あり学習の一形態として使用されており、モデルは最初にラベルなしデータセット（事前学習ステップ）でデータセット内のデータポイントを生成するように学習し、次にラベル付きデータセットを分類するように学習されます。^[18]

初期のGPには主に3つのタイプがありました。隠れマルコフモデルは、下流のアプリケーションのためのシーケンスの生成モデルを学習します。たとえば、音声認識では、訓練されたHMMが音声信号に最も可能性の高い隠れシーケンスを推測し、その隠れシーケンスが音声信号の音素として採用されます。これらは1970年代に開発され、1980年代に音声認識に広く適用されるようになりました。^{[19] [20]}

圧縮器は画像やテキストシーケンスなどのデータを圧縮することを学習し、圧縮されたデータは顔認識などの下流のアプリケーションに適した表現として機能します。^{[21] [22] [23]}オートエンコーダも同様に、音声認識などの下流のアプリケーションのためにデータの潜在的表現を学習します。^{[24] [25]}オートエンコーダとアルゴリズム圧縮器の関係は1993年に指摘されました。 ^[26]

2010年代には、機械翻訳の問題は、注意機構が追加されたリカレントニューラルネットワークによって解決されました。これは、 Googleの研究者がAttention Is All You Need（2017）で発表したトランスフォーマーアーキテクチャに最適化されました。 ^[27]この開発により、BERT（2018）^[28]などの大規模言語モデルの出現につながりました。BERTは事前トレーニング済みのトランスフォーマー（PT）でしたが、生成するようには設計されていませんでした（BERTは「エンコーダーのみの」モデルでした）。また、2018年には、OpenAIがImproving Language Understanding by Generative Pre-Trainingを発表し、GPTシリーズの最初のGPT-1を紹介しました。 ^[29]

2017年には、後にGPT-1に取り組むことになる著者の何人かがLSTMを使った言語の生成的事前トレーニングに取り組んでおり、その結果、下流のアプリケーションのために簡単に微調整できるベクトルでテキストを表現できるモデルが生まれました。^[30]

トランスフォーマーベースのアーキテクチャが登場する前は、最も高性能なニューラルNLP（自然言語処理）モデルは、大量の手動でラベル付けされたデータからの教師あり学習を一般的に採用していました。教師あり学習に依存していたため、適切に注釈が付けられていないデータセットでの使用が制限され、また、非常に大規模な言語モデルのトレーニングには法外な費用と時間がかかりました。^[29]

OpenAIが大規模な生成システムを作るために採用した半教師ありアプローチは、トランスフォーマーモデルで初めて採用されたもので、言語モデリングの目的を使用して初期パラメータを設定する教師なし生成「事前トレーニング」段階と、これらのパラメータをターゲットタスクに適応させる教師あり識別「微調整」段階の2つの段階で構成 されていました。[ 29 ^]

最近の GPT 基礎モデルに関しては、OpenAI は2020 年 7 月にGPT-3の最初のバージョンを公開しました。1B、6.7B、175B のパラメーターを持つ 3 つのモデルがあり、それぞれbabbage、curie、davinci (頭文字 B、C、D) と名付けられました。^[要出典]

2021年7月、OpenAIはプログラミングアプリケーションを対象としたタスク固有のGPTモデルであるCodexを公開しました。これは、GitHubのコードを使用して、GPT-3の12Bパラメータバージョン（以前のGPT-3モデルとは異なる）を微調整することによって開発されました。[ ^31]

2022年3月、OpenAIは、命令に従うように微調整された（命令調整された）GPT-3の2つのバージョン、davinci-instruct-beta（175B）とtext-davinci-001を公開し、^[32]その後、code-davinci-002のベータテストを開始しました。^[33] text-davinci-002は、 code-davinci-002から命令調整されました。text -davinci-003とChatGPTはどちらも2022年11月にリリースされ、どちらも人間からのフィードバックによる強化学習（RLHF）を介してtext-davinci-002をベースに構築されています。text -davinci-003は（その前身と同様に）命令に従うように訓練されていますが、ChatGPTは人間のユーザーとの会話型のインタラクションのためにさらに訓練されています。^{[34] [35]}

OpenAIの最新のGPT基礎モデルであるGPT-4は、2023年3月14日にリリースされました。ユーザーはChatGPTのプレミアムバージョンを介して直接アクセスでき、開発者はOpenAIのAPIを介して他の製品やサービスに組み込むことができます。GPT基礎モデルの他のプロデューサーには、EleutherAI（2021年3月から一連のモデルを開始） ^[12]やCerebras（2023年3月に7つのモデルをリリース）^{[13]などがあります。}

基礎モデルとは、幅広い下流タスクに適応できるように、大規模なデータでトレーニングされたAIモデルです。^{[36] [37]}

これまでのところ、最も注目すべきGPT基礎モデルはOpenAIのGPT-nシリーズのものでした。その中で最も新しいのはGPT-4ですが、OpenAIはサイズやトレーニングの詳細を公表することを拒否しました（「競争環境と大規模モデルの安全性への影響」を理由に）。^[38]

他にも、GPT-3と比較され、最近APIを介して開発者に提供された広範な基礎モデルであるGoogleのPaLM ^[45]や、GPT-3に最も近いパフォーマンスのオープンソースの代替品として報告されているTogetherのGPT-JT （以前のオープンソースGPTから派生したもの） ^[47]などがあります。Meta AI（旧Facebook）にも、生成トランスフォーマーベースの基礎的な大規模言語モデルがあり、LLaMAとして知られています。^[48]

基礎GPT​​は、入力や出力にテキスト以外のモダリティを使用することもできます。GPT -4は、テキストと画像の入力を処理できるマルチモーダルLLMです（ただし、出力はテキストに限定されています）。^{[49]マルチモーダル}出力に関しては、拡散^[50]や並列デコードなどのテキストから画像への技術に、生成トランスフォーマーベースのモデルが使用されています。 ^[51]このような種類のモデルは、画像を処理できる下流システムを開発するためのビジュアル基盤モデル（VFM）として機能します。 ^[52]

基礎GPT​​モデルは、特定のタスクや主題領域に向けたよりターゲットを絞ったシステムを作成するためにさらに適応させることができます。このような適応の方法には、（基礎モデルに対して行われたものを超えた）追加の微調整や、特定の形式のプロンプトエンジニアリングが含まれます。^[53]

その重要な例としては、モデルを微調整して指示に従うようにすることです。これはもちろんかなり幅広いタスクですが、基礎モデルよりもターゲットを絞っています。2022年1月、OpenAIは「InstructGPT」を発表しました。これは、ベースGPT-3言語モデルに教師ありトレーニングと人間からのフィードバックによる強化学習（RLHF）を組み合わせて、指示に従うように微調整された一連のモデルです。 ^{[54] [55]}これが持つ、基礎モデルのみに対する利点には、精度の高さ、否定的/有害な感情の少なさ、そして一般的にユーザーのニーズとの整合性の向上などがあります。そのため、OpenAIはこれをAPIサービス提供の基礎として使い始めました。^[56]他の指示調整モデルは、完全にオープンなバージョンを含め、他社によってリリースされています。^{[57] [58]}

タスク固有のモデルのもう1つの（関連する）種類は、人間のような会話を行うチャットボットです。2022年11月、OpenAIは、InstructGPTと同様の方法でトレーニングされた命令調整言語モデルを搭載したオンラインチャットインターフェースであるChatGPTをリリースしました。 ^[59]彼らはRLHFを使用してこのモデルをトレーニングし、人間のAIトレーナーがユーザーとAIの両方を演じる会話を提供し、この新しい対話データセットをInstructGPTデータセットと混合して、チャットボットに適した会話形式を作成しました。現在、他の主要なチャットボットには、OpenAIのGPT-4（OpenAIとMicrosoftのより広範で緊密なコラボレーションの一環として）を使用するMicrosoftのBing Chat 、 ^[60]や、Googleの競合チャットボットBard（当初は会話トレーニング済み言語モデルのLaMDAファミリーに基づいていましたが、 PaLMに切り替える予定）があります。^[61]

GPTが使用できるもう1つの種類のタスクは、人間のユーザーによって与えられたより一般的な目標を実現できるように、一連のプロンプトを「自分自身」に開発するなど、独自の指示を生成するメタタスクです。 ^[62]これはAIエージェントと呼ばれ、より具体的には、以前の自己指示の結果を使用して後続のプロンプトを形成するため、再帰的なエージェントと呼ばれます。この最初の主要な例はAuto-GPT（OpenAIのGPTモデルを使用）であり、その後も他のエージェントも開発されました。^[63]

生成トランスフォーマーベースのシステムは、テキスト以外のモダリティを伴うタスクにも適用できます。たとえば、Microsoftの「Visual ChatGPT」は、ChatGPT とビジュアル基盤モデル (VFM) を組み合わせて、テキストだけでなく画像も入力または出力できるようにします。^[64]また、テキスト読み上げ技術の進歩により、基礎的な GPT 言語モデルと組み合わせて使用​​すると、オーディオコンテンツ作成用のツールが提供されます。^[65]

GPT システムは、特定の分野またはドメインに向けることができます。このようなモデルとアプリの報告されている例をいくつか次に示します。

• EinsteinGPT – 営業およびマーケティング分野向け、顧客関係管理を支援する（GPT-3.5を使用）^{[66] [67]}
• BloombergGPT – 金融分野向け、金融ニュースや情報の提供（「無料で利用できる」AI手法と独自のデータを組み合わせて使用​​）^[68]
• Khanmigo – 教育分野ではGPTの家庭教師版として説明されており、カーンアカデミーの生徒に直接答えを与えることなく学習をガイドすることで生徒を支援します（ GPT-4を搭載）^{[69] [70]}
• SlackGPT – Slackインスタントメッセージングサービス用。Slack上での議論のナビゲートと要約を支援する（OpenAIのAPIを使用）^[71]
• BioGPT – 生物医学分野向け、生物医学文献のテキスト生成とマイニングを支援する（GPT-2を使用）^[72]

ドメイン特異性はソフトウェアプラグインやアドオンによって実現されることもあります。たとえば、いくつかの異なる企業がOpenAIのChatGPTインターフェースと直接対話する特定のプラグインを開発しており、^{[73] [74]}、Google Workspaceには「GPT for Sheets and Docs」などのアドオンがあり、Google Sheetsでのスプレッドシート機能の使用を支援すると報告されています。^{[75] [76]}

2023年11月、OpenAIはChatGPT Plus加入者がChatGPTのカスタムバージョン（ GPTと呼ばれる）を作成できるようにすると発表しました。^[77]これらは、プロンプトエンジニアリング、キュレーションされたデータセット、および/または外部ツールとのターゲットを絞ったインタラクションを介して、特定のドメインに合わせて調整できます。検証済みビルダーとして登録したユーザーは、カスタムGPTを他のユーザーに公開することができ、収益化の可能性があります。（これはOpenAIのプラットフォーム内で内部的に行われるため、OpenAIのAPIサービスとは明らかに異なります。）

2018年に最初の生成的事前学習済みトランスフォーマー（GPT）を作成したOpenAIは最近、「GPT」はOpenAIのブランドとみなされるべきだと主張しました。^[78] 2023年4月、OpenAIは利用規約のブランドガイドラインを改訂し、同社のAPIを使用して人工知能（AI）サービスを実行している他の企業は、そのような名前やブランドに「GPT」を含めることができなくなったことを示しました。^[79] 2023年5月、OpenAIはブランド管理サービスを利用してAPI顧客にこのポリシーを通知しましたが、これらの通知は明白な法的主張（商標侵害の申し立てや停止要求など）を行うまでには至りませんでした。^[78] 2023年11月現在、OpenAIは依然としてAPIライセンシーが独自の製品に「GPT」という名前を付けることを禁止していますが、^{[80] [81]} OpenAIの利用規約では、加入者はこれらの名前に「GPT」を使用できるとしているが、「非推奨」となっている。^[80]

関連して、OpenAIは米国特許商標庁（USPTO）にAI分野における「GPT」という用語の国内商標登録を申請した。 ^[78] OpenAIは申請の処理を迅速化しようとしたが、USPTOは2023年4月にその要求を却下した。^[82] 2023年5月、USPTOは「GPT」は説明的かつ一般的な用語であるとの判断で申請に応答した。^{[83] 2023年11月現在、OpenAIは利用可能なプロセスを通じて主張を追求し続けている。いずれにせよ、米国で商標}登録を取得できなかったとしても、米国での一定レベルの慣習法上の商標権、 ^[84]および/または他の国での商標権が排除されるわけではない。 ^[85]

米国における商標保護のいかなる種類または範囲においても、OpenAI は、その用語が、その種類の技術に対するより広い技術用語であるだけでなく、自社の特定の製品に実際に「特徴的」であることを証明する必要がある。一部のメディア報道では、OpenAI は、 GPT ベースのチャットボット製品である ChatGPT の知名度を間接的に根拠として商標登録を取得できる可能性があると示唆されている。[ ^{82] [86] OpenAI は}ChatGPTに対して別途保護を求めており (そして、より強力な保護を求めている) ^[87] 。他の報道では、「GPT」という単なる用語の登録は認められそうにないとされている。^{[78] [88]}この用語は、生成的事前学習済みトランスフォーマーを含む AI システムを指す一般的な用語として頻繁に使用されているためである。^{[3] [89] [90] [91]}いずれにせよ、米国でこの用語の独占権がどの程度発生するとしても、他社は、混乱を招く可能性のある方法で同様の製品やサービスにこの用語を使用しないようにする必要がある。^{[88] [92]}仮にそのような権利が、その分野で確立された他の使用法にまで及ぶほど広範囲に及ぶようになったとしても、商標の記述的公正使用の原則は、ブランドに関連しない使用法にも適用され続ける可能性がある。^[93]

このセクションでは、OpenAI と Microsoft の GPT モデルに関する主な公式出版物をリストします。

• GPT-1: レポート、^[9] GitHubリリース。^[94]
• GPT-2: ブログ発表、^[95]「段階的リリース」の決定に関する報告、^[96] GitHubリリース。^[97]
• GPT-3: レポート。^[41]それ以降、GitHubやその他の形式でのコードリリースは行われません。
• WebGPT: ブログ発表、^[98]レポート、^[99]
• InstructGPT: ブログ発表、^[54]レポート。^[55]
• ChatGPT: ブログでの発表（報告なし）。^[59]
• GPT-4: ブログ発表、^[100]レポート、^{[101] [102]}モデルカード。^[103]
• GPT-4o: ブログでのお知らせ。^[104]

• サイク
• ジェミニ