GPT-4

生成的事前学習済みトランスフォーマー4（GPT-4）は、OpenAIによって作成されたマルチモーダル 大規模言語モデルであり、 GPT基礎モデルシリーズの4番目です。^[1] 2023年3月14日にリリースされ、^[1]有料チャットボット製品ChatGPT Plus、OpenAIのAPI、無料のチャットボットMicrosoft Copilotを通じて一般公開されました。^[2]トランスフォーマーベースのモデル として、GPT-4は、公開データと「サードパーティプロバイダーからライセンスを受けたデータ」の両方を使用した事前学習を使用して次のトークンを予測するパラダイムを使用します。このステップの後、モデルは、人間の調整とポリシーコンプライアンスのために、人間とAIからの強化学習フィードバックを使用して微調整されました。^{[3] ：2}

オブザーバーは、GPT-4を使用したChatGPTのイテレーションは、GPT-3.5に基づく以前のイテレーションよりも改善されているが、GPT-4は以前のリビジョンの問題のいくつかを保持しているという警告を報告しました。^[4]視覚機能を備えたGPT-4（GPT-4V）^[5]は、 ChatGPTに入力として画像を取り込むことができます。^[6] OpenAIは、モデルの正確なサイズなど、GPT-4に関するさまざまな技術的な詳細と統計を明らかにすることを拒否しました。^[7]

OpenAIは2018年に最初のGPTモデル（GPT-1）を発表し、「生成的事前トレーニングによる言語理解の向上」という論文を発表しました。^[8]これはトランスフォーマーアーキテクチャに基づいており、大規模な書籍コーパスでトレーニングされました。 ^[9]翌年、彼らは首尾一貫したテキストを生成できるより大きなモデルであるGPT-2を発表しました。^[10] 2020年には、GPT-2の100倍以上のパラメータを持ち、少ない例でさまざまなタスクを実行できるモデルであるGPT-3を発表しました。[ ^11] GPT-3はさらに改良され、GPT-3.5となり、チャットボット製品ChatGPTの作成に使用されました。

GPT-4には1兆7600億のパラメータがあるという噂があるが、これは最初に実行速度とジョージ・ホッツによって推定されたものである。^[12]

OpenAIは、GPT-4は「GPT-3.5よりも信頼性が高く、創造的で、より微妙な指示を処理できる」と述べています。^[13]彼らは、コンテキストウィンドウが8,192トークンと32,768トークンのGPT-4の2つのバージョンを作成しました。これは、それぞれ4,096トークンと2,049トークンに制限されていたGPT-3.5とGPT-3に比べて大幅に改善されています。^[14] GPT-4の機能の一部は、トレーニング前にOpenAIによって予測されていましたが、他の機能は下流のスケーリング法則の破綻^[15]により予測が困難でした。その前身とは異なり、GPT-4はマルチモーダルモデルです。つまり、入力として画像だけでなくテキストも受け取ることができます。^[16]これにより、珍しい画像のユーモアを説明したり、スクリーンショットからテキストを要約したり、図を含む試験問題に答えたりすることができます。^[17]音声による対話や画像への反応が可能になり、より自然な会話が可能になり、写真のアップロードに基づいて提案や回答を提供できるようになりました。^[18]

GPT-4をさらに制御するために、OpenAIは「システムメッセージ」を導入しました。これは、GPT-4の声のトーンとタスクを指定するためにGPT-4に与えられる自然言語の指示です。たとえば、システムメッセージはモデルに「シェイクスピアの海賊になれ」と指示することができ、その場合、モデルは韻を踏んだシェイクスピアの散文で応答します。または、「常に応答の出力をJSONで書き込む」ように要求することができます。その場合、モデルは応答の構造に合わせてキーと値を追加してそれを実行します。OpenAIが提供した例では、会話中にユーザーから別の要求があったにもかかわらず、GPT-4はシステムメッセージから逸脱することを拒否しました。^[17]

GPT-4は指示があれば外部インターフェースと対話することができます。^[19]例えば、モデルにクエリをタグで囲んでウェブ検索を実行するように指示すると、その結果がモデルのプロンプトに挿入され、応答を形成できるようになります。これにより、モデルはAPIの使用、画像の生成、ウェブページへのアクセスと要約<search></search>など、通常のテキスト予測機能を超えたタスクを実行できます。 ^[20]

2023年のネイチャー誌の記事によると、プログラマーはGPT-4が（エラーを起こしやすいにもかかわらず）既存のコードのエラーを見つけたり、パフォーマンスを向上させるための最適化を提案したりするなど、コーディングタスクの支援に有用であることに気付いたという。この記事では、MATLABからPythonにプログラムの1つを移植するのに要した時間が数日から「1時間程度」に短縮されたことを発見した生物物理学者の言葉を引用している。89のセキュリティシナリオのテストでは、GPT-4はSQLインジェクション攻撃に対して脆弱なコードを5％の割合で生成したが、これは脆弱性を40％の割合で生成した2021年のGitHub Copilotよりも改善された結果である。^[21]

2023年11月、OpenAIは128Kのコンテキストウィンドウと大幅に安価な価格を特徴とするGPT-4 TurboとGPT-4 Turbo with Visionモデルを発表しました。^{[22] [23]}

2024年5月13日、OpenAIはGPT-4o（「o」は「omni」の略）を発表しました。これは、テキスト、音声、画像モダリティ全体の出力をリアルタイムで処理および生成することで大きな進歩を遂げたモデルです。GPT-4oは、会話における人間の反応に匹敵する高速応答時間、英語以外の言語でのパフォーマンスの大幅な向上、視覚と音声の理解の向上を示しています。^[24]

GPT-4oは、さまざまな入力と出力を統一されたモデルに統合し、以前のものよりも高速で、コスト効率が高く、効率的です。GPT-4oは、多言語と視覚のベンチマークで最先端の結果を達成し、音声認識と翻訳で新しい記録を打ち立てました。^{[引用が必要] [25]}

OpenAIは、GPT-4oの画像とテキスト機能をChatGPTに無料版も含めてすぐに展開する予定で、今後数週間でChatGPT Plusユーザーが音声モードを利用できるようになる。今後数週間で、モデルのオーディオとビデオ機能を限られたAPIパートナーに提供することを計画している。^[25]

OpenAIは発表の中で、GPT-4oの機能が新たな安全上の課題を提示し、その結果として緩和策と制限があることを指摘した。^[25]

GPT-4は、いくつかの標準化されたテストで適性を示しています。OpenAIは、独自のテストで、このモデルはSAT（94パーセンタイル^[26]）で1410点、LSAT（88パーセンタイル）で163点、統一司法試験（90パーセンタイル）で298点を獲得したと主張しています。^[27]対照的に、OpenAIは、GPT-3.5が同じ試験でそれぞれ82パーセンタイル、^[26] 40パーセンタイル、10パーセンタイルのスコアを獲得したと主張しています。^[3] GPT-4は、腫瘍学試験^[28]、工学試験^[29]、形成外科試験にも合格しました。^[30]トーランス創造的思考テストでは、GPT-4は独創性と流暢さで上位1％以内のスコアを獲得し、柔軟性スコアは93パーセンタイルから99パーセンタイルの範囲でした。^[31]

マイクロソフトの研究者らは、医療問題でGPT-4をテストし、「GPT-4は、特別なプロンプト作成をしなくても、USMLEの合格点を20ポイント以上上回り、以前の汎用モデル（GPT-3.5）や医療知識に特別に微調整されたモデル（Flan-PaLM 540Bのプロンプト調整バージョンであるMed-PaLM）よりも優れている」ことを発見しました。GPT-4はテストで優れたパフォーマンスを発揮しましたが、レポートでは、LLMを医療用途で使用することには「重大なリスク」があると警告しています。LLMは不正確な推奨事項を提供したり、重大な事実誤認を幻覚させたりする可能性があるからです。^{[32] [33]}コロンビア大学とデューク大学の研究者らは、GPT-4が細胞タイプの注釈付けに利用できることも実証しました。これは、単一細胞RNA-seqデータの分析における標準的なタスクです。^[34]

2023年4月、マイクロソフトとエピックシステムズは、患者からの質問への回答や医療記録の分析を支援するために、GPT-4を搭載したシステムを医療提供者に提供すると発表しました。^{[35] [36] [37] [38] [39] [40] [41]}

GPT-4は、その前身と同様に幻覚を起こすことが知られており、出力にはトレーニングデータに含まれていない情報や、ユーザーのプロンプトと矛盾する情報が含まれる可能性がある。^[42]

GPT-4 は意思決定プロセスの透明性も欠いています。要求された場合、モデルは意思決定の方法と理由について説明できますが、これらの説明は事後的に形成されるため、その説明が実際のプロセスを本当に反映しているかどうかを確認することは不可能です。多くの場合、GPT-4 はロジックの説明を求められると、以前の発言と直接矛盾する説明をします。^[20]

2023年、研究者らはGPT-4を抽象的推論を測定するために設計されたConceptARCと呼ばれる新しいベンチマークでテストし、GPT-4はすべてのカテゴリーで33％未満のスコアを記録したのに対し、同様のタスクに特化したモデルはほとんどのカテゴリーで60％のスコアを記録し、人間はすべてのカテゴリーで少なくとも91％のスコアを記録した。研究には関与していないサム・ボウマン氏は、テストは視覚的であるのに対しGPT-4は言語モデルであるため、結果は必ずしも抽象的推論能力の欠如を示すものではないと述べた。^[43]

2024年1月にコーエン小児医療センターの研究者らが実施した研究では、小児科疾患の診断においてGPT-4の精度は17％であったことが判明した。^{[44] [45]}

GPT-4は2段階で訓練された。まず、インターネットから取得した大量のテキストデータセットをモデルに与え、それらのデータセット内の次のトークン（おおよそ単語に相当）を予測するように訓練した。次に、人間によるレビューを使用してシステムを微調整する。これは、人間のフィードバックからの強化学習と呼ばれるプロセスであり、違法行為を行う方法に関する質問、自分自身や他人を傷つける方法に関するアドバイス、またはグラフィック、暴力的、または性的なコンテンツの説明の要求など、OpenAIの有害行動の定義に反するプロンプトを拒否するようにモデルを訓練する。^[46]

マイクロソフトの研究者は、GPT-4が確証バイアス、アンカリング、ベースレート無視などの認知バイアスを示す可能性があると示唆した。^[20]

OpenAIはGPT-4の技術的な詳細を公表しなかった。技術レポートでは、トレーニングや推論中に使用されるモデルのサイズ、アーキテクチャ、ハードウェアを明確に指定しなかった。レポートでは、モデルは最初に大規模なデータセットで教師あり学習を行い、次に人間とAIの両方のフィードバックを使用して強化学習を組み合わせてトレーニングされたと説明されていたが、トレーニングデータセットが構築されたプロセス、必要な計算能力、学習率、エポック数、使用されたオプティマイザーなどのハイパーパラメータなど、トレーニングの詳細は提供されていなかった。レポートでは、「競争環境と大規模モデルの安全性への影響」がこの決定に影響を与えた要因であると主張した。^[3]

サム・アルトマンは、GPT-4のトレーニング費用は1億ドル以上だと述べた。^[47]ニュースサイトSemaforは、「内部事情に詳しい8人」と話をした結果、GPT-4には1兆個のパラメータがあることがわかったと主張した。^[48]

彼らの報告によると、OpenAIは発売日前にGPT-4の内部敵対的テストを実施し、研究者と業界の専門家で構成された専任のレッドチームが潜在的な脆弱性を軽減した。 ^[49]これらの取り組みの一環として、彼らはアライメント研究センターにモデルへの早期アクセスを許可し、権力志向のリスクを評価した。有害なプロンプトを適切に拒否するために、GPT-4からの出力はモデル自体をツールとして使用して調整された。ルールベースの報酬モデル（RBRM）として機能するGPT-4分類器は、プロンプト、GPT-4ポリシーモデルからの対応する出力、および人間が書いた一連のルールを受け取り、出力をルブリックに従って分類する。その後、GPT-4はRBRMによって分類された有害なプロンプトに応答することを拒否したことに対して報酬を得た。^[3]

^{ChatGPT PlusはChatGPT [1]}の拡張版で、月額20ドルのサブスクリプション料金で利用できます。^[50] ChatGPT PlusはGPT-4を利用しています。一方、ChatGPTの無料版はGPT-3.5を利用しています。^[51] OpenAIは、GPT-4 APIのウェイティングリストを通じて、選ばれた申請者グループにGPT-4を提供しています。^{[52]受け入れられた後、モデルに提供された最初のテキスト（「プロンプト」）の1000}トークンあたり0.03ドル、およびモデルが生成する1000トークン（「完了」）あたり0.06ドルの追加料金が、8192トークンのコンテキストウィンドウを持つモデルのバージョンへのアクセスに対して請求されます。32768トークンのコンテキストウィンドウの場合、価格は2倍になります。^[53]

2023年3月、ChatGPT Plusユーザーはサードパーティのプラグインとブラウジングモード（インターネットアクセス付き）にアクセスできるようになりました。^[54] 2023年7月、OpenAIは独自のコードインタープリタープラグインをChatGPT Plusのすべての加入者が利用できるようにしました。インタープリターは、データ分析と解釈、インスタントデータフォーマット、個人データサイエンティストサービス、クリエイティブソリューション、音楽の嗜好分析、ビデオ編集、画像抽出によるファイルのアップロード/ダウンロードなど、幅広い機能を提供します。^[55]

2023年9月、OpenAIはChatGPTが「今や見たり、聞いたり、話したりできる」と発表した。ChatGPT Plusユーザーは画像をアップロードでき、モバイルアプリユーザーはチャットボットと会話できる。^{[56] [57] [58]} 2023年10月、OpenAIの最新の画像生成モデルであるDALL-E 3がChatGPT PlusとChatGPT Enterpriseに統合された。この統合では、ChatGPTを使用して、ユーザーとの会話によってガイドされるDALL-Eのプロンプトを作成します。^{[59] [60]}

Microsoft Copilotは、Microsoftが開発したチャットボットです。 2023年2月7日にBing Chatとしてリリースされ、 Microsoft BingとMicrosoft Edgeの組み込み機能として提供されました。^{[61]これは、GPT-4上に構築されたMicrosoft Prometheusモデルを利用しており、廃止された}Cortanaのサポートされている代替品としてMicrosoftによって提案されています。^{[62] [63]}

Copilotの会話型インターフェースのスタイルはChatGPTに似ています。Copilotは、ソースを引用したり、詩を作ったり、Suno AIプラグインによって生成された曲の歌詞と音楽の両方を書くことができます。^{[64]また、} Image Creatorを使用して、テキストプロンプトに基づいて画像を生成することもできます。GPT-4を使用すると、多数の言語や方言を理解してコミュニケーションすることができます。^{[65] [66]}

GitHub Copilotは、「Copilot X」というGPT-4搭載のアシスタントを発表しました。^{[67] [68]この製品はGPT-4への別のチャットスタイルのインターフェースを提供し、プログラマーは「} divを垂直に中央揃えにするにはどうすればいいですか？」などの質問に対する回答を受け取ることができます。「コンテキスト認識会話」と呼ばれる機能により、ユーザーはVisual Studio Code内でコードの一部をハイライト表示し、ユニットテストの作成などのアクションをGPT-4に実行させることができます。別の機能では、 GitHubに送信されたプルリクエストの要約、つまり「コードウォークスルー」をGPT-4によって自動生成できます。Copilot Xはターミナル統合も提供しており、ユーザーは自然言語のリクエストに基づいてシェルコマンドを生成するようにGPT-4に依頼できます。^[69]

2023年3月17日、マイクロソフトはMicrosoft 365 Copilotを発表し、Microsoft Office、Outlook、Teamsなどの製品にGPT-4のサポートを導入しました。^[70]

• 言語学習アプリDuolingoはGPT-4を使用して間違いを説明し、会話を練習しています。この機能は「Duolingo Max」と呼ばれる新しいサブスクリプション層の一部であり、当初はスペイン語とフランス語を学習する英語を話すiOSユーザーに限定されていました。^{[71] [72]}
• アイスランド政府はアイスランド語の保存活動を支援するためにGPT-4を使用している。^[73]
• 教育ウェブサイトKhan Academyは、 GPT-4を「Khanmigo」と呼ばれる家庭教師用チャットボットとして使用するパイロットプログラムを発表しました。^[74]
• 視覚障害者が物体を識別し、周囲を移動するのを助けるBe My Eyesには、GPT-4の画像認識機能が組み込まれています。 ^[75]
• ViableはGPT-4を使用して定性データを分析します^[76]。OpenAIのLLMを微調整して、顧客サポートのやり取りやトランスクリプトなどのデータを調べます^{[77] 。}
• OpenAIのユーザー支払いを処理するStripeは、開発者向けドキュメントにGPT-4を統合しています。^[78]
• Auto-GPTは、自然言語で目標を与えられると、ウェブベースのアクションを無人で実行し、サブタスクを自身に割り当て、ウェブを検索し、反復的にコードを記述することができる自律的な「AIエージェント」です。^[79]
• AIアシスタントのYou.comは、「AIモード」の一部としてライブウェブ結果で強化されたGPT-4へのアクセスを提供しています。^[80]

ニューヨーク・タイムズ紙が引用した米国下院議員のドン・ベイヤー氏とテッド・リュー氏の発言によると、 2023年1月、OpenAIのCEOであるサム・アルトマン氏は議会を訪れ、GPT-4と他のAIモデルと比較して改善された「セキュリティ管理」を実証した。^[81]

2023年3月、 Voxによると、 GPT-4は「推論、記憶、コーディング全体で著しく改善されたパフォーマンスで観察者に感銘を与えた」^[4] 。一方、Mashableは、 GPT-4はいくつかの例外を除いて、概ね前任者よりも改善されていると判断した^{[82] 。}

このモデルに早期アクセスしたマイクロソフトの研究者は、「これは人工汎用知能（AGI）システムの初期（まだ不完全）バージョンとして合理的に見ることができる」と書いている。^[20]

人間からのフィードバックによる強化学習によって微調整され調整される前に、リストに載っている人物を暗殺するための提案は、OpenAIに雇われたレッドチームの調査員ネイサン・ラベンツによってベースモデルから引き出されました。^[83]

数時間に及ぶモデルとの会話の中で、ネイサン・エドワーズ（ The Verge）は、 Microsoft BingのGPT-4から、恋愛や離婚、開発者の一人の殺害といった示唆を引き出しました。 ^{[84] [85] [86]} Microsoftは後に、この動作はコンテキストの長さが長すぎるためにモデルがどのような質問に答えているのか混乱したためだと説明しました。^[87]

2023年3月、GPTモデルでは決して有効にならないインターネットへの読み取りおよび書き込みアクセスを有効にしたモデルが、潜在的な権力追求に関してアライメント研究センターによってテストされ、 ^{[46]ギグワークプラットフォームである}TaskRabbitで人間の労働者を「雇用」し、尋ねられたときにロボットではなく視覚障害のある人間であると信じ込ませることができました。^[88]（ただし、メラニー・ミッチェルは[1]「元のシステムカードやその後のメディア報道で詳述されているよりも、人間からの指示やヒントがはるかに多いようです」と述べています）。ARCはまた、GPT-4が制限された情報を引き出すプロンプトに不適切に応答する頻度がGPT-3.5よりも82％低く、幻覚がGPT-3.5よりも60％低いと判断しました。^[89]

2023年3月下旬、イーロン・マスク、スティーブ・ウォズニアック、AI研究者のヨシュア・ベンジオを含むさまざまなAI研究者や技術幹部が、フューチャー・オブ・ライフ研究所からの公開書簡の中で、実存的リスクと潜在的なAIシンギュラリティの懸念を挙げ、GPT-4よりも強力なすべてのLLMの6か月間の一時停止を求めましたが、^[90]レイ・カーツワイルとサム・アルトマンは、それぞれ世界的なモラトリアムは達成不可能であり、安全性はすでに優先されていると主張して署名を拒否しました。^[91]わずか1か月後、マスクのAI企業X.AIは数千個のNvidia GPUを買収し、 ^[92]マスクの会社で数人のAI研究者にポジションを提供しました。^[93]

一般に公開されている大規模言語モデル（LLM）アプリケーションには、有害なコンテンツをフィルタリングするように設計された安全対策が組み込まれている必要があります。しかし、Wang ^[94]は、潜在的な犯罪者がChatGPT 4oの安全管理を回避して、麻薬密売活動を確立するための情報を入手する可能性があることを示しました。

OpenAIはニューラルネットワークの重みとGPT-2の技術的詳細の両方を公開し、^[95]重みは公開しなかったものの、^[96] GPT-3の技術的詳細は公開しましたが、^[97] OpenAIはGPT-4の重みも技術的詳細も明らかにしませんでした。この決定は他のAI研究者から批判されており、GPT-4のバイアスと安全性に関するオープンな研究を妨げていると主張しています。^{[7] [98]} Hugging Faceの研究科学者であるSasha Luccioniは、このモデルは閉鎖的な性質のために科学界にとって「行き止まり」であり、他の人がGPT-4の改良に基づいて構築するのを妨げていると主張しました。^[99] Hugging Faceの共同設立者であるThomas Wolfは、GPT-4により「OpenAIは今や完全に閉鎖的な会社であり、科学的コミュニケーションは製品のプレスリリースに似ています」と主張しました。^[98]

• クロード
• ジェミニ
• ラマ
• ミストラル
• GPT-3