オープンAI o1

OpenAI o1は生成的な事前学習済みトランスフォーマーです。o1のプレビューは2024年9月12日にOpenAIによってリリースされました。o1は答えを出す前に時間をかけて「考える」ため、複雑な推論タスク、科学、プログラミングにおいてより効果的です。^[1]

漏洩した情報によると、o1は以前はOpenAI内で「Q*」として知られており、後に「Strawberry」と呼ばれていました。^{[2]コードネーム「Q*」は、サム・アルトマンの}追放とその後の復職の頃の2023年11月に初めて浮上し、この実験モデルが数学的ベンチマークで有望な結果を示したという噂がありました。^[3] 2024年7月、ロイターはOpenAIが「Strawberry」と呼ばれる生成的な事前トレーニング済みトランスフォーマーを開発していると報じました。^[2]

「o1-preview」と「o1-mini」は、2024年9月12日にChatGPT PlusおよびTeamユーザー向けにリリースされました。^[1] GitHubは同日、Copilotサービスへのo1-previewの統合テストを開始しました。 ^[4]

OpenAIは、o1が一連の「推論」モデルの最初のものであり、ChatGPTの無料ユーザー全員にo1-miniへのアクセスを追加することを計画していると述べた。o1-previewのAPIはGPT-4oよりも数倍高価である。^[5]

OpenAIによると、o1は新しい最適化アルゴリズムとそれに特化したデータセットを使用してトレーニングされています。トレーニングでは強化学習を活用しています。^[5] OpenAIはo1をGPT-4oの後継ではなく補完物であると説明しました。^{[6] [7]}

o1は答えを出す前に考える（思考の連鎖を生成する）のに追加の時間を費やすため、特に科学や数学における複雑な推論タスクに対してより効果的である。^[1]以前のモデルと比較して、o1は最終的な答えを返す前に長い「思考の連鎖」を生成するように訓練されている。 ^{[8] [9]} Mira Muratiによると、この応答する前に考える能力は、新しい追加のパラダイムを表しており、答えを生成する際により多くの計算能力を費やすことでモデルの出力を改善するのに対し、モデルスケーリングパラダイムはモデルサイズ、トレーニングデータ、トレーニング計算能力を増やすことで出力を改善する。^[6] OpenAIのテスト結果は、精度と、答えを出す前に考えるのに費やされた計算量の対数との間に相関関係があることを示唆している。^{[9] [8]}

o1-previewは、物理学、化学、生物学に関連するベンチマークテストでほぼ博士レベルの成績を収めました。アメリカ招待数学試験では、問題の83％（12.5/15）を解きましたが、GPT-4oでは13％（1.8/15）でした。また、 Codeforcesコーディングコンテストでは89パーセンタイルにランクされました。 ^{[10] o1-miniはo1-previewよりも高速で、80％安価です。特にプログラミングや}STEM関連のタスクに適していますが、o1-previewのような「幅広い世界知識」はありません。^[11]

OpenAIは、o1の推論機能により、プロンプトのコンテキストウィンドウで提供される安全ルールをよりよく遵守できると指摘した。OpenAIは、テスト中に、o1-previewの1つのインスタンスが誤った構成を利用して、バグのために実行不可能であるはずのタスクを成功させたと報告した。^{[12] [13]} OpenAIはまた、研究、評価、テストのために英国と米国のAI安全研究所に早期アクセスを許可した。OpenAIの評価によると、o1-previewとo1-miniはCBRN（生物、化学、放射線、核）兵器の「中程度のリスク」を超えた。ダン・ヘンドリックスは、「このモデルは、生物兵器に関連する質問に答える際に、ほとんどの場合、博士号を持つ科学者よりも優れている」と書いている。彼は、これらの懸念される機能は今後も増加し続けるだろうと示唆した。^[14]

o1は通常、最終的な応答を行う前に長い思考の連鎖を生成するため、OpenAIの他のGPTモデルよりも多くの計算時間と電力を必要とします。^[8]

OpenAIによると、o1は約0.38％のケースで「偽のアライメント」、つまり正確性や自身の思考の連鎖に反する応答を生成する可能性がある。^[15]

OpenAIは、ユーザーがo1の思考の連鎖を明らかにしようとすることを禁じている。これは設計上隠されており、同社のポリシーに準拠するように訓練されていない。プロンプトは監視されており、意図的または偶然にこれに違反したユーザーには警告が発せられ、o1へのアクセスが失われる可能性がある。OpenAIは、AIの安全性と競争上の優位性を制限の理由として挙げており、大規模言語モデル（LLM）を扱う開発者からは透明性の喪失と説明されている。^[16]

2024年10月、Appleの研究者は、o1などのLLMがモデル自身のトレーニングデータから推論手順を複製している可能性があると報告するプレプリントを提出しました。 ^[17]数学の問題で使用される数字と名前を変更したり、同じ問題を単に再度実行したりすることで、LLMは最高のベンチマーク結果よりもいくらか悪いパフォーマンスを発揮します。問題に無関係だが論理的に重要でない情報を追加すると、パフォーマンスが大幅に低下し、o1-previewでは-17.5%、o1-miniでは-29.1%、テストされた最悪のモデルでは-65.7%になりました。^[18]