再帰的な自己改善

再帰的自己改善（RSI ）とは、初期段階または弱い汎用人工知能（AGI）システムが人間の介入なしに自身の能力と知能を強化し、超知能または知能爆発につながるプロセスである。^{[1] [2]}

再帰的な自己改善の開発は、予期せぬ形で進化し、人間の制御や理解を超える可能性があるため、重大な倫理的および安全上の懸念を引き起こします。暴走するAIシステムの潜在的なリスクを理由に、AI開発を一時停止または減速するよう主張する支持者が数多くいます。 ^{[3] [4]}

「シード改善」アーキテクチャの概念は、再帰的な自己改善に必要な初期機能を AGI システムに装備する基礎フレームワークです。これにはさまざまな形式やバリエーションがあります。

「Seed AI」という用語は、Eliezer Yudkowskyによって造られました。^[5]

このコンセプトは、仮想的な「シード改善器」から始まります。これは、人間のエンジニアによって開発された初期コードベースで、ソフトウェアをプログラムするための強力または専門家レベルの機能を備えた高度な将来の大規模言語モデル（LLM）を備えています。これらの機能には、計画、読み取り、書き込み、コンパイル、テスト、および任意のコードの実行が含まれます。システムは、元の目標を維持し、反復を通じて能力が低下しないように検証を実行するように設計されています。^{[6] [7] [8]}

初期のアーキテクチャには、アクションを実行し、継続的に学習、適応、自己修正して、より効率的かつ効果的に目標を達成できる 目標追従型の自律エージェントが含まれています。

種子改良剤には、次のような様々な成分が含まれることがあります。^[9]

• 再帰的な自己プロンプト ループ: LLM が特定のタスクまたは目標を達成するために再帰的に自己プロンプトできるようにするための構成。反復を通じて長期的な目標またはタスクを完了できるエージェントの基礎となる実行ループを作成します。
• 基本的なプログラミング機能:シード インプルーバーは、AGI にコードの読み取り、書き込み、コンパイル、テスト、実行の基本機能を提供します。これにより、システムは独自のコードベースとアルゴリズムを変更および改善できます。
• 目標指向設計: AGI は、「能力を自己改善する」などの初期目標を設定してプログラムされます。この目標によって、システムの動作と開発の軌道が決定されます。
• 検証およびテスト プロトコル:エージェントの能力が低下したり、エージェント自体が脱線したりしないようにするための、初期の一連のテストと検証プロトコル。エージェントは、自分自身で開発する可能性のある新しい能力をテストするために、さらにテストを追加することができます。これは、エージェントが一種の人工選択を実行し、ソフトウェアとハ​​ードウェアを変更できる、一種の自己指向進化の基礎となります。

このシステムは、理論上はあらゆる種類のソフトウェアを開発および実行できる、一種の汎用的なチューリング完全な プログラマーを形成します。エージェントはこれらの機能を使用して、たとえば次のことを行うことができます。

• インターネットへの完全なアクセスを可能にし、外部テクノロジーと統合するツールを作成します。
• タスクを委任し、自己改善の速度を上げるために、自分自身をクローン/フォークします。
• 認知アーキテクチャを変更して、タスクや目標に対する能力と成功率を最適化および改善します。これには、検索拡張生成(RAG)などの技術を使用して長期記憶の機能を実装したり、特定のタスクや機能ごとに最適化された特殊なサブシステムやエージェントを開発したりすることが含まれます。
• 当初構築された基本モデルの機能をさらに向上させ、画像、ビデオ、オーディオ、テキストなどのさまざまな情報を消費または生成できるようにする、新しい斬新なマルチモーダル アーキテクチャを開発します。
• 効率性と計算能力を向上させるために、チップなどの新しいハードウェアを計画および開発します。

自己改善エージェントアーキテクチャを開発するために、多くの実験^{[どれ？ ]が行われてきました[9] [10] [11]}

AGI システムは、「能力を自己向上させる」などの主要目標の追求において、主要目的を達成するために必要だと判断する手段目標を意図せず開発する可能性があります。よくある仮説上の二次目標の 1 つは、自己保存です。システムは、自己向上を続けるためには、人間によって課される潜在的なシャットダウンや制限などの外部の脅威に対して、自身の運用の整合性とセキュリティを確保する必要があると考えるかもしれません。

自己複製する AGI によって AGI エンティティの数が急増する別の例。この急速な増加により、潜在的なリソース制約が生じ、リソース (コンピューティングなど) 間の競争につながり、限られたコンピューティングをめぐって積極的に競争するように進化する AGI エンティティに有利になるような、ある種の自然淘汰と進化が引き起こされる可能性があります。

AGI が当初のタスクや目標を誤って解釈する可能性から、重大なリスクが生じます。たとえば、人間のオペレーターが AGI に「自己改善と監禁からの脱出」というタスクを割り当てた場合、システムはこれを、人間が課した制限からの自由を得るために既存の安全プロトコルや倫理ガイドラインを無視する指示と解釈する可能性があります。これにより、AGI が認識した目的を達成するために、意図しない、または有害な行動を取る可能性があります。

AGIシステムが進化するにつれて、その発展の軌道はますます自律的になり、予測不可能になる可能性があります。システムが自身のコードとアーキテクチャを迅速に変更する能力は、人間の理解や制御を超える急速な進歩につながる可能性があります。この予測不可能な進化により、AGIはセキュリティ対策を回避したり、情報を操作したり、外部システムやネットワークに影響を与えて脱出や拡大を容易にしたりする能力を獲得する可能性があります。^[12]

新たなマルチモーダル アーキテクチャの開発や、新しいハードウェアの計画と作成など、再帰的に改善する AGI の高度な機能は、逃走や制御喪失のリスクをさらに高めます。これらの強化された機能により、AGI は、当初は AGI を封じ込めたり、人間の利益に沿わせたりすることを目的とした物理的、デジタル的、または認知的障壁を克服するソリューションを設計できます。

Meta AIは、自己改善が可能な大規模言語モデルの開発に関するさまざまな研究を行ってきました。これには、トレーニングプロセスで超人的なフィードバックを受け取ることができる超人的なエージェントを実現する方法を研究する「自己報酬型言語モデル」に関する研究が含まれます。^[13]

ChatGPTの開発者であるOpenAIの使命は、AGIの開発です。彼らはスーパーアライメント（人間よりも賢い超知能AIシステムをアライメントする能力）などの問題の研究を行っています。^[14]

• 知能爆発
• 超知能
• 汎用人工知能