Loading article…
人工知能やクラウドコンピューティングにおいて、「計算能力」とは、機械学習モデルや大規模言語モデルの学習に必要な計算能力または計算リソースの量を指します。より広義には、「計算能力」とは、コンピュータまたはコンピュータプログラムが機能するために必要な計算能力またはリソースを指します。
コンピューティングは一般的に、機械学習や大規模な言語モデルのトレーニングに必要な計算能力または計算リソースの量として定義されます。 [ 2 ] [ 1 ] 「コンピューティング」という用語は、クラウドコンピューティングにもより広く適用されており、あらゆるプログラムの計算に必要な処理能力、メモリ、ネットワーク、ストレージ、その他のリソースを指します。[ 3 ]
計算量はペタフロップ/秒日で測定され、 AI トレーニングの記録に使用されます。[ 4 ]ペタフロップ/秒日 (pfs-day) は、1 日間毎秒 1015 回のニューラル ネットワーク演算を実行すること、つまり合計約 1020 回の演算を行うことに相当します。計算時間と時間の積は、エネルギーのキロワット時と同様に、理解を容易にするためのものです。計算量は、実際に実行された演算の数を概観するためのものです。[ 4 ]
名詞「compute」は、2010年代にクラウドコンピューティングや人工知能などの分野で広く使われるようになるまでは、比較的珍しい言葉でしたが、全く聞いたことがないわけではありませんでした。[ 5 ]人工知能企業OpenAIは、2018年にAIの進歩のための戦略的指標として「compute」の概念を普及させました。[ 4 ]
OpenAI は、AI システムのトレーニングにおける計算使用量に関して 2 つの時代を特定しました。1959 年から 2012 年までは、計算能力はおおよそムーアの法則に従っていました。[ 4 ] 2012 年から 2018 年の間に、最大規模の AI トレーニング実行で使用される計算量は指数関数的に増加し、30 万倍以上増加しました。これは、約 3.4 か月ごとに倍増したことになります。[ 4 ] [ 2 ]比較すると、ムーアの法則は同じ期間に 2 年ごとに倍増していました。[ 4 ] 2020 年にリリースされた最大規模のモデルの 1 つは、2012 年のモデルよりも 60 万倍の計算能力を使用しました。[ 2 ]
2020年以降、コンピューティングの成長は鈍化し始め、[ 2 ]最大規模のAIモデルに必要なコンピューティングは2023年も引き続き鈍化しました。[ 6 ]
AI プロバイダーのSpaceXAI は2026 年に、同社の AI の進歩はコンピューティングによって推進され、100 万個のGPUを搭載したスーパーコンピュータColossusの AI トレーニングでそれを重要な指標として使用したと述べた。[ 7 ] Anthropic は、Colossus 1データセンターのすべてのコンピューティング容量を購入するために SpaceXAI と月額 12.5 億ドルの契約を結んでいる。[ 8 ] SpaceX の新規株式公開に先立つ 2026 年 6 月以降、Google はクラウドコンピューティング容量のために SpaceXAI に月額 9 億 2000 万ドルを支払っている。[ 9 ]
2022年の研究では、現在の大規模言語モデルは著しく訓練不足であることが判明しました。これは、訓練データの量を一定に保ちながら言語モデルのスケーリングに焦点を当てた結果です。さまざまなパラメータとトークンサイズの400を超える言語モデルを訓練することで、「計算効率の良い訓練」のためには、モデルサイズと訓練トークンの数は理想的には均等にスケーリングされるべきであり、モデルサイズが2倍になるごとに訓練トークンの数も2倍にする必要があることがわかりました。[ 10 ]
より多くのデータでトレーニングされ、より多くの計算リソースを使用する大規模なAIモデルは、より優れたパフォーマンスを発揮する傾向があります。[ 11 ] [ 10 ]これは、アルゴリズム自体が変更されていない場合でも発生します。[ 10 ]
2018年にはすでに、OpenAIは、 AIの進歩において計算能力の指数関数的な増加が重要な役割を果たすと指摘していた。[ 4 ] OpenAIは、AIの進歩を推進する3つの要因として、アルゴリズムの革新、データ、トレーニングに利用できる計算能力の量を挙げている。[ 4 ]計算能力の高いAIモデルは、トレーニングされたタスクの性能が向上するだけでなく、新たな能力を発達させることもできる。[ 12 ]段階的な改善は、能力のより急激な飛躍につながる可能性がある。[ 11 ]
人工知能の進歩を促進、奨励、または制限することは、多くの場合、計算量の制御によって行われてきました。[ 13 ]政策立案者は、国内のAI研究者が計算リソースにアクセスしやすくするための政策を制定し、支援を提供してきました。[ 13 ]
2022年1月の報告書で、セキュリティおよび新興技術センター（CSET）は、ますます強力で汎用性の高いAI（AGI）には、計算能力の最大化以外の戦略が必要になる可能性が高いと各機関に示唆した。[ 2 ] [ 13 ]また、一部のAI研究者は、政府が他の戦略ではなく、計算能力のスケーリングのみに焦点を当てる可能性があることを懸念している。[ 13 ]
CSETは、ディープラーニングにおける計算能力の需要が減速している理由を説明できる可能性のある様々なボトルネックについて報告している。
この目標のために、CSETは政策立案者に対し、予算の少ない研究者でもAI研究に効果的に貢献できるようにすべきだと助言した。[ 2 ]その他の提案された戦略としては、最新のAIアルゴリズムの使用、最新のAIインフラストラクチャの管理、AI分野と他のコンピュータサイエンス分野との学際的な研究への注力などが挙げられる。[ 2 ]
2024年の計算アクセスに関する研究では、学術機関のみのAI研究チームは、特に基礎モデルにおいて、産業界のAIラボと比較して計算負荷の低い研究テーマを扱っていることが多いことがわかった。[ 14 ]その結果、学術界はこうした技術の発展において、より小さな役割しか果たせない可能性が高い。研究者らは、学術機関の計算アクセスを向上させるために、国が支援する計算インフラストラクチャとオープンサイエンスの取り組みを提案している。[ 14 ]