ファーウェイ パングー

ファーウェイ パングー

開発者	ファーウェイ
初回リリース	3.0、2023年7月7日; 17か月前 ( 2023-07-07 )
安定版リリース	5.0 / 2024年6月21日; 5か月前 ( 2024-06-21 )
利用可能	中国語、英語、ロシア語
タイプ	大規模言語モデル
ライセンス	独自

Huawei PanGu、PanGu、PanGu-Σ、またはPanGu-π (中国語:盘古大モデル;ピンイン: pángƔ dà móxíng ) は、Huaweiによって開発されたマルチモーダル 大規模言語モデルです。 2023 年 7 月 7 日に発表され、他のマルチモーダル大規模言語モデルの競合として位置付けられました。^[1]

大規模学習言語モデル「盤古」の名前は、世界の創造に関連する原始的な人物である盤古の中国の神話と民間伝承に由来しています。 ^[2]

2023年4月、ファーウェイは1兆8500億のパラメータを備えた巨大言語モデルであるPanGu-Σの開発の詳細を記した論文を発表しました。ファーウェイのMindSpore 5フレームワーク内で開発されたPanGu-Σは、512個のAscend 910 AIアクセラレータチップを搭載したクラスターシステムで100日以上のトレーニングを受け、40を超える自然言語とプログラミング言語で3290億のトークンを処理しました。^[3]

PanGu-Σは、Random Routed Experts（RRE）とTransformerデコーダーアーキテクチャを組み込んでおり、会話、翻訳、コード生成、自然言語解釈などのさまざまなアプリケーションのサブモデルを簡単に抽出できます。このモデルは、同じハイパーパラメータを持つMoEモデルと比較して、6.3倍の高速なトレーニングスループットを実現します。中国語ドメインでは、ゼロショット設定で16のタスクにわたって以前の最先端モデルよりも優れたパフォーマンスを発揮します。中国語、英語、バイリンガル、コードを含む40のドメインのデータセットでトレーニングされたPanGu-Σは、少数ショットの 自然言語理解、オープンドメインディスカッション、質問応答、機械翻訳、コード作成に優れています。^{[4] [5]}

2023年7月7日のファーウェイ開発者会議で、ファーウェイは、ファーウェイクラウド [zh]ソリューションを活用した政府、金融、製造、鉱業、気象などの分野向けにカスタマイズされた大規模言語モデル（LLM）であるPanGu 3.0を発表しました。翌月、ファーウェイは、ユーザーの音声コマンドに基づいて長いテキスト返信を生成できる高度なAI機能を備えたCelia仮想アシスタントをリリースし、対象デバイス向けにHarmonyOS 4.0でリリースされる予定です。^{[6] [7]}

LLMは、チャットボット、詩、ビジュアルコンテンツの作成などの一般的な目的で使用される従来のモデルとは異なり、創造的な作業よりもタスクの実行に重点を置いて、AI業界での優位性を求める企業向けに設計されました。^[8]

ChatGPTと同じ技術を採用したファーウェイのLLMは階層型アーキテクチャを採用しており、顧客がモデルをさまざまなタスクに適応させ、独自のデータセットでトレーニングできるため、さまざまな業界で汎用的に使用できます。^[9]

2023年8月5日、ファーウェイは欧州中期予報センター（ECMWF）と提携し、世界の天気予報AIモデルを立ち上げました。このモデルは、ファーウェイクラウドソリューションとMindSporeを使用したPanGu-Weatherモデルを使用しています。このモデルはECMWFのウェブサイトからアクセスでき、正確な気象データを提供することを目指しています。^{[10] [11]}

2023年12月19日、ファーウェイは世界市場向けにPanGuを搭載したAIファイナンスプラットフォーム上で金融サービスを発表しました。このテクノロジー大手は、2023年のファーウェイクラウドフィンテックサミットでこの製品を発表し、効率的な機能でデジタル金融業界を再構築し、世界中のフィンテック企業を後押しすることを目指しています。このプラットフォームには、AI、ビッグデータ分析、ブロックチェーンなど、さまざまな先進技術が組み込まれています。^[12]

2024年6月21日、ファーウェイはHDC 2024で、HarmonyOS NEXTとともにPanGu 5.0のアップグレードを発表しました。このバージョンは、よりスマートなCelia（Xiaoyi）を備え、テキスト、コード、画像などの新しいコンテンツを作成するためのLLMプラットフォームの生成AIアップデートに焦点を当てたHarmony Intelligenceと統合されました。PanGuを幅広い開発者や企業が利用できるようにすることを目指して、限られたリソースしか必要としない小さなモデルと、より多くの処理能力を必要とする複雑なタスクのための容量を増やした大きなモデルというスケーラブルなオプションを提供しました。^[13]

産業用に設計されたPanGu Large Model 3.0は、5+N+Xの3層アーキテクチャで構成されていました。^[14]

• 第 1 層 (L0): PanGu の 5 つの基本的な大規模モデルで構成され、さまざまな業界のシナリオにさまざまな機能を提供します。これには、自然言語処理 (NLP) モデル、ビジュアル モデル、マルチモーダル モデル、予測モデル、科学計算モデルが含まれます。
• 第 2 層 (L1): N 個の大規模な業界固有のモデルで構成されます。これらのモデルは、政府、金融、製造、鉱業、天気など、さまざまな業界の公開データを使用してトレーニングされます。さらに、L0 と L1 からの顧客独自のデータを使用して、各顧客に合わせた独自のモデルをトレーニングします。
• 第 3 層 (L2): 詳細なシナリオ固有のモデルを顧客に提供します。この層は、特定のアプリケーションまたはビジネス ニーズに焦点を当て、すぐに使用できるモデル サービスを提供します。

Huawei Cloud事業部がアップデートしたHuawei PanGu Model 5.0は、さまざまなビジネスシナリオへの適応性、マルチスタイルモデリング、高度なインテリジェンスという3つの主要な機能を提供しました。HuaweiはAIモデルプラットフォームを4つのシリーズに分け、それぞれに異なるパラメータスケールを設定しました。^[15]

• PanGu E シリーズ:組み込みバージョンは、パラメータスケールが 10 億で、携帯電話、タブレット、PC、その他のデバイス上のスマート アプリをサポートします。
• PanGu P シリーズ:プロフェッショナル バージョンは 100 億のパラメータ スケールを備えており、低レイテンシおよび低コストの推論条件に最適です。
• PanGu U シリーズ: Ultra バージョンには、1,350 億と 2,300 億のパラメータを持つ 2 つのバージョンがあり、複雑なタスクを処理し、大規模なモデルのベースとして機能します。
• PanGu S シリーズ: Super PanGu は、クロスドメインやマルチタスク アプリケーションなどの高度な AI テクノロジ シナリオを管理するために設計された、兆レベルのパラメータを備えた最上位エディションです。

• 大規模言語モデル
• ジェミニ
• GPT-4