Loading article…
| 原作者 | 北京人工知能アカデミー |
|---|---|
| 初回リリース | 2021年1月11日 |
| Webサイト | 詳しくはこちら |
Wu Dao（中国語：悟道、ピンイン：wùdào、直訳すると「認識への道」）[1]は、北京人工知能研究院（BAAI）が開発したマルチモーダル 人工知能である。[2] [3] [4] Wu Dao 1.0は2021年1月11日に初めて発表され、[1] [5]改良版のWu Dao 2.0は5月31日に発表された。[6] [5] GPT-3と比較されており、[7]同様のアーキテクチャ上に構築されている。比較すると、GPT-3には1,750億個のパラメータ[8] [9]（機械学習モデル内の変数と入力）があるのに対し、Wu Daoには1兆7,500億個のパラメータがある。[6] [10] Wu Daoは4.9テラバイトの画像とテキスト（1.2テラバイトの中国語テキストと1.2テラバイトの英語テキストを含む）でトレーニングされました。[6] [11] GPT-3は45テラバイトのテキストデータでトレーニングされました。[12]しかし、増え続ける研究は、データとパラメータの両方を増やすことの重要性を浮き彫りにしています。[13] BAAIの会長は、Wu Daoは「可能な限り最大かつ最も強力なAIモデルを作成する」試みであると述べました。[8] Wu Dao 2.0は、「これまでで最大の言語AIシステム」と呼ばれました。[4]これは、「米国と競争する」試みであるとコメント投稿者によって解釈されました。[14] [15]注目すべきことに、Wu Dao 2.0に使用されているアーキテクチャのタイプは、専門家の混合（MoE）モデルであり、[5]「密な」モデルであるGPT-3とは異なります。 [16] MoEモデルは、同じ数のパラメータを持つ密なモデルよりもトレーニングに必要な計算能力がはるかに少ないですが、[16]兆パラメータのMoEモデルは、数百倍小さいモデルに匹敵するパフォーマンスを示しています。[16]
Wu Daoの開発者は、テキストと画像の生成に加えて、自然言語処理と画像認識を実行する能力を実証しました。 [5]このモデルは、繁体字中国語でエッセイ、詩、連句を書くことができるだけでなく、静止画像に基づいて代替テキストを生成したり、自然言語の説明に基づいてほぼフォトリアリスティックな画像を生成することもできます。Wu Daoはまた、バーチャルアイドルを動かす能力（マイクロソフトのスピンオフであるXiaoiceの助けを借りて）と、 AlphaFoldのようなタンパク質の3D構造を予測する能力も披露しました。[5]
歴史
Wu Daoの開発は、2020年5月のGPT-3のリリースから数か月後の2020年10月に始まりました。[1]モデルの最初のイテレーションであるWu Dao 1.0は、4つの関連モデルを介して「大規模な研究プロジェクトを開始」しました。[18] [17]
- 26億パラメータの事前学習済み言語モデルであるWu Dao-Wen Yuanは、オープンドメイン応答、感情分析、文法修正などのタスク向けに設計されました。 [17]
- 10億パラメータのマルチモーダルグラフィックモデルであるWu Dao – Wen Lanは、画像キャプション作成を実行するために5000万枚の画像ペアでトレーニングされました。 [17]
- 113億のパラメータを持つ生成言語モデルであるWu Dao – Wen Huiは、「認知的観点から見た一般的な人工知能の基本的な問題」のために設計された。Syncedによれば、このモデルは「詩を生成したり、ビデオを作ったり、絵を描いたり、テキストを検索したり、複雑な推論を実行したりできる」という。[17]
- Wu Dao – Wen Suは、GoogleのBERT言語モデルをベースに、100ギガバイトのUNIPARCデータベース（および数千の遺伝子配列）でトレーニングされ、生体分子構造予測とタンパク質フォールディングタスク用に設計されました。[17]
武道コーポラ
WuDao Corpora（WuDaoCorporaとも表記）は、バージョン2.0の時点で、Wu Dao 2.0のトレーニング用に構築された大規模なデータセットでした。これには、Webデータからスクレイピングされた3テラバイトのテキスト、90テラバイトのグラフィックデータ（6億3000万のテキスト/画像のペアを含む）、181ギガバイトの中国語の対話（14億の対話ラウンドを含む）が含まれています。[19] Wu Dao 2.0は、 Googleが公開した専門家の混合アーキテクチャのバリエーションであるFastMoEを使用してトレーニングされました。[18] TheNextWebは2021年6月に、「Wu Daoがどのようにトレーニングされたのか、そのさまざまなデータセットに何が含まれていたのか、そしてどのような実用的なアプリケーションに使用できるのかに関する詳細は依然として不足しています」と述べました。[8] OpenAIのポリシーディレクターは、Wu Daoを「モデル拡散」の例と呼びました。これは、複数の組織がOpenAIと同様のモデルを開発する状況を説明する新語です。[20]
参考文献
- ^ abc 智源研究院 (2021年1月11日). "面向认知，智源研究院联合多家单位発行布超大规模新型预训练モデル"悟道·文汇"。
- ^ ベイリー、ロナルド（2021年6月11日）。「驚くべき新しい中国語AI搭載言語モデルWu Dao 2.0が発表されました」。Reason。
- ^ 「記録破りのAIモデルWuDao 2.0が北京で公開」。China.org.cn 。 2021年6月3日。
- ^ ab 「AIは投資家が次のホットなテクノロジーを見つけるのに役立つか？多くの企業がそれに賭けている」。Fortune。
- ^ abcde Tarantola, A. (2021年6月2日). 「中国の巨大なマルチモーダルAIは、一つの技だけに特化したものではない」. Engadget .
- ^ abc Feng, Coco (2021年6月2日). 「北京が資金提供したAI言語モデル、生の数字でGoogleとOpenAIを上回る」サウスチャイナ・モーニング・ポスト。
- ^ "WuDao 2.0、OpenAI と Google の人工知能の機能".ランティディプロマティコ.it 。 2021年6月6日。
- ^ abc Greene, Tristan (2021年6月3日). 「中国の『Wu Dao』AIはGPT-3の10倍の大きさで、歌うこともできる」TNW | Neural .
- ^ モット、ナサニエル（2021年6月3日）。「中国は、WuDao 2.0 AIはOpenAIやGoogleよりもさらに優れた会話者であると述べている」。Tom 's Hardware。
- ^ "Wu Dao 2.0、広範囲にわたる IA マルチモーダル モデル".エル コメルシオ。 2021年6月3日。
- ^ Heikkilä, Melissa (2021年6月9日). 「西側諸国を悩ませている中国のAIモデル、Wu Dao 2.0」. Politico .
- ^ B. Brown, Tom (2020). 「言語モデルは少数ショット学習者である」. arXiv : 2005.14165 [cs.CL].
- ^ ホフマン、ジョーダン（2022）。「計算最適化大規模言語モデルのトレーニング」arXiv：2203.15556 [cs.CL]。
- ^ “WuDao 2.0 最低価格 1,75 трлн параметров превосходит аналоги от Google и OpenAI”. 3DNews - 毎日のデジタル ダイジェスト。
- ^ メルテンス、ジェニファー（2021年6月5日）。 「La Chine développe une IA pour concurrencer les États-Unis」。
- ^ abc Artetxe, Mikel (2021). 「専門家の混合による効率的な大規模言語モデリング」. arXiv : 2112.10684 [cs.CL].
- ^ abcdef 「中国のGPT-3？BAAIがスーパースケール知能モデル『Wu Dao 1.0』を発表 | Synced」。syncedreview.com 。 2021年3月23日。
- ^ ab シュライナー、マクシミリアン (2021 年 6 月 13 日)。 「Sprach-KI aus China: Wu Dao 2.0 ist zehnmal größer als GPT-3」。
- ^ 「リソース」. resource.wudaoai.cn .
- ^ Wiggers, Kyle (2021年6月4日). 「AI Weekly: 中国の大規模なマルチモーダルモデルがAI研究のギャップを浮き彫りにする」VentureBeat .