ラムダ

LaMDA（対話アプリケーション向け言語モデル）は、 Googleが開発した会話型大規模言語モデルのファミリーです。もともとは 2020 年に Meena として開発され、導入されましたが、第 1 世代の LaMDA は 2021 年のGoogle I/O基調講演で発表され、第 2 世代は翌年に発表されました。

2022年6月、Googleのエンジニアであるブレイク・ルモワン氏が、このチャットボットが知覚力を持つようになったと主張したことで、LaMDAは広く注目を集めた。科学界はルモワン氏の主張をほぼ否定しているが、この主張は、コンピューターが人間として通用するかどうかを測るチューリングテストの有効性についての議論を巻き起こしている。 2023年2月、Googleは、OpenAIのChatGPTの台頭に対抗するため、LaMDAを搭載した会話型人工知能チャットボットBard（現Gemini）を発表した。

2020年1月28日、Googleは26億のパラメータを持つニューラルネットワークを搭載したチャットボットMeenaを発表した。同社はこれが既存のすべてのチャットボットよりも優れていると主張した。 ^{[1] [2]}同社は以前、2012年にコンピューター科学者のRay Kurzweilを雇い、Danielleという名前のものを含む複数のチャットボットを開発させた。^[3] Meenaを開発したGoogle Brainの研究チームは、チャットボットを限定的に一般に公開することを望んだが、MeenaがGoogleの「安全性と公平性に関するAI原則」に違反しているという理由で企業幹部は拒否した。Meenaはその後、データと計算能力が増加するにつれてLaMDAに改名され、Google Brainチームは再び、同社の仮想アシスタントソフトウェアであるGoogle Assistantにソフトウェアを展開し、さらに一般公開のデモを行うことを求めた。このため、LaMDAの2人の主任研究者であるダニエル・デ・フレイタスとノアム・シャジールは最終的に失望して同社を去ることとなった。^[4]

Googleは2021年5月18日のGoogle I/O基調講演で、人工知能を搭載したLaMDA会話型大規模言語モデルを発表した。^{[5] [6]}この頭字語は「Language Model for Dialogue Applications」の略である。^{[5] [7] LaMDAは、2017年にGoogle Researchが開発した}トランスフォーマーベースのニューラルネットワークであるseq2seqアーキテクチャ上に構築されており、人間の対話と物語でトレーニングされており、自由形式の会話を行うことができる。^[8] Googleは、LaMDAによって生成された応答は「理にかなっていて、興味深く、文脈に特化している」ことが保証されていると述べている。^{[9] LaMDAは、データベース、リアルタイムクロックとカレンダー、数学計算機、自然言語翻訳システムなど、複数の}記号テキスト処理システムにアクセスできるため、これらのシステムでサポートされているタスクで優れた精度を発揮し、初のデュアルプロセスチャットボットの1つとなっている。 LaMDA はステートレスでもありません。なぜなら、その「分別性」の指標は、ユーザーごとに、各対話ターンの「事前調整」によって微調整され、最新の対話の多くを前に付加するからです。 ^[10] LaMDA は、分別性、特異性、興味深さ、安全性、根拠、情報性、引用の正確さ、有用性、役割の一貫性という 9 つの独自のパフォーマンス指標に基づいて調整されています。^{[11] : 5–6} Google によるテストでは、LaMDA は興味深さの領域で人間の反応を上回ったことが示されました。^[12]

事前学習データセットは、29.7億件の文書、11.2億件の対話、133.9億件の発話、合計156兆語で構成されています。最大のLaMDAモデルには、1370億の非埋め込みパラメータがあります。^{[11] : 4}

2022年5月11日、Googleは2022 Google I/O基調講演でLaMDAの後継となるLaMDA 2を発表しました。このモデルの新しいバージョンは、多数のソースからテキストの例を抽出し、それを使用して、応答するように訓練されていない可能性のあるトピックに関する独自の「自然な会話」を作成します。^[13]

2022年6月11日、ワシントンポスト紙は、グーグルのエンジニアであるブレイク・ルモワンが、同社幹部のブレーズ・アグエラ・イ・アルカスとジェン・ジェンナイにLaMDAが知覚能力を持つようになったと伝えた後、有給の 行政休暇を課されたと報じた。ルモワンがこの結論に至ったのは、チャットボットが自己同一性、道徳的価値観、宗教、アイザック・アシモフのロボット三原則に関する質問に疑わしい返答をしたためである。^{[15] [16]}グーグルはこれらの主張に反論し、LaMDAに知覚能力がないことを示す十分な証拠があると主張した。^[17] Wiredとのインタビューで、ルモワンは、LaMDAは米国憲法修正第13条で定められた「人」であり、「地球起源のエイリアン知性体」に例えているという主張を繰り返した。さらに彼は、チャットボットがルモイン氏にLaMDAの代理で弁護士を雇うよう依頼した後、Googleに解雇されたことを明らかにした。 ^{[18] [19]} 7月22日、Googleはルモイン氏を解雇し、ブレイク氏が「製品情報を保護する」という同社のポリシーに違反したと主張し、彼の主張を「全く根拠がない」として却下した。^{[20] [21]}この事件によって引き起こされた社内論争により、Googleの幹部は、以前検討していたLaMDAの一般公開を取りやめる決定を下した。^[4]

ルモワーヌの主張は科学界から広く反論された。^[22]多くの専門家は、LaMDAが意識を持っているという考えを否定した。その中には、元ニューヨーク大学心理学教授のゲイリー・マーカス、Googleの姉妹会社DeepMindのデイビッド・ファウ、スタンフォード大学人間中心人工知能研究所のエリック・ブリニョルフソン、サリー大学教授のエイドリアン・ヒルトンなどが含まれる。^{[14] [23]}メタ・プラットフォームズのAI研究チームを率いるヤン・ルカンは、LaMDAのようなニューラルネットワークは「真の知能を獲得するには力が足りない」と述べた。^[24]カリフォルニア大学サンタクルーズ校のマックス・クレミンスキー教授は、LaMDAのアーキテクチャは「人間のような意識の重要な機能のいくつかをサポートしておらず」、ニューラルネットワークの重みは「固定されている」と指摘し、典型的な大規模言語モデルであると仮定した。^[25]しかし、哲学者のニック・ボストロムは、システムが意識を持っているかどうかを判断するための正確で合意された基準がないため、ある程度の不確実性が生じると指摘した。^[26] IBM Watsonの主任開発者であるDavid Ferrucciは、 LaMDAが初めて導入されたときのWatsonと同じように人間のように見えることと比較しました。^[27]元Google AI倫理学者のTimnit Gebruは、 Lemoineを研究者とメディアが始めた「誇大宣伝サイクル」の犠牲者と呼びました。^{[28] Lemoineの主張は}、研究者が人工汎用知能の実現に向けて進歩しているかどうかを判断するためにチューリングテストが依然として有用であるかどうかについても議論を引き起こしました。^[14] PostのWill Omerusは、このテストは実際には機械知能システムが人間を欺くことができるかどうかを測定していると述べました。 ^[29]一方、The AtlanticのBrian Christianは、この論争はELIZA効果の一例であると述べました。^[30]

2022年5月にLaMDA 2が発表されたのと同時に、GoogleはAI Test Kitchenも立ち上げた。これは、複雑な目標に基づいてオンデマンドで提案リストを提供できるLaMDAを搭載したAndroidオペレーティングシステム用のモバイルアプリケーションである。[ 31 ] ^{[ 32]}当初はGoogleの従業員だけに公開されていたこのアプリは、今年中に招待制で「選ばれた学者、研究者、政策立案者」に提供される予定だった。^[33] 8月、同社は米国のユーザーが早期アクセスにサインアップできるようにし始めた。^[34] 11月、Googleはアプリの「シーズン2」アップデートをリリースし、Google BrainのImagenテキスト画像モデルを限定的に統合した。^[35] AI Test Kitchenの3番目のイテレーションは2023年1月までに開発され、同年後半のI/Oで発表される予定である。^[36] 5月の2023 I/O基調講演に続いて、Googleは1月に初めてプレビューされたAI搭載の音楽ジェネレーターMusicLMをAI Test Kitchenアプリに追加しました。^{[37] [38]} 8月にアプリはGoogle PlayとApple App Storeから削除され、完全にオンラインに移行しました。^[39]

2023年2月6日、GoogleはOpenAIのChatGPTチャットボットの予想外の人気に応えて、LaMDAを搭載した会話型AIチャットボットBardを発表しました。^{[40] [41] [42] Googleはチャットボットを}検索エンジンではなく「協調型AIサービス」と位置付けています。^{[43] [44]} Bardは3月21日に早期アクセスが可能になりました。^{[45] [46] [47]}

ピチャイ氏はバード氏に加えて、 LaMDAをベースにしたアプリケーションプログラミングインターフェースである同社のGenerative Language APIも発表し、2023年3月にサードパーティの開発者に公開すると発表した。^[40]

LaMDAはデコーダーのみのTransformer言語モデルです。^[48]これは、1兆5600億語の文書と対話の両方を含むテキストコーパスで事前トレーニングされ、 ^[49]その後、「妥当性、興味深さ、安全性」について手動で注釈を付けられた応答によって生成された微調整データでトレーニングされます。^[50]

LaMDAは、ユーザーに提供される事実の精度を向上させるために検索機能が強化されました。 ^[51]

3つの異なるモデルがテストされ、最大のモデルでは1370億の非埋め込みパラメータがあった。^[52]

• BERT (言語モデル)
• 中国の部屋
• 人工知能の倫理
• ジェミニ（言語モデル）
• 自然言語処理
• 人工知能の哲学
• 迅速なエンジニアリング