確率的オウム

機械学習において、確率的オウムという用語は、大規模な言語モデルはもっともらしい言語を生成できるものの、処理する言語の意味を理解しないという理論を説明する比喩である。 ^{[1] [2]この}用語は、2021年の人工知能研究論文「確率的オウムの危険性について：言語モデルは大きすぎるのか？🦜」（Bender、Timnit Gebru、Angelina McMillan-Major、Margaret Mitchell共著^{）の中で、} Emily M. Bender [2] [3] によって造られた。^[4]

この用語は、ベンダー、ティムニット・ゲブル、アンジェリーナ・マクミラン・メジャー、マーガレット・ミッチェル（仮名「シュマーガレット・シュミッチェル」を使用）による論文「確率的オウムの危険性について：言語モデルは大きすぎる可能性があるか？」で初めて使用されました。^[4]彼らは、大規模言語モデル（LLM）には、環境的および金銭的コスト、未知の危険なバイアスにつながる不可解さ、欺瞞の可能性などの危険があり、学習の背後にある概念を理解できないと主張しました。^[5]

「確率的」という言葉は、古代ギリシャ語の「ストカスチコス」（「推測に基づく」）に由来し、確率論の用語で「ランダムに決定される」という意味です。^[6] 「オウム」という言葉は、意味を理解せずに人間の言葉を真似するオウムの能力を指します。 ^[6]

論文の中で、ベンダーらは、LLM は意味を考慮せずに単語や文を確率的に結び付けていると主張している。そのため、LLM は単なる「確率的オウム」とされている。^[4]機械学習の専門家であるリンドホルム、ワルストローム、リンドステン、シェーンによると、この類推は 2 つの重要な限界を浮き彫りにしている。^{[1] [7]}

• LLM はトレーニングに使用されるデータによって制限され、データセットの内容を単純に確率的に繰り返します。
• LLM はトレーニング データに基づいて出力を作成しているだけなので、間違ったことや不適切なことを言っているかどうかはわかりません。

リンドホルムらは、データセットの品質が悪く、その他の制限がある場合、学習マシンは「危険なほど間違った」結果を生成する可能性があると指摘した。^[1]

ゲブルはグーグルから論文を撤回するか、グーグル社員の名前を削除するよう求められた。ジェフ・ディーンによると、その論文は「出版の基準を満たしていなかった」という。それに対してゲブルは満たすべき条件を挙げ、そうでなければ「最終日に作業する」と述べた。ディーンは、その条件の1つは、グーグルが論文の査読者と具体的なフィードバックを公開することだったが、グーグルはこれを拒否したと書いている。その直後、彼女はグーグルが「辞職を受け入れている」というメールを受け取った。彼女の解雇はグーグル社員の抗議を引き起こし、彼らはその意図はゲブルの批判を検閲することだと信じた。^[8]

2021年7月、アラン・チューリング研究所がこの論文に関する基調講演とパネルディスカッションを開催した。^[9] 2024年9月現在^{[アップデート]}、この論文は4,789件の出版物で引用されている。^{[10]この用語は、法律、 [11]}文法、^[12]物語、^[13]人文科学の分野の出版物で使用されている。^{[14]著者らは、} GPT-4などの大規模言語モデルに基づくチャットボットの危険性について懸念を抱き続けている。^[15]

確率的オウムは現在、AI懐疑論者が機械が出力の意味を理解していないことを指すために使用する新語であり、「AIに対する中傷」と解釈されることもある。 ^[6] Open AIのCEOであるサム・アルトマンが皮肉を込めてこの用語を使用し、「私は確率的オウムであり、あなたもそうだ」とツイートしたことで、その使用はさらに拡大した。 ^{[6]その後、この用語は「ChatGPT」や「LLM」という言葉よりも優れ、}アメリカ方言協会の2023年のAI関連の年間最優秀語に指定された。^{[6] [16]}

このフレーズは、LLMをパターンマッチング装置として説明するために、一部の研究者によってよく引用され、膨大な量のトレーニングデータから、確率的にオウム返しするだけで、人間のようなもっともらしいテキストを生成できると説明されています。しかし、他の研究者は、LLMは実際には少なくとも部分的には言語を理解できると主張しています。^[17]

ChatGPTなどの一部のLLMは、人間のような会話でユーザーと対話できるようになりました。^[17]これらの新しいシステムの開発により、LLMがどの程度理解しているのか、または単に「オウム返し」しているだけなのかについての議論が深まりました。

人間の心の中では、言葉や言語は経験したことに対応しています。^[18] LLMの場合、言葉はトレーニングデータに入力された他の単語や使用パターンにのみ対応している可能性があります。^{[19] [20] [4]}確率的オウムの支持者は、したがってLLMは実際に言語を理解することができないと結論付けています。^{[19] [4]}

LLMが偽の情報を事実として流布する傾向は、その裏付けとされている。^[18]幻覚と呼ばれるもので、LLMは時折、あるパターンに一致するが現実には一致しない情報を合成する。^{[19] [ 20] [ 18]} LLMが事実とフィクションを区別できないということは、言語が行うべきこととして、言葉を世界の理解に結び付けることができないという主張につながる。 [19] [ ^18]さらに、LLMは、言語の意味の理解に依存する複雑または曖昧な文法のケースを解読できないことが多い。^{[19] [20]}例として、Sabaらから借用したプロンプトは次の通りである。^[19]

テーブルから落ちた濡れた新聞は私のお気に入りの新聞です。しかし、私のお気に入りの新聞が編集者を解雇したので、もうその新聞を読むのが好きではないかもしれません。2 番目の文の「私のお気に入りの新聞」を「テーブルから落ちた濡れた新聞」に置き換えてもいいでしょうか。

法学修士課程の学生は、この質問に対して肯定的に答えるが、「新聞」の意味はこれら2つの文脈で異なることを理解していない。新聞は第一にオブジェクトであり、第二に機関である。^[19]これらの失敗に基づいて、一部のAI専門家は、自分たちは確率論的なオウムに過ぎないと結論付けている。^{[19] [18] [4]}

LLMが確率的オウムであるという仮説に反する議論の1つは、推論、常識、言語理解のベンチマークにおける結果です。2023年には、一部のLLMがSuperGLUE（Super General Language Understanding Evaluation）などの多くの言語理解テストで良好な結果を示しました。 ^{[20] [21]} 2022年の調査によると、このようなテストと多くのLLM応答の滑らかさにより、AI専門家の51％が十分なデータがあれば本当に言語を理解できると信じています。^[20]

ChatGPT-3 の実験中、ある科学者は、このモデルは確率論的なオウムではなく、推論に重大な限界があると主張した。^[17]彼は、プロンプトの情報に基づいて将来の出来事を予測しようとすると、モデルが首尾一貫しており有益であることを発見した。^[17] ChatGPT-3 は、テキストプロンプトからのサブテキスト情報を解析することも頻繁にできた。しかし、このモデルは、論理と推論を課されると、特にこれらのプロンプトが空間認識を伴う場合、頻繁に失敗した。^[17]モデルの応答の質がさまざまであることから、LLM は特定のカテゴリのタスクでは「理解」の形を持ち、他のカテゴリでは確率論的なオウムとして機能している可能性があることが示唆されている。^[17]

LLM が理解できるかどうかを調査する別の手法は、「機械的解釈可能性」と呼ばれます。その考え方は、大規模な言語モデルをリバースエンジニアリングして、内部で情報を処理する方法を分析するというものです。

一例として、オセロGPTがあります。これは、小さなトランスフォーマーがオセロの合法的な動きを予測するようにトレーニングされたものです。このモデルはオセロボードの内部表現を持っており、この表現を変更すると、予測されるオセロの合法的な動きが正しく変更されることがわかりました。これは、LLMが「世界モデル」を持っており、表面的な統計を行っているだけではないという考えを裏付けています。^{[22] [23]}

別の例では、小さなトランスフォーマーがプログラミング言語Karelで書かれたコンピュータプログラムでトレーニングされました。Othello-GPTの例と同様に、このモデルはKarelプログラムセマンティクスの内部表現を開発しました。この表現を変更すると、出力が適切に変更されます。さらに、モデルは平均してトレーニングセット内のプログラムよりも短い正しいプログラムを生成します。^[24]

研究者らはまた、「グロッキング」という現象も研究した。これは、AIモデルが最初にトレーニングデータの出力を記憶し、その後さらにトレーニングを行うと、突然、未知のデータに一般化できる解決策を見つけるという現象である。^[25]

しかし、言語理解力のテストとして作成されたテストをLLMのテストに使用すると、テキストデータ内の偽の相関関係によって誤検出が発生することがあります。^[26]モデルではショートカット学習の例が示されています。ショートカット学習とは、システムが人間のような理解力を使用する代わりに、データ内で無関係な相関関係を作成する場合です。^[27] 2019年に実施されたそのような実験の1つでは、議論の推論理解タスクを使用してGoogleのBERT LLMをテストしました。BERTは2つのステートメントから選択し、議論に最も一致するものを見つけるように求められました。以下は、これらのプロンプトの1つの例です。^{[20] [28]}

議論: 重罪犯にも投票権が与えられるべきである。17 歳で自動車を盗んだ人が、生涯にわたって完全な市民権を奪われるべきではない。
主張 A: 自動車窃盗は重罪である。
主張 B: 自動車窃盗は重罪ではない。

研究者たちは、「not」などの特定の単語がモデルに正解のヒントを与え、ヒントの単語が含まれている場合はほぼ完璧なスコアが得られるが、ヒントの単語が削除されるとランダムな選択になることを発見した。^{[20] [28]}この問題と、知能を定義する際の既知の困難さから、LLMで理解を見つけるベンチマークはすべて欠陥があり、理解を偽装するための近道を許していると主張する人もいる。

• 1 the Road – AI生成小説
• 中国の部屋
• 人工ニューラルネットワークに対する批判
• ディープラーニングに対する批判
• Googleに対する批判
• カットアップ技法
• 無限猿定理
• 生成AI
• マーク・V・シェイニーは、非常に単純な3語のマルコフ連鎖アルゴリズムを使用してマルコフテキストを生成した初期のチャットボットである。

• Lindholm, A.; Wahlström, N.; Lindsten, F.; Schön, TB (2022)。機械学習：エンジニアと科学者のための最初のコース。ケンブリッジ大学出版局。ISBN 978-1108843607。
• Weller, Adrian (2021 年 7 月 13 日). 確率的オウムの危険性について: 言語モデルは大きすぎる可能性がありますか? 🦜 (ビデオ).アラン・チューリング研究所。エミリー・ベンダーによる基調講演。プレゼンテーションの後はパネルディスカッションが行われました。

• イアン・ボゴスト（2022年12月7日）。「ChatGPTはあなたが思っているよりも愚か：道具ではなくおもちゃのように扱いましょう」。アトランティック誌。2024年1月17日閲覧。
• チョムスキー、ノーム（2023年3月8日）。「ChatGPTの偽りの約束」ニューヨークタイムズ。 2024年1月17日閲覧。
• グレンバーグ、アーサー、ジョーンズ、キャメロン・ロバート（2023年4月6日）。「世界を理解するには身体が必要 - ChatGPTや他の言語AIが何を言っているのかわからない理由」。The Conversation 。 2024年1月17日閲覧。
• McQuillan, D. (2022). 『AIへの抵抗：人工知能への反ファシズム的アプローチ』ブリストル大学出版局. ISBN 978-1-5292-1350-8。
• トンプソン、E.（2022）。モデルランドからの脱出：数学モデルが私たちを迷わせる方法とそれに対する対処法。ベーシックブックス。ISBN 978-1-5416-0098-0。
• 鍾、奇皇。丁、梁。劉、珠華。デュ、ボー。タオ、大成（2023）。 「ChatGPT も理解できるのか? ChatGPT と微調整された BERT の比較研究」。arXiv : 2302.10198 [cs.CL]。

• 「確率的オウムの危険性について: 言語モデルは大きすぎる可能性があるか? 🦜」ウィキメディア コモンズ