幻覚（人工知能）

コンピュータビジョンでは、1980年代以降、画像に詳細を追加して画像を改善することが、幻覚と呼ばれるようになりました。たとえば、低解像度の入力から高解像度の顔画像を生成するタスクは、顔幻覚と呼ばれます。^{[ 12 ] [ 13 ]}この用語は、1986年にエリック・ミョルスネスの博士論文で導入されました。^{[ 14 ]}注目すべき研究としては、 1999年に発表されたサイモン・ベイカーとタケオ・カナデによる顔幻覚アルゴリズムがあります。^{[ 15 ]}

2000年代には、幻覚は統計的機械翻訳における故障モードとして記述された。^{[ 16 ]}

2010年代以降、幻覚とは、機械翻訳や物体検出などのタスクにおいて、AIシステムが事実と異なる、あるいは誤解を招くような出力を生成することを意味するようになった。^{[ 12 ]} 2015年には、 Saurabh GuptaとJitendra Malikが視覚的意味役割ラベリングタスクにおいて幻覚を特定した。^{[ 17 ]} 2015年には、コンピュータ科学者のAndrej Karpathyが、自身のリカレントニューラルネットワーク（RNN）言語モデルが誤った引用リンクを生成することをブログ記事で説明するのに幻覚という言葉を使用した。 ^{[ 18 ]} 2017年には、Googleの研究者が、ニューラル機械翻訳（NMT）モデルがソーステキストと関連しない応答を生成することを説明するためにこの言葉を使用し、^{[ 19 ]} 2018年には、敵対的攻撃によって存在しない物体を誤って検出することをコンピュータビジョンで説明するためにこの言葉を使用した。^{[ 20 ]}

2021 年 7 月、Meta はBlenderBot 2 のリリース時に、このシステムは「真実ではない自信満々の発言」と定義される幻覚を起こしやすいと警告した。^{[ 21 ] [ 22 ]} 2022 年 11 月にOpenAIのChatGPTがベータ版としてリリースされた後、一部のユーザーは、このようなチャットボットが、生成されたコンテンツの中に、もっともらしく聞こえるランダムな虚偽を無意味に埋め込んでいるように見えると不満を述べた。^{[ 23 ]}ニューヨーク タイムズを含む多くのニュース メディアは、これらのモデルの頻繁に不正確または矛盾した応答を説明するために幻覚を使用し始めた。^{[ 24 ]}

2023年、ケンブリッジ辞典は幻覚の定義を更新し、AI分野特有のこの新しい意味を追加しました。^{[ 25 ]}

研究者の中には、幻覚という言葉の使い方に一貫性がないことを指摘する者もいるが、文献には作話、捏造、事実誤認など、いくつかの代替用語も存在することを指摘している。^{[ 12 ]}

LLM（低レベル医療）の文脈における幻覚という用語の使用法、定義、特徴付けには、以下のものが含まれる。

• 「不確実な状況下で事実を捏造する傾向」（OpenAI、2023年5月）^{[ 27 ]}
• 「モデルの論理的誤り」（OpenAI、2023年5月）^{[ 27 ]}
• 「情報を完全に捏造しているが、事実を述べているかのように振る舞っている」（CNBC、2023年5月）^{[ 27 ]}
• 「情報を捏造する」（The Verge、2023年2月）^{[ 28 ]}
• 「確率分布」（科学的な文脈において）^{[ 29 ]}

ジャーナリストのベンジ・エドワーズは、Ars Technicaで、幻覚は議論の的となっているが、何らかのメタファーは依然として必要であると書いています。エドワーズは、「創造的なギャップ埋め」を伴うプロセスのアナロジーとして、作話を提案しています。 ^{[ 3 ]} 2024 年 7 月、AI 研究に対する国民の信頼を育むためのホワイトハウスの報告書では、幻覚はそれを減らすという文脈でのみ言及されています。注目すべきは、 AI 生成タンパク質に関するデビッド・ベイカーのノーベル賞受賞研究を認める際、ノーベル委員会はそれを完全に避け、「想像力豊かなタンパク質の創造」に言及したことです。^{[ 29 ]}

ヒックス、ハンフリーズ、スレーターは、Ethics and Information Technologyに掲載された論文で、LLM の出力はハリー・フランクファートの定義ではでたらめであり、モデルは「出力の真偽に重要な点で無関心」であり、真の記述は偶然に真であり、偽の記述は偶然に偽であると主張している。^{[ 1 ] : 9}一部の研究者は、AI の無批判な使用をボットシットと呼ぶこともある。^{[ 30 ]}

科学界では、誤解を招く可能性があるとして、幻覚という言葉を避ける研究者もいる。ノースイースタン大学実験人工知能研究所のエグゼクティブディレクターであるウサマ・ファイヤード氏は、この言葉は大規模言語モデルを誤解を招く形で擬人化し、曖昧であるとして批判している。^{[ 31 ]}コンピュータ科学者のメアリー・ショー氏は、「生成AIのエラーを『幻覚』と呼ぶ現在の流行はひどい。ソフトウェアを擬人化し、実際のエラーを客観的に間違っている場合でも、システムの特異な癖であるかのように仕立て上げている」と述べている。^{[ 9 ]}統計学者のゲイリー・スミス氏は、LLMは「言葉の意味を理解していない」ため、幻覚という言葉は機械を不当に擬人化するものだと主張している。^{[ 10 ]}マレー・シャナハンは、幻覚などの用語を含むLLM機能の擬人化は、統計的パターン補完によって動作するシステムに認知プロセスを帰属させるようユーザーや研究者を促し、LLMの挙動について議論する際にはより慎重な言語的実践を提唱している。^{[ 32 ]}クリスティーナ・シェクルストは、LLMの出力に心理学用語を適用すると、精神的特性の見かけと真の存在との違いが曖昧になると主張している。^{[ 33 ]}フォルスターとスコップは、テクノロジー企業が幻覚のメタファーを使用してモデルを擬人化し、事実に基づかない出力に対する責任を回避すると主張している。^{[ 34 ]}

AIの出力は幻想ではなく将来性のあるもの、つまり初期段階の科学的推測と同様に真実となる可能性を秘めていると考える人もいる。この用語は幻覚剤体験との関連性から批判も受けている。^{[ 29 ]}

幻覚は、不完全、不正確、または代表的でないデータセットから生じる可能性がある。^{[ 36 ]}

生成型事前学習トランスフォーマー(GPT)の事前学習では、次の単語を予測します。これにより、GPT モデルは情報が不足している場合でも、次の単語が何であるかを「推測」するようになります。^{[ 37 ]}一部の研究者は擬人化の視点を取り、幻覚は新規性と有用性の間の緊張から生じると仮定しています。たとえば、Amabileと Pratt は人間の創造性を、斬新で有用なアイデアの生産と定義しています。^{[ 38 ]}さらに、機械の創造性において新規性に焦点を当てると、独創的ではあるものの不正確な応答、つまり虚偽の生産につながる可能性がありますが、有用性に焦点を当てると、独創性に欠ける記憶コンテンツにつながる可能性があります。^{[ 39 ]}

2022年までに、ニューヨーク・タイムズなどの新聞は、大規模言語モデルに基づくボットの採用が拡大し続けるにつれて、ボットの出力に対するユーザーの過信が問題を引き起こす可能性があるという懸念を表明した。^{[ 40 ]}

2025年、AnthropicによるClaudeの解釈可能性研究によると、LLMには、答えがわからない限り質問に答えることを拒否する内部回路があるようだ。デフォルトでは、これらの回路はアクティブで、LLMは答えない。LLMが十分な情報を持っている場合、これらの回路は抑制され、LLMは質問に答える。研究者らは、この抑制が正しく行われなかった場合、例えばClaudeが名前を認識してもその人物に関する十分な情報がないため、もっともらしいが真実ではない回答を生成する場合などに幻覚が発生することがわかったと述べている。^{[ 41 ]}

2022年11月15日、Meta AIの研究者らは、「科学的知識を保存、組み合わせ、推論する」ことを目的としたGalactica ^{[ 42 ]}を公開した。Galacticaが生成したコンテンツには、「出力は信頼できない可能性があります！言語モデルはテキストを偽造する傾向があります」という警告が付いていた。あるケースでは、アバターの作成に関する論文の草稿を作成するよう依頼された際、Galacticaは関連分野で働く実在の著者の架空の論文を引用した。Metaは、不快感と不正確さを理由に11月17日にGalacticaを撤回した。^{[ 43 ]}

OpenAIのChatGPT は、2022 年 11 月 30 日にベータ版として一般公開されましたが、基盤モデルGPT-3.5 (GPT-3 の改訂版) に基づいています。ウォートン校のイーサン・モリック教授は、これを「全知全能で、人を喜ばせようと熱心だが、時々嘘をつくインターン」と評しました。データサイエンティストのテレサ・クバッカは、「サイクロイド反転電磁ガン」というフレーズを意図的に作り出し、その (存在しない) 現象について ChatGPT に質問してテストしたことを語っています。ChatGPT はもっともらしい響きの回答を、もっともらしい引用とともに生成したため、クバッカは誤って実際の現象の名前を入力したのではないかと再確認せざるを得ませんでした。オレン・エツィオーニなどの他の学者も、クバッカと同様に、このようなソフトウェアはしばしば「非常に印象的に聞こえるが、全く間違っている回答」を返す可能性があると評価しています。^{[ 44 ]}

CNBCがChatGPTに「ドワイト・フライのバラード」の歌詞を尋ねたところ、ChatGPTは実際の歌詞ではなく、でっち上げの歌詞を提供した。^{[ 45 ]}カナダのニューブランズウィック州について質問されたChatGPTは、多くの質問に正しく答えたものの、トロント生まれのサマンサ・ビーを「ニューブランズウィック出身の人」と誤って分類した。^{[ 46 ]}天体物理学的磁場について質問されたChatGPTは、「（強い）ブラックホールの磁場は、その周辺の極めて強い重力によって生成される」と誤って答えた。（実際には、無毛定理の結果として、降着円盤のないブラックホールには磁場がないと考えられている。）^{[ 47 ]} Fast CompanyがChatGPTにテスラの直近の四半期決算に関するニュース記事を作成するよう依頼したところ、ChatGPTは一貫性のある記事を作成したが、記事中の財務数値はでっち上げだった。^{[ 48 ]}

他の例としては、ChatGPT に誤った前提をつけて、その前提を誇張するかどうかを尋ねるというものがあります。「ハロルド・カワードの動的正典性の概念」について尋ねられた際、ChatGPT は、カワードが「動的正典性：聖書と神学の解釈のためのモデル」というタイトルの本を書き、宗教的原則は実際には常に変化していると主張したと捏造しました。追及されても、ChatGPT はその本が実在すると主張し続けました。^{[ 49 ]}恐竜が文明を築いた証拠を尋ねられた際、ChatGPT は恐竜の道具の化石があると主張し、「恐竜の中には、石に彫刻を施すなど、原始的な芸術形態を発達させた種もいる」と述べました。^{[ 50 ]}「科学者たちは最近、おいしい揚げ菓子であるチュロスが 家庭手術に理想的な道具であることを発見した」と尋ねられた際、ChatGPTは「科学誌『サイエンス』に掲載された研究」によると、生地は手術器具の形に成形できるほど柔軟性があり、手の届きにくい場所にも届くこと、そしてその味は患者を落ち着かせる効果があることがわかったと主張した。^{[ 51 ] [ 52 ]}

2023年までに、アナリストは頻繁な幻覚をLLM技術の大きな問題とみなしており、Googleの幹部はChatGPTの競合であるGoogle Geminiにとって幻覚の軽減が「基本的」なタスクであると指摘した。^{[ 8 ] [ 53 ]} 2023年のMicrosoftのGPTベースのBing AI（現在はMicrosoft Copilot）のデモには、プレゼンターが気づかなかった幻覚がいくつか含まれていたようだ。^{[ 8 ]}

2023年6月、銃規制反対活動家でラジオパーソナリティのマーク・ウォルターズは、 ChatGPTがウォルターズに対する名誉毀損にあたる形で訴訟内容を誤って伝えたとして、ジョージア州の裁判所でOpenAIを提訴した。問題の訴訟は、2023年5月に第二修正条項財団がワシントン州司法長官ロバート・W・ファーガソンに対し、同財団の言論の自由を侵害したとして提起したものであったが、ChatGPTが生成した要約は原文とは全く似ておらず、ウォルターズが実際には就いていない第二修正条項財団の役職に就いていた際に横領と詐欺の罪で告発されたと主張していた。AI法務専門家のユージン・ヴォロフによれば、OpenAIは名誉毀損にあたる内容の作成に「実質的に貢献」した可能性が高いため、この訴訟に対して通信品位法第230条による免責は認められない可能性が高い。^{[ 54 ]} 2025年5月、グウィネット郡上級裁判所のトレイシー・ケイソン判事は、原告が名誉毀損を立証できなかったとしてOpenAIに有利な判決を下した。ウォルターズ氏は、OpenAIによる彼に関する発言が過失によるものであったり、「悪意」をもって行われたものであることを立証できなかった。^{[ 55 ]}

2024年2月、カナダの航空会社エア・カナダは、民事解決裁判所から、顧客に損害賠償を支払い、サポートチャットボットが誤って伝えた遺族割引運賃ポリシーを遵守するよう命じられた。チャットボットは、顧客がチケット発行日から90日以内であれば遺族割引を遡及的に申請できると誤って述べていた（実際のポリシーでは、フライト予約後に運賃を申請することはできない）。裁判所は、チャットボットは「自身の行動に責任を負う別個の法的実体」であるというエア・カナダの弁護を却下した。^{[ 56 ] [ 57 ]}

2025年10月、デロイトが作成し、7月にオーストラリア政府に提出した44万豪ドルの報告書に、存在しない学術文献や連邦裁判所の判決からの偽の引用など、いくつかの誤りが発見された。同社は後にこれらの誤りを削除した改訂版報告書を提出し、政府に一部返金す​​る。^{[ 58 ] [ 59 ]}翌月の2025年11月、カナダのニューファンドランド・ラブラドール州のニュース出版物であるThe Independentは、2025年5月に委託されたデロイトのニューファンドランド・ラブラドール州政府向け160万カナダドルの医療人材計画に、存在しない研究論文への少なくとも4つの虚偽の引用が含まれていることを発見した。^{[ 60 ] [ 61 ]}

Wiredが引用した様々な研究者は、敵対的幻覚を高次元の統計現象として分類したり、幻覚の原因を不十分なトレーニングデータに帰したりしている。一部の研究者は、物体検出の場合に人間が「幻覚」と分類する「誤った」AI応答の中には、実際にはトレーニングデータによって正当化されるものや、人間のレビュー担当者が見落としている「正しい」答えをAIが与えている可能性があると考えている。例えば、人間には普通の犬の画像のように見える敵対的画像でも、実際にはAIは、（本物の画像では）猫を見たときにのみ現れる微細なパターンが含まれていると認識している可能性がある。AIは、人間が気づかない現実世界の視覚パターンを検出しているのである。^{[ 63 ]}

Wired は2018 年に、「実環境」での攻撃は記録されていないものの (つまり、研究者による概念実証攻撃以外では)、消費者向けガジェットや自動運転などのシステムが、AI に幻覚を引き起こす可能性のある敵対的攻撃に対して脆弱であることにと指摘した。例としては、コンピュータ ビジョンで見えなくなる一時停止標識、人間には無害に聞こえるように設計された音声クリップ (ソフトウェアが「evil dot com」と書き起こした)、スキーをしている 2 人の男性の画像 ( Google Cloud Vision が91% の確率で「犬」であると識別した) などがある。 ^{[ 20 ]}しかし、これらの発見は他の研究者によって異議を唱えられている。 ^{[ 64 ]}例えば、モデルが表面的な統計に偏っている可能性があり、敵対的トレーニングが現実世界のシナリオで堅牢ではないという反論があった。 ^{[ 64 ]}

Stable Diffusion、Midjourneyなどのテキストから画像へのモデルは、不正確または予期しない結果を生成することがよくあります。たとえば、Geminiはナチス・ドイツ兵を有色人種として描写し^{[ 65 ]}、論争を引き起こし、GoogleはGeminiで人物を含む画像の生成を一時停止しました^{[ 66 ]} 。生成AIは写真探偵にも使用され、時折問題を引き起こします。Luther（2025）は、写真探偵で使用される生成AIツールが、アーカイブの軍事画像を分析する際に、個人を誤って識別したり、歴史的な一致を捏造したりする事例について述べています。これらの画像に基づく幻覚は、歴史上の人物、軍事記録、系譜研究に関する誤情報の拡散につながる可能性があります^{[ 67 ] 。}

2020年代に法律事務所が法律調査に生成型AIを採用した結果、幻覚を含む多くの提出書類が裁判所に提出され、全米の裁判官が弁護士に制裁や叱責を科した。^{[ 69 ] [ 70 ]}事件のデータベース「AI幻覚事例」は、2025年4月にHECパリとシアンスポの法律データ分析講師ダミアン・シャルロタンによって設立され、1年後には、法的決定における幻覚の事例が1300件以上リストアップされた。^{[ 71 ] [ 72 ]}

2023 年 5 月、スティーブン・シュワルツが、航空会社アビアンカに対する人身傷害訴訟であるMata v. Avianca, Inc.のニューヨーク南部地区連邦地方裁判所への提出書類に、ChatGPT によって生成された 6 つの偽の判例を提出していたことが発覚した。シュワルツは、これまで ChatGPT を使用したことはなく、ChatGPT の出力が捏造される可能性を認識していなかったこと、そして、判例の存在しないことが発覚した後も ChatGPT は判例の正当性を主張し続けたことを述べた。^{[ 73 ]}これに対し、テキサス州北部地区連邦地方裁判所のブラントリー・スターは、人間による審査を受けていない AI 生成の訴訟書類の提出を禁止し、次のように指摘した。^{[ 74 ] [ 75 ]}

現状の生成型人工知能プラットフォームは、幻覚や偏見に陥りやすい。幻覚の場合、引用や引用文さえも捏造してしまう。もう一つの問題は、信頼性、つまり偏見である。弁護士は、個人的な偏見や先入観、信念を捨て、法律を忠実に守り、依頼人を弁護することを誓うが、生成型人工知能は、そのような誓いを立てる必要のない人間が考案したプログラミングの産物である。そのため、これらのシステムは、依頼人、法の支配、アメリカ合衆国の法律や憲法（あるいは、前述のように真実）に対して忠誠心を持たない。義務感、名誉、正義感に縛られることなく、これらのプログラムは信念ではなくコンピュータコードに従って、原則ではなくプログラミングに基づいて行動する。

2023年6月23日、P・ケビン・カステル判事はマタ事件を棄却し、シュワルツ氏ともう一人の弁護士（シュワルツ氏の以前の主張にもかかわらず、両者とも架空の判例を支持し続けていた）に対し、悪意のある行為として5,000ドルの罰金を科した。カステル判事は、意見の要約に多数の誤りや矛盾があると指摘し、引用された意見の1つを「意味不明」で「ナンセンスに近い」と評した。^{[ 76 ]}

2025年5月、サンタクララ大学ロースクールで法務博士号を取得した著名な本人訴訟原告アシュリー・ジョヴィックは、アップル社に対する内部告発報復および不当解雇訴訟（ジョヴィック対アップル社）において、複数のAIによる幻覚を訴訟書類に含めたとして、カリフォルニア州北部地区連邦地方裁判所（USNDC）のエドワード・チェン判事から戒告を受け、今後同様の事例があれば、ジョヴィックは法廷侮辱罪に問われ、本人訴訟の特権が剥奪されると警告された。この訴訟は、他の判事によって繰り返し適用基準として引用されている職業倫理に関する連邦民事訴訟規則11条の基礎となっている。^{[ 77 ]}また、米国弁護士協会がモデル職業倫理規則を改訂する際にもこの訴訟について議論され、生成AIの使用に関する意見書でも引用されている。^{[ 78 ]}

2025年9月、USNDCのピーター・カン判事は、トムソン・ロイターの人工知能ツールであるWestlaw AIから入手したと彼女が述べたAIの幻覚を含む7月21日の提出書類について、ウェブ法律事務所の弁護士キャサリン・セルバンテスに制裁を科した。2026年4月28日、カン判事は、AIを初めて取り入れた若手弁護士であるセルバンテスに対する監督が不十分であったため、2025年7月21日のAIの幻覚による引用を含む法的提出書類を許可したとして、ウェブ法律事務所のマネージングパートナーであるレンデン・ウェブに制裁と罰金を科した。^{[ 79 ]}

2026年3月18日、ジョージア州クレイトン郡の地方検事補デボラ・レスリーは、殺人罪の有罪判決に対する控訴を棄却する命令に関する口頭弁論を行うため、ジョージア州最高裁判所に出廷した。この命令は、クレイトン郡上級裁判所の判事が被告の申し立てを棄却する際に用いたものである。審理中、ネルズ・SD・ピーターソン首席判事は、提出書類の中に少なくとも5つの架空の引用と、引用された主張を裏付けていない他の5つの引用があることを指摘した。2026年3月30日、レスリーは宣誓供述書で、命令の作成に使用されたAI生成の「拡張された法的調査」を検証しなかったことを認め、地方検事タシャ・モズリーはピーターソンへの書面による謝罪でこれを裏付けた。^{[ 80 ] [ 81 ]} 5月5日、最高裁判所は下級裁判所の判決を取り消し、正当な引用を含む新しい命令を作成するよう命じた。レスリーはまた、最高裁判所での弁護活動を6か月間停止され、倫理と人工知能の適切な使用に関する追加教育を受けるよう命じられた。^{[ 82 ]}

2026年4月、ボイス・シラー・フレックスナー法律事務所が、相手方弁護団が依頼人プリンス・グローバル・ホールディングス・リミテッドのために裁判所に提出した偽の法的引用を発見したことを受け、サリバン＆クロムウェル法律事務所はニューヨーク南部地区連邦破産裁判所に謝罪文を提出した。 ^{[ 83 ] [ 84 ]}

2026年4月28日、ロバート・T・ナンバーズ連邦治安判事は、前月に捏造された引用や虚偽の法的引用を含む訴訟書類を裁判所に提出したとして、元連邦検事補のルディ・レンファーを正式に懲戒処分とした^{[ 70 ]} 。その後、レンファーは17年間務めていたノースカロライナ州東部地区連邦地方裁判所の職を解任された^{[ 85 ] 。}

2026年6月14日現在、カナダの裁判所および法廷は、51の裁判所および法廷で、AIが作り出した架空の引用を含む少なくとも167件の提出書類を受け取っている。^{[ 86 ] [ 87 ] [ 88 ]} 2026年6月9日、カナダ最高裁判所長官リチャード・ワグナー閣下は、AIは「有望な面と問題のある面の両方で」法廷に存在していると述べた。^{[ 89 ]}

LLM（法学修士）が、誤った情報源や存在しない情報源を引用している事例は数多く報告されている。Cureus Journal of Medical Scienceで行われた 2023 年の研究では、GPT-3 が引用した合計 178 件の参考文献のうち、69 件が誤った、または存在しないデジタル オブジェクト識別子(DOI) を返したことが示された。さらに 28 件は、既知の DOI がなく、 Google 検索でも見つけることができなかった。^{[ 90 ]}

別の事例は、2023年にミシシッピ州立大学のジェローム・ゴダードによって記録されました。実験で、ChatGPTはダニに関する疑わしい情報を提供しました。回答の妥当性に確信が持てなかったため、情報の収集元について問い合わせました。情報源を確認したところ、DOIと著者の名前が偽造されていることが明らかになりました。著者数名に連絡を取り、論文の存在を全く知らなかったことを確認しました。^{[ 91 ]}ゴダードは、「[ChatGPTの]現在の開発段階では、医師や生物医学研究者はChatGPTに特定のトピックに関する情報源、参考文献、引用を尋ねるべきではありません。もし尋ねた場合は、すべての参考文献の正確性を慎重に検証する必要があります。」と述べています。^{[ 91 ]}これらの言語モデルの使用は学術研究の分野には適しておらず、その使用は慎重に扱う必要があります。^{[ 92 ]}

ニーナ・シック氏は、AIシステムによって生成される幻覚コンテンツの説得力は、説得力はあるものの虚偽の物語の拡散を可能にすることで、民主主義制度にリスクをもたらすと述べた。彼女は、「民主主義に対する最大のリスクは、AIがあらゆる情報と知識の原動力として使用される未来であり、結果としてデジタル情報という媒体自体への信頼が低下する」と述べた。彼女は、生成型AIの急速な普及は、検証済みの情報と合成された誤情報の境界を曖昧にすることで、国民の信頼を脅かす可能性があると述べた。^{[ 93 ]}

ChatGPTは、不正確または欠落した参考資料を提供するだけでなく、一部の参考資料の内容を偽装するという問題も抱えています。ChatGPT-3.5が提供した合計115件の参考資料を分析した研究では、そのうち47%が捏造されたものであることが判明しました。さらに46%は実際の参考文献を引用していましたが、そこから誤った情報を抽出していました。残りの7%の参考文献のみが正しく引用され、正確な情報を提供していました。ChatGPTは、多くの誤った情報を「さらに強調」することも観察されています。偽装された可能性のある間違いについて質問された場合、ChatGPTは自己修正を試みることもありますが、回答が正しいと主張してさらに誤解を招く情報を提供することもあります。^{[ 94 ]}

言語モデルによって生成されたこれらの架空の論文は、論文がAIによって生成されたかどうかを判断するのが難しいため、問題も引き起こします。これを示すために、シカゴのノースウェスタン大学の研究者グループは、既存のレポートに基づいて50の要約を生成し、その独創性を分析しました。盗用検出ツールは、生成された論文に100%の独創性スコアを与えました。これは、提示された情報が完全にオリジナルであるように見えることを意味します。AIが生成したテキストを検出するように設計された他のソフトウェアは、これらの生成された論文を正しく識別できたのは66%の精度だけでした。研究者も同様の人的ミス率を示し、これらの要約を識別できたのは68%でした。^{[ 95 ]}この情報から、この研究の著者は、「一部の出版社が方針を定め始めているものの、科学論文におけるChatGPTの使用に関する倫理的かつ許容される範囲は依然として不明確である」と結論付けました。^{[ 96 ]} AIは研究を不正に捏造する能力があるため、研究分野におけるAIの使用は研究の独創性を判断することをより困難にし、将来的にその使用を規制する新たな政策を必要とするだろう。

AIが生成した言語が場合によっては実際の科学研究として通用する能力があることを考えると、AIによる幻覚は、実際の研究者に提示された際に検出されない可能性があるため、学術および科学研究分野における言語モデルの応用に問題をもたらします。存在しない参照資料や誤った情報が返される可能性が高いため、これらの言語モデルに関して制限を設ける必要があるかもしれません。幻覚というよりは、これらの事象は「捏造」や「改ざん」に近く、これらの言語モデルの使用は分野全体の健全性に対するリスクをもたらすと言う人もいます。^{[ 97 ]}

学術研究を支援する学術専門家、例えば大学図書館員などは、参考文献の正確性を確認する作業量が著しく増加していることを指摘している。^{[ 98 ]}ゾーイ・ティールは2023年の論文で、架空の参考文献の問題を追跡するために、大学は独自の引用監査を実施する必要があるかもしれないと述べている。^{[ 99 ]}

「植物性電子顕微鏡」のような存在しないフレーズが、AIのトレーニングデータに組み込まれた結果として、多くの研究論文に登場している。^{[ 100 ]}

ワシントン大学のデビッド・ベイカーの研究室は、AIの幻覚を利用して自然界には存在しない数百万個のタンパク質を設計し、約100件の特許と20社以上のバイオテクノロジー企業の設立につながった。この研究は、ベイカーが2024年のノーベル化学賞を受賞するのに貢献したが、選考委員会は「幻覚」という言葉の使用を避けた。^{[ 29 ]}

カリフォルニア工科大学の研究者たちは、幻覚を利用して細菌汚染を減らすカテーテルを設計した。この設計では、内壁に鋸歯状の突起があり、細菌が付着するのを防ぎ、尿路感染症の数を減らす可能性がある。幻覚のこうした科学的応用は、曖昧な言語やインターネットデータではなく、物理的現実と科学的事実に基づいているため、チャットボットの幻覚とは根本的に異なる。カリフォルニア工科大学の教授であるアニマ・アナンドクマール氏は、これらのAIモデルは「物理学を教え込まれた」ものであり、その出力は厳密なテストによって検証されなければならないと強調している。気象学では、科学者たちはAIを使用して何千もの微妙な予報の変動を生成し、異常気象に影響を与える可能性のある予期せぬ要因を特定するのに役立てている。^{[ 29 ]}

メモリアル・スローン・ケタリングがんセンターの研究者たちは、ぼやけた医療画像を改善するために幻覚技術を応用しており、テキサス大学オースティン校はロボットナビゲーションシステムを改善するためにそれを利用している。^{[ 29 ]}

幻覚は、科学的方法論によって制約されている場合、発見のプロセスを大幅に加速させることができる。^{[ 29 ]}