人工知能によるコンテンツ検出

人工知能検出ソフトウェアは、コンテンツ（テキスト、画像、ビデオ、オーディオ）が人工知能（AI） を使用して生成されたかどうかを判断することを目的としています。

しかし、そのようなソフトウェアの信頼性は議論の的となっており^[1]、教育者によるAI検出ソフトウェアの潜在的な誤用に対する懸念もある。

複数のAI検出ツールは、AIが生成したテキストを正確かつ包括的に検出するという点では信頼性が低いことが実証されています。Weber-Wulffらが実施し、2023年に発表された研究では、研究者はTurnitinやGPT Zeroを含む14の検出ツールを評価し、「すべてのツールの精度が80％を下回り、70％を超えたのは5つだけだった」ことがわかりました。^[2]

テキストの場合、これは通常、盗作の疑いを防ぐために行われ、多くの場合、テキストがAIによって生成されたことを示す兆候（AI幻覚を含む）として単語の繰り返しを検出します。これらは、通常、アドホックベースで生徒を採点する教師によってよく使用されます。ChatGPTや同様のAIテキスト生成ソフトウェアのリリース後、多くの教育機関が学生によるAIの使用を禁止するポリシーを発行しました。^{[3] AIテキスト検出ソフトウェアは、オンライン}検索エンジンだけでなく、求職者を評価する人々によっても使用されます。^[4]

現在の検出器は信頼性が低く、人間の作業を誤ってAI由来のものとしてマークすることがある^{[5] [6] [7]}一方で、AIが生成した作業を検出できないこともある。^[8] MITテクノロジーレビューは、この技術は「人間がわずかに並べ替え、言い換えツールで難読化されたChatGPT生成テキストを拾うのに苦労した」と述べた。^[9] AIテキスト検出ソフトウェアは、英語を母国語としない人を差別することも示されている。^[4]

カリフォルニア大学デービス校の学生2名が、教授らが彼らのエッセイをスキャンして陽性反応を示したため、大学の学生成功・司法事務局（OSSJA）に報告された。1人目はGPTZeroと呼ばれるAI検出器で、2人目はTurnitinに統合されたAI検出器でスキャンされた。しかし、メディアの報道と^[10]徹底的な調査の結果、学生らは不正行為の疑いがないことが判明した。^{[11] [12]}

2023年4月、ケンブリッジ大学と英国のラッセル・グループの他の大学は、信頼性が低いという懸念を表明した後、TurnitinのAIテキスト検出ツールの使用をオプトアウトした。 ^[13]テキサス大学オースティン校は6か月後にこのシステムの使用をオプトアウトした。^[14]

2023年5月、テキサスA&M大学コマース校の教授がChatGPTを使用して、学生のコンテンツがChatGPTによって書かれたかどうかを検出しました。ChatGPTはそうであると述べました。そのため、ChatGPTはAIによって生成された文章を検出できなかったにもかかわらず、教授は授業を不合格にすると脅しました。^[15]この問題で卒業を妨げられた学生はおらず、1人を除くすべての学生（ソフトウェアの使用を認めた）は、コンテンツにChatGPTを使用したという容疑から免れました。^[16]

2024年6月にGizmodoに掲載されたトーマス・ジャーメインの記事では、AIテキスト検出ソフトウェアがフリーランスのライターやジャーナリストの作品を誤ってAI生成と分類したために、彼らの仕事が失われたと報告されています。^[17]

AIテキスト検出の信頼性を向上させるために、研究者はデジタル透かし技術を研究してきました。2023年の論文「大規模言語モデル用の透かし」^{[18]では、}大規模言語モデル（LLM）によって生成されたテキストに知覚できない透かしを埋め込む方法が紹介されています。この透かしのアプローチにより、テキストがわずかに言い換えられたり変更されたりした場合でも、コンテンツをAI生成として高い精度でフラグ付けできます。この技術は、一般の読者には微妙で検出が困難になるように設計されているため、読みやすさが維持され、専門ツールを使用する人には検出可能な信号が提供されます。しかし、透かしは有望ではあるものの、敵対的変換に対して堅牢性を維持し、異なるLLM間での互換性を確保するという課題に直面しています。

AIによるテキスト検出を回避するように設計されたソフトウェアが存在します。^[19]

2023年8月に発表された研究では、Eye Journalに掲載された論文の抄録20件を分析し、 GPT-4.0を使用して言い換えました。AIで言い換えられた抄録は、QueTextを使用して盗作がないか、Originality.AIを使用してAIによって生成されたコンテンツが検査されました。その後、テキストはUndetectable.aiと呼ばれる敵対的ソフトウェアで再処理され、AI検出スコアが低下しました。この研究では、AI検出ツールOriginality.AIは、GPT-4によって生成されたテキストを平均91.3％の精度で識別することがわかりました。しかし、Undetectable.aiで再処理した後、Originality.aiの検出精度は平均27.8％に低下しました。^{[20] [21]}

また、一部の専門家は、電子透かしのような技術は、削除または追加されて誤検知を引き起こす可能性があるため、効果がないと考えています。^[22] Kirchenbauer らによる「大規模言語モデル用の透かし」という論文^[23]も、透かし技術の潜在的な脆弱性について取り上げています。著者らは、透かし検出を回避するために使用できる、テキストの挿入、削除、置換攻撃などのさまざまな敵対的戦術を概説しています。これらの攻撃は、単純な言い換えから、トークン化やホモグリフの変更を含むより洗練されたアプローチまで、複雑さが異なります。この研究では、自動言い換えツールや特定の言語モデルの置き換えを使用して、意味の類似性を維持しながらテキストの範囲を反復的に変更する可能性のある攻撃者に対して、透かしの堅牢性を維持するという課題を強調しています。実験結果によると、このような攻撃は透かしの強度を低下させる可能性がありますが、テキストの品質と計算リソースの増加を犠牲にすることも示されています。

ほとんどの AI コンテンツ検出ソフトウェアの欠点の 1 つは、AI が生成したテキストをどの言語でも識別できないことです。ChatGPT、Claude、Gemini などの大規模言語モデル (LLM) はさまざまな言語で記述できますが、従来の AI テキスト検出ツールは主に英語と、フランス語やスペイン語など、他のいくつかの広く話されている言語でトレーニングされています。ペルシア語、アラビア語、ヒンディー語などの言語で AI が生成したテキストを検出できる AI 検出ソリューションは少数です。^{[引用が必要]}

AIが生成した画像（例えば、MidjourneyやDALL-Eからのもの）を検出することを目的としたAI画像検出ソフトウェアはいくつか存在するが、完全に信頼できるわけではない。^{[24] [25]}

他にも、ビデオやオーディオのディープフェイクを識別できると主張する人もいますが、この技術もまだ完全に信頼できるものではありません。^[26]

透かしの有効性に関する議論があるにもかかわらず、Google DeepMindは、人間の目には見えないデジタル透かしを画像のピクセルに挿入することで機能するSynthIDと呼ばれる検出ソフトウェアを積極的に開発しています。 ^{[27] [28]}

• AIアライメント
• 人工知能と選挙
• コンテンツの類似性検出
• 幻覚（人工知能）
• 自然言語処理