コンテンツの類似性検出

盗作検出またはコンテンツ類似性検出は、作品や文書内の盗作や著作権侵害の事例を見つけるプロセスです。コンピュータの普及とインターネットの出現により、他人の作品を盗用することが容易になりました。^{[1] [2]}

盗作の検出は、さまざまな方法で行うことができます。人間による検出は、文書から盗作を識別する最も伝統的な方法です。これは、読者にとって長く時間のかかる作業になる可能性があり^[2]、組織内で盗作を識別する方法に一貫性がなくなる可能性もあります^[3] 。テキストマッチングソフトウェア (TMS) は、「盗作検出ソフトウェア」または「盗作防止」ソフトウェアとも呼ばれ、市販製品とオープンソース^{[例が必要]}ソフトウェアの両方の形で広く利用できるようになりました。TMS は、実際には盗作自体を検出するのではなく、1 つの文書内の特定のテキスト部分が別の文書のテキストと一致するかどうかを検出します。

コンピュータ支援による盗作検出は、盗作検出システム（PDS）または文書類似性検出システムと呼ばれる特殊なIRシステムによってサポートされる情報検索（IR）タスクです。2019年の体系的な文献レビュー^[4]では、最先端の盗作検出方法の概要が示されています。

テキスト類似性検出システムは、2 つの一般的な検出アプローチのいずれかを実装します。1 つは外部、もう 1 つは内部です。^[5] 外部検出システムは、疑わしい文書を参照コレクションと比較します。参照コレクションは、本物であると想定される文書のセットです。^[6] 選択された文書モデルと定義済みの類似性基準に基づいて、検出タスクは、疑わしい文書のテキストと選択されたしきい値を超える程度に類似するテキストを含むすべての文書を取得することです。^[7] 内部 PDS は、外部文書との比較を実行せずに、評価対象のテキストのみを分析します。このアプローチは、著者の独自の文体の変化を潜在的な盗作の指標として認識することを目的としています。^{[8] [9]} PDS は、人間の判断なしに盗作を確実に識別することはできません。類似性と文体の特徴は、定義済みの文書モデルの助けを借りて計算され、誤検知を表す可能性があります。^{[10] [11] [12] [13] [14]}

高等教育の場で類似性検出ソフトウェアの有効性をテストする研究が行われました。研究の一部では、学生の 1 つのグループに論文を書くように指示しました。これらの学生は最初に盗作について教育を受け、自分の論文がコンテンツ類似性検出システムにかけられることを知らされました。2 番目の学生グループは、盗作に関する情報を一切与えずに論文を書くように指示されました。研究者はグループ 1 の盗作率が低いと予想していましたが、両グループでほぼ同じ盗作率であることがわかりました。^[15]

下の図は、現在コンピューター支援によるコンテンツ類似性検出に使用されているすべての検出アプローチの分類を表しています。アプローチは、実行する類似性評価の種類（グローバルまたはローカル）によって特徴付けられます。グローバル類似性評価アプローチでは、テキストの大部分またはドキュメント全体から取得した特性を使用して類似性を計算しますが、ローカル手法では、入力として事前に選択されたテキストセグメントのみを調べます。^{[引用が必要]}

フィンガープリンティングは現在、コンテンツの類似性を検出するために最も広く適用されている手法です。この手法では、文書から複数の部分文字列 ( n-gram ) のセットを選択して、文書の代表的なダイジェストを作成します。このセットはフィンガープリントを表し、その要素はミニューシャと呼ばれます。^{[17] [18]} 疑わしい文書は、フィンガープリントを計算し、参照コレクションのすべての文書のフィンガープリントの事前計算されたインデックスを使用してミニューシャを照会することで、盗作がチェックされます。他の文書のミニューシャと一致するミニューシャは、共有テキストセグメントを示し、選択された類似性しきい値を超える場合は潜在的な盗作を示唆します。^[19]計算リソースと時間はフィンガープリントの制限要因であるため、この方法では通常、計算を高速化し、インターネットなどの非常に大規模なコレクションでのチェックを可能にするために、ミニューシャのサブセットのみを比較します。^[17]

文字列マッチングは、コンピュータサイエンスで広く使用されているアプローチです。盗作検出の問題に適用すると、文書は逐語的なテキストの重複について比較されます。このタスクに取り組むために多くの方法が提案されており、そのうちのいくつかは外部の盗作検出に適応されています。この設定で疑わしい文書をチェックするには、参照コレクション内のすべての文書を効率的に比較可能な表現を計算して保存し、それらをペアで比較する必要があります。通常、このタスクには、サフィックスツリーやサフィックスベクトルなどのサフィックス文書モデルが使用されています。ただし、部分文字列マッチングは計算コストが高いため、大規模な文書コレクションをチェックするための実行可能なソリューションではありません。^{[20] [21] [22]}

バッグオブワード分析は、従来のIR概念であるベクトル空間検索をコンテンツの類似性検出の領域に採用したものです。文書は、例えば異なる文書部分ごとに1つまたは複数のベクトルとして表され、ペアワイズ類似度計算に使用されます。類似度計算は、従来のコサイン類似度尺度、またはより洗練された類似度尺度に依存する場合があります。^{[23] [24] [25]}

引用に基づく盗用検出（CbPD）^[26]は引用分析に依存しており、テキストの類似性に依存しない盗用検出の唯一のアプローチです。^[27] CbPDは、テキスト内の引用と参照情報を調べて、引用シーケンス内の類似パターンを識別します。そのため、このアプローチは、科学的なテキストや引用を含むその他の学術文書に適しています。盗用を検出するための引用分析は、比較的新しい概念です。商用ソフトウェアでは採用されていませんが、引用に基づく盗用検出システムの最初のプロトタイプが存在します。^[28]検査された文書内の引用の類似した順序と近接性が、引用パターンの類似性を計算するために使用される主な基準です。引用パターンは、比較される文書で共有される引用を非排他的に含むサブシーケンスを表します。^{[27] [29]}パターン内の共通引用の絶対数や相対割合、文書内で引用が共起する確率などの要因も、パターンの類似度を定量化するために考慮される。^{[27] [29] [30] [31]}

文体測定法は、著者の独自の文体を定量化する統計的手法を包含しており^{[32] [33]}、主に著者の帰属や内在的盗作検出に使用されています。^[34]著者の帰属による盗作検出には、特定の著者によって書かれたとされる疑わしい文書の文体が、同じ著者によって書かれた文書のコーパスの文体と一致するかどうかを確認する必要があります。 一方、内在的盗作検出は、疑わしい文書を他の文書と比較することなく、内部証拠に基づいて盗作を明らかにします。 これは、疑わしい文書のさまざまなテキストセグメントの文体測定モデルを構築して比較することによって実行され、他の文体と異なる文体は盗用/侵害の可能性があるとマークされます。^[8]文字​​nグラムは抽出が簡単ですが、内在的盗作検出に最適な文体測定特徴の1つであることが証明されています。^[35]

ニューラルネットワークを使用してコンテンツの類似性を評価する最近のアプローチは、大幅に高い精度を達成しましたが、計算コストが非常に高くなります。^{[36]従来のニューラルネットワークアプローチでは、両方のコンテンツを意味ベクトル埋め込みに埋め込み、それらの類似性（多くの場合、コサイン類似度）を計算します。より高度な方法では、} Transformerアーキテクチャを使用して、エンドツーエンドの類似性予測または分類を実行します。^{[37] [38]特に、} パラフレーズ検出は、高度にパラメータ化された事前トレーニング済みモデルの恩恵を受けます。

コンテンツ類似性検出システムの比較評価^{[6] [39] [40] [41] [42] [43]は}、その性能は存在する盗用の種類に依存することを示している（図を参照）。引用パターン分析を除いて、すべての検出アプローチはテキストの類似性に依存している。したがって、盗用ケースが難読化されるほど、検出精度が低下するのは兆候である。

文字通りのコピー、つまりコピー アンド ペーストによる盗作や露骨な著作権侵害、あるいは中程度に偽装された盗作は、ソースがソフトウェアからアクセス可能な場合、現在の外部 PDS によって高い精度で検出できます。特に、部分文字列マッチング手順は、サフィックスツリーなどのロスレス ドキュメント モデルを一般的に使用するため、コピー アンド ペーストによる盗作に対して優れたパフォーマンスを発揮します。フィンガープリントやバッグ オブ ワード分析を使用してコピーを検出するシステムのパフォーマンスは、使用するドキュメント モデルによって生じる情報損失に依存します。柔軟なチャンキングおよび選択戦略を適用することで、部分文字列マッチング手順と比較して、中程度の偽装された盗作をより適切に検出できます。

文体測定法を使用した本質的な盗作検出は、言語的類似性を比較することで、テキストの類似性の限界をある程度克服できます。盗用された部分と元の部分の間の文体上の違いは大きく、確実に識別できるため、文体測定法は偽装された盗作や言い換えられた盗作を識別するのに役立ちます。文体測定法による比較は、部分が盗作者の個人的な文体に非常に似ているほど言い換えられている場合や、テキストが複数の著者によって編集されている場合には失敗する可能性があります。 2009年、2010年、2011年に開催された盗作検出に関する国際コンテストの結果^{[6] [42] [43]}やSteinによる実験^[34]によると、文体分析は数千語または数万語の文書に対してのみ確実に機能するようであり、この方法のコンピュータ支援盗作検出設定への適用性は制限されるようです。

翻訳された盗作を検出できる方法やシステムに関する研究は増加している。現在、言語間盗作検出（CLPD）は成熟した技術とはみなされておらず^[44]、それぞれのシステムは実際には満足のいく検出結果を達成できていない。^[41]

引用パターン分析を用いた引用ベースの盗作検出は、テキストの特徴に依存しないため、他の検出アプローチと比較して、より強力な言い換えや翻訳を高い成功率で識別することができます。^{[27] [30]}しかし、引用パターン分析は十分な引用情報の可用性に依存するため、学術テキストに限定されます。コピーアンドペーストやシェイクアンドペースト盗作の場合に典型的である短い盗用文章の検出では、テキストベースのアプローチに劣ります。シェイクアンドペーストとは、異なるソースからのわずかに変更された断片を混ぜることを指します。^[45]

テキスト文書で使用するコンテンツ類似性検出ソフトウェアの設計は、いくつかの要素によって特徴付けられる: ^[46]

大規模な盗作検出システムのほとんどは、分析のために提出される文書が増えるごとに拡大する大規模な内部データベース（およびその他のリソース）を使用しています。ただし、この機能は学生の著作権を侵害すると考える人もいます。^{[引用が必要]}

コンピュータのソースコードにおける盗用も頻繁に発生しており、文書内のテキスト比較に使用されるツールとは異なるツールが必要になります。学術的なソースコードにおける盗用については、重要な研究が行われています。^[47]

ソースコードの盗用の特徴は、従来の盗用に見られるようなエッセイ ミルがないことです。ほとんどのプログラミング課題では、非常に特殊な要件を持つプログラムを作成することが学生に求められるため、すでに要件を満たしている既存のプログラムを見つけるのは非常に困難です。外部コードを統合することは、ゼロから作成するよりも難しいことが多いため、盗用する学生のほとんどは、仲間から統合することを選択します。

^{ロイとコーディ[48]}によれば、ソースコード類似性検出アルゴリズムは、

• 文字列 – セグメントの正確なテキスト一致 (たとえば 5 語連続) を検索します。高速ですが、識別子の名前変更によって混乱する可能性があります。
• トークン – 文字列と同様ですが、最初にレキサーを使用してプログラムをトークンに変換します。これにより、空白、コメント、識別子名が破棄され、システムは単純なテキスト置換に対してより堅牢になります。ほとんどの学術的盗用検出システムはこのレベルで動作し、さまざまなアルゴリズムを使用してトークンシーケンス間の類似性を測定します。
• 解析ツリー– 解析ツリーを構築して比較します。これにより、より高レベルの類似性を検出できます。たとえば、ツリーの比較では、条件文を正規化し、同等の構成要素を互いに類似したものとして検出できます。
• プログラム依存関係グラフ(PDG) – PDG はプログラム内の実際の制御フローをキャプチャし、複雑さと計算時間の増加を伴いますが、より高レベルの同等性を見つけることを可能にします。
• メトリクス – メトリクスは、特定の基準に従ってコード セグメントの「スコア」を取得します。たとえば、「ループと条件の数」や「使用されているさまざまな変数の数」などです。メトリクスは計算が簡単で、すばやく比較できますが、誤検出につながる可能性もあります。つまり、一連のメトリクスで同じスコアを持つ 2 つのフラグメントが、まったく異なる動作をしている可能性があります。
• ハイブリッド アプローチ - たとえば、構文解析ツリー +サフィックス ツリーでは、構文解析ツリーの検出機能と、文字列照合データ構造の一種であるサフィックス ツリーによって実現される速度を組み合わせることができます。

以前の分類はコード リファクタリング用に開発されたもので、学術的な盗作検出用ではありません (リファクタリングの重要な目標は、文献ではコード クローンと呼ばれる重複コードを避けることです)。上記のアプローチは、さまざまなレベルの類似性に対して有効です。低レベルの類似性は同一のテキストを指し、高レベルの類似性は類似した仕様による可能性があります。学術的な設定では、すべての学生が同じ仕様でコーディングすることが期待される場合、機能的に同等のコード (高レベルの類似性を持つ) が完全に期待され、低レベルの類似性のみが不正行為の証拠と見なされます。

盗作と著作権の違い

盗作と著作権は、作家、研究者、学生が理解しなければならない学術的および創造的な執筆における重要な概念です。似ているように聞こえるかもしれませんが、そうではありません。それぞれに対処するには異なる戦略を使用できます。^[49]

盗作検出にテキストマッチングソフトウェアを使用すると、さまざまな問題が発生することが報告されています。報告されている最も一般的な懸念事項の 1 つは、知的財産権の問題です。基本的な議論は、TMS が効果的に一致を判定するためには資料をデータベースに追加する必要があるが、ユーザーの資料をそのようなデータベースに追加すると、知的財産権を侵害する可能性があるというものです。^[56]この問題は、多くの裁判で取り上げられています。

TMS の使用に伴うさらなる複雑さは、ソフトウェアが他のテキストとの正確な一致のみを検出することです。たとえば、不十分に言い換えられた文章や、検出ソフトウェアを逃れるのに十分な単語の置き換えを使用した盗作 (ロゲティングと呼ばれる) は検出されません。

• 人工知能検出ソフトウェア – AI生成コンテンツを検出するソフトウェアリダイレクト先の簡単な説明を表示するページ
• カテゴリ:盗作検出ツール
• 盗作防止ソフトウェアの比較
• 局所性を考慮したハッシュ法 – ハッシュ法を用いたアルゴリズム技術
• 最近傍探索 – コンピュータサイエンスにおける最適化問題
• 言い換え検出 – 言い換えられたテキストの自動生成または認識リダイレクト先の簡単な説明を表示するページ
• コルモゴロフ複雑性 § 圧縮– 複数のシステムにおけるトークンシーケンスの類似性を推定するために使用される
• ビデオコピー検出

• キャロル、J. (2002)。高等教育における盗作防止ハンドブック。オックスフォード：オックスフォード・ブルックス大学スタッフ・学習開発センター。(96 ページ)、ISBN 1873576560 
• Zeidman, B. (2011)。『ソフトウェア IP 探偵ハンドブック』。Prentice Hall。(480 ページ)、ISBN 0137035330