コンテンツ類似性検出

テキスト類似性検出システムは、外部検出と内部検出という2つの一般的な検出アプローチのいずれかを実装しています。^{[ 5 ]} 外部検出システムは、疑わしい文書を、真正であると想定される文書のセットである参照コレクションと比較します。^{[ 6 ]} 選択された文書モデルと事前定義された類似性基準に基づいて、検出タスクは、疑わしい文書のテキストと選択された閾値を超える類似度を持つテキストを含むすべての文書を取得することです。^{[ 7 ]} 内部PDSは、外部文書との比較を行わずに、評価対象のテキストのみを分析します。このアプローチは、潜在的な盗作の指標として、著者の固有の執筆スタイルの変化を認識することを目的としています。^{[ 8 ] [ 9 ]} PDSは、人間の判断なしに盗作を確実に識別することはできません。類似性と執筆スタイルの特徴は、事前定義された文書モデルを使用して計算され、誤検出を表す可能性があります。^{[ 10 ] [ 11 ] [ 12 ] [ 13 ] [ 14 ]}

アプローチ

下の図は、コンピュータ支援によるコンテンツ類似性検出に使用される検出手法の分類を示しています。これらの手法は、グローバルまたはローカルという類似性評価の種類によって特徴付けられます。グローバル類似性評価手法は、テキストのより大きな部分または文書全体から取得した特徴を使用して類似性を計算しますが、ローカル手法は、入力として事前に選択されたテキストセグメントのみを調べます。^{[ 16 ]}

指紋採取

フィンガープリンティングは現在、コンテンツ類似性検出に最も広く適用されている手法です。この手法では、文書から複数の部分文字列（n-gram）のセットを選択することで、文書の代表的なダイジェストを作成します。これらのセットはフィンガープリントを表し、その要素はミニューシャと呼ばれます。^{[ 17 ] [ 18 ]} 疑わしい文書は、フィンガープリントを計算し、参照コレクションのすべての文書のフィンガープリントの事前計算済みインデックスを使用してミニューシャを照会することで、盗用がチェックされます。他の文書のミニューシャと一致するミニューシャは、共有テキストセグメントを示し、選択された類似性閾値を超えると潜在的な盗用を示唆します。^{[ 19 ]}計算リソースと時間はフィンガープリンティングの制限要因であるため、この手法では通常、計算を高速化し、インターネットなどの非常に大規模なコレクションでのチェックを可能にするために、ミニューシャのサブセットのみを比較します。^{[ 17 ]}

文字列照合

文字列照合は、コンピュータサイエンスで広く用いられている手法です。盗用検出の問題に適用する場合、文書は逐語的なテキストの重複について比較されます。このタスクに取り組むために数多くの手法が提案されており、その一部は外部盗用検出に適応されています。この設定で疑わしい文書をチェックするには、参照コレクション内のすべての文書について効率的に比較可能な表現を計算して保存し、それらをペアごとに比較する必要があります。一般的に、このタスクには、サフィックスツリーやサフィックスベクトルなどのサフィックス文書モデルが使用されています。しかしながら、部分文字列照合は依然として計算コストが高く、そのため、大規模な文書コレクションをチェックするための実行可能な解決策とはなり得ません。^{[ 20 ] [ 21 ] [ 22 ]}

単語の袋

バッグオブワーズ分析は、従来の情報検索の概念であるベクトル空間検索をコンテンツ類似性検出の領域に適用したものです。文書は、例えば異なる文書部分ごとに、1つまたは複数のベクトルとして表現され、ペアワイズ類似性計算に使用されます。類似性計算は、従来のコサイン類似度尺度、またはより高度な類似度尺度に依存する場合があります。^{[ 23 ] [ 24 ] [ 25 ]}

引用分析

引用に基づく盗用検出 (CbPD) ^{[ 26 ]}は引用分析に依存しており、テキストの類似性に依存しない唯一の盗用検出手法です。^{[ 27 ]} CbPD は、テキスト内の引用と参照情報を調べて、引用シーケンス内の類似パターンを特定します。そのため、この手法は、科学テキストや引用を含むその他の学術文書に適しています。 盗用を検出するための引用分析は、比較的新しい概念です。商用ソフトウェアには採用されていませんが、引用に基づく盗用検出システムの最初のプロトタイプが存在します。^{[ 28 ]}調査対象文書内の引用の類似した順序と近接性が、引用パターンの類似性を計算するために使用される主な基準です。引用パターンは、比較対象の文書間で共有される引用を排他的ではないサブシーケンスを表します。^{[ 27 ] [ 29 ]}パターンの類似度を定量化するために、パターン内の共有引用の絶対数または相対的な割合、および文書内で引用が共起する確率などの要因も考慮されます。^{[ 27 ] [ 29 ] [ 30 ] [ 31 ]}

文体測定学

文体分析は、著者の独自の文体を定量化するための統計的手法を包含しており^{[ 32 ] [ 33 ]}、主に著者の帰属または内在的盗用検出に使用されます。^{[ 34 ]}著者の帰属による盗用検出では、特定の著者が書いたとされる疑わしい文書の文体が、同じ著者が書いた文書のコーパスの文体と一致するかどうかを確認する必要があります。一方、内在的盗用検出は、疑わしい文書を他の文書と比較することなく、疑わしい文書内の内部証拠に基づいて盗用を明らかにします。これは、疑わしい文書の異なるテキストセグメントの文体分析モデルを構築して比較し、他の部分と文体的に異なる箇所を盗用/侵害の可能性があるとマークすることによって行われます。^{[ 8 ]}文字n-gramは抽出が簡単ですが、内在的盗用検出のための最良の文体分析特徴の 1 つであることが証明されています。^{[ 35 ]}

ニューラルネットワーク

ニューラルネットワークを使用してコンテンツの類似性を評価する最近のアプローチは、精度が大幅に向上していますが、計算コストが非常に高くなります。^{[ 36 ]}従来のニューラルネットワークのアプローチでは、両方のコンテンツを意味ベクトル埋め込みに埋め込んで類似性を計算します。これは多くの場合、コサイン類似度です。より高度な手法では、 Transformerアーキテクチャを使用して類似性または分類のエンドツーエンド予測を実行します。^{[ 37 ] [ 38 ]}パラフレーズ検出は、特に高度にパラメータ化された事前学習済みモデルの恩恵を受けます。

パフォーマンス

コンテンツ類似性検出システムの比較評価^{[ 6 ] [ 39 ] [ 40 ] [ 41 ] [ 42 ] [ 43 ]}によると、その性能は盗用の種類によって異なる（図を参照）。引用パターン分析を除き、すべての検出手法はテキストの類似性に依存している。したがって、盗用事例が難読化されるほど検出精度が低下するのは当然のことである。

文字通りのコピー、つまりコピー＆ペーストによる盗用や露骨な著作権侵害、あるいは巧妙に偽装された盗用は、ソースがソフトウェアからアクセス可能であれば、現在の外部PDSによって高精度で検出できます。特に、部分文字列照合手順は、接尾辞ツリーなどのロスレス文書モデルを一般的に使用するため、コピー＆ペーストによる盗用に対して優れた性能を発揮します。フィンガープリンティングや単語袋分析を用いたシステムのコピー検出性能は、使用する文書モデルによって生じる情報損失に依存します。柔軟なチャンキングと選択戦略を適用することで、部分文字列照合手順と比較して、中程度の形態の偽装された盗用をより効果的に検出できます。

文体分析を用いた本質的な盗用検出は、言語的類似性を比較することで、テキストの類似性という限界をある程度克服できます。盗用された部分と元の部分の文体上の違いは顕著であり、確実に識別できるため、文体分析は偽装された盗用や言い換えられた盗用を特定するのに役立ちます。ただし、盗用された部分が強く言い換えられていて、盗用者の個人的な文体に非常に近い場合や、テキストが複数の著者によって編集されている場合は、文体分析による比較は失敗する可能性が高くなります。 2009年、2010年、2011年に開催された盗作検出に関する国際コンテストの結果^{[ 6 ] [ 42 ] [ 43 ]}、およびStein ^{[ 34 ]}が行った実験は、文体分析が数千語または数万語の文書長に対してのみ確実に機能するようであることを示しており、この方法はコンピュータ支援による盗作検出設定への適用範囲を制限します。

翻訳盗用を検出できる方法やシステムに関する研究がますます増えている。現在、異言語盗用検出（CLPD）は成熟した技術とは見なされておらず^{[ 44 ]}、それぞれのシステムは実際に満足のいく検出結果を達成できていない^{[ 41 ] 。}

引用パターン分析を用いた引用ベースの盗用検出は、テキスト特性に依存しないため、他の検出方法と比較して、より強力な言い換えや翻訳をより高い成功率で特定することができます。^{[ 27 ] [ 30 ]}しかし、引用パターン分析は十分な引用情報が利用可能であることに依存するため、学術テキストに限定されます。コピーアンドペーストやシェイクアンドペースト盗用（後者は、異なるソースからのわずかに変更された断片を混ぜ合わせることを指す）の典型的な短い盗用箇所を検出する点では、テキストベースのアプローチよりも劣ります。^{[ 45 ]}

テキスト文書で使用するコンテンツ類似性検出ソフトウェアの設計は、いくつかの要因によって特徴付けられます。[ 46 ]

コンピュータのソースコードにおける盗用も頻繁に発生しており、文書内のテキスト比較に使用されるツールとは異なるツールが必要となる。学術的なソースコードの盗用については、多くの研究が行われてきた。^{[ 47 ]}

ソースコードの盗用における特徴的な点は、従来の盗用に見られるような論文代行業者が存在しないことである。ほとんどのプログラミング課題では、学生に非常に具体的な要件を満たすプログラムの作成が求められるため、それらの要件を既に満たしている既存のプログラムを見つけるのは非常に難しい。外部コードを統合することは、ゼロからコードを書くよりも難しい場合が多いため、盗用する学生のほとんどは、同級生のコードを利用することを選択する。

RoyとCordyによると^{[ 48 ]} 、ソースコード類似性検出アルゴリズムは、以下のいずれかに基づいて分類できる。

• 文字列検索 – 例えば5単語の連続など、テキストセグメントの完全な一致を検索します。高速ですが、識別子の名前変更によって誤動作する可能性があります。
• トークン – 文字列と同様ですが、まず字句解析器を使用してプログラムをトークンに変換します。これにより、空白、コメント、識別子名が破棄され、単純なテキスト置換に対するシステムの堅牢性が向上します。ほとんどの学術的な盗用検出システムはこのレベルで動作し、さまざまなアルゴリズムを使用してトークンシーケンス間の類似性を測定します。
• 構文解析ツリー– 構文解析ツリーを構築し、比較します。これにより、より高レベルの類似性を検出できます。例えば、ツリー比較によって条件文を正規化し、同等の構造を類似していると検出できます。
• プログラム依存グラフ（PDG） – PDGはプログラム内の実際の制御の流れを捉え、より高度な等価性を特定できますが、複雑さと計算時間が増大します。
• メトリクスとは、特定の基準に基づいてコードセグメントの「スコア」を計測するものです。例えば、「ループと条件分岐の数」や「使用されている変数の種類数」などが挙げられます。メトリクスは計算が簡単で、迅速に比較できますが、誤検出につながる可能性もあります。つまり、同じメトリクスセットで同じスコアを持つ2つのコード断片が、実際には全く異なる動作をしている場合があるのです。
• ハイブリッドアプローチ、例えば構文解析木と接尾辞木を組み合わせることで、構文解析木の検出能力と、文字列照合データ構造の一種である接尾辞木による速度を組み合わせることができます。

前述の分類は、コードのリファクタリングのために開発されたものであり、学術的な盗用検出のためではありません（リファクタリングの重要な目的は、文献でコードクローンと呼ばれる重複コードを回避することです）。上記のアプローチは、さまざまなレベルの類似性に対して有効です。低レベルの類似性とは同一のテキストを指し、高レベルの類似性とは類似した仕様に起因する可能性があります。学術的な環境では、すべての学生が同じ仕様でコーディングすることが期待されるため、機能的に同等のコード（高レベルの類似性）は当然期待され、低レベルの類似性のみが不正行為の証拠とみなされます。

盗作と著作権の違い

盗用と著作権は、作家、研究者、学生が理解しなければならない、学術的および創造的な文章作成における重要な概念です。これらは似ているように聞こえるかもしれませんが、そうではありません。それぞれに対処するために異なる戦略を使用できます。^{[ 49 ]}