カルガリーコーパス

カルガリーコーパスは、テキストとバイナリデータファイルのコレクションであり、データ圧縮アルゴリズムの比較によく使用されます。1987年にカルガリー大学のイアン・ウィッテン、ティム・ベル、ジョン・クリアリーによって作成され、1990年代によく使用されました。1997年に、カルガリーコーパスの代表性が懸念されたため、カンタベリーコーパス^{[1]に置き換えられましたが、 [2]}カルガリーコーパスは現在も比較のために存在しており、当初の目的に役立っています。

最も一般的に使用される形式では、コーパスは次のように合計 3,141,622 バイトの 14 個のファイルで構成されます。

また、あまり一般的ではないが、UNIX「troff」形式のPAPER3からPAPER6までの4つの追加テキストファイルを含む18ファイルバージョンもある。カンタベリーコーパスウェブサイトの管理者は、「これらは評価には追加されない」と述べている。^[3]

カルガリー コーパスは、1990 年代にデータ圧縮のベンチマークとしてよく使用されていました。結果は、各ファイルの bpb (ビット/バイト) でリストされ、平均化されてまとめられるのが一般的でした。最近では、すべてのファイルの圧縮サイズを単純に加算することが一般的になっています。これは、圧縮率を元のファイル サイズで重み付けすることと同じであるため、加重平均と呼ばれます。Johan de Bock による UCLC ベンチマーク^[4]では、この方法が使用されています。

一部のデータ圧縮ツールでは、テキストファイル間の相互情報量を利用して、圧縮前に入力を非圧縮アーカイブ（tarファイルなど）にまとめることで、コーパスを小さく圧縮することが可能です。他のケースでは、圧縮ツールが非一様統計を適切に処理できないため、圧縮率が低下します。この方法は、Matt Mahoney 著のオンライン書籍「Data Compression Explained」のベンチマークで使用されました。 ^[5]

以下の表は、いくつかの一般的な圧縮プログラムの両方の方法を使用して圧縮された 14 個のファイルの Calgary コーパスのサイズを示しています。オプションを使用すると、最適な圧縮が選択されます。より完全なリストについては、上記のベンチマークを参照してください。

「カルガリー コーパス圧縮およびSHA-1クラック チャレンジ」^[6]は、1996 年 5 月 21 日に Leonid A. Broukhis によって開始された、カルガリー コーパスの 14 ファイル バージョンを圧縮するコンテストです。このコンテストでは、時間の経過とともに変動する少額の賞金が提供されます。現在、賞金は前回の結果より 111 バイト改善するごとに 1 ドルです。

コンテストのルールによると、エントリー作品は圧縮データと解凍プログラムの両方で構成され、標準アーカイブ形式のいずれかにパックされている必要があります。時間とメモリの制限、アーカイブ形式、解凍言語は、時間の経過とともに緩和されてきました。現在、プログラムはWindowsまたはLinuxの 2000 MIPS マシンで 24 時間以内に実行され、800 MB 未満のメモリを使用する必要があります。後にSHA-1チャレンジが追加されました。これにより、解凍プログラムは、元のファイルと同じハッシュ値を持つ限り、カルガリー コーパスとは異なるファイルを出力できます。これまでのところ、チャレンジのその部分は達成されていません。

最初に受け取ったエントリは、RK および WinRK の作者である Malcolm Taylor が 1997 年 9 月に 759,881 バイトで受け取ったものです。最新のエントリは、Alexander Ratushnyak が 2010 年 7 月 2 日に 580,170 バイトで受け取ったものです。このエントリは、572,465 バイトの圧縮ファイルと、C++ で記述され、PPMd var. I アーカイブとして 7700 バイトに圧縮された解凍プログラムで構成され、圧縮ファイル名とサイズ用の 5 バイトが追加されます。履歴は次のとおりです。

• ファイルアーカイバの比較

• カルガリーコーパスの元の本拠地
• 新しい家
• ベル、ウィッテン、クリアリー、1988
• カルガリーコーパスに関する情報
• カルガリーコーパス圧縮とSHA-1クラックチャレンジ