Loading article…
Anubisは、ウェブスクレイピングを防止するために、ユーザーがウェブサイトにアクセスする前にプルーフオブワークチャレンジを追加するオープンソースソフトウェアプログラムです。主にGit forgeやフリーソフトウェアおよびオープンソースソフトウェアプロジェクトで採用されています。[ 5 ] [ 6 ]
Anubisは、Amazonのウェブクローラーがrobots.txtの除外プロトコルを尊重せず、制限を回避してGitサーバーに過負荷をかけていたことを受けて、Xe Iasoによって作成されました。 [ 5 ] [ 7 ] Iasoは、 Hashcashがこのプロジェクトに影響を与えたと述べています。[ 8 ]このアプリケーションは、 User-Agentヘッダーなどのヘッダーといったリクエスト要素を検査して、リクエストに作業証明が必要かどうかを判断する機能をサポートしています。
アヌビスという名前は、古代エジプトの葬儀と審判の神に由来しており、死者の心臓を量って死後の世界への通行を許されるかどうかを判断する神である。一方、アヌビスのソフトウェアは「受信したHTTPリクエストの魂を量る」。 [ 9 ]
Anubis は、クライアントが暗号化チャレンジを完了するまで、ウェブサイトへのアクセスを一時的にブロックします。 [ 10 ]このチャレンジは、設計上のハードルとして、通常の訪問者への影響を最小限に抑えつつ、ウェブ クローラーに計算コストを課すことを目的としています( § 技術的な批判を参照)。チャレンジのソリューションは、 EdDSA署名トークンを使用して調整可能な期間有効であり、 HTTP Cookieとして保存できます。[ 2 ] [ 11 ]
チャレンジ自体は、HashcashやBitcoinで実装されているプルーフ オブ ワークアルゴリズムに似ています。Anubis は、乱数という形でクライアントにチャレンジを提示し、クライアントは、 2 つの数を連結したときに、両方の数のSHA-256ハッシュに事前に指定された数の先頭ゼロが含まれるような別の数 ( nonce ) で応答する必要があります。 [ 10 ] SHA-256 は、その (想定される) 原像耐性 (つまり、そのような nonce を見つけるのに計算コストがかかる) と検証コストが低いという理由から特に選択されています。さらに、必要な先頭ゼロの数を調整することでチャレンジの難易度を制御できます。一般的なブラウザは、先頭ゼロが 5 つ (デフォルト) の場合は数秒で解を見つけることができますが、6 つの場合は数分かかることがあります。[ 2 ]
デフォルトでは、Anubis はUser-Agent ヘッダーに「Mozilla」が含まれているかどうかをチェックすることで、ブラウザであると主張するクライアントに異議を唱えます。ただし、クライアントがrobots.txtやよく知られた URIなどの「害の少ない」コンテンツを要求している場合は除きます。[ 2 ] [ 11 ]さらに、Anubis はCommon Crawl を除外することで、「（他の）スクレイパーがスクレイピングを行う動機を少なくする」ようにしています。[ 2 ]
Anubisは、プルーフ・オブ・ワークとして機能させるために暗号通貨をマイニングするように変更できるが、Iasoはこの考えを拒否している。「私は暗号通貨には絶対に手を出したくない。そうすることで利益を逃すことは分かっているが、私が守りたいコミュニティを疎外したくないのだ。」[ 8 ]
このソフトウェアの読み込み画面には、ヨーロッパのアーティストCELPHASEが依頼した、ジャッカルの耳を持つアニメ少女としてのアヌビスのイラストが描かれている。 [ 2 ] [ 9 ]マスコットはパーカー、スカート、虫眼鏡を身に着けている。イラストが発注される前は、アヌビスはAIで生成されたプレースホルダー画像を使用していた。[ 2 ]
アヌビスのマスコットはすべてのエンドユーザーに表示され、ソフトウェア構成で変更することはできません。[ 2 ]この画像の雰囲気は、よりフォーマルな雰囲気のウェブサイトと衝突し、それらのサイトのユーザーを驚かせたり混乱させたりする可能性があります。[ 9 ] [ 12 ]ブランドの変更はエンタープライズ機能であり、Iaso は、プロジェクトに資金を提供していない限り、オペレーターが自分で変更しようとしないように要求しています。[ 2 ]
デジタルアーカイブにAnubisを導入したデューク大学は、マスコットキャラクターのせいで使用を「ためらっていた」が、カスタムブランディングを施したソフトウェアを使用することで合意に達した。[ 2 ]
これは、以下のような多くのプロジェクトで使用されています。[ 13 ]
タビス・オーマンディ氏は、Anubis で保護されたWeb サイトをスクレイピングするコストはごくわずかだと推定している。「実際、数百万のサイトが Anubis を導入するまでは、コンピューティング コストが月 1 セントにも満たないと思います。この計算が正しいとは到底思えません...これは、月々のクラウド サービス予算が 8 桁の、魂のない AI ベンダーにとっては文字通り何でもないことです。」[ 20 ]オーマンディ氏は、ネイティブ コードソルバーを開発するのは技術的に容易であり、これにより、通常の人間ユーザーがデバイス上で実行しなければならない JavaScript コードよりも、Anubis のプルーフ オブ ワーク チャレンジをより迅速かつ効率的に解決できることを示している。[ 20 ]
対照的に、Anubis は、保護対象のサイトにアクセスしようとする人間のユーザー、特に古いデバイスを使用しているユーザーに大きなコストを課します。[ 20 ]古いデバイスでは、Anubis のチャレンジが非常に遅く、バッテリーを消耗する可能性があります。LWN は、ブラウザで JavaScript を無効にしたユーザーを完全にブロックしてしまうため、Anubis を自社で導入しないことを決定しました。[ 2 ]
LWNは2025年7月に「Anubisが長期的にスクレイパーに対して優位性を維持できる保証はない」と指摘し[ 2 ]、実際その1か月後にはCodebergが多くのAIスクレイパーボットが「Anubisの課題を解決する方法を学んだ」と報告した。同時にCodebergは、Anubisが何か月にもわたって信頼性が高く実用的なアンチボットソリューションを提供してきたことを称賛した[ 21 ] 。