Loading article…
無料辞書のウィクショナリーで「Deep Web」を調べてください。
ディープウェブ[1]、 インビジブルウェブ[2]、またはヒドゥンウェブ[3]は、ワールドワイドウェブの一部であり、そのコンテンツは標準的なウェブ検索エンジンプログラムによってインデックス化されていません。[4]これは、インターネットを使用するすべての人がアクセスできる「サーフェスウェブ」とは対照的です。 [5]コンピューター科学者のマイケル・K・バーグマンは、2001年に検索インデックス用語としてこの用語を発明したと言われています。[6]
ディープウェブサイトは直接URLまたはIPアドレスでアクセスできますが、実際のコンテンツにアクセスするにはパスワードやその他のセキュリティ情報を入力する必要があります。[7] [8]ディープウェブサイトの用途には、ウェブメール、オンラインバンキング、クラウドストレージ、アクセスが制限されたソーシャルメディアのページとプロフィール、コンテンツの閲覧に登録が必要なウェブフォーラムなどがあります。また、ビデオオンデマンドや一部のオンラインマガジンや新聞などの有料サービスも含まれます。
用語
「ディープウェブ」と「ダークウェブ」という用語が初めて混同されたのは2009年で、ディープウェブの検索用語がフリーネットやダークネットで行われている違法行為とともに議論されたときでした。[9]これらの犯罪行為には、個人のパスワード、偽造身分証明書、麻薬、銃器、児童ポルノの売買が含まれます。[10]
それ以来、メディアは闇サイト「シルクロード」に関する報道で「ディープウェブ」という言葉を使って以来、一般的に「ディープウェブ」をダークウェブやダークネットと同義語として使ってきたが、この比較は不正確だと否定する声もあり[11]、結果的に混乱の種となっている。[12] Wiredの記者キム・ゼッター[13]とアンディ・グリーンバーグ[14]は、これらの用語を区別して使うことを推奨している。ディープウェブは従来の検索エンジンではアクセスできないサイトを指すのに対し、ダークウェブは意図的に隠されたディープウェブの一部で、標準的なブラウザや方法ではアクセスできない。[15] [16] [17] [18] [19] [引用過多]
インデックスされていないコンテンツ
バーグマンは、電子出版ジャーナルに掲載されたディープウェブに関する論文の中で、ジル・エルズワースが1994年にどの検索エンジンにも登録されていないウェブサイトを指すために「インビジブルウェブ」という用語を使用したと述べています。[20]バーグマンは、1996年1月のフランク・ガルシアの記事を引用しています。[21]
おそらく合理的に設計されたサイトですが、どの検索エンジンにも登録されていません。そのため、誰も見つけることができません。隠れているのです。私はそれを「見えない Web」と呼んでいます。
インビジブル・ウェブという用語が最初に使われたのは、パーソナル・ライブラリー・ソフトウェアのブルース・マウントとマシュー・B・コールによるもので、1996年12月のプレスリリースに掲載されたNo.1ディープウェブ・プログラムの説明の中で使われた。[22]
現在では一般的に受け入れられている「ディープウェブ」という特定の用語が最初に使用されたのは、前述の2001年のバーグマン研究である。[20]
インデックス作成方法
従来の検索エンジンによる Web ページのインデックス作成を防ぐ方法は、次の 1 つ以上に分類できます。
- コンテキスト ウェブ: アクセス コンテキスト (クライアント IP アドレスの範囲や以前のナビゲーション シーケンスなど) に応じてコンテンツが変化するページ。
- 動的コンテンツ:送信されたクエリへの応答として返されるか、フォームを通じてのみアクセスされる動的ページ。特に、オープンドメインの入力要素 (テキスト フィールドなど) が使用されている場合、このようなフィールドはドメイン知識なしではナビゲートが困難です。
- アクセス制限コンテンツ: 技術的な方法でページへのアクセスを制限しているサイト（例：ロボット排除標準やCAPTCHA、または検索エンジンによる閲覧やキャッシュコピーの作成を禁止するno-storeディレクティブの使用）。[23]サイトには、このようなページを探索するための内部検索エンジンが搭載されている場合があります。[24] [25]
- 非 HTML/テキスト コンテンツ: マルチメディア (画像またはビデオ) ファイルまたは検索エンジンで認識されない特定のファイル形式でエンコードされたテキスト コンテンツ。
- プライベート Web : 登録とログインが必要なサイト (パスワードで保護されたリソース)。
- スクリプト コンテンツ: JavaScriptによって生成されたリンクからのみアクセスできるページ、およびFlashまたはAjaxソリューションを介して Web サーバーから動的にダウンロードされたコンテンツ。
- ソフトウェア: 特定のコンテンツは通常のインターネットから意図的に隠されており、Tor、I2P 、その他のダークネット ソフトウェアなどの特別なソフトウェアでのみアクセスできます。たとえば、Tor を使用すると、ユーザーはIP アドレスを隠して、.onionサーバー アドレスを使用して匿名で Web サイトにアクセスできます。
- リンクされていないコンテンツ: 他のページからリンクされていないページ。Webクロールプログラムがコンテンツにアクセスできない可能性があります。このコンテンツは、バックリンクのないページ (インリンクとも呼ばれます) と呼ばれます。また、検索エンジンは、検索された Web ページからのすべてのバックリンクを常に検出するわけではありません。
- ウェブアーカイブ: Wayback Machineなどのウェブアーカイブサービスでは、アクセスできなくなり、Googleなどの検索エンジンにインデックスされていないウェブサイトを含む、アーカイブされたウェブページを時系列で閲覧することができます。[6] Wayback Machineは、ディープウェブを閲覧するためのプログラムとも言えます。現在ではないウェブアーカイブはインデックス化できず、ウェブサイトの過去のバージョンは検索では閲覧できないからです。すべてのウェブサイトはいつかは更新されるため、ウェブアーカイブはディープウェブコンテンツと見なされます。[26]
コンテンツの種類
特定の Web サーバーのコンテンツを直接検出してインデックスを作成することが常に可能であるとは限りませんが、サイトには間接的にアクセスできる可能性があります (コンピュータの脆弱性により)。
ウェブ上のコンテンツを発見するために、検索エンジンは既知のプロトコル仮想ポート番号を介してハイパーリンクをたどるウェブクローラーを使用します。この手法は表面ウェブ上のコンテンツを発見するのに理想的ですが、深層ウェブのコンテンツを見つけるのには効果がないことがよくあります。たとえば、これらのクローラーは、データベースクエリの結果として生じる動的なページを見つけようとしません。これは、考えられるクエリの数が不確定であるためです。[6]これは、クエリ結果へのリンクを提供することで（部分的に）克服できることが指摘されていますが、これにより、深層ウェブのサイトの人気が意図せず膨らむ可能性があります。
DeepPeep、Intute、Deep Web Technologies、Scirus、Ahmia.fiはディープウェブにアクセスした検索エンジンです。Intuteは資金が尽き、2011年7月現在、一時的な静的アーカイブとなっています。[27] Scirusは2013年1月末に廃止されました。[28]
研究者たちは、 Torなどの特別なソフトウェアでのみアクセスできるコンテンツも含め、ディープウェブを自動的にクロールする方法を研究してきた。2001年に、Sriram RaghavanとHector Garcia-Molina（スタンフォード大学、スタンフォードコンピュータサイエンス学部）[29] [30]は、ユーザーが提供した重要な用語やクエリインターフェイスから収集した重要な用語を使用してWebフォームをクエリし、ディープウェブのコンテンツをクロールするhidden-Webクローラーのアーキテクチャモデルを発表した。UCLAのAlexandros Ntoulas、Petros Zerfos、Junghoo Choは、検索フォームに対して発行する意味のあるクエリを自動的に生成するhidden-Webクローラーを作成した。[31]クエリの発行に加えて、結果ページから構造化データを抽出できるフォームクエリ言語（例：DEQUEL [32]）がいくつか提案されている。もう一つの取り組みは、国立科学財団が後援するユタ大学のプロジェクトであるDeepPeepであり、新しい集中型クローラー技術に基づいて、さまざまなドメインの隠しWebソース（Webフォーム）を収集しました。[33] [34]
商用検索エンジンは、ディープウェブをクロールする代替方法を模索し始めている。サイトマッププロトコル（最初に開発され、2005年にGoogleによって導入された）とOAI-PMHは、検索エンジンやその他の関係者が特定のWebサーバー上のディープウェブリソースを発見できるようにするメカニズムである。両方のメカニズムにより、Webサーバーはアクセス可能なURLを宣伝できるため、サーフェスウェブに直接リンクされていないリソースを自動的に発見できる。Googleのディープウェブサーフェシングシステムは、各HTMLフォームの送信を計算し、結果のHTMLページをGoogle検索エンジンインデックスに追加する。サーフェシングされた結果は、ディープウェブコンテンツへの1秒あたり1000回のクエリに相当する。[35]このシステムでは、送信の事前計算は3つのアルゴリズムを使用して行われる。
- キーワードを受け入れるテキスト検索入力の入力値を選択する、
- 特定の型（日付など）の値のみを受け入れる入力を識別し、
- Web 検索インデックスに含めるのに適した URL を生成する少数の入力の組み合わせを選択します。
2008年、Torの隠しサービスのユーザーが隠し.onionサフィックスにアクセスして検索できるようにするために、アーロン・シュワルツはTor2webを設計しました。これは、一般的なウェブブラウザからアクセスできるプロキシアプリケーションです。[36]このアプリケーションを使用すると、ディープウェブリンクはランダムな文字列とそれに続く.onionトップレベルドメインとして表示されます。
参照
- クリアネット（ネットワーキング）
- DARPAのMemexプログラム
- ディープリンク
- ディープウェブテクノロジー
- 知的ダークウェブ
- ダークネット市場
- ダークネット
- ダークウェブ
- Tor (ネットワーク)
- Tor オニオン サービスのリスト
参考文献
- ^ ハミルトン、ナイジェル (2019–2020). 「ディープネットメタ検索エンジンの仕組み」。イサイアスでは、ペドロ。パルマ ドス レイス、アントニオ (編)。電子社会に関する IADIS 国際会議の議事録。アイディスプレス。ページ 1034 ～ 1036。CiteSeerX 10.1.1.90.5847。ISBN 978-972-98947-0-1。
- ^ Devine, Jane; Egger-Sider, Francine (2021年8月). 「Googleを超えて：学術図書館における目に見えないウェブ」.学術図書館学ジャーナル. 30 (4): 265– 269. doi :10.1016/j.acalib.2004.04.010.
- ^ Raghavan, Sriram; Garcia-Molina, Hector (2001 年 9 月 11 ～ 14 日)。「Crawling the Hidden Web」。第 27 回国際大規模データベース会議。
- ^ Maor, Etay. 「評議会の投稿：ダークウェブにおけるサイバー犯罪の進化を追跡して学んだ教訓」Forbes . 2024年9月22日閲覧。
- ^ 「Surface Web」。Computer Hope 。 2018年6月20日閲覧。
- ^ abc Wright, Alex (2009年2月22日). 「Googleが把握できない『ディープウェブ』を探る」.ニューヨークタイムズ. 2019年9月2日閲覧。
[...] マイク・バーグマンは、ディープウェブという用語を作ったとされるコンピューター科学者兼コンサルタントです。
- ^ Madhavan, J.、Ko, D.、Kot, Ł.、Ganapathy, V.、Rasmussen, A.、Halevy, A. (2008)。 Googleのディープウェブクロール。 VLDB 基金の議事録、1(2)、1241 ～ 1252。
- ^ シェッデン、サム（2014年6月8日）。「どうやってやらせたい？事故のように見える必要はある？ネットでヒットを売る暗殺者、ディープウェブの内部で暴露」サンデーメール。2020年3月1日時点のオリジナルよりアーカイブ。
- ^ Beckett, Andy (2009年11月26日). 「インターネットのダークサイド」. 2015年8月9日閲覧。
- ^ D. Day. Easiest Catch: Don't Be Another Fish in the Dark Net. ウェイクフォレスト大学: TEDxトーク. 2021年11月13日時点のオリジナルよりアーカイブ。
- ^ 「混乱を解消する - ディープウェブとダークウェブ」。BrightPlanet。2014年3月27日。
- ^ Solomon, Jane (2015 年 5 月 6 日). 「ディープ ウェブ vs. ダーク ウェブ」 . 2015 年5 月 26 日閲覧。
- ^ NPRスタッフ（2014年5月25日）。「Going Dark: The Internet Behind The Internet」。2015年5月29日閲覧。
- ^ Greenberg, Andy (2014 年 11 月 19 日)。「ハッカー用語集: ダークウェブとは何か?」 。 2015 年6 月 6 日閲覧。
- ^ 「ダークウェブがインターネットガバナンスとサイバーセキュリティに与える影響」(PDF) 。2014年1月20日。 2017年1月16日時点のオリジナル(PDF)からアーカイブ。 2017年1月15日閲覧。
- ^ Lam, Kwok-Yan; Chi, Chi-Hung; Qing, Sihan (2016 年 11 月 23 日)。情報通信セキュリティ: 第 18 回国際会議、ICICS 2016、シンガポール、シンガポール、2016 年 11 月 29 日～12 月 2 日、議事録。Springer。ISBN 9783319500119. 2017年1月15日閲覧。
- ^ 「ディープウェブ対ダークウェブ」。辞書ブログ。2015年5月6日。 2017年1月15日閲覧。
- ^ Akhgar, Babak; Bayerl, P. Saskia; Sampson, Fraser (2017 年 1 月 1 日)。オープンソースインテリジェンス調査: 戦略から 実装まで。Springer。ISBN 9783319476711. 2017年1月15日閲覧。
- ^ 「ダークウェブとは何か、誰がそれを利用するのか？」The Globe and Mail 。 2017年1月15日閲覧。
- ^ ab Bergman, Michael K. (2001年8月). 「ディープウェブ：隠れた価値の顕在化」. The Journal of Electronic Publishing . 7 (1). doi : 10.3998/3336451.0007.104 . hdl : 2027/spo.3336451.0007.104 .
- ^ Garcia, Frank (1996年1月). 「インターネット上のビジネスとマーケティング」.マストヘッド. 15 (1). 1996年12月5日時点のオリジナルよりアーカイブ。2009年2月24日閲覧。
- ^ @1 は 5.7 テラバイトのコンテンツから始まり、初期の World Wide Web の 30 倍のサイズと推定されています。PLS は 1998 年に AOL に買収され、@1 は廃止されました。「PLS が初の「第 2 世代」インターネット検索サービスである AT1 を導入」(プレス リリース)。Personal Library Software。1996 年 12 月。1997 年 10 月 21 日時点のオリジナルからアーカイブ。2009年2 月 24 日閲覧。
- ^ Fielding, R.; Nottingham, M.; Reschke, J. (2014). Fielding, R.; Nottingham, M.; Reschke, J. (編). 「Hypertext Transfer Protocol (HTTP/1.1): Caching」. Internet Engineering Task Force . doi :10.17487/RFC7234 . 2014年7月30日閲覧。
- ^ スペシャル:検索
- ^ 「インターネットアーカイブ検索」。
- ^ Wiener-Bronner, Danielle (2015 年 6 月 10 日)。「NASA は Google が示さないことを人類に示すため、「ディープ ウェブ」をインデックス化中」。Fusion。2015 年 6 月 30 日時点のオリジナルよりアーカイブ。2015年6 月 27 日閲覧。Memex
のよりシンプルなバージョンがすでに存在する。「インターネット アーカイブの Wayback Machine を使用したことがあるなら」、Google ではアクセスできない Web サイトの過去のバージョンが提供されるということは、技術的にはディープ ウェブを検索したことになる、と
Chris Mattmann
は述べた。
- ^ 「Intute FAQ、リンク切れ」。2012年10月13日閲覧。
- ^ 「エルゼビア、ポピュラーサイエンス検索エンジンを廃止へ」library.bldrdoc.gov 2013年12月。2015年6月23日時点のオリジナルよりアーカイブ。 2015年6月22日閲覧。 2014
年1月末までに、エルゼビアは無料科学検索エンジンであるScirusの提供を中止します。Scirusは、ウェブページ、プレプリント論文、特許、リポジトリなど、5億7500万件以上の検索対象項目を索引付けした、幅広い研究ツールです。
- ^ Sriram Raghavan、Garcia-Molina、Hector (2000)。「Crawling the Hidden Web」(PDF) 。スタンフォードデジタルライブラリ技術レポート。 2018年5月8日時点のオリジナル(PDF)からアーカイブ。 2008年12月27日閲覧。
- ^ Raghavan, Sriram; Garcia-Molina, Hector (2001). 「Crawling the Hidden Web」(PDF) .第 27 回国際超大規模データベース会議 (VLDB) の議事録. pp. 129– 38.
- ^ Alexandros, Ntoulas; Zerfos, Petros; Cho, Junghoo (2005). 「Downloading Hidden Web Content」(PDF) . UCLA Computer Science . 2009 年2 月 24 日閲覧。
- ^ Shestakov, Denis; Bhowmick, Sourav S.; Lim, Ee-Peng (2005). 「DEQUE: ディープウェブのクエリ」(PDF) .データ&ナレッジエンジニアリング. 52 (3): 273– 311. doi :10.1016/S0169-023X(04)00107-7.
- ^ Barbosa, Luciano; Freire, Juliana (2007). 隠れた Web エントリ ポイントを見つけるための適応型クローラー(PDF) 。WWW カンファレンス 2007。2011年 6 月 5 日時点のオリジナル(PDF)からアーカイブ。2009年3 月 20 日閲覧。
- ^ Barbosa, Luciano; Freire, Juliana (2005). Searching for Hidden-Web Databases (PDF) . WebDB 2005. 2011年6月5日時点のオリジナル(PDF)からアーカイブ。 2009年3月20日閲覧。
- ^ Madhavan, Jayant; Ko, David; Kot, Łucja; Ganapathy, Vignesh; Rasmussen, Alex; Halevy, Alon (2008). Google's Deep-Web Crawl (PDF) . PVLDB '08、2008 年 8 月 23 ～ 28 日、オークランド、ニュージーランド。VLDB Endowment、ACM。2012年 9 月 16 日時点のオリジナル(PDF)からアーカイブ。2009年4 月 17 日閲覧。
- ^ アーロン・シュワルツ「匿名性の擁護」 。 2014年2月4日閲覧。
さらに読む
- Barker, Joe (2004 年 1 月)。「Invisible Web: What it is, Why it exists, How to find it, and its inherent ambiguity」カリフォルニア大学バークレー校、Teaching Library Internet Workshops。2005 年 7 月 29 日時点のオリジナルからアーカイブ。2011年7 月 26 日閲覧。。
- Basu, Saikat (2010 年 3 月 14 日)。「見えない Web を探索するための 10 個の検索エンジン」。MakeUseOf.com。。
- Ozkan, Akin (2014 年 11 月). 「Deep Web /Derinİnternet」。2014 年 11 月 8 日時点のオリジナルよりアーカイブ。2014年11 月 6 日閲覧。。
- Gruchawka, Steve (2006 年 6 月)。「ディープ ウェブのハウツー ガイド」。2014 年 1 月 5 日時点のオリジナルよりアーカイブ。2007 年2 月 28 日閲覧。。
- Hamilton, Nigel (2003)。「ディープ ネット メタ検索エンジンの仕組み」。第 12 回 World Wide Web カンファレンス。。
- He, Bin; Chang, Kevin Chen-Chuan (2003)。「Web クエリ インターフェイス間の統計的スキーマ マッチング」(PDF) 。2003 ACM SIGMOD 国際データ管理会議の議事録。2011年 7 月 20 日のオリジナル(PDF)からアーカイブ。
- ハウエル・オニール、パトリック (2013 年 10 月)。「ディープ ウェブを検索する方法」。The Daily Dot。。
- Ipeirotis, Panagiotis G.、Gravano, Luis、Sahami, Mehran (2001)。「Probe, Count, and Classify: Categorizing Hidden-Web Databases」(PDF)。2001 ACM SIGMOD International Conference on Management of Data の議事録。67 ～ 78ページ 。2006 年 9 月 12 日のオリジナル(PDF)からアーカイブ。2006 年9 月 26 日に取得。
- King, John D.; Li, Yuefeng; Tao, Daniel; Nayak, Richi (2007 年 11 月)。「検索エンジン コンテンツの分析のための世界知識のマイニング」( PDF)。Web Intelligence and Agent Systems。5 ( 3): 233– 53。2008年 12 月 3 日時点のオリジナル(PDF)からアーカイブ。2011 年7 月 26 日閲覧。
- McCown, Frank; Liu, Xiaoming; Nelson, Michael L.; Zubair, Mohammad (2006 年 3 月～4 月)。「OAI-PMH コーパスの検索エンジン カバレッジ」( PDF)。IEEE Internet Computing。10 ( 2): 66– 73。doi :10.1109/ MIC.2006.41。S2CID 15511914 。
- プライス、ゲイリー、シャーマン、クリス（2001 年 7 月）。『The Invisible Web: 検索エンジンが見つけられない情報源の発見』。CyberAge Books。ISBN 978-0-910965-51-4。
- シェスタコフ、デニス (2008 年 6 月)。Web上の検索インターフェイス: クエリと特性評価。TUCS 博士論文 104、トゥルク大学
- Whoriskey, Peter (2008 年 12 月 11 日)。「企業は連邦ウェブの検索性向上を推進」ワシントン ポスト、p. D01。
- ライト、アレックス (2004 年 3 月)。「ディープ ウェブの探求」。Salon。2007年3 月 9 日時点のオリジナルよりアーカイブ。。
- 科学者、裸 (2014 年 12 月)。「インターネット: 良い点、悪い点、醜い点 - ケンブリッジ大学の裸の科学者によるインターネットとダーク ウェブの徹底調査」(ポッドキャスト)。
- King, John D. (2009 年 7 月)。検索エンジン コンテンツ分析(PDF) (論文)。クイーンズランド工科大学。
外部リンク
ウィキメディア・コモンズのディープウェブ関連メディア