Loading article…
_-_panoramio_-_erwinboogert_(2).jpg/500px-Google_datacenter_(2007)_-_panoramio_-_erwinboogert_(2).jpg)
| 外部ビデオ | |
|---|---|
 ユーチューブ | |
 Google データセンター 360° ツアー |
Google データ センターは、 Google がサービスを提供するために使用する大規模なデータ センター施設であり、大容量ドライブ、ラックの通路に配置されたコンピュータ ノード、内部および外部のネットワーク、環境制御 (主に冷却と加湿の制御)、運用ソフトウェア (特に負荷分散とフォールト トレランスに関するもの) が組み合わされています。
Googleデータセンターに何台のサーバーがあるかに関する公式データはないが、ガートナーは2016年7月のレポートで、当時Googleには250万台のサーバーがあったと推定している。この数字は、同社が容量を拡大し、ハードウェアを更新するにつれて変化している。[1]
場所
Googleの各データセンターの大陸別の所在地は以下のとおりです。[2] [3]
ハードウェア
オリジナルハードウェア
Googleがスタンフォード大学に拠点を置いていた当時使用されていたオリジナルのハードウェア（1998年頃）には以下のものが含まれていた。[77]
- デュアル 200 MHzプロセッサと 256 MBのRAMを搭載したSun Microsystems Ultra II 。これは、オリジナルのBackrubシステムのメイン マシンでした。
- Intelから寄贈された2 台の 300 MHz デュアルPentium IIサーバーには、512 MB の RAM と 10 台の 9 GBハード ドライブが搭載されていました。メインの検索はこれらのサーバー上で実行されました。
- IBMから寄贈されたF50 IBM RS/6000には、4 つのプロセッサ、512 MB のメモリ、8 × 9 GB のハードディスク ドライブが搭載されていました。
- 追加の 2 つのボックスには、それぞれ 3 × 9 GB ハード ドライブと 6 × 4 GB ハード ディスク ドライブが含まれていました (Backrub の元のストレージ)。これらは Sun Ultra II に接続されていました。
- IBM から寄贈された 8 × 9 GB ハード ディスク ドライブを備えた SSD ディスク拡張ボックス。
- 10 × 9 GB SCSIハードディスク ドライブが入った自家製ディスク ボックス。
Google クラスタ
2003年のGoogleのインフラストラクチャの状態は、 Luiz André Barroso、Jeff Dean、Urs Hölzleによるレポートで「信頼性の低いコモディティPCのクラスターから構築された信頼性の高いコンピューティングインフラストラクチャ」と表現されています。[78]
平均して、1 回の検索クエリで約 100 MBのデータの読み取りが必要となり、CPU サイクルが消費されます。ピーク時には、Google は 1 秒あたり約 1,000 件のクエリを処理します。このピーク負荷を処理するために、Google はコスト削減のため、高価なスーパーコンピュータ ハードウェアではなく、約 15,000 台のコモディティ クラスの PC でコンピューティング クラスターを構築しました。ハードウェアの信頼性の低さを補うために、Google はフォールト トレラントソフトウェアを作成しました。
クラスターの構造は 5 つの部分から構成されます。中央の Google Web サーバー (GWS) はパブリック インターネットに面しています。ユーザーからのリクエストを受信すると、Google Web サーバーはスペル チェッカー、広告サーバー、多数のインデックス サーバー、多数のドキュメント サーバーと通信します。4 つの各部分はリクエストの一部に応答し、GWS はそれらの応答を組み立てて、最終的な応答をユーザーに提供します。
生のドキュメントは約 100 TB、インデックス ファイルは約 10 TB でした。インデックス ファイルはシャード化されており、各シャードはインデックス サーバーの「プール」によって提供されます。同様に、生のドキュメントもシャード化されています。インデックス ファイルに対する各クエリの結果はドキュメント ID のリストになり、その後、ドキュメント サーバーに送信されてタイトルとコンテキスト内のキーワードのスニペットが取得されます。
使用されていた CPU の世代は複数あり、シングルプロセッサ 533MHz Intel-Celeronベースのサーバーからデュアル 1.4GHz Intel Pentium IIIまで多岐にわたります。各サーバーには 1 台以上のハード ドライブ (それぞれ 80 GB ) が搭載されています。インデックス サーバーのディスク容量はドキュメント サーバーよりも少なくなっています。各ラックには、両側に 1 つずつ、合計 2 つのEthernet スイッチがあります。各側のサーバーは 100 Mbps で相互接続されています。各スイッチには、すべてのラックに接続する中央スイッチへの約 250 MB/秒のアップリンクがあります。
設計目標は次のとおりです。
- 信頼性の低い消費者向けハードウェアを使用し、フォールト トレラント ソフトウェアでそれを補います。
- 大規模なインデックス内の単一のドキュメント一致検索を、多数の小さなインデックスにわたるMapReduceに分割するなどして、並列処理を最大化します。
- クラスターは大規模な共有メモリ マシンであるため、インデックス データと計算をパーティション分割して通信を最小限に抑え、サーバー間で負荷を均等に分散します。
- すべてのソフトウェアを社内で開発することで、システム管理のオーバーヘッドを最小限に抑えます。
- 絶対的なパフォーマンスではなく、パフォーマンス/価格を最大化するハードウェアを選択してください。
- 高いレイテンシよりも高いスループットを持つハードウェアを選択してください。これは、クエリが大規模な並列処理で処理され、依存するステップがほとんどなく、サーバー間の通信が最小限であるため、高いレイテンシは問題にならないためです。
大規模な並列処理により、ハードウェアをスケールアップするとスループットが直線的に増加します。つまり、コンピューティング クラスターを 2 倍にすると、1 秒あたりに処理可能なクエリの数も 2 倍になります。
クラスターは、2 つの構成のサーバー ラックで構成されています。1台あたり40 x 1uで 2 面、または 1 台あたり 20 x 2uで 2 面です。電力消費量はラックあたり 10 kW、密度は 400 W/ft^2、月間消費量は 10 MWh、コストは月額 1,500 ドルです。
生産ハードウェア
2014年現在、GoogleはDebian Linuxの大幅にカスタマイズされたバージョンを使用しています。同社は2013年にRed Hatベースのシステムから段階的に移行しました。[79]
カスタマイズの目標は、絶対的なパフォーマンスではなく、1ドルあたりのパフォーマンスが最も高いCPU世代を購入することです。これをどのように測定するかは不明ですが、サーバー全体の運用コストが組み込まれる可能性が高く、CPUの電力消費が重要な要素になる可能性があります。[80] 2009年から2010年までのサーバーは、2つのプロセッサ（それぞれ複数のコアを持つ[81]）、ダブルハイトDIMMを収容する8つのDIMMスロットに分散されたかなりの量のRAM、および非標準のATXサイズの電源ユニットを介して接続された少なくとも2つのSATAハードディスクドライブを含むカスタムメイドのオープントップシステムで構成されていました。[82]サーバーはオープントップであったため、より多くのサーバーをラックに収めることができました。CNETとJohn Hennessyの著書によると、各サーバーにはコストを削減し、電力効率を向上させるために、新しい12ボルトバッテリーが搭載されていました。[81] [83]
Googleによると、同社の世界規模のデータセンターの運用電力は500～681メガワットの範囲である。[84] [85]これらのサーバーを合わせた処理能力は、 2008年には20～100ペタフロップス に達した可能性がある。[86]
ネットワークトポロジ
Googleの全世界のプライベートネットワークの詳細は公表されていないが、Googleの出版物[87] [88]では、GoogleをLevel 3に次ぐ第3位のISPとしてランク付けする「Atlas Top 10」レポートに言及している。
できるだけ多くのISPに直接接続し、可能な限り低コストで大規模なネットワークを運営するために、Googleは非常にオープンなピアリングポリシーを採用しています。[89]
このサイトから、Google ネットワークには世界中の 67 か所のパブリック エクスチェンジ ポイントと 69 か所の異なる場所からアクセスできることがわかります。2012 年 5 月の時点で、Google は 882 Gbit/s のパブリック接続を保有していました (Google が大手 ISP と締結しているプライベート ピアリング契約は除く)。このパブリック ネットワークは、Google ユーザーにコンテンツを配信するだけでなく、インターネットをクロールして検索インデックスを作成するためにも使用されます。ネットワークのプライベート側は秘密ですが、Google の最近の開示[90]によると、広域ネットワークにはカスタム ビルドの高基数スイッチ ルーター(128 × 10ギガビット イーサネットポートの容量) が使用されています。データセンターごとに 2 台以上のルーター (冗長性のため) を実行していることから、Google ネットワークはテラビット/秒の範囲で拡張可能であると結論付けることができます (2 台のルーターがフル装備の場合、バイセクション帯域幅は 1,280 Gbit/s になります)。
これらのカスタム スイッチ ルーターはDWDMデバイスに接続され、ダーク ファイバー経由でデータ センターとポイント オブ プレゼンス(PoP)を相互接続します。
データセンターの観点から見ると、ネットワークはラック レベルから始まります。ここでは、 19 インチ ラックがカスタム メイドされ、40 ～ 80 台のサーバー (両側に20 ～ 40 台の 1 Uサーバー、新しいサーバーは 2U ラックマウント システム) が搭載されています。 [91]各ラックにはイーサネット スイッチがあります。サーバーは、1 Gbit/sイーサネットリンクを介してラック上部スイッチ (TOR) に接続されます。次に、TOR スイッチは、複数のギガビットまたは 10 ギガビット アップリンクを使用してギガビットクラスター スイッチに接続されます。 [92]クラスター スイッチ自体は相互接続され、データセンター相互接続ファブリックを形成します (古典的なバタフライ レイアウトやフラット バタフライ レイアウトではなく、トンボ デザインを使用する可能性が高い[93] )。
運用面では、クライアント コンピュータが Google に接続しようとすると、複数のDNS サーバーがラウンドロビンwww.google.comポリシーを介して複数の IP アドレスに解決されます。さらに、これは負荷分散の第一段階として機能し、クライアントをさまざまな Google クラスターに誘導します。Google クラスターには数千のサーバーがあり、クライアントがサーバーに接続すると、追加の負荷分散が行われ、クエリが最も負荷の少ない Web サーバーに送信されます。これにより、Google は最大かつ最も複雑なコンテンツ配信ネットワークの 1 つとなっています。[94]
Googleは世界中に多数のデータセンターを構えている。少なくとも12の重要なGoogleデータセンターが米国にある。最大のデータセンターはオレゴン州ダレス、ジョージア州アトランタ、バージニア州レストン、ノースカロライナ州レノア、サウスカロライナ州モンクスコーナーにある。[95]ヨーロッパでは、最大のデータセンターはオランダのエームスハーフェンとフローニンゲン、ベルギーのモンスにある。[95] Googleのオセアニアデータセンターはオーストラリアのシドニーにある。[96]
データセンターのネットワークトポロジ
フォールトトレランスをサポートし、データセンターの規模を拡大し、低基数スイッチに対応するために、Googleは過去にさまざまな修正されたClosトポロジを採用してきました。 [97]
プロジェクト02
グーグル最大のデータセンターの1つは、オレゴン州ダレスの町にあり、コロンビア川沿い、ポートランドから約80マイル（129 km）離れている。「プロジェクト02」というコードネームのこの複合施設は2006年に建設され、アメリカンフットボール場2つ分ほどの大きさで、冷却塔は4階建てである。[98] [99]この場所は、安価な水力発電を利用し、ドットコムブームの名残であるこの地域の大量の余剰光ファイバーケーブルを活用するために選ばれた。敷地の設計図は2008年に公開された。[100]
スマ製紙工場
2009年2月、ストラ・エンソはフィンランドのハミナにあるスンマ製紙工場をグーグルに4000万ユーロで売却したと発表した。[101] [102]グーグルはデータセンターを建設するためにこの敷地に2億ユーロを投資し、2012年にさらに1億5000万ユーロの投資を発表した。 [103] [104]グーグルがこの場所を選んだのは、再生可能エネルギー源が利用可能で近いためである。[105]
フローティングデータセンター
2013年、報道機関はカリフォルニア州（トレジャーアイランドのビル3）とメイン州の海岸沿いにGoogleの浮体式データセンターが存在することを明らかにした。開発プロジェクトは厳重な秘密の下に維持されていた。データセンターは長さ250フィート、幅72フィート、深さ16フィートである。海中データセンター冷却技術の特許は2009年にGoogleによって購入された[106] [107]（2008年には波力発電の船舶データセンターの特許も購入された[108] [109]）。その後まもなく、Googleは2つの巨大で秘密裏に建設されたインフラストラクチャは単に「インタラクティブな学習センターであり、[...]人々が新しい技術について学ぶことができるスペース」であると宣言した[110]
グーグルは2013年後半にはしけでの作業を中止し、2014年にはしけの売却を開始した。[111] [112]
ソフトウェア
Googleが自社のサーバーで使用しているソフトウェアスタックのほとんどは社内で開発されたものである。[113] 2006年の著名な元Google社員によると、C++、Java、Python 、そして（最近では）Goが他のプログラミング言語よりも好まれているという。[114]たとえば、GmailのバックエンドはJavaで書かれており、Google検索のバックエンドはC++で書かれている。[115] Googleは、Pythonが当初から重要な役割を果たしており、システムが成長し進化するにつれてその役割を果たし続けていることを認めている。[116]
Googleのインフラストラクチャを実行するソフトウェアには以下が含まれます。[117]
- Google Web Server (GWS) – Google がオンライン サービスに使用するカスタム Linux ベースの Web サーバー。
- ストレージシステム:
- チャビーロックサービス
- MapReduceとSawzall プログラミング言語
- インデックス/検索システム:
- TeraGoogle – Googleの大規模検索インデックス（2006年初頭に開始）[122]
- カフェイン（パーコレーター） - 継続的なインデックスシステム（2010年に開始）。[123]
- ハミングバード – 複合検索や音声検索を含む主要な検索インデックスのアップデート。[124]
- Borg宣言型プロセス スケジューリング ソフトウェア
Googleは、ほとんどのデータを保存するためにいくつかの抽象化を開発しました。[125]
- プロトコルバッファ - 「Googleのデータ共通言語」[126]。社内で広く使用されているバイナリシリアル化形式。
- SSTable (Sorted Strings Table) – キーと値の両方が任意のバイト文字列である、キーから値への永続的で順序付けられた不変のマップ。Bigtableの構成要素の1つとしても使用されます。[127]
- RecordIO – 可変サイズのレコードのシーケンス。[125] [128] [129]
ソフトウェア開発の実践
ほとんどの操作は読み取り専用です。更新が必要な場合、クエリは他のサーバーにリダイレクトされ、一貫性の問題が簡素化されます。クエリはサブクエリに分割され、それらのサブクエリは異なるダクトに並行して送信されるため、待ち時間が短縮されます。[91]
避けられないハードウェア障害の影響を軽減するために、ソフトウェアはフォールト トレラントになるように設計されています。そのため、システムがダウンしても、データは他のサーバー上で引き続き利用可能であり、信頼性が向上します。
検索インフラストラクチャ
索引
ほとんどの検索エンジンと同様に、Googleは転置インデックスと呼ばれるデータ構造を構築して文書をインデックスします。このようなインデックスは、検索語によって文書のリストを取得します。サーバーに保存されている文書の数が多いため、インデックスは非常に大きくなります。[94]
インデックスは、ドキュメント ID によって、シャードと呼ばれる多数の部分に分割されます。各シャードは、複数のサーバーに複製されます。当初、インデックスは、従来の情報検索(IR) システムと同様に、ハードディスク ドライブから提供されていました。Google は、各シャードのレプリカの数を増やし、サーバーの数を増やすことで、クエリ量の増加に対処しました。すぐに、インデックス全体のコピーをメイン メモリに保存するのに十分なサーバーがあることがわかり (ただし、レプリケーションは低いか、まったくありません)、2001 年初頭に Google はメモリ内インデックスシステムに切り替えました。この切り替えにより、検索システムの「多くの設計パラメータが根本的に変更され」、スループットが大幅に向上し、クエリの待ち時間が大幅に短縮されました。[130]
2010 年 6 月、Google は、検索インデックスを継続的にクロールして更新できる次世代のインデックス作成および配信システム「Caffeine」を発表しました。これまで、Google は一連のMapReduceジョブを使用して検索インデックスをバッチで更新していました。インデックスは複数のレイヤーに分かれており、そのうちのいくつかは他のレイヤーよりも速く更新され、メイン レイヤーは 2 週間も更新されませんでした。Caffeine では、インデックス全体が継続的に増分更新されます。その後、Google は「Percolator」[131]と呼ばれる分散データ処理システムを公開しました。これが Caffeine インデックス システムの基盤と言われています。[123] [132]
サーバーの種類
Googleのサーバーインフラストラクチャはいくつかのタイプに分かれており、それぞれ異なる目的に割り当てられています。[91] [94] [133] [134] [135]
- Web サーバーは、ユーザーから送信されたクエリの実行を調整し、その結果をHTMLページにフォーマットします。実行は、インデックス サーバーへのクエリの送信、結果のマージ、ランクの計算、ヒットごとの要約の取得 (ドキュメント サーバーを使用)、スペル サーバーからの候補の要求、最後に広告サーバーからの広告リストの取得で構成されます。
- データ収集サーバーは、 Web のスパイダー処理に常時使用されます。Google の Web クローラーは GoogleBot と呼ばれています。このサーバーはインデックスとドキュメント データベースを更新し、Google のアルゴリズムを適用してページにランクを割り当てます。
- 各インデックス サーバーには、インデックス シャードのセットが含まれています。これらは、特定の docid に対応するドキュメントにクエリ ワードが含まれるように、ドキュメント ID (「docid」) のリストを返します。これらのサーバーは、必要なディスク領域が少なくて済みますが、CPU の負荷は最大になります。
- ドキュメント サーバーはドキュメントを保存します。各ドキュメントは数十のドキュメント サーバーに保存されます。検索を実行すると、ドキュメント サーバーはクエリ ワードに基づいてドキュメントの概要を返します。また、要求に応じて完全なドキュメントを取得することもできます。これらのサーバーには、より多くのディスク領域が必要です。
- 広告サーバーは、 AdWordsやAdSenseなどのサービスによって提供される広告を管理します。
- スペル サーバーはクエリのスペルに関する提案を行います。
また、「カナリアリクエスト」と呼ばれるものもあり、これはリクエストが最初に1つまたは2つのリーフサーバーに送信され、応答時間が妥当かどうかを確認します。妥当でない場合は、リクエストは失敗します。これによりセキュリティが確保されます。[136]
安全
| 外部ビデオ | |
|---|---|
ユーチューブ | |
| Google データセンターのセキュリティ: 6 層の深さ |
2013年10月、ワシントンポスト紙は、米国国家安全保障局がMUSCULARと呼ばれるプログラムの一環として、Googleのデータセンター間の通信を傍受したと報じた。[137] [138]この盗聴が可能になったのは、当時Googleが自社のネットワーク内でやり取りされるデータを暗号化していなかったためである。[139]これは、Googleが2013年にデータセンター間で送信されるデータを暗号化し始めたことで修正された。 [140]
環境への影響
Googleの最も効率的なデータセンターは、電気で動くエアコンを必要とせず、新鮮な空気のみで冷却し、35℃（95℉）で稼働している。[141]
2016年12月、Googleは、2017年からデータセンターとオフィスのエネルギー使用量の100%に相当する再生可能エネルギーを購入すると発表した。この取り組みにより、Googleは「再生可能エネルギーの世界最大の企業購入者となり、風力と太陽光エネルギーで2.6ギガワット（2,600メガワット）に達する」ことになる。[142] [143] [144]
参考文献
- ^ 「Google にはサーバーがいくつあるか?」データセンターナレッジ。2017 年 3 月 16 日。2018年9 月 20 日閲覧。
- ^ 「Google データセンター、所在地」。2014年7 月 21 日閲覧。
- ^ 「ISO/IEC 27001 - コンプライアンス」。Google Cloud。2023年7 月 11 日閲覧。
- ^ ab レポート、Times-Mirrorスタッフ（2019年6月19日）。「Googleがラウドン郡への6億ドルの投資を「締め切る」」LoudounTimes.com 。 2021年2月12日閲覧。
- ^ ab 「Google Plans 2 Loudoun Data Centers」LoudounNow.com 2017年11月29日. 2023年4月12日閲覧。
- ^ アレラーノ (CIPER)、アルベルト (2020 年 5 月 25 日)。 「Google と Cerrillos のメガプロジェクトの "a ciegas" el megaproyecto」。CIPER チリ(スペイン語) 。2023 年7 月 10 日に取得。
- ^ “Google instalará un nuevo data center en Chile”. diarioeldia.cl (スペイン語). 2021年9月22日時点のオリジナルよりアーカイブ。2019年9月28日閲覧。
- ^ “サンティアゴの Google Cloud 地域が新たな可能性を秘めています。”.グーグル。 2021年12月1日。2023 年7 月 10 日に取得。
- ^ 「オハイオ州コロンバスで Google Cloud リージョンが利用可能になりました」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「ナマステ、インド。デリー首都圏の新しいクラウド リージョンが稼働中です」。cloudonair.withgoogle.com。
- ^ 「カタールに新しい Google Cloud リージョンがオープン」。Google Cloud ブログ。2023年7 月 10 日閲覧。
- ^ 「ダブリン、アイルランド – データセンター – Google」。www.google.com 。 2019年4月2日閲覧。
- ^ “ハーナウのプロジェクト: RECHENZENTRUM FÜR GOOGLE ENTWICKELT”. NDC-ガーベ。 2021年9月2日。
- ^ 「Google Cloud、新たなインフラストラクチャと持続可能なエネルギーでドイツに投資」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「デンマークでGoogle初のデータセンター着工」Google 2018年11月20日2023年7月10日閲覧。
- ^ 「Google、フィンランドのハミナに6番目のデータセンター建設を承認」2020年9月11日。
- ^ 「Google のインフラストラクチャへの投資、ネバダ州への投資」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ Torres-Cortez, Ricardo (2020年9月16日). 「Google、ヘンダーソンデータセンターに6億ドルを追加投資へ – ラスベガスサン新聞」. lasvegassun.com . 2021年2月12日閲覧。
「今回の発表により、グーグルはヘンダーソン市への総投資額を12億ドルに増やすことになる」とデブラ・マーチ市長は発表文で述べた。
- ^ Baxtel. 「Google Henderson NV データセンター」. baxtel.com . 2021年2月12日閲覧。
- ^ 「近日公開：GCP の香港リージョン」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「アジア太平洋地域でのプレゼンスの拡大: 香港とジャカルタに新しい GCP リージョン」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「ジャカルタに新しい Google Cloud リージョンがオープンしました」。Google Cloud ブログ。2021 年9 月 15 日閲覧。
- ^ 「Google Cloud Platform 東京リージョンがオープン」。Google Cloud ブログ。2023年7 月 10 日閲覧。
- ^ 「Google - シンガポール」www.streetdirectory.com . 2023年7月11日閲覧。
- ^ 「Google Cloud Platform がロンドンにオープン」。Google Cloud ブログ。2023年7 月 10 日閲覧。
- ^ 「スペインのマドリードに新しい Google Cloud リージョンがオープン」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「メルボルンの Google Cloud リージョンがオープンしました」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「Welcome」. Agriport A7 (オランダ語) . 2023年7月10日閲覧。
- ^ 「Google、オランダの新データセンター建設に11億ドルを投じる」。データセンターナレッジ。2019年6月24日。
- ^ 「Google Cloud リージョンがテキサス州ダラスで利用可能に」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「Googleの6億ドル規模の大規模データセンターがエリス郡に建設へ、テック大手がテキサスでのプレゼンスを拡大」ダラスニュース。2019年6月14日。 2021年2月12日閲覧。
- ^ 「イタリアのミラノに新しい Google Cloud リージョンがオープン」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「ケベック州でのGoogleの活動拡大プロジェクト - ボーアルノワの将来のコンピュータデータセンター」www.quebec.ca（フランス語） 。 2021年5月10日閲覧。
- ^ 「GCP がモントリオール リージョンの開設によりカナダに登場」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「ケベック州におけるGoogleの継続的な取り組み」。Googleブログ - 企業ニュース。 2021年2月12日閲覧。
- ^ Stiver, Dave (2017 年 11 月 1 日)。「GCP がムンバイ リージョンの開設とともにインドに登場」。Google Cloud ブログ。2019年7 月 30 日閲覧。
- ^ ウィリアムズ、マーク。「Googleが6億ドル規模のデータセンターでニューアルバニーのハイテク企業に加わる」。コロンバス・ディスパッチ。2020年12月30日時点のオリジナルよりアーカイブ。2021年2月12日閲覧。
- ^ 「オハイオ州ニューアルバニー – データセンター – Google」。Googleデータセンター。 2021年2月12日閲覧。
- ^ 「Google Cloud、日本で拡大する顧客基盤をサポートするため、新しい大阪リージョンを開設」。Google Cloud ブログ。2023年7 月 10 日閲覧。
- ^ 「GCP がサンパウロ リージョンの開設により南米に登場！」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「Google、6億ドル規模のPapillionデータセンタープロジェクトの背後にいることを明らかに」www.datacenterdynamics.com . 2021年2月12日閲覧。
- ^ 「ネブラスカ州パピリオン – データセンター – Google」。Googleデータセンター。 2021年2月12日閲覧。
- ^ 「Google Cloud リージョンがフランスのパリにオープン」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ Dawn-Hiscox, Tanwen (2018年2月20日). 「Google、Pryorデータセンター拡張に1000万ドルを投資」。データセンターダイナミクス。2019年4月23日時点のオリジナルよりアーカイブ。 2019年4月23日閲覧。
- ^ “Google は、チリのセントロ デ デートを決定します。”. Newtechmag.net (スペイン語)。 2018年9月28日。2019年3月30日のオリジナルからアーカイブ。2018 年12 月 8 日に取得。
- ^ Tanwen Dawn-Hiscox (2017年4月18日). 「Googleはネバダ州に大規模なデータセンターを計画中」. Datacenterdynamics.com . 2018年12月8日閲覧。
- ^ Jason Hidalgo (2018年11月16日). 「ネバダ州、ラスベガス近郊のGoogleのMデータセンターを承認、税制優遇もMに」Rgj.com . 2018年12月8日閲覧。
- ^ Jason Hidalgo (2020年9月16日). 「Google、リノ近郊のデータセンターに6億ドルを投資、税制優遇を受ける」Reno Gazette Journal . 2020年10月26日閲覧。
ストーリー郡の新しいデータセンターとヘンダーソンの施設への投資拡大により、Googleはネバダ州に2つの施設を持つことになり、総投資額は18億8000万ドルを超える。
- ^ 「ソルトレイクシティの Google Cloud リージョンがオープン」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「ソウルの新しい GCP リージョン」。Google Cloud ブログ。2023年7 月 10 日閲覧。
- ^ 「Google Cloud が新しいシドニー リージョンでオーストラリアに進出」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「Google、イスラエルのテルアビブにGCPリージョンを開設」。datacenterdynamics.com。
- ^ 「イスラエルのテルアビブに Google Cloud リージョンがオープン」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「Google Cloud トロント リージョンがオープン」。Google Cloud ブログ。2023年7 月 10 日閲覧。
- ^ 「イタリアのトリノに新しい Google Cloud リージョンがオープン」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「Google、ポーランドにクラウドデータセンターを建設へ」。データセンターナレッジ。2019年9月27日。
- ^ 「Google、アラバマ州Mデータセンターの建設を開始」。Made in Alabama。2018年4月9日。 2019年8月19日閲覧。
- ^ “Die Schweizer Google Cloud Platform zieht zu Green in den Aargau”. Swiss IT Magazine (ドイツ語) 。2023 年7 月 10 日に取得。
- ^ <<Web を引用|url=https://www.datacenterknowledge.com/google-alphabet/google-building-cloud-data-centers-close-swiss-banks%7Ctitle=Google [ permanent dead link ]スイス銀行の近くにクラウド データ センターを構築||
- ^ abcde 「5 つの新しい Google Cloud リージョンの紹介」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ "Google plant ein großes Rechenzentrum südlich des Flughafens BER".デア・シュピーゲル（ドイツ語）。 2022 年 9 月 30 日 。ISSN 2195-1349 。2023 年7 月 10 日に取得。
- ^ 「Google Cloud、新たなインフラストラクチャと持続可能なエネルギーでドイツに投資」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「ベルリン・ブランデンブルク Google Cloud リージョンがオープン」。Google Cloud ブログ。2024 年2 月 3 日閲覧。
- ^ 「Google Cloud Platform リージョンの最新情報」。Google Cloud ブログ。2023年7 月 10 日閲覧。
- ^ 「Google 関連会社の最新の動きは、6 億ドル規模のデータセンターに KC が選ばれたことを示唆している」www.bizjournals.com 。2021年2 月 12 日閲覧。
- ^ 「クウェートに新しい Google Cloud リージョンを開設」。Google Cloud ブログ。2023年7 月 10 日閲覧。
- ^ abc 「アジア太平洋地域の新しい Google Cloud リージョンの発表」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「メキシコに新しい Google Cloud リージョンが開設される」。Google Cloud ブログ。2023 年7 月 10 日閲覧。
- ^ 「Google、台南の新データセンター用地を購入」。台北タイムズ。2019年9月12日。 2019年12月20日閲覧。
- ^ 「Google、台南にデータセンターを設置」Focus Taiwan 2019年9月11日2019年12月20日閲覧。
- ^ 「Google、台湾に2つ目のデータセンターを設置へ」台湾ニュース2019年9月11日2019年12月20日閲覧。
- ^ 「Google、台湾に3番目のデータセンターを建設する計画を確認」。台湾ニュース。2020年9月3日。 2020年9月3日閲覧。
- ^ 「アリゾナ州でより持続可能な未来を築くための私たちの取り組み」。Google 2024年3月14日。 2024年10月5日閲覧。
- ^ 「英国の新データセンターへの10億ドルの投資」Google 2024年1月18日2024年1月19日閲覧。
- ^ 「ラテンアメリカの新しいデータセンター」。Google 。 2024年8月29日。 2024年10月5日閲覧。
- ^ 「Google とピエドラの基礎 (comenzó la construcción del centro de datos en Parque de las Ciencias)」 (スペイン語)。 2024 年 8 月 30 日。2024 年10 月 5 日に取得。
- ^ 「Google Stanford Hardware」。1999年2月9日時点のオリジナルよりアーカイブ。 2017年3月23日閲覧。
{{cite web}}: CS1 maint: bot: 元の URL ステータス不明 (リンク)スタンフォード大学（インターネットアーカイブ提供）。 2006年7月10日閲覧。 - ^ Barroso, LA; Dean, J.; Holzle, U. (2003 年 3 月)。「惑星を探す Web 検索: Google クラスター アーキテクチャ」IEEE Micro . 23 (2): 22–28. doi :10.1109/MM.2003.1196112. ISSN 1937-4143。
- ^ Merlin, Marc (2013). 「ケーススタディ: 数千台のサーバーを古い Red Hat ディストリビューションから 10 年ほど新しい Debian ベースのディストリビューションにライブアップグレードする」(PDF) . Linux Foundation . 2017 年6 月 9 日閲覧。
- ^ Tawfik Jelassi、Albrecht Enders (2004)。「ケーススタディ 16 - Google」。Eビジネス戦略。Pearson Education。p. 424。ISBN 978-0-273-68840-2。
- ^ ab コンピュータアーキテクチャ、第 5 版: 定量的アプローチ、ISBN 978-0123838728 ; 第 6 章; 6.7「Google 倉庫規模のコンピュータ」471 ページ「UPS 機能が各サーバーに関連付けられた標準バッテリーから供給できるように、単一の 12 ボルト電源のみを必要とするマザーボードの設計」
- ^ YouTubeの Google の秘密の電源
- ^ Google がかつて秘密だったサーバーを公開、2009 年 4 月 1 日。
- ^ 「Google サステナビリティ」。Googleサステナビリティ。
- ^ 「Analytics Press データセンターの電力使用量の増加 2005 ～ 2010 年」。2012 年 1 月 11 日時点のオリジナルよりアーカイブ。2012年5 月 22 日閲覧。
- ^ Google Surpasses Supercomputer Community, Unnoticed? アーカイブ済み 2008 年 12 月 5 日、Wayback Machine、2008 年 5 月 20 日。
- ^ Lam, Cedric F.; Liu, Hong; Koley, Bikash; Zhao, Xiaoxue; Kamalov, Valey; Gill, Vijay (2010)、「光ファイバー通信技術: データセンター ネットワーク運用に必要なもの」、Research、vol. 48
- ^ Lam, Cedric F. (2010)、「FTTH の将来展望 - テクノロジーとアーキテクチャ」(PDF)、p. 4
- ^ "kumara ASN15169"、ピアリングDB
- ^ 「Urs Holzle」、スピーカー、Open Network Summit、2012年5月10日時点のオリジナルよりアーカイブ、2012年5月22日閲覧
- ^ abc 惑星のためのウェブ検索: Google クラスタ アーキテクチャ (Luiz André Barroso、Jeffrey Dean、Urs Hölzle)
- ^ 「Warehouse size computers」（PDF） 。 2012年6月19日時点のオリジナル（PDF）よりアーカイブ。2012年5月22日閲覧。
- ^ Denis Abt 高性能データセンターネットワーク: アーキテクチャ、アルゴリズム、機会
- ^ abc Fiach Reid (2004)。「ケーススタディ: Google 検索エンジン」。.NET でのネットワークプログラミング。Digital Press。pp. 251–253。ISBN 978-1-55558-315-6。
- ^ ab Rich Miller (2008 年 3 月 27 日)。「Google Data Center FAQ」。データセンター ナレッジ。2009 年 3 月 13 日時点のオリジナルよりアーカイブ。2009年3 月 15 日閲覧。
- ^ Brett Winterford (2010 年 3 月 5 日)。「発見: Google オーストラリアの秘密データ ネットワーク」。ITNews。2010年3 月 20 日閲覧。
- ^ Singh, Arjun; Ong, Joon; Agarwal, Amit; Anderson, Glen; Armistead, Ashby; Bannon, Roy; Boving, Seb; Desai, Gaurav; Felderman, Bob; Germano, Paulie; Kanagala, Anand (2015). 「Jupiter Rising: Google のデータセンター ネットワークにおける Clos トポロジと集中制御の 10 年間」。2015 ACM カンファレンスの議事録。pp . 183–197。doi : 10.1145 / 2785956.2787508。ISBN 978-1-4503-3542-3. S2CID 2817692。
- ^ ジョン・マークオフ、ソール・ハンセル「明白な視界に隠れて、グーグルはさらなる権力を求める」ニューヨーク・タイムズ、 2006年6月14日。2008年10月15日閲覧。
- ^ Google「オレゴン州ダレスのデータセンター」2011年1月3日閲覧。
- ^ Strand, Ginger. 「Google Data Center」Harper's Magazine 2008 年 3 月号。2008 年 10 月 15 日に取得。2012 年 8 月 30 日にWayback Machineにアーカイブ。
- ^ 「Stora Enso、フィンランドのSumma Millの施設を100万ドルで売却」Stora Enso 2009年2月12日。2009年4月13日時点のオリジナルよりアーカイブ。 2009年12月2日閲覧。
- ^ [デッドリンク ] "Stooora yllätys: Google ostaa Summan tehtaan".カウパレティ（フィンランド語）。ヘルシンキ。 2009 年 2 月 12 日。2009 年 2 月 14 日のオリジナルからアーカイブ。2009 年2 月 12 日に取得。
- ^ “Google は 200 億ユーロを投資、ハミナーン”.タロウサノマット（フィンランド語）。ヘルシンキ。 2009 年 2 月 4 日。2009 年3 月 15 日に取得。
- ^ 「ハミナ、フィンランド」。2018年4月23日閲覧。
- ^ フィンランド – クラウド コンピューティング データ センターの設置場所として第一の選択肢。2013 年 7 月 6 日にアーカイブ、Wayback Machineで閲覧、2010 年 8 月 4 日にアクセス。
- ^ ロリー・キャロル（2013年10月30日）。「Googleの最も知られていない秘密：米国沖の浮体式データセンター」Theguardian.com 。 2018年12月8日閲覧。
- ^ Rich Miller (2009年4月29日). 「Googleがデータセンターバージの特許を取得」. Datacenterknowledge.com . 2018年12月8日閲覧。
- ^ Martin Lamonica (2008年9月8日). 「Google、波力発電浮体式データセンターの特許を申請」Cnet.com . 2018年12月8日閲覧。
- ^ 「Google の船舶ベースデータセンターの特許申請が表面化」Datacenterdynamics.com 2008 年 9 月 7 日2018 年12 月 8 日閲覧。
- ^ 「Google barge mystery revealed: they're for 'interactive learning centers'」Theguardian.com 2013年11月6日. 2018年12月8日閲覧。
- ^ ブランドン・ベイリー (2014年8月1日)。「Google、謎の船の売却を確認」サンノゼ・マーキュリー・ニュース。 2015年4月7日閲覧。
- ^ クリス・モラン（2014年11月7日）。「あのGoogle Bargesに何が起こったのか？」コンシューマリスト。 2017年1月15日閲覧。
- ^ Mark Levene (2005).検索エンジンとウェブナビゲーション入門. Pearson Education. p. 73. ISBN 978-0-321-30677-7。
- ^ 「Python Status Update」。Artima。2006年1月10日。 2012年2月17日閲覧。
- ^ 「警告」。Panela。Blog -city。2011年12月28日時点のオリジナルよりアーカイブ。2012年2月17日閲覧。
- ^ 「Pythonに関する引用」。Python 。 2012年2月17日閲覧。
- ^ 「Google Architecture」。高スケーラビリティ。2008 年 11 月 22 日。2012年2 月 17 日閲覧。
- ^ abc Fikes, Andrew (2010 年 7 月 29 日)、「ストレージ アーキテクチャと課題」、TechTalk (PDF)[永久リンク切れ ]
- ^ 「Colossus: Google File System (GFS) の後継」。SysTutorials。2012 年 11 月 29 日。2016年5 月 10 日閲覧。
- ^ Dean, Jeffrey 'Jeff' (2009)、「大規模分散システムの構築からの設計、教訓、アドバイス」、Ladis (基調講演)、コーネル
- ^ Shute, Jeffrey 'Jeff'; Oancea, Mircea; Ellner, Stephan; Handy, Benjamin 'Ben'; Rollins, Eric; Samwel, Bart; Vingralek, Radek; Whipkey, Chad; Chen, Xin; Jegerlehner, Beat; Littlefield, Kyle; Tong, Phoenix (2012)、「F1 — the Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business」、Research、Sigmod、2017 年 6 月 9 日のオリジナル(プレゼンテーション)からアーカイブ、 2012 年9 月 18 日取得
{{citation}}: CS1 メンテナンス: 場所が見つかりません 発行者 (リンク) - ^ 「Google alums rev up a new search engine」ロサンゼルス・タイムズ2008年7月28日2021年9月15日閲覧。
- ^ ab The Register。Google カフェインが世界中の検索エンジンを揺さぶる
- ^ 「Google 公式リリースノート」 。2013年9 月 28 日閲覧。
- ^ ab 「Google、カフェイン貯蔵システムを開発中 | TechWeekEurope UK」。Eweekeurope.co.uk。2009年8月18日。2011年11月15日時点のオリジナルよりアーカイブ。2012年2月17日閲覧。
- ^ 「開発者ガイド – プロトコル バッファ – Google Code」 。2012年2 月 17 日閲覧。
- ^ http://static.googleusercontent.com/media/research.google.com/en/us/archive/bigtable-osdi06.pdf [裸の URL PDF ]
- ^ windley on (2008 年 6 月 24 日). 「Phil Windley の Technometria | Velocity 08: Storage at Scale」. Windley.com . 2012 年2 月 17 日閲覧。
- ^ 「メッセージの制限 – プロトコル バッファ | Google グループ」 。2012年2 月 17 日閲覧。
- ^ 「WSDM 2009 での Jeff Dean の基調講演」(PDF) 。2012 年2 月 17 日閲覧。
- ^ Daniel Peng、Frank Dabek。(2010)。分散トランザクションと通知を使用した大規模増分処理。オペレーティングシステムの設計と実装に関する第 9 回 USENIX シンポジウムの議事録。
- ^ The Register。Google Percolator – MapReduce の衰退を除けば世界的な検索の激化
- ^ Chandler Evans (2008)。「Google プラットフォーム」。Google Earth の未来。Madison Publishing Company。p. 299。ISBN 978-1-4196-8903-1。
- ^ クリス・シャーマン (2005)。「How Google Works」。Google Power。McGraw-Hill Professional。pp. 10–11。ISBN 978-0-07-225787-8。
- ^ マイケル・ミラー (2007)。「How Google Works」。Googlepedia。ピアソン・テクノロジー・グループ。pp. 17–18。ISBN 978-0-7897-3639-0。
- ^ Dean, Jeffrey; Barroso, Luiz André (2013年2月). 「The tail at scale」. Communications of the ACM . 56 (2): 74–80. doi :10.1145/2408776.2408794. ISSN 0001-0782.
- ^ Gellman, Barton; Soltani, Ashkan (2013年10月30日)。「NSAが世界中のYahoo、Googleデータセンターへのリンクに侵入、スノーデン文書が語る」ワシントンポスト。 2013年11月1日閲覧。
- ^ サヴェージ、チャーリー、ミラー、クレア・ケイン、パールロス、ニコール（2013年10月30日）。「NSA、海外のグーグルとヤフーを盗聴すると報道」ニューヨーク・タイムズ。 2017年3月9日閲覧。
- ^ ギャラガー、ショーン（2013年10月31日）。「NSAのMUSCULARがGoogleとYahooのプライベートネットワークを盗聴した方法」Ars Technica。コンデナスト。 2017年3月9日閲覧。
- ^ ミラー、クレア・ケイン（2013年10月31日）。「米国の監視に憤るテック大手、防衛を強化」ニューヨーク・タイムズ。 2017年3月9日閲覧。
- ^ Humphries, Matthew (2012年3月27日). 「Googleの最も効率的なデータセンターは95度で稼働」. geek.com . 2016年6月13日時点のオリジナルよりアーカイブ。 2016年6月13日閲覧。
- ^ Hölzle, Urs (2016 年 12 月 6 日)。「私たちは 100% 再生可能エネルギーの実現に向けて準備を進めていますが、これはまだ始まりにすぎません」。The Keyword Google ブログ。2016 年12 月 8 日閲覧。
- ^ Statt, Nick (2016年12月6日). 「Googleが気候変動との戦いで大きな勝利を収めた」The Verge . Vox Media . 2016年12月8日閲覧。
- ^ Etherington, Darrell ( 2016 年 12 月 7 日)。「Googleは2017 年までに 100% 再生可能エネルギーを達成すると発表」。TechCrunch。AOL。2016年12月 8 日閲覧。
さらに読む
- LA Barroso、J. Dean、U. Hölzle (2002 年 3 月～4 月)。「惑星を探す Web 検索: Google クラスタ アーキテクチャ」(PDF)。IEEE Micro。23 (2 ) : 22～28。doi :10.1109/MM.2003.1196112。
- Shankland, Stephen、CNET ニュース「Google がかつて秘密だったサーバーを公開」2014 年 7 月 16 日アーカイブ、Wayback Machineより。2009 年 4 月 1 日。
外部リンク
- Google リサーチ出版物
- 惑星のためのウェブ検索: Google クラスタ アーキテクチャ (Luiz André Barroso、Jeffrey Dean、Urs Hölzle)