データ集約型コンピューティング

データ集約型コンピューティングは、データ並列アプローチを使用して、通常テラバイトまたはペタバイトのサイズの大容量データ（一般にビッグデータと呼ばれる）を処理する並列コンピューティングアプリケーションのクラスです。実行時間のほとんどを計算要件に費やすコンピューティングアプリケーションは計算集約型と見なされますが、データ集約型と見なされるアプリケーションは大量のデータを必要とし、処理時間のほとんどをデータのI/Oと操作に費やします。^[1]

インターネットとワールド ワイド ウェブの急速な成長により、オンラインで入手できる情報が膨大になりました。さらに、企業や政府機関は、処理、分析、リンクを必要とする 構造化情報と非構造化情報を大量に作成しています。Vinton Cerf 氏はこれを「情報雪崩」と表現し、「インターネットが解き放った情報に埋もれてしまう前に、インターネットのエネルギーを活用しなければならない」と述べています。^[2] EMC CorporationがスポンサーとなったIDCのホワイト ペーパーでは、2007 年に現在デジタル形式で保存されている情報量は 281 エクサバイト、全体的な複合成長率は 57% と推定されており、組織内の情報はこれよりも速いペースで増加しています。^[3] いわゆる情報爆発に関する 2003 年の調査では、現在のすべての情報の 95% が非構造化形式で存在し、構造化情報と比較してデータ処理要件が増加していると推定されています。^[4]この膨大な量のデータの保存、管理、アクセス、処理は、このデータを情報として検索、分析、マイニング、視覚化するというニーズを満たすための基本的なニーズであり、大きな課題です。^[5]データ集約型コンピューティングは、このニーズに対応することを目的としています。

並列処理アプローチは、一般に、計算集約型とデータ集約型に分類できます。^{[6] [7] [8]} 計算集約型は、計算に依存するアプリケーション プログラムを表すために使用されます。このようなアプリケーションは、実行時間のほとんどを I/O ではなく計算要件に費やし、通常は少量のデータしか必要としません。計算集約型アプリケーションの並列処理では通常、アプリケーション プロセス内の個々のアルゴリズムを並列化し、アプリケーション プロセス全体を個別のタスクに分解します。その後、これらのタスクを適切なコンピューティング プラットフォームで並列実行して、シリアル処理よりも全体的に高いパフォーマンスを実現します。計算集約型アプリケーションでは、複数の操作が同時に実行され、各操作が問題の特定の部分に対応します。これは、多くの場合、タスク並列性と呼ばれます。

データ集約型とは、I/O に縛られたアプリケーション、または大量のデータを処理する必要があるアプリケーションを説明するために使用されます。^[9] このようなアプリケーションは、処理時間のほとんどを I/O とデータの移動および操作に費やします。 データ集約型アプリケーションの並列処理では通常、データを複数のセグメントに分割または細分化し、適切なコンピューティング プラットフォーム上で同じ実行可能アプリケーション プログラムを並列に使用して個別に処理し、結果を再構成して完成した出力データを生成します。^[10]データの総分布が大きいほど、データの並列処理の利点が大きくなります。データ集約型処理の要件は通常、データのサイズに応じて線形に拡大し、単純な並列化に非常に適しています。データ集約型コンピューティングの基本的な課題は、指数関数的に増加するデータ量を管理および処理すること、実用的でタイムリーなアプリケーションをサポートするために関連するデータ分析サイクルを大幅に削減すること、および大量のデータの検索と処理に拡張できる新しいアルゴリズムを開発することです。研究者たちは、コンピュータの処理速度を表すMIPSという用語と同様に、レコード処理速度を測定するために「1秒あたり数十億のレコード」を表すBORPSという用語を作り出した。 ^[11]

データ並列アプリケーションをサポートできるコンピュータ システム アーキテクチャは、2000 年代初頭に、データ集約型コンピューティングの大規模データ処理要件を満たすために推進されました。^[12] データ並列処理では、データ セットの各データ項目に個別に計算が適用され、データの量に応じて並列処理の度合いを調整できます。データ並列アプリケーションを開発する最も重要な理由は、スケーラブルなパフォーマンスの可能性であり、数桁のパフォーマンス向上につながる可能性があります。データ並列処理を使用してアプリケーションを開発する際の主な問題は、アルゴリズムの選択、データ分解の戦略、処理ノードの負荷分散、ノード間のメッセージ パッシング通信、および結果の全体的な精度です。^[13] データ並列アプリケーションの開発には、利用可能なプログラミング ツールのコンテキストで問題を定義し、対象アーキテクチャの制限に対処するために、プログラミングの複雑さがかなり伴う場合があります。Web ドキュメントからの情報抽出とインデックス作成は、データ集約型コンピューティングの典型的な例であり、Web やその他の種類のドキュメント コレクションを通常並列処理できるため、データ並列実装から大幅なパフォーマンス上のメリットを得ることができます。^[14]

米国国立科学財団（NSF）は2009年から2010年にかけて研究プログラムに資金を提供した。^[15]重点分野は以下の通りである。

• データ集約型システムにおけるデータの並列処理に対処するための並列プログラミングへのアプローチ
• データの並列処理を自然に表現できるモデル、言語、アルゴリズムなどのプログラミング抽象化
• 高いレベルの信頼性、効率性、可用性、およびスケーラビリティを提供するデータ集約型コンピューティング プラットフォームの設計。
• このコンピューティングパラダイムを活用できるアプリケーションを特定し、新しいデータ集約型アプリケーションをサポートするためにどのように進化させるべきかを決定します。

パシフィック・ノースウェスト国立研究所は、データ集約型コンピューティングを「現在の技術の限界を押し広げる量と速度でデータをキャプチャ、管理、分析、理解すること」と定義しました。^{[16] [17]}

データ集約型コンピューティング プラットフォームでは通常、高速通信スイッチとネットワークを使用して接続された大規模な汎用コンピューティング クラスターで複数のプロセッサとディスクを組み合わせた並列コンピューティングアプローチを使用します。これにより、利用可能なコンピューティング リソース間でデータを分割し、独立して処理して、データ量に基づいたパフォーマンスとスケーラビリティを実現できます。クラスターは、単一の統合コンピューティング リソースとして連携して動作する、相互接続されたスタンドアロン コンピューターのコレクションで構成される、並列分散システムの一種として定義できます。 ^[18]この並列処理アプローチは、プロセッサー、ローカル メモリ、ディスク リソースで構成される各ノードがクラスター内の他のノードと何も共有しないため、「共有なし」アプローチと呼ばれることがよくあります。並列コンピューティングでは、このアプローチは、データ集約型コンピューティングや「恥ずかしいほど並列」な問題に適していると考えられています。つまり、問題をいくつかの並列タスクに分割することが比較的簡単で、タスクの全体的な管理以外にタスク間の依存関係や通信は必要ありません。これらのタイプのデータ処理の問題は、クラスター、データ グリッド、クラウド コンピューティングなど、さまざまな形式の分散コンピューティングに本質的に適応できます。

データ集約型コンピューティング システムには、他の形式のコンピューティング システムとは異なる共通の特性がいくつかあります。

1. 計算を実行するには、データとプログラムまたはアルゴリズムの収集の原則が使用されます。データ集約型コンピューティングで高いパフォーマンスを実現するには、データの移動を最小限に抑えることが重要です。^[19] この特性により、データが存在するノードで処理アルゴリズムを実行できるため、システムのオーバーヘッドが削減され、パフォーマンスが向上します。^[7] InfiniBand などの新しいテクノロジにより、データを別のリポジトリに保存し、コロケートされたデータに匹敵するパフォーマンスを実現できます。
2. 利用されるプログラミングモデル。データ集約型コンピューティングシステムは、マシンに依存しないアプローチを採用しており、アプリケーションはデータに対する高レベルの操作の観点から表現され、ランタイムシステムは、分散コンピューティングクラスター全体にわたるプログラムとデータのスケジュール、実行、負荷分散、通信、移動を透過的に制御します。^{[20]プログラミング抽象化と言語ツールにより、新しいデータフロー}プログラミング言語とソートなどの一般的なデータ操作アルゴリズムの共有ライブラリ を組み込んだデータフローと変換の観点から処理を表現できます。
3. 信頼性と可用性に重点を置いています。数百または数千の処理ノードを持つ大規模システムは、本質的にハードウェア障害、通信エラー、およびソフトウェア バグの影響を受けやすくなります。データ集約型コンピューティング システムは、障害耐性を持つように設計されています。これには通常、ディスク上のすべてのデータ ファイルの冗長コピー、ディスク上の中間処理結果の保存、ノードまたは処理障害の自動検出、および結果の選択的な再計算が含まれます。
4. 基盤となるハードウェアおよびソフトウェア アーキテクチャの固有のスケーラビリティ。データ集約型コンピューティング システムは、通常、線形に拡張できるため、実質的にあらゆる量のデータに対応したり、処理ノードを追加するだけで時間重視のパフォーマンス要件を満たすことができます。特定のアプリケーションに割り当てられるノード数と処理タスク数は、ハードウェア、ソフトウェア、通信、および分散ファイル システムアーキテクチャに応じて、可変または固定にすることができます。

データ集約型コンピューティングや大規模データ分析アプリケーション向けに、さまざまなシステムアーキテクチャが実装されてきました。これには、20年以上にわたって処理ノードのシェアードナッシングクラスターで実行できる並列および分散リレーショナルデータベース管理システムが含まれます。 ^[21] しかし、データの増加のほとんどは非構造化形式のデータで発生しており、より柔軟なデータモデルを備えた新しい処理パラダイムが必要でした。Googleが先駆けて開発し、現在はYahoo、Facebookなど で使用されているHadoopと呼ばれるオープンソース実装で利用できるMapReduceアーキテクチャなど、いくつかのソリューションが登場しています。LexisNexis Risk Solutionsも、 LexisNexisが使用するデータ集約型コンピューティング用のスケーラブルなプラットフォームを開発および実装しました。

Googleが先駆けて開発したMapReduceアーキテクチャとプログラミングモデルは、データ集約型コンピューティング向けに設計された最新のシステムアーキテクチャの一例です。^[22] MapReduce アーキテクチャでは、関数型プログラミングスタイルを使用して、入力データに関連付けられたキーと値のペアを処理して中間キーと値のペアのセットを生成するマップ関数と、同じ中間キーに関連付けられたすべての中間値をマージするreduce関数を作成できます。入力データの分割、処理クラスター全体でのタスクのスケジュールと実行、ノード間の通信の管理などの詳細をシステムが自動で処理するため、並列プログラミングの経験がないプログラマでも大規模な分散処理環境を簡単に使用できます。

MapReduceアーキテクチャのプログラミング モデルは、計算が入力データに関連付けられた入力キーと値のペアのセットを受け取り、出力キーと値のペアのセットを生成するという単純な抽象化です。マップ フェーズでは、入力データが入力スプリットに分割され、クラスター内の処理ノードに関連付けられたマップ タスクに割り当てられます。マップ タスクは通常、クラスター内の割り当てられたデータ パーティションを含む同じノードで実行されます。これらのマップ タスクは、タスクに割り当てられた入力データのパーティションからの各入力キーと値のペアに対してユーザー指定の計算を実行し、各キーの中間結果のセットを生成します。次に、シャッフルおよびソート フェーズで、各マップ タスクによって生成された中間データを受け取り、このデータを他のノードからの中間データとともにソートし、このデータをリデュース タスクによって処理される領域に分割し、必要に応じてこのデータをリデュース タスクが実行されるノードに配布します。リデュース タスクは、中間データに対して追加のユーザー指定操作を実行し、キーに関連付けられた値をより小さな値のセットにマージして出力データを生成します。より複雑なデータ処理手順の場合は、複数の MapReduce 呼び出しを順番にリンクできます。

Apache Hadoopは、 Apache Software Foundationが後援するオープンソース ソフトウェア プロジェクトで、MapReduce アーキテクチャを実装しています。Hadoop は現在、ベース コア、MapReduce、HDFS 分散ファイルシステムに加えて、複数のサブプロジェクトを包含しています。これらの追加サブプロジェクトは、ベース Hadoop 実装に強化されたアプリケーション処理機能を提供しており、現在 Avro、Pig、HBase、ZooKeeper、Hive、Chukwa が含まれています。Hadoop MapReduce アーキテクチャは、Hadoop のベース プログラミング言語がC++ではなくJavaである点を除けば、Google 実装と機能的に似ています。この実装は、コモディティ プロセッサのクラスタで実行することを目的としています。

Hadoop は、MapReduce ジョブ用の分散データ処理のスケジュールと実行環境およびフレームワークを実装します。Hadoop には、Google MapReduce 実装のGFSに類似した HDFS と呼ばれる分散ファイル システムが含まれています。Hadoop 実行環境は、Hadoop MapReduce アーキテクチャを使用して実行するように設計された追加の分散データ処理機能をサポートします。これには、ランダム アクセス読み取り/書き込み機能を提供する分散列指向データベースのHBase 、 Hadoop 上に構築されたデータ ウェアハウスシステムの Hive があり、データの要約、アドホック クエリ、および大規模データセットの分析にSQLのようなクエリ機能を提供します。Pig は、データ集約型コンピューティング用の高レベル データフロー プログラミング言語および実行フレームワークです。

PigはYahoo!で開発され、データ分析アプリケーション用の特定の言語表記を提供し、Hadoop MapReduce環境を使用する際のプログラマの生産性を向上させ、開発サイクルを短縮します。Pigプログラムは、実行環境で必要に応じてMapReduceプログラムのシーケンスに自動的に変換されます。Pigは、データの読み込み、保存、フィルタリング、グループ化、重複排除、順序付け、並べ替え、集約、結合操作のための機能を言語で提供します。^[23]

HPCC (High-Performance Computing Cluster) は、 LexisNexis Risk Solutionsによって開発および実装されました。このコンピューティング プラットフォームの開発は 1999 年に開始され、アプリケーションは 2000 年後半までに実稼働しました。HPCC アプローチでは、 Linuxオペレーティング システムを実行するハードウェアのコモディティ クラスターも利用します。カスタム システム ソフトウェアとミドルウェア コンポーネントが開発され、ベース Linux オペレーティング システム上にレイヤー化されて、データ集約型コンピューティングに必要な実行環境と分散ファイル システム サポートが提供されます。LexisNexis は、データ集約型コンピューティング用の新しい高水準言語も実装しました。

ECLプログラミング言語は、高水準で宣言型、データ中心、暗黙的に並列化された言語であり、プログラマーは、データ処理の結果と、その結果を達成するために必要なデータフローおよび変換を定義できます。ECL 言語には、データ定義、フィルタリング、データ管理、およびデータ変換の広範な機能が含まれており、ユーザー定義の変換関数を含むことができるデータセット内のレコードを操作するための広範な組み込み関数セットが提供されます。ECL プログラムは、最適化されたC++ソース コードにコンパイルされ、その後、実行可能コードにコンパイルされて、処理クラスターのノードに配布されます。

データ集約型コンピューティング アプリケーションのバッチおよびオンラインの両方の側面に対応するために、HPCC には 2 つの異なるクラスター環境が含まれており、それぞれを並列データ処理の目的に合わせて個別に最適化できます。Thor プラットフォームは、データ クレンジングとハイジーン、抽出、変換、ロード(ETL)、レコード リンクとエンティティ解決、大規模なアドホック データの分析、および高性能な構造化クエリとデータ ウェアハウス アプリケーションをサポートするためのキー データとインデックスの作成などのアプリケーション用の大量の生データを処理するデータ精製所となることを目的としたクラスターです。Thor システムは、ハードウェア構成、機能、実行環境、ファイル システム、および機能が Hadoop MapReduce プラットフォームに似ていますが、同等の構成でより高いパフォーマンスを提供します。Roxie プラットフォームは、オンラインの高性能な構造化クエリおよび分析システムまたはデータ ウェアハウスを提供し、数千の同時クエリとユーザーを 1 秒未満の応答時間でサポートする Web サービス インターフェイスを通じて、オンライン アプリケーションの並列データ アクセス処理要件に対応します。Roxie システムは、HBaseおよびHive機能が追加されたHadoopと機能と機能が似ていますが、高性能なオンライン処理用に最適化された実行環境とファイル システムを提供します。 Thor システムと Roxie システムはどちらも、アプリケーションの実装に同じ ECL プログラミング言語を使用しているため、プログラマーの生産性が向上します。

• 暗黙の並列処理
• 超並列
• スーパーコンピュータ
• グラフ500