Loading article…
 | |
| 開発者 | HPCC システムズ、LexisNexis リスク ソリューションズ |
|---|---|
| 初回リリース | 2011年6月15日 |
| 安定版リリース | 7.4.18-1 / 2019年9月13日 |
| リポジトリ | https://github.com/hpcc-systems |
| 書かれた | C++、ECL |
| オペレーティング·システム | リナックス |
| ライセンス | Apache ライセンス2.0 |
| Webサイト | hpccsystems.com |
HPCC (High-Performance Computing Cluster) は、 DAS (Data Analytics Supercomputer)とも呼ばれ、LexisNexis Risk Solutionsが開発したオープンソースのデータ集約型コンピューティングシステム プラットフォームです。HPCC プラットフォームは、コモディティ コンピューティング クラスター上に実装されたソフトウェア アーキテクチャを組み込んでおり、ビッグ データを活用するアプリケーションに高性能なデータ並列処理を提供します。[1] HPCC プラットフォームには、並列バッチ データ処理 (Thor) とインデックス付きデータ ファイルを使用する高性能オンライン クエリ アプリケーション (Roxie) の両方をサポートするシステム構成が含まれています。[2] HPCC プラットフォームには、 ECLと呼ばれる並列データ処理用のデータ中心の宣言型プログラミング言語も含まれています。[3]
HPCCの一般公開は、LexisNexisによると、10年間の社内開発を経て、2011年に発表されました。これは、Hadoop [4]やその他のビッグデータプラットフォームの代替品です。[5]
システムアーキテクチャ
HPCC システム アーキテクチャには、ThorとRoxie という2 つの異なるクラスター処理環境が含まれており、それぞれを並列データ処理の目的に合わせて個別に最適化できます。
最初のプラットフォームはThorと呼ばれるデータ精製所で、その全体的な目的は、あらゆる目的のあらゆる種類の大量の生データの一般的な処理ですが、通常は、データのクレンジングと衛生、生データの ETL (抽出、変換、ロード) 処理、レコードのリンクとエンティティの解決、大規模でアドホックな複雑な分析、および高性能な構造化クエリとデータ ウェアハウス アプリケーションをサポートするためのキー付きデータとインデックスの作成に使用されます。データ精製所の名前Thorは、大量の生データを有用な情報に粉砕することを象徴する大きなハンマーを持つ北欧神話の雷神に由来しています。Thor クラスターは、機能、実行環境、ファイルシステム、および機能が Google およびHadoop MapReduceプラットフォームに似ています。
図 2 は、スケーラブルなデータ集約型コンピューティング アプリケーションのバッチ ジョブ実行エンジンとして機能する物理的な Thor 処理クラスターの表現を示しています。完全な HPCC 処理環境を実装するには、Thor マスター ノードとスレーブ ノードに加えて、追加の補助コンポーネントと共通コンポーネントが必要です。
2 つ目の並列データ処理プラットフォームはRoxieと呼ばれ、高速データ配信エンジンとして機能します。このプラットフォームは、オンラインの高性能な構造化クエリおよび分析プラットフォーム、またはデータ ウェアハウスとして設計されており、Web サービス インターフェイスを通じてオンライン アプリケーションの並列データ アクセス処理要件に対応し、1 秒未満の応答時間で数千の同時クエリとユーザーをサポートします。Roxie は分散インデックス ファイル システムを利用し、高性能オンライン処理用に最適化された実行環境とファイル システムを使用してクエリの並列処理を提供します。Roxie クラスターは、ElasticSearchや HadoopにHBaseとHive の機能が追加された機能と能力に似ており、ほぼリアルタイムで予測可能なクエリ待ち時間を実現します。Thor クラスターと Roxie クラスターはどちらも、アプリケーションの実装に ECL プログラミング言語を使用し、継続性とプログラマの生産性を向上させます。
図 3 は、高性能クエリおよびデータ ウェアハウス アプリケーション用のオンライン クエリ実行エンジンとして機能する物理的な Roxie 処理クラスターの図です。Roxie クラスターには、クエリを処理するためのサーバー プロセスとワーカー プロセスを備えた複数のノード、クラスターへの外部クライアント アクセス用のインターフェイスを提供する ESP サーバーと呼ばれる追加の補助コンポーネント、および HPCC 環境の Thor クラスターと共有される追加の共通コンポーネントが含まれます。Thor 処理クラスターは Roxie クラスターなしで実装および使用できますが、Roxie クラスターを含む HPCC 環境には Thor クラスターも含める必要があります。Thor クラスターは、Roxie クラスターで使用される分散インデックス ファイルを構築し、インデックス ファイルとともに Roxie クラスターに展開されるオンライン クエリを開発するために使用されます。
ソフトウェアアーキテクチャ
HPCC ソフトウェア アーキテクチャには、Thor クラスターと Roxie クラスターのほか、共通ミドルウェアコンポーネント、外部通信層、エンド ユーザー サービスとシステム管理ツールの両方を提供するクライアント インターフェイス、監視をサポートし、外部ソースからのファイル システム データの読み込みと保存を容易にする補助コンポーネントが組み込まれています。通常、HPCC 環境には Thor クラスターのみ、または Thor クラスターと Roxie クラスターの両方が含まれますが、Roxie は独自のインデックスを作成するために使用されることもあります。HPCC ソフトウェア アーキテクチャ全体を図 4 に示します。
HPCC システム
HPCC Systems (High Performance Computing Cluster) は、 LexisNexis Risk Solutionsの一部であり、HPCC ソフトウェアの宣伝と販売を目的として設立されました。2011 年 6 月、同社はオープンソースのデュアル ライセンス モデルでソフトウェアを提供することを発表しました。[6] [7] [8] [9]
HPCC Systemsは、コミュニティ版とエンタープライズ版の両方を提供しています。コミュニティ版は無料でダウンロードでき、ソースコードが含まれており、Apache License 2.0に基づいてリリースされています。エンタープライズ版は有料の商用ライセンスで利用でき、トレーニング、サポート、補償、追加モジュールが含まれています。2011年11月、HPCC SystemsはAmazon Web ServicesでThor Data Refinery Clusterが利用可能になったことを発表しました。[10] 2012年1月、HPCC Systemsは分散機械学習アルゴリズムを発表しました。[11]
参照
参考文献
- ^ クラウド コンピューティング ハンドブック、「クラウド コンピューティング向けのデータ集約型テクノロジ」、AM Middleton 著。クラウド コンピューティング ハンドブック。Springer、2010 年。
- ^ 「HPCC システム: HPCC (高性能コンピューティング クラスター) の概要」。2011 年 5 月 24 日。CiteSeerX 10.1.1.456.3571。
- ^ データ集約型コンピューティング ハンドブック、「ECL/HPCC: ビッグ データへの統合アプローチ」、AM Middleton 著。データ集約型コンピューティング ハンドブック。Springer、2011 年。
- ^ 「LexisNexis、ビッグデータ処理のためのHadoop代替手段をオープンソース化」ReadWrite 2011年6月15日。 2014年11月20日閲覧。
- ^ 「9 つの便利なオープンソース ビッグデータ ツール」。EnterpriseAppsToday。2015年11 月 11 日。2015年11 月 18 日閲覧。
- ^ 「LexisNexis が Hadoop キラーをオープンソース化」GigaOM 2011 年 6 月 15 日2014 年11 月 8 日閲覧。
- ^ 「LexisNexis、ビッグデータ処理のためのHadoop代替手段をオープンソース化」ReadWrite 2011年6月15日。 2014年11月20日閲覧。
- ^ 「HPCC、Hadoop に参入する新旧の企業」NetworkWorld 2011 年 6 月 16 日2014 年12 月 2 日閲覧。
- ^ 「LexisNexis が Linux Foundation に参加」。Linux Foundation。2011年 6 月 17 日。2014 年11 月 29 日閲覧。
- ^ 「HPCC、Amazon Web Services での ETL クラスターの提供開始を発表」。Cloud Computing Today。2012年 12 月 17 日。2014 年11 月 30 日閲覧。
- ^ 「HPCC Systems、機械学習ベータ版を発表」。Datanami 。 2012年1月31日。 2014年11月29日閲覧。
外部リンク
- サンディア国立研究所、データ管理の課題が急増
- サンディア国立研究所は、データ管理と分析の課題に対処するための画期的な高性能コンピューティングを提供する、LexisNexis Risk & Information Analytics Group のデータ分析スーパーコンピュータ (DAS) を活用しています。
- LexisNexis 高性能コンピューティング クラスターのプログラミング モデル
- LexisNexis データ解析スーパーコンピュータ
- LexisNexis HPCC システム
- BORPS (1秒あたり数十億レコード) という用語への参照
- LexisNexis がデータ管理の魔法を科学データに適用
- ハイパフォーマンスコンピューティングクラスター (HPCC) とビッグデータ分析証明書 - スタンドアロン
- FAU が国立科学財団の緊急対応助成金を受領し、エボラ出血熱の蔓延に対する革新的なコンピューターモデルを開発
- CPL Onlineはビッグデータプラットフォームを通じて顧客に付加価値を提供します
- HPCC システム