データ中心のプログラミング言語

データ中心のプログラミング言語は、データの管理と操作を主な機能とするプログラミング言語のカテゴリを定義します。データ中心のプログラミング言語には、セット、テーブル、リスト、その他のデータ構造やデータベースに格納されたデータにアクセスするための、またプログラミングアプリケーションに必要なデータの特定の操作と変換のための組み込み処理プリミティブが含まれています。データ中心のプログラミング言語は、通常、宣言型で、多くの場合データフロー指向であり、必要な処理結果を定義します。処理を実行するために必要な特定の処理手順は、言語コンパイラに任されます。SQLリレーショナルデータベース言語は、宣言型のデータ中心言語の例です。宣言型のデータ中心のプログラミング言語は、データ集約型のコンピューティングアプリケーションに最適です。

背景

インターネットとワールドワイドウェブの急速な成長により、オンラインで入手できる情報が膨大になり、ビッグデータ処理能力の必要性が高まっています。企業や政府機関は、処理、分析、リンクが必要な構造化情報と非構造化情報を大量に作成しています。 ^[1]この膨大な量のデータの保存、管理、アクセス、処理は、このデータを情報として検索、分析、マイニング、視覚化するというニーズを満たすための基本的なニーズであり、大きな課題です。^[2] データに焦点を当てることで、これらの問題を表現するのがはるかに簡単になるので、宣言型のデータ中心言語がますますこれらの問題に対処しています。^[3]

データ並列アプリケーションをサポートできるHadoopやHPCCなどのコンピュータシステムアーキテクチャは、データ集約型コンピューティングのテラバイトおよびペタバイト規模のデータ処理要件に対する潜在的なソリューションです。^[4]^[5]ビッグデータの問題に対処するために、コモディティハードウェアのクラスターが一般的に使用されています。^[6]ビッグデータアプリケーションとデータ集約型コンピューティングの基本的な課題^[7]は、指数関数的に増加するデータ量を管理および処理すること、実用的でタイムリーなアプリケーションをサポートするために関連するデータ分析サイクルを大幅に削減すること、大量のデータの検索と処理に拡張できる新しいアルゴリズムを開発することです。国立科学財団は、データの並列処理を自然に表現できるモデル、言語、アルゴリズムなどのプログラミング抽象化など、データ集約型コンピューティングの問題に関連する主要な問題を特定しました。^[8]宣言型のデータ中心のプログラミング言語は、この種の問題に適しています。

データ中心のプログラミング言語は、アプリケーションがデータに対する高レベルの操作の観点から表現され、ランタイムシステムがスケジューリング、実行、負荷分散、通信、コンピューティングクラスター全体のプログラムとデータの移動を透過的に制御する処理アプローチを提供します。^[9]プログラミング抽象化と言語ツールにより、ソートなどの一般的なデータ操作アルゴリズムの共有ライブラリを組み込んだデータフローと変換の観点から処理を表現できます。

宣言型データ中心プログラミング言語は、本質的に、クラスターやデータグリッド、クラウドコンピューティングなど、さまざまな形式の分散コンピューティングに適応できます。^[10] 宣言型のデータ中心プログラミング言語を使用することは、新しいコンピューティング機能に適応するだけでなく、データ分析やアプリケーションの設計の思考プロセスにも変化をもたらすことを示唆しています。^[11]

データ中心言語の例

SQL は最もよく知られた宣言型のデータ中心のプログラミング言語であり、1980 年代から使用されており、リレーショナルデータベースで使用するための事実上の標準となっています。しかし、データ集約型コンピューティング、ビッグデータアプリケーション、大規模データ分析アプリケーション向けに、さまざまな新しいシステムアーキテクチャと関連プログラミング言語が実装されてきました。データの増加のほとんどは非構造化形式のデータで発生しており^[12]、より柔軟なデータモデルを備えた新しい処理パラダイムが必要でした。Google が先駆けて開発し、現在は Yahoo、Facebook などで使用されている Hadoop と呼ばれるオープンソース実装で利用できる MapReduce アーキテクチャや、LexisNexis Risk Solutions が提供する HPCC システムアーキテクチャなど、いくつかのソリューションが登場しています。

ハドゥープピッグ

Hadoop は、Apache Software Foundation (http://www.apache.org) が後援するオープンソースソフトウェアプロジェクトで、MapReduce アーキテクチャを実装しています。Hadoop 実行環境は、Hadoop MapReduce アーキテクチャを使用して実行するように設計された追加の分散データ処理機能をサポートしています。これには、データ集約型コンピューティング用の高レベルデータフロープログラミング言語および実行フレームワークである Pig が含まれます。Pig は、データ分析アプリケーションに特定のデータ中心の言語表記を提供し、Hadoop MapReduce 環境を使用する際のプログラマの生産性を向上させ、開発サイクルを短縮するために、Yahoo! で開発されました。Pig プログラムは、実行環境で必要な場合、MapReduce プログラムのシーケンスに自動的に変換されます。Pig は、データの読み込み、保存、フィルタリング、グループ化、重複排除、順序付け、並べ替え、集約、結合操作を行う機能を言語で提供します。^[13] 図 1 はサンプルの Pig プログラムを示し、図 2 はこれが一連の MapReduce 操作に変換される様子を示しています。

HPCC ECL

LexisNexis Risk Solutions の HPCC データ集約型コンピューティングプラットフォームには、 ECLと呼ばれる新しい高レベル宣言型データ中心プログラミング言語が含まれています。ECL を使用すると、プログラマーはデータ処理結果と、その結果を達成するために必要なデータフローと変換を定義できます。ECL 言語には、データ定義、フィルタリング、データ管理、およびデータ変換の広範な機能が含まれており、ユーザー定義の変換関数を含めることができるデータセット内のレコードを操作するための広範な組み込み関数セットが提供されています。ECL プログラムは、最適化された C++ ソースコードにコンパイルされ、その後、実行可能コードにコンパイルされて、処理クラスターのノードに配布されます。ECL は、データ表現とアルゴリズム実装を組み合わせたもので、クエリ言語と並列データ処理言語の両方を融合したものです。

ECL には、PROJECT、ITERATE、ROLLUP、JOIN、COMBINE、FETCH、NORMALIZE、DENORMALIZE、および PROCESS を含む、データセット全体を処理する組み込みデータ変換操作が含まれています。たとえば、JOIN 操作用に定義された変換関数は、結合される各データセットから 1 つずつ、合計 2 つのレコードを受け取り、レコードのペアのフィールドに対して任意の操作を実行し、入力レコードのいずれとも完全に異なる出力レコードを返します。ECL 言語リファレンスマニュアルの JOIN 操作の構文例を図 3 に示します。図 4 は、図 1 の Pig サンプルプログラムに相当する ECL コードの例を示しています。

ECL プログラミング言語には、PATTERN 文と組み込みの PARSE 操作による自然言語処理(NLP) 用の組み込みプリミティブも用意されています。PATTERN 文を使用すると、正規表現を含む一致パターンを定義して、生のテキストなどの非構造化データから情報を解析するために使用できます。PATTERN 文を組み合わせて、複雑な解析操作を実装したり、 Backus-Naur 形式(BNF) 定義から文法を完成させたりすることができます。PARSE 操作は、レコードのデータセット全体にわたって、レコード内の特定のフィールドに対して実行されます。このフィールドは、たとえばテキストファイルの 1 行全体である場合があります。ECL 言語のこの機能を使用すると、ドキュメントファイルや、XML ベースのドキュメントや Web ページを含むあらゆる種類の非構造化データと半構造化データに対して、並列処理フォーム情報抽出アプリケーションを実装できます。図 5 は、NLP を組み込んだログ分析アプリケーションで使用される ECL コードの例を示しています。

参照

参考文献

^ クラウドコンピューティングハンドブック、「クラウドコンピューティング向けのデータ集約型テクノロジ」、AM Middleton 著。クラウドコンピューティングハンドブック。Springer、2010 年。
^ 「データは手に入ったか? 情報化時代のデータ保存ガイド」F. Berman 著。Communications of the ACM、第 51 巻、第 12 号、2008 年、50 ～ 66 ページ。
^ The Data Centric Gambit、J. Hellerstein 著、2008 年。
^ 「データ並列アプリケーションの設計方法論」、LS Nyland、JF Prins、A. Goldberg、PH Mills 著。クラウドコンピューティングハンドブック。Springer、2010 年。
^ 「テラスケールの挑戦^{[リンク切れ‍ ]}」、D. Ravichandran、P. Pantel、E. Hovy 著。セマンティックウェブのマイニングに関する KDD ワークショップの議事録、2004 年。
^ 「BOOM: データセンターにおけるデータ中心のプログラミング^{[リンク切れ‍ ]}」、P. Alvaro、T. Condie、N. Conway、K. Elmeleegy、J. Hellerstein、および R. Sears 著。カリフォルニア大学バークレー校電気工学およびコンピュータサイエンス学部、技術レポート、2009 年。
^ 「21世紀のデータ集約型コンピューティング」I. Gorton、P. Greenfield、A. Szalay、R. Williams著。IEEE Computer、Vol. 41、No. 4、2008年、pp. 30-32。
^ データ集約型コンピューティング、NSF、2009年。
^ データ集約型スケーラブルコンピューティング、RE Bryant 著、2008 年。
^ Bamboo: メニーコアソフトウェアに対するデータ中心のオブジェクト指向アプローチ、J. Zhou および B. Demsky 著。プログラミング言語の設計と実装、2010 年。
^ 「Netezza アーキテクチャによるデータセントリックコンピューティング」、GS Davison、KW Boyack、RA Zacharski、SC Helmreich、JR Cowie 著。Sandia National Laboratories、技術レポート、2006 年。
^ 「The Expanding Digital Universe」JF Gantz、D. Reinsel、C. Chute、W. Schlichting、J. McArthur、S. Minton、J. Xheneti、A. Toncheva、A. Manfrediz 著。 IDC、ホワイトペーパー、2007 年。
^ abc Pig latin: A Not-So-Foreign Language for Data Processing Archived 2011-07-20 at the Wayback Machine、C. Olston、B. Reed、U. Srivastava、R. Kumar、A. Tomkins 著。スタンフォード大学、2008 年。

[1] クラウドコンピューティングハンドブック、「クラウドコンピューティング向けのデータ集約型テクノロジ」、AM Middleton 著。クラウドコンピューティングハンドブック。Springer、2010 年。

[2] 「データは手に入ったか? 情報化時代のデータ保存ガイド」F. Berman 著。Communications of the ACM、第 51 巻、第 12 号、2008 年、50 ～ 66 ページ。

[3] The Data Centric Gambit、J. Hellerstein 著、2008 年。

[4] 「データ並列アプリケーションの設計方法論」、LS Nyland、JF Prins、A. Goldberg、PH Mills 著。クラウドコンピューティングハンドブック。Springer、2010 年。

[5] 「テラスケールの挑戦^{[リンク切れ‍ ]}」、D. Ravichandran、P. Pantel、E. Hovy 著。セマンティックウェブのマイニングに関する KDD ワークショップの議事録、2004 年。

[6] 「BOOM: データセンターにおけるデータ中心のプログラミング^{[リンク切れ‍ ]}」、P. Alvaro、T. Condie、N. Conway、K. Elmeleegy、J. Hellerstein、および R. Sears 著。カリフォルニア大学バークレー校電気工学およびコンピュータサイエンス学部、技術レポート、2009 年。

[7] 「21世紀のデータ集約型コンピューティング」I. Gorton、P. Greenfield、A. Szalay、R. Williams著。IEEE Computer、Vol. 41、No. 4、2008年、pp. 30-32。

[8] データ集約型コンピューティング、NSF、2009年。

[9] データ集約型スケーラブルコンピューティング、RE Bryant 著、2008 年。

[10] Bamboo: メニーコアソフトウェアに対するデータ中心のオブジェクト指向アプローチ、J. Zhou および B. Demsky 著。プログラミング言語の設計と実装、2010 年。

[11] 「Netezza アーキテクチャによるデータセントリックコンピューティング」、GS Davison、KW Boyack、RA Zacharski、SC Helmreich、JR Cowie 著。Sandia National Laboratories、技術レポート、2006 年。

[12] 「The Expanding Digital Universe」JF Gantz、D. Reinsel、C. Chute、W. Schlichting、J. McArthur、S. Minton、J. Xheneti、A. Toncheva、A. Manfrediz 著。 IDC、ホワイトペーパー、2007 年。

[PigLatin-13] Pig latin: A Not-So-Foreign Language for Data Processing Archived 2011-07-20 at the Wayback Machine、C. Olston、B. Reed、U. Srivastava、R. Kumar、A. Tomkins 著。スタンフォード大学、2008 年。