Loading article…
 | |
| 開発者 | MonetDB財団 |
|---|---|
| 安定版リリース | 2024年8月 (11.51) [1]
/ |
| リポジトリ |
|
| 書かれた | Ｃ |
| オペレーティング·システム | クロスプラットフォーム |
| タイプ | 列指向DBMS RDBMS |
| ライセンス | Mozilla パブリック ライセンス、バージョン 2.0 |
| Webサイト | 詳しくはこちら |
MonetDBは、もともとオランダのCentrum Wiskunde & Informatica (CWI)で開発されたオープンソースの 列指向 リレーショナルデータベース管理システム(RDBMS)です。数百の列と数百万の行を持つテーブルを組み合わせるなど、大規模なデータベースに対する複雑なクエリで高いパフォーマンスを発揮するように設計されています。MonetDBは、オンライン分析処理、データマイニング、地理情報システム(GIS)、[2]リソース記述フレームワーク(RDF)、[3]テキスト検索、シーケンスアライメント処理などの高性能アプリケーションに適用されています。[4]
歴史
1990年代のデータマイニングプロジェクトでは、分析データベースのサポートの改善が必要でした。その結果、CWIからData Distilleriesという スピンオフが生まれ、初期のMonetDB実装を分析スイートに使用しました。Data Distilleriesは最終的に2003年にSPSSの子会社となり、 2009年にIBMに買収されました。[5]
現在の形の MonetDB は、アムステルダム大学で 1990 年代に行われた MAGNUM 研究プロジェクトの一環として、博士課程の学生Peter BonczとMartin L. Kersten教授によって 2002 年に初めて作成されました。[6]当初は、フランスの印象派画家Claude Monetにちなんで、単に Monet と呼ばれていました。オープンソース ソフトウェアライセンス ( Mozilla Public Licenseの修正版) による最初のバージョンは、2004 年 9 月 30 日にリリースされました。MonetDB バージョン 4 がオープンソース ドメインにリリースされたとき、 SQL:2003標準をサポートする新しい SQL フロントエンドなど、コード ベースに多くの拡張機能が MonetDB/CWI チームによって追加されました。[7]
MonetDB はDBMSのすべてのレイヤーに革新をもたらしました。垂直フラグメンテーションに基づくストレージ モデル、CPUに合わせて調整された最新のクエリ実行アーキテクチャなどです。これにより、MonetDB は、一般的なインタープリタ ベースのRDBMSと同じアルゴリズムで速度面で優位に立つことが多くなりました。これは、 CPU キャッシュに合わせてクエリの最適化を調整した最初のデータベース システムの 1 つです。MonetDB には、自動および自己調整インデックス、実行時クエリの最適化、およびモジュール型ソフトウェア アーキテクチャが含まれています。[8] [9]
2008年までに、X100（MonetDB/X100）と呼ばれる後継プロジェクトが開始され、VectorWiseテクノロジーに進化しました。VectorWiseはActian Corporationに買収され、Ingresデータベースと統合され、商用製品として販売されました。[10] [11]
2011年に、MonetDBのコードベースを刷新する大規模な取り組みが開始されました。その一環として、MonetDB 4カーネルとそのXQueryコンポーネントのコードが凍結されました。MonetDB 5では、SQL層の一部がカーネルにプッシュされました。[7]結果として生じた変更により、MonetDB命令言語（MIL）からMonetDBアセンブリ言語（MAL）に移行したため、内部APIに違いが生じました。古くてメンテナンスされなくなったトップレベルのクエリインターフェースも削除されました。最初はXQueryで、MonetDB 4に依存しており、バージョン5に移植されることはありませんでした。[12]実験的なJaqlインターフェースのサポートは、2014年10月のリリースで削除されました。 [13] 2015年7月のリリースでは、MonetDBは読み取り専用のデータシャーディングと永続インデックスのサポートを獲得しました。[14]さらに、ライセンスはMozillaパブリックライセンスバージョン2.0に変更されました。
建築
MonetDB のアーキテクチャは 3 つのレイヤーで表され、それぞれに独自のオプティマイザー セットがあります。[15] フロントエンドは最上位レイヤーで、SQLのクエリ インターフェースを提供します。SciQL およびSPARQLインターフェースは開発中です。クエリは、SQL のリレーショナル代数のようなドメイン固有の表現に解析され、最適化されます。生成された論理実行プランは、MonetDB アセンブリ言語 (MAL) 命令に変換され、次のレイヤーに渡されます。中間またはバックエンド レイヤーは、MAL 用のコストベースのオプティマイザーをいくつか提供します。最下位レイヤーはデータベース カーネルで、バイナリ アソシエーション テーブル (BAT) に格納されたデータへのアクセスを提供します。各 BAT は、データベース内の 1 つの列を表すオブジェクト識別子と値列で構成されるテーブルです。[15]
MonetDB の内部データ表現は、メモリ マップ ファイルのデマンド ページングを使用する最新の CPU のメモリ アドレス範囲にも依存しており、限られたメモリ内での大規模なデータ ストアの複雑な管理を伴う従来の DBMS 設計とは異なります。
クエリのリサイクル
クエリリサイクルは、列ストア DBMS の演算子 1 回ごとのパラダイムの副産物を再利用するためのアーキテクチャです。リサイクルは、高価な計算の結果を格納して再利用するという一般的なアイデアを利用しています。低レベルの命令キャッシュとは異なり、クエリリサイクルでは、キャッシュする命令を事前に選択するためにオプティマイザを使用します。この手法は、自己組織化方式で動作しながら、クエリの応答時間とスループットを向上させるように設計されています。[16] Milena Ivanova、 Martin Kersten、Niels Nes、および Romulo Goncalvesで構成されるCWIデータベースアーキテクチャグループの著者は、クエリリサイクルに関する研究でACM SIGMOD 2009 カンファレンスで「最優秀論文賞」を獲得しました。[17] [18]
データベースクラッキング
MonetDB は、データベース クラッキングを導入した最初のデータベースの 1 つです。データベース クラッキングは、データの増分部分インデックス作成および/またはソートです。これは、MonetDB の列指向性を直接利用します。クラッキングは、インデックスのメンテナンスのコストを更新からクエリ処理に移行する手法です。クエリ パイプライン オプティマイザーは、クエリ プランを調整してこの情報をクラッキングし、伝播するために使用されます。この手法により、アクセス時間が改善され、自己組織化された動作が可能になります。[19]データベース クラッキングは、 ACM SIGMOD 2011 J.Gray 最優秀論文賞を受賞しました。 [20]
コンポーネント
MonetDB には、データベース エンジンの機能を拡張する拡張機能が多数存在します。3 層アーキテクチャにより、最上位レベルのクエリ インターフェイスは、バックエンド層とカーネル層で行われる最適化の恩恵を受けることができます。
構文
MonetDB/SQLはトップレベルの拡張機能であり、SQL:2003標準に準拠したトランザクションを完全にサポートします。[15]
地理情報システム
MonetDB/GISは、 Open Geospatial Consortium (OGC)のSimple Features Access標準をサポートするMonetDB/SQLの拡張機能です。[2]
サイQL
SciQL は、配列を第一級オブジェクトとする科学アプリケーション用の SQL ベースのクエリ言語です。SciQL により、MonetDB は配列データベースとして効果的に機能できます。SciQL は、欧州連合のPlanetData Archived 2014-05-30 at the Wayback Machineおよび TELEIOS プロジェクトで、Data Vault テクノロジとともに使用され、大規模な科学データ リポジトリへの透過的なアクセスを提供しています。[21] Data Vault は、分散リポジトリのデータを SciQL 配列にマッピングし、MonetDB での時空間データの処理を改善します。 [22] SciQL は、 Human Brain Project向けにさらに拡張される予定です。[23]
データ ボールト
Data Vault は、 SQL/MED標準に似た、MonetDB 用のデータベース接続外部ファイル リポジトリです。Data Vault テクノロジにより、分散/リモート ファイル リポジトリとの透過的な統合が可能になります。科学データの探索とマイニング、特にリモート センシングデータ用に設計されています。[22] GeoTIFF (地球観測)、FITS (天文学)、MiniSEED (地震学)、NetCDF形式がサポートされています。[22] [24] データは元の形式でファイル リポジトリに保存され、必要な場合にのみ遅延方式でデータベースにロードされます。データ形式で必要な場合は、システムが取り込み時にデータを処理することもできます。 [25] その結果、必要なデータのみがデータベースで処理されるため、非常に大きなファイル リポジトリでも効率的に分析できます。データには、MonetDB SQL または SciQL インターフェイスからアクセスできます。データボールト技術は、地球観測データの仮想観測所の構築を目的とした欧州連合のTELEIOSプロジェクトで使用されました。 [24] FITSファイルのデータボールトは、INT Photometric H-Alpha Survey (IPHAS) の天文調査データの処理にも使用されています。 [26] [27]
サム/バム
MonetDBには、配列アライメントデータを効率的に処理するためのSAM/BAMモジュールがあります。バイオインフォマティクス研究を目的としたこのモジュールには、SAM/BAMデータローダーとDNAデータを操作するためのSQL UDFのセットがあります。[4]このモジュールは、人気のSAMtoolsライブラリを使用します。[28]
RDF/SPARQL
MonetDB/RDFは、リンクされたデータを操作するためのSPARQLベースの拡張機能であり、RDFのサポートを追加し、MonetDBをトリプルストアとして機能させます。Linked Open Data 2プロジェクトのために開発中です。[3]
R統合
MonetDB/Rモジュールを使用すると、 Rで記述されたUDF をシステムの SQL レイヤーで実行できます。これは、別のアプリケーション (この場合は RDBMS 内) に埋め込まれたネイティブ R サポートを使用して実行されます。以前は、 MonetDB.Rコネクタを使用して、MonetDB データ ソースを使用し、R セッションで処理することができました。MonetDB の新しい R 統合機能では、RDBMS と R セッション間でデータを転送する必要がないため、オーバーヘッドが削減され、パフォーマンスが向上します。この機能は、ユーザーが R 統計ソフトウェアの機能にアクセスして、RDBMS に格納されているデータのインライン分析を行えるようにすることを目的としています。これは、C UDF の既存のサポートを補完し、データベース内処理に使用することを目的としています。[29]
Python統合
MonetDB の埋め込み R UDF と同様に、データベースはPython / NumPyで記述された UDF をサポートするようになりました。実装では Numpy 配列 (それ自体が C 配列の Python ラッパー) を使用しているため、オーバーヘッドが制限され、ネイティブ SQL 関数に匹敵する速度で機能的な Python 統合が実現します。埋め込み Python 関数はマップされた操作もサポートしているため、ユーザーは SQL クエリ内で Python 関数を並列に実行できます。この機能の実用的な側面として、ユーザーは Python/NumPy/ SciPyライブラリにアクセスでき、幅広い統計/分析関数を選択できます。[30]
MonetDB組み込み
MonetDB の R および R UDF 用組み込みドライバ (MonetDB/R) のリリースに続いて、著者らは R の MonetDB 組み込みバージョンであるMonetDBLiteを作成し、その後 Python および Java 用の組み込みバージョンが続きました。これらは組み込み可能なパッケージとして配布されており、以前の API 統合に必要だったデータベース サーバーの管理が不要になりました。DBMS はプロセス自体内で実行されるため、ソケット通信とシリアル化のオーバーヘッドがなくなり、効率が大幅に向上します。その背後にある考え方は、インメモリ最適化された列ストアのパフォーマンスを備えたSQLiteのようなパッケージを簡単に組み込むことです。 [31]
以前の拡張
以前の拡張機能の多くは時間の経過とともに非推奨となり、安定したコードベースから削除されました。注目すべき例としては、MonetDBバージョン5で削除されたXQuery拡張機能、 JAQL拡張機能、およびData Cellと呼ばれるストリーミングデータ拡張機能などがあります。[15] [32] [33]
参照
参考文献
- ^ 「MonetDB リリースノート」。2024年8月19日。
- ^ ab "GeoSpatial - MonetDB". 2023年7月25日.
- ^ ab 「MonetDB - LOD2 - インターラインデータからの知識の創出」2014年3月6日。
- ^ ab 「MonetDBのライフサイエンス」。2023年7月25日。
- ^ 「MonetDB の簡単な歴史」 2014 年 3 月 6 日。
- ^ Boncz, Peter (2002 年 5 月). Monet: クエリ集約型アプリケーション向けの次世代 DBMS カーネル(PDF) (博士論文). アムステルダム大学. 2011 年 8 月 13 日時点のオリジナル(PDF)からのアーカイブ。
- ^ ab MonetDB の歴史的背景
- ^ Stefan Manegold (2006 年 6 月)。「XQuery プロセッサの実証的評価」(PDF)。データ管理システムのパフォーマンスと評価に関する国際ワークショップの議事録 (ExpDB) 。33 (2)。ACM: 203–220。doi : 10.1016/j.is.2007.05.004。2013年12月11 日に閲覧。
- ^ PA Boncz、T. Grust、M. van Keulen、S. Manegold、J. Rittinger、J. Teubner。MonetDB/XQuery: リレーショナル エンジンを搭載した高速 XQuery プロセッサ。Wayback Machineに 2008-05-19 にアーカイブ。ACM SIGMOD International Conference on Management of Data、シカゴ、イリノイ州、米国、2006 年 6 月の議事録に掲載。
- ^ Marcin Zukowski、Peter Boncz (2012 年 5 月 20 日)。「x100 からベクトルワイズへ」。2012 ACM SIGMOD 国際データ管理会議議事録。ACM。pp . 861–862。doi : 10.1145 /2213836.2213967。ISBN 978-1-4503-1247-9. S2CID 9187072。
- ^ Inkster, D.; Zukowski, M.; Boncz, PA (2011 年 9 月 20 日). 「VectorWise と Ingres の統合」(PDF) . ACM SIGMOD 記録. 40 (3). ACM: 45. CiteSeerX 10.1.1.297.4985 . doi :10.1145/2070736.2070747. S2CID 6372175.
- ^ 「XQuery」。2014年12月12日。
- ^ 「MonetDB Oct2014 リリースノート」。2014 年 12 月 12 日。
- ^ 「MonetDB 2015年7月リリース」。2015年8月31日。
- ^ abcd Idreos, S.; Groffen, FE; Nes, NJ; Manegold, S.; Mullender, KS; Kersten, ML (2012 年 3 月)。「MonetDB: 列指向データベース アーキテクチャの 20 年間の研究」(PDF)。IEEEデータ エンジニアリング速報。IEEE: 40–45。2014年3 月 6 日閲覧。
- ^ * Ivanova, Milena G; Kersten, Martin L; Nes, Niels J; Goncalves, Romulo AP (2010). 「列ストアで中間物をリサイクルするためのアーキテクチャ」. ACM Transactions on Database Systems . 35 (4). ACM: 24. doi :10.1145/1862919.1862921. S2CID 52811192.
- ^ 「CWI データベース チームが SIGMOD 2009 で最優秀論文賞を獲得」。CWI アムステルダム。2009年 7 月 1 日閲覧。
- ^ 「SIGMOD Awards」。ACM SIGMOD 。 2014年7月1日閲覧。
- ^ Idreos, Stratos; Kersten, Martin L ; Manegold, Stefan (2007).データベースクラッキング。CIDR 議事録。
- ^ 「SIGMOD Awards」。ACM SIGMOD 。 2014年12月12日閲覧。
- ^ Zhang, Y.; Scheers, LHA; Kersten, ML; Ivanova, M.; Nes, NJ (2011). 「配列データ用の SQL ベースのクエリ言語である SciQL を使用した天文データ処理」。天文データ分析ソフトウェアおよびシステム。
- ^ abc Ivanova, Milena; Kersten, Martin; Manegold, Stefan (2012). 「データ ボールト: データベース テクノロジーと科学ファイル リポジトリの共生」.科学および統計データベース管理. SSDBM 20212. Springer Berlin Heidelberg. pp. 485–494.
- ^ 「SciQL」2014年3月4日。
- ^ ab Ivanova, Milena; Kargin, Yagiz; Kersten, Martin; Manegold, Stefan; Zhang, Ying; Datcu, Mihai; Molina, Daniela Espinoza (2013). 「データ ボールト: 科学ファイル リポジトリへのデータベースのようこそ」。第25 回国際科学および統計データベース管理会議の議事録。SSDBM。ACM。doi : 10.1145/2484838.2484876。ISBN 978-1-4503-1921-8。
- ^ Kargin, Yagiz; Ivanova, Milena; Zhang, Ying; Manegold, Stefan; Kersten, Martin (2013 年 8 月)。「Lazy ETL の実践: ETL テクノロジーが科学データを日付付けする」( PDF)。VLDB Endowment の議事録。6 (12): 1286–1289。doi : 10.14778 /2536274.2536297。ISSN 2150-8097 。
- ^ 「MonetDB Data Vaults を使用した天文データ分析」2015 年 9 月 9 日。
- ^ 「データ ボールト」 2015 年 9 月 9 日。
- ^ 「SAM/BAM のインストール」。2014 年 11 月 24 日。
- ^ 「Embedded R in MonetDB」。2014年11月13日。2014年11月13日時点のオリジナルよりアーカイブ。2014年11月12日閲覧。
- ^ 「MonetDB に Python/NumPy を組み込む」 2015 年 1 月 11 日。
- ^ 「MonetDBLite for R」2015年11月25日。
- ^ 「Xquery (廃止)」。MonetDB 。 2015年5月26日閲覧。
- ^ 「お知らせ: MonetDB スイートの 2014 年 10 月新機能リリース」。MonetDB。2015年 5 月 26 日閲覧。
文献
- Boncz, Peter; Manegold, Stefan; Kersten, Martin (1999) 「新しいボトルネックに最適化されたデータベース アーキテクチャ: メモリ アクセス」国際大規模データベース会議の議事録pp. 54–65。
- Schmidt, Albrecht、Kersten, Martin、Windhouwer, Menzo、Waas, Florian (2001)。「XML ドキュメントの効率的なリレーショナル ストレージと検索」。World Wide Web とデータベース。コンピュータ サイエンスの講義ノート。第 1997 巻。Springer。pp. 137–150。doi : 10.1007 / 3-540-45271-0_9。ISBN 978-3-540-41826-9。
- Idreos, Stratos; Kersten, Martin L; Manegold, Stefan (2007).データベースクラッキング. CIDR Proceedings of CIDR .
- Boncz, Peter A; Kersten, Martin L; Manegold, Stefan (2008). 「MonetDB のメモリ ウォールの突破」Communications of the ACM . 51 (12). ACM: 77–85. doi :10.1145/1409360.1409380. S2CID 5633935.
- Sidirourgos, Lefteris; Goncalves, Romulo; Kersten , Martin; Nes, Niels; Manegold, Stefan (2008)。「RDF データ管理の列ストア サポート: すべての白鳥が白いわけではない」。VLDB基金の議事録。1 (2): 1553–1563。doi : 10.14778 /1454159.1454227。
- Ivanova, Milena G.; Kersten, Martin L.; Nes, Niels J.; Goncalves, Romulo AP (2009)。「列ストアで中間物をリサイクルするためのアーキテクチャ」。2009 ACM SIGMOD国際データ管理会議の議事録。SIGMOD '09。ACM。pp. 309–320。doi :10.1145/1559845.1559879。ISBN 978-1-60558-551-2。
- Manegold, Stefan; Boncz, Peter A.; Kersten , Martin L. (2000 年 12 月)。「新しいボトルネック: メモリ アクセスのためのデータベース アーキテクチャの最適化」。The VLDB Journal。9 ( 3) 。Springer -Verlag New York, Inc.: 231–246。doi :10.1007/s007780000031。ISSN 1066-8888。S2CID 1688757 。
- Ivanova, Milena G; Kersten, Martin L; Nes, Niels J; Goncalves, Romulo AP (2010)。「列ストアで中間物をリサイクルするためのアーキテクチャ」。ACM Transactions on Database Systems。35 ( 4)。ACM: 24。doi : 10.1145/1862919.1862921。S2CID 52811192 。
- Goncalves, Romulo & Kersten, Martin (2011). 「データサイクロトロンクエリ処理スキーム」. ACM Transactions on Database Systems . 36 (4). ACM: 27. doi :10.1145/2043652.2043660. S2CID 6707515.
- Kersten, Martin L; Idreos, Stratos; Manegold, Stefan; Liarou, Erietta (2011)。「研究者のためのデータ氾濫ガイド: わずか数秒で科学データベースをクエリする」。PVLDBの課題とビジョン。
- Kersten, M; Zhang, Ying; Ivanova, Milena; Nes, Niels (2011)。「SciQL、科学アプリケーションのためのクエリ言語」。EDBT /ICDT 2011 アレイ データベース ワークショップの議事録。ACM。pp. 1–12。
- Sidirourgos, Lefteris; Kersten, Martin; Boncz, Peter (2011)。SciBORQ : 実行時間と品質の境界による科学データ管理。CIDR 2011: 革新的データ システム研究に関する第 5 回隔年会議。Creative Commons。
- Liarou, Erietta; Idreos, Stratos; Manegold, Stefan; Kersten, Martin ( 2012 )。「MonetDB/DataCell: ストリーミング列ストアのオンライン分析」。VLDB Endowment の議事録。5 (12): 1910–1913。doi : 10.14778 /2367502.2367535。S2CID 545154 。
- Ivanova, Milena; Kersten, Martin; Manegold, Stefan (2012)。「データ ボールト: データベース テクノロジーと科学ファイル リポジトリの共生」。科学および統計データベース管理。SSDBM 2012。Springer Berlin Heidelberg。pp. 485–494。
- Kargin, Yagiz; Ivanova, Milena; Zhang, Ying; Manegold, Stefan; Kersten, Martin (2013 年 8 月)。「Lazy ETL の実践: ETL テクノロジーが科学データを日付付けする」( PDF)。VLDB基金の議事録。6 (12): 1286–1289。doi : 10.14778 /2536274.2536297。ISSN 2150-8097 。
- Sidirourgos, Lefteris & Kersten, Martin (2013)。「列インプリント: セカンダリ インデックス構造」。2013年国際データ管理会議の議事録。ACM。pp. 893–904。
- Ivanova, Milena; Kargin, Yagiz; Kersten, Martin; Manegold, Stefan; Zhang, Ying; Datcu, Mihai; Molina, Daniela Espinoza (2013)。「データ ボールト: 科学ファイル リポジトリへのデータベースのようこそ」。第25回国際科学および統計データベース管理会議の議事録。SSDBM。ACM。doi :10.1145 / 2484838.2484876。ISBN 978-1-4503-1921-8。
外部リンク
- MonetDBの公式ホームページ
- MonetDB ソリューション - MonetDB のプロフェッショナル サービス会社
- CWI のデータベース アーキテクチャ グループ - MonetDB のオリジナル開発者
- MonetDB を使用した科学プロジェクトのリスト
- MonetDB.R - MonetDB から R へのコネクタ