意味 「非常に 」や「大きい」 といった曖昧な形容詞は、幅広く主観的な解釈を可能にするが、指標と閾値を定義しようとする試みがなされてきた。初期の指標は、データベース正規化 による標準形式のデータベースのサイズ、または バックアップ などの完全なデータベース操作にかかる時間であった。技術の進歩により、 「非常に大きい」 とみなされるものが常に変化してきた。[ 6 ] [ 7 ]
ある定義では、データベースが「データベースが静止している時間帯、つまり機会の窓内で維持するには大きすぎる」場合に、データベースはVLDBになったと示唆している。[ 8 ]
VLDBデータベースのサイズ 引用できる絶対的なデータ量はありません。たとえば、1 TB を超えるデータを持つデータベースはすべて VLDB であるとは言えません。この絶対的なデータ量は、コンピュータの処理、ストレージ、バックアップ方法がより多くのデータを処理できるようになるにつれて、時間の経過とともに変化してきました。 [ 5 ] とはいえ、1 TB に近づく と VLDB の問題が現れ始める可能性があり、 [ 8 ] [ 9 ] 30 TB 程度を超えると、その問題が発生している可能性が非常に高くなります。 [ 10 ]
VLDBの課題 VLDBが課題となる可能性のある主な領域には、構成、ストレージ、パフォーマンス、保守、管理、可用性、サーバーリソースなどがある。[ 11 ] : 11
構成 VLDB領域に属するデータベースの慎重な構成は、VLDBデータベースによって生じる問題を軽減または削減するために必要である。[ 11 ] : 36-53 [ 12 ]
可用性とメンテナンス VLDB の保守および復旧に関連する操作、例えばデータベースの再編成やファイルのコピーなどは、非 VLDB では非常に実用的でしたが、VLDB データベースでは非常に多くの時間とリソースを要します。[ 14 ] 特に、ディスクや他のストレージ アーカイブからファイルをコピーする方法では、通常、リカバリ 時間目標 (RTO)、つまり中断によりデータベースが利用できなくなると予想される最大時間を満たすことは不可能です。[ 13 ] これらの問題を克服するために、クラスタリング、クローン/レプリケート/スタンバイ データベース、ファイル スナップショット、ストレージ スナップショット、バックアップ マネージャなどの技術が RTO と可用性の達成に役立つ可能性がありますが、個々の方法には制限、注意、ライセンス、インフラストラクチャ要件があり、データ損失のリスクがあり、リカバリ ポイント目標 (RPO) を満たさない場合もあります。[ 15 ] [ 16 ] [ 13 ] [ 17 ] [ 18 ] 多くのシステムでは、地理的に離れたソリューションのみが許容される場合があります。[ 19 ]
バックアップとリカバリ バックアップとリカバリは、全体的な可用性とビジネス継続性ソリューションの観点から設計するのがベストプラクティスです。[ 20 ] [ 21 ]
同じインフラストラクチャの場合、データベースのサイズが大きくなるにつれて、パフォーマンスが低下する、つまり応答時間が 長くなることが一般的です。アクセスによっては、処理(スキャン)するデータが増えるため、処理に比例して時間がかかります(線形時間 )。一方、データにアクセスするために使用されるインデックスの高さがわずかに増加するため、データに到達するために追加のストレージアクセスが必要になる場合があります(準線形時間 )。[ 22 ] その他の影響としては、比例してキャッシュできるデータが少なくなるため、キャッシュの 効率が低下することが挙げられます。B + などの一部のインデックスは自動的に成長にうまく対応しますが、 ハッシュテーブル などの他のインデックスは再構築が必要になる場合があります。
データベースのサイズが増加すると、データベースへのアクセス数が増加するため、サーバーとネットワーク リソースの消費量が増加し、競合 のリスクが高まります。パフォーマンスを回復するための解決策としては、パーティショニング 、クラスタリング( シャーディング を含む場合あり) 、またはデータベース マシン の使用などがあります。[ 23 ] : 390 [ 24 ]
サーバーリソース VLDBのサイズが大きくなると、サーバーやネットワークのリソースに負荷がかかり、ボトルネックが発生して、それを解消するためにインフラストラクチャへの投資が必要になる場合があります。[ 13 ] [ 28 ]
ビッグデータとの関係 VLDBはビッグデータ とは異なりますが、ビッグデータ のストレージ面ではVLDBデータベースが関係する場合があります。[ 2 ] とはいえ、ビッグデータ をサポートするストレージソリューションの中には、最初から大量のデータをサポートするように設計されているものもあるため、データベース管理者は、従来のRDBMS の古いバージョンで発生する可能性のあるVLDBの問題に遭遇しないかもしれません。[ 29 ]
参考文献 ↑ 「Oracle Database Online Documentation 11g Release 1 (11.1) / Database Administration Database Concepts」 . oracle . 18 Very Large Databases (VLDB) . 2018年 10月3日 取得 。1 2 「超大規模データベース (VLDB)」 . Technopedia . 2018年7月4日のオリジナルから アーカイブ済み. 2018年 10月3日 取得 . ↑ Gaines, RS および R. Gammill。「超大規模データベース:新たな研究分野」、非公式ワーキングペーパー、RAND Corporation ↑ データ処理雑誌 。ノースアメリカン出版会社。1964年。18、58ページ 。 1 2 Widlake, Marin (2009年9月18日). "VLDBとは何か?" . mwidlake . 2018年10月6日のオリジナルから アーカイブ 。 2018年 10月7日 取得。 ↑ Sidley, Edgar H. (1980年4月1日). コンピュータ科学技術百科事典:第14巻 - 超大規模データベースシステムからゼロメモリとマルコフ情報源まで . CRC Press. pp. 1–18 . ISBN 9780824722142 。↑ Gerritsen, Rob; Morgan, Howard; Zisman, Michael (1977年6月) 「データベースのいくつかの指標について、あるいは非常に大きなデータベースとは何か?」 ACM SIGMOD Record . 9 (1): 50–74 . doi : 10.1145/984382.984393 . ISSN 0163-5808 . S2CID 6359244 . 1 2 Rankins, Ray; Jensen, Paul; Bertucci, Paul (2002年12月18日). "21" . Microsoft SQL Server 2000 (第2 版). SAMS. ISBN 978-0672324673 非常に大規模なSQL Serverデータベースの管理。↑ 「Oracle Database Release 18 - VLDB およびパーティショニング ガイド」 。Oracle。1 超大規模データベースの概要。2018 年 10 月 3 日のオリジナルから アーカイブ。2018 年 10 月 3 日 取得 。 ↑ 「超大規模データベースの問題 - 30~100 TB データベースのバックアップとリカバリの方法」 (PDF) 。actifio。 2018年2月19日にオリジナルから アーカイブ (PDF) 。 1 2 Hussain, Syed Jaffer (2014). "Tuning & Applying Best Practices On Very Large Databases (VLDB)" (PDF) . Sangam: AIOUG. 2018年10月4日にオリジナルから アーカイブ (PDF) 。 ↑ Chaves, Warner (2015年1 月 7日)。 「SQL Serverの非常に大規模なデータベースで必ず行うべき10の項目」 。SQLTURBO 。 2017年12月13日のオリジナルから アーカイブ済み。 2018年 10月5日 取得 。 1 2 3 4 Furman, Dimitri (2018 年 1 月 22 日). Rajesh Setlem; Mike Weiner; Xiaochen Wu (編). "SQL Server VLDB in Azure: DBA タスクをシンプルに" . MSDN . 2018 年 10 月 6 日のオリジナルから アーカイブ済み. 2018 年 10 月 6 日 取得 . ↑ 「リレーショナルデータウェアハウスサーバーの特殊要件」 。Red Brick Systems, Inc. 1996年6月21日。1997年10月10日に オリジナル からアーカイブ済み 。 ↑ 「クラスタ設計の考慮事項」 . Crouchbase . 2018年10月17日のオリジナルから アーカイブ済み 。 2017年 10月17日に 取得。 ↑ 「クロスデータセンターレプリケーション(XDCR)」 。 Crouchbase 。 2018年10月17日のオリジナルから アーカイブ済み 。 2017年 10月17日 に取得。 ↑ Chien, Tim. "スナップショットはバックアップではありません" . Oracle technetwork . 2018年9月7日のオリジナルから アーカイブ済み。 2018年 10月10日 取得 。 ↑ 「スプリットミラーをバックアップイメージとして使用する」 . IBM Knowledge Center . 2018年 10月10日 取得 。 {{cite web}}: CS1メンテナンス: アーカイブサービスは非推奨になりました (リンク)↑ 「第1章 高可用性とスケーラビリティ」 . dev.mysql . 2016年12月15日のオリジナルから アーカイブ済み。 2018年 10月12日 取得 。 ↑ Brooks, Charlotte; Leung, Clem; Mirza, Aslam; Neal, Curtis; Qiu, Yin Lei; Sing, John; Wong, Francis TH; Wright, Ian R (2007年3月)「第1章 3つのビジネスソリューションセグメントの定義」 IBM システムストレージ事業継続性:パート2ソリューションガイド 。IBM Redbooks。ISBN 978-0738489728 。↑ Akhtar, Ali Navid; Buchholtz, Jeff; Ryan, Michael; Setty, Kumar (2012). "データベースのバックアップとリカバリのベストプラクティス" . 2018年6月29日のオリジナルから アーカイブ済み。 2012年 10月12日 取得 。 ↑ Tariq, Ovais (2011年7月14日). "B+treeインデックスの理解とパフォーマンスへの影響" .ovaistariq.net . 2018年2月7日のオリジナルから アーカイブ 。 2018年 10月10日 取得 。 ↑ Shrestha, Raju (2017). High Availability and Performance of Database in the Cloud - Traditional Master-slave Replication versus Modern Cluster-based Solutions . 7th International Conference on Cloud Computing and Services. Vol. 1: CLOSER. SCITEPRESS – Science and Technology Publications, Lda. doi : 10.5220/0006294604130420 . hdl : 10642/6140 . ISBN 978-989-758-243-1 2018年10月17日にオリジナルからアーカイブされました。↑ 「百科事典」 。定義: データベースマシン。 2016年7月4日にオリジナルから アーカイブ済み 。 2018年 10月10日 に取得。 ↑ バーレソン、ドナルド (2015 年 3 月 26 日)。 「Oracle Backup VLDB のヒント」 。 バーレソン コンサルティング 。2017 年 6 月 30 日のオリジナルから アーカイブ。2016 年 10 月 11 日 取得 。 ↑ 「Oracle Database 12c Release 2 における Oracle パーティショニング:あらゆるシステムにおける究極のデータ管理とパフォーマンス」 ( PDF) 。Oracle。2017 年 3 月。2017 年 12 月 15 日にオリジナルから アーカイブ (PDF) 。2018 年 10 月 17 日 に取得 。 1 2 3 Teske, Thomas (2018年2月8日). Oracleパーティショニングを最大限に活用する - 実践ガイドとリファレンス (PDF) (講演). CERN . Hermann Bär. 40-S2-C01 - Salle Curie (CERN): Oracle. 2018年10月12日のオリジナルから アーカイブ (PDF) . 2018年 10月12日 に取得 。 {{cite speech}}: CS1メンテナンス: 場所 (リンク)↑ Steel, Phil; Poggemeyer, Liza; Plett, Corey (2018年8月1日)。 「サーバーハードウェアのパフォーマンスに関する考慮事項」 。Microsoft IT Pro Center 。 2018年10月17日のオリジナルから アーカイブ済み。 2018年 10月17日に 取得 。 ↑ Li, Yishan; Manoharan, Sathiamoorthy (2013). SQLデータベースとNoSQLデータベースのパフォーマンス比較 . 2013 IEEE Pacific Rim Conference on Communications, Computers and Signal Processing (PACRIM). IEEE. p. 15. doi : 10.1109/PACRIM.2013.6625441 . ISBN 978-1-4799-1501-9 。