シャード（データベースアーキテクチャ）

データベースシャード(または単にシャード) は、データベースまたは検索エンジン内のデータの水平分割です。各シャードは、負荷を分散するために、個別のデータベース サーバーインスタンスに保持されます。

データベース内の一部のデータはすべてのシャードに存在しますが^[a]、一部のデータは単一のシャードにのみ存在します。各シャード (またはサーバー) は、このデータのサブセットの単一のソースとして機能します。^[1]

水平分割は、データベース テーブルの行を列に分割するのではなく(正規化と垂直分割では程度は異なりますが)、個別に保持するデータベース設計の原則です。各パーティションはシャードの一部を形成し、シャードは別のデータベース サーバーまたは物理的な場所に配置される場合があります。

水平分割アプローチには多くの利点があります。テーブルが分割され、複数のサーバーに分散されるため、各データベースの各テーブルの合計行数が削減されます。これによりインデックスサイズが削減され、一般的に検索パフォーマンスが向上します。データベース シャードは別のハードウェアに配置でき、複数のシャードを複数のマシンに配置できます。これにより、多数のマシンにデータベースを分散できるため、パフォーマンスが大幅に向上します。さらに、データベース シャードが実際のデータのセグメンテーション (ヨーロッパの顧客とアメリカの顧客など) に基づいている場合は、適切なシャード メンバーシップを簡単かつ自動的に推測し、関連するシャードのみをクエリできる可能性があります。^[2]

実際には、シャーディングは複雑です。シャーディングは長い間、手作業で行われてきましたが（特に上記の例のように行が明確にグループ化されている場合）、これは柔軟性に欠けることがよくあります。シャーディングを自動的にサポートしたいという要望があります。これは、シャーディング用のコードサポートを追加することと、個別にシャーディングする候補を識別することの両方の点で必要です。コンシステントハッシュは、シャーディングで大きな負荷を複数の小さなサービスとサーバーに分散するために使用される手法です。^[3]

分散コンピューティングが複数のサーバー間で負荷を分割するために使用される場合（パフォーマンスまたは信頼性の理由のいずれか）、シャードアプローチも役立つ場合があります。2010年代には、実行容量のシャーディングと、より伝統的なデータのシャーディングが、ブロックチェーンのパフォーマンスとスケーラビリティの問題を克服する潜在的なアプローチとして登場しました。^{[4] [5]}

水平分割は、通常、スキーマとデータベース サーバーの単一のインスタンス内で、1 つ以上のテーブルを行ごとに分割します。最初にインデックスを検索する必要がなく、特定の行がどのパーティションにあるかを識別する明白で堅牢な暗黙的な方法がある場合、インデックス サイズ (および検索の労力) を削減できるという利点があります。たとえば、ZIP コードによって既に行が見つかる場所がわかっている「 」テーブルと「」テーブルの典型的な例が挙げられます。 CustomersEastCustomersWest

シャーディングはこれを超えています。問題のあるテーブルを同じ方法でパーティション分割しますが、これはスキーマの複数のインスタンスにまたがって行われる可能性があります。明らかな利点は、大きなパーティション分割されたテーブルの検索負荷を、同じ論理サーバー上の複数のインデックスだけでなく、複数のサーバー (論理または物理) に分割できることです。

複数の分離されたインスタンスにシャードを分割するには、単純な水平分割以上のものが必要です。単純なディメンション テーブルを取得するためだけに、データベースをクエリして複数のインスタンスをクエリする必要がある場合、期待される効率性の向上は失われます。シャーディングでは、パーティション分割を超えて、大きなパーティション可能なテーブルをサーバー間で分割し、小さなテーブルは完全なユニットとして複製されます。^{[説明が必要]}

これは、シャーディングがシェアードナッシングアーキテクチャに関連しているためでもあります。シャーディングされると、各シャードは完全に独立した論理スキーマインスタンス / 物理データベースサーバー /データセンター/大陸に存在できます。他のシャード内のパーティション化されていないテーブルへの共有アクセス (シャード間から) を継続的に保持する必要はありません。^{[引用が必要]}

これにより、複数のサーバー間でのレプリケーションが容易になります (単純な水平分割では不可能です)。また、データ センター間の通信リンクがボトルネックになるような、アプリケーションの世界規模の配布にも役立ちます。^{[引用が必要]}

また、パーティション化されていないテーブルがアプリケーションの要求に応じて厳密に同期されるように、スキーマ インスタンス間で何らかの通知とレプリケーションのメカニズムも必要です。これは、シャード システムのアーキテクチャにおける複雑な選択です。アプローチは、これらを実質的に読み取り専用にする (更新はまれでバッチ処理される) ものから、動的にレプリケートされたテーブルにする (シャーディングの分散の利点の一部が犠牲になる) ものまで多岐にわたり、その間の多くのオプションがあります。^{[引用が必要]}

• Altibase は、クライアント アプリケーションに対して透過的な、結合された (クライアント側とサーバー側) シャーディング アーキテクチャを提供します。
• Apache HBaseは自動的にシャーディングすることができます。^[6]
• Azure SQL Database Elastic Databaseツールは、アプリケーションのデータ層をスケールアウトおよびスケールインするためのシャードです。^[7]
• ClickHouse は、高速なオープンソース OLAP データベース管理システムです。
• Couchbase は自動的かつ透過的にシャード化します。
• バージョン 9.0 以降のCUBRIDシャード
• Db2 データ パーティション機能 (MPP) は、別々のノードで実行される共有なしのデータベース パーティションです。
• Alibaba CloudのDRDS（分散リレーショナルデータベースサービス）は、データベース/テーブルのシャーディングを行い、^[8]独身の日をサポートしています。^[9]
• Elasticsearchエンタープライズ検索サーバーシャ​​ード。^[10]
• eXtreme Scaleは、プロセス間インメモリキー/値データストア（NoSQLデータストア）です。シャーディングを使用して、データとMapReduceスタイルの並列処理の両方でプロセス間のスケーラビリティを実現します。 ^[11]
• Hibernateシャードですが、2007年以降はほとんど開発されていません。^{[12] [13]}
• IBM Informixシャードはバージョン12.1 xC1以降、MACH11テクノロジーの一部として提供されています。Informix 12.10 xC2ではMongoDBドライバーとの完全な互換性が追加され、通常のリレーショナルテーブルとNoSQLコレクションの混在が可能になりました。また、シャーディング、フェイルオーバー、ACIDプロパティも引き続き使用できます。^{[14] [15]}
• バージョン 2.0 以降のKdb+シャード。
• MariaDB Spiderは、テーブルフェデレーション、テーブルシャーディング、XAトランザクション、ODBCデータソースをサポートするストレージエンジンです。MariaDB Spiderエンジンは、バージョン10.0.4以降のMariaDBサーバーにバンドルされています。^[16]
• オープンソースの列ストアであるMonetDBは、2015年7月のリリースで読み取り専用のシャーディングを行っています。^[17]
• MongoDBシャード バージョン 1.6 以降。
• MySQL Clusterは低コストのコモディティノード間で自動的かつ透過的にシャーディングを行い、アプリケーションに変更を加えることなく読み取りおよび書き込みクエリのスケールアウトを可能にします。^[18]
• MySQL Fabric（MySQLユーティリティの一部）シャード。^[19]
• Oracle Database 12cリリース2以降のシャードとワンライナー：シャーディングの利点とエンタープライズ対応のマルチモデルOracle Databaseのよく知られた機能の組み合わせ。^[20]
• Oracle NoSQL Database には、自動シャーディングと、クラスターの柔軟なオンライン拡張 (シャードの追加) 機能があります。
• OrientDBシャード バージョン 1.7 以降
• Solrエンタープライズ検索サーバーシャ​​ード。^[21]
• ScyllaDBは、クラスタ内のすべてのサーバーにわたって、サーバーの各コアでシャード実行されます。
• Googleのグローバル規模の分散データベースであるSpannerは、複数のPaxosステートマシンに分割され、「数百のデータセンターにわたる数百万のマシンと数兆のデータベース行」にまで拡張できます。^[22]
• SQLAlchemy ORM 、 Pythonプログラミング言語シャード用のデータマッパー。^[23]
• SQL Server 2005以降では、サードパーティのツールの助けを借りてシャード化されています。^[24]
• テラデータは、大規模な並列データベース管理システムを「データウェアハウス」として販売しています。
• 暗号通貨であるVaultは、シャードを使用して、ユーザーがネットワークに参加してトランザクションを検証するために必要なデータを大幅に削減します。これにより、ネットワークの拡張性が大幅に向上します。^[25]
• VitessオープンソースデータベースクラスタリングシステムはMySQLを分割します。これはCloud Native Computing Foundationプロジェクトです。^[26]
• ShardingSphereは、データシャーディング、分散トランザクション、分散データベース管理を提供するデータベースクラスタリングシステムに関連する。これは、Apache Software Foundation (ASF) プロジェクトである。^[27]

データベース テーブルをローカルで最適化する前にシャーディングすると、複雑性が早まってしまいます。シャーディングは、最適化のための他のすべてのオプションが不十分な場合にのみ使用してください。^{[誰が言っているのですか? ]} データベース シャーディングによってもたらされる複雑性により、次のような問題が発生する可能性があります。^{[引用が必要]}

• SQL の複雑さ- 開発者はシャーディング ロジックを処理するために複雑な SQL を記述する必要があるため、バグが増加する
• 追加のソフトウェア- パーティション分割、バランス調整、調整、整合性の確保が失敗する可能性がある
• 単一障害点- ネットワーク/ハードウェア/システムの問題により 1 つのシャードが破損すると、テーブル全体に障害が発生します。
• フェイルオーバーサーバーの複雑さ- フェイルオーバー サーバーには、データベース シャードのフリートのコピーが必要です。
• バックアップの複雑さ- 個々のシャードのデータベース バックアップは、他のシャードのバックアップと調整する必要があります。
• 操作の複雑さ- インデックスの追加/削除、列の追加/削除、スキーマの変更がはるかに困難になります。

データベースの文脈では、「シャード」という用語は、おそらく次の 2 つのソースのいずれかに由来していると認識されています。Computer Corporation of Americaの「A System for Highly Available Replicated Data」^[28]は、冗長ハードウェアを使用してデータ複製を容易にしました(水平分割とは対照的)。または、1997 年に絶賛されたMMORPGビデオゲームUltima Onlineは、8 つのギネス世界記録を樹立し、 Timeによって史上最高のビデオゲーム 100 選の 1 つに選ばれました。 ^{[29] [30]}

ウルティマ オンラインの製作者リチャード・ギャリオットは、制作段階でこの用語が作られたことを回想している。当時は、プレイヤーが新しいインターネット アクセス (当時は革命的な技術) を活用してゲーム内のリソースをやり取りしたり収穫したりできる、自己調整型の仮想生態系システムを作成しようとしていたときだった。^[30]仮想生態系は社内テストでは意図したとおりに機能していたが、プレイヤーがスポーン システムが作動するよりも速くプレイエリア内のあらゆる生物を殺したため、その自然のバランスは「ほぼ瞬時に」崩れた。ギャリオットの制作チームは、世界中のプレイヤー ベースを別々のセッションに分割し、ウルティマ オンラインとウルティマ I: The First Age of Darknessの終わりとの架空のつながりの一部を書き直すことでこの問題を軽減しようとした。ウルティマ I: The First Age of Darkness では、敵対者であるモンデインの敗北によってマルチバースの「破片」も作成された。この変更により、ギャリオットのチームは仮想環境のコピーを作成することを正当化するために必要な架空の根拠を得ることができた。しかし、ゲームが批評家から絶賛されたことは、新しいマルチバース仮想生態系システムもすぐに圧倒されることを意味しました。数か月のテストの後、ギャリオットのチームはこの機能を完全に放棄し、ゲームからその機能を削除しました。^[30]

現在、「シャード」という用語は、データベース システム全体にわたる冗長ハードウェアの展開と使用を指します。^{[引用が必要]}

• ブロック範囲インデックス
• シェアードナッシングアーキテクチャ

• Informix JSON データ シャーディング