MySQL クラスタ

MySQL Cluster は、MySQL Ndb Cluster とも呼ばれ、MySQLデータベース管理システムにシェアードナッシングクラスタリングと自動シャーディングを提供する技術です。低レイテンシで高可用性と高スループットを提供し、ほぼ線形のスケーラビリティを実現するように設計されています。^{[3] MySQL Cluster は、MySQL の}NDBまたは NDBCLUSTER ストレージエンジンを通じて実装されます(「NDB」はNetwork D ata b aseの略です)。

MySQL Cluster は、単一障害点のない分散型マルチマスターACID準拠アーキテクチャに基づいて設計されています。MySQL Cluster は自動シャーディング(パーティショニング) を使用して、コモディティ ハードウェアでの読み取りおよび書き込み操作をスケールアウトし、SQL および非 SQL (NoSQL) APIを介してアクセスできます。

内部的に、MySQL Cluster は、2 フェーズ コミットメカニズムによる同期レプリケーションを使用して、データがコミットされたときに複数のノードにデータが書き込まれることを保証します。可用性を保証するには、データの 2 つのコピー (レプリカと呼ばれる) が必要です。MySQL Cluster は、ユーザーが指定したレプリカとデータ ノードの数から「ノード グループ」を自動的に作成します。更新は、データ損失を防ぎ、ノード間の高速フェイルオーバーをサポートするために、ノード グループのメンバー間で同期的にレプリケートされます。クラスタ レプリケーションは、非同期である「MySQL レプリケーション」とは異なります。

クラスタ間で非同期的にレプリケートすることも可能です。これは「MySQL Cluster レプリケーション」または「地理的レプリケーション」と呼ばれることもあります。これは通常、IT 災害復旧のためにデータ センター間でクラスタをレプリケートしたり、データを物理的にユーザー セットの近くに配置してネットワーク遅延の影響を軽減したりするために使用されます。標準的な MySQL レプリケーションとは異なり、MySQL Cluster の地理的レプリケーションは、楽観的同時実行制御とエポックの概念を使用して競合の検出と解決のメカニズムを提供し、^[4]データ センター間のアクティブ/アクティブ クラスタリングを可能にします。

MySQL Cluster 7.2以降では、マルチサイトクラスタリング機能によりデータセンター間の同期レプリケーションがサポートされるようになりました。^[5]

MySQL Cluster は、完全に分散されたマルチマスター データベースとして実装されており、任意のアプリケーションまたは SQL ノードによって行われた更新が、クラスターにアクセスする他のすべてのノードで即座に利用可能になり、各データ ノードが書き込み操作を受け入れることを保証します。

MySQL Cluster (NDB) テーブル内のデータは、システム内のすべてのデータ ノード間で自動的にパーティション化されます。これは、テーブルの主キーに基づくハッシュ アルゴリズムに基づいて行われ、エンドアプリケーションに対して透過的です。クライアントはクラスタ内の任意のノードに接続し、クエリを満たすために必要な正しいシャードにクエリを自動的にアクセスしたり、トランザクションをコミットしたりできます。MySQL Cluster は、シャード間のクエリとトランザクションをサポートできます。

ユーザーは独自のパーティション スキームを定義できます。これにより、開発者は、実行頻度の高いトランザクションによってアクセスされるすべての行に共通するサブキーに基づいてパーティション分割することで、アプリケーションに「分散認識」を追加できます。これにより、トランザクションを完了するために使用されるデータが同じシャードにローカライズされ、ネットワーク ホップが削減されます。

MySQL Cluster を使用すると、単一のマシンの容量よりも大きいデータセットを複数のマシンにわたって保存し、アクセスできるようになります。

MySQL Cluster は、すべてのインデックス付き列を分散メモリに保持します。インデックスなしの列も分散メモリに保持するか、メモリ内ページ キャッシュを使用してディスクに保持できます。インデックスなしの列をディスクに保存すると、MySQL Cluster はクラスタ化されたマシンの合計メモリよりも大きなデータセットを保存できます。

MySQL Cluster は、すべてのデータ変更についてRedoログをディスクに書き込み、定期的にディスクにデータをチェック ポイントします。これにより、クラスタ全体が停止した後でも、クラスタはディスクから一貫して回復できます。Redo ログはトランザクションのコミットとは非同期に書き込まれるため、クラスタ全体が停止すると少数のトランザクションが失われる可能性がありますが、これは前述の地理的レプリケーションまたはマルチサイト クラスタを使用することで軽減できます。現在のデフォルトの非同期書き込み遅延は 2 秒で、設定可能です。通常の単一障害点シナリオでは、クラスタ内で同期データ レプリケーションが行われるため、データ損失は発生しません。

MySQL Cluster テーブルがメモリ内に保持されている場合、クラスタは Redo レコードとチェックポイントを書き込むためにのみディスク ストレージにアクセスします。これらの書き込みは順次行われ、限られたランダム アクセス パターンが関係するため、MySQL Cluster は、従来のディスクベースのキャッシュ RDBMS と比較して、限られたディスク ハードウェアでより高い書き込みスループット レートを実現できます。ディスクベースの永続性が不要な場合は、インメモリ テーブル データのディスクへのチェックポイント作成を (テーブルごとに) 無効にできます。

MySQL Cluster は、単一障害点がないように設計されています。クラスタが正しく設定されていれば、クラスタ全体に障害が発生することなく、単一のノード、システム、またはハードウェアに障害が発生しても問題ありません。共有ディスク ( SAN ) は必要ありません。ノード間の相互接続には、標準のEthernet、ギガビット Ethernet、InfiniBand、またはSCI相互接続を使用できます。

MySQL Cluster はテーブルを MySQL サーバーではなくデータ ノードに保存するため、データベースにアクセスするために使用できるインターフェイスが複数あります。

• MySQL サーバー経由の SQL アクセス
• MySQL Cluster ライブラリをアプリケーションに埋め込むことで、SQL レイヤーを経由せずにデータ ノードに直接アクセスできる NoSQL API。これには次のものが含まれます。
  • メムキャッシュ
  • Node.js / JavaScript
  • Java と JPA
  • HTTP/REST の仕組み
  • NDB API (C++)

商用 MySQL Cluster CGE の一部である MySQL Cluster Manager は、オンライン スケーリング、アップグレード、バックアップ/復元、再構成などの一般的な管理タスクを自動化することで、MySQL Cluster CGE データベースの作成と管理を簡素化するように設計されたツールです。MySQL Cluster Manager は、MySQL Server アプリケーション ノードと管理ノード、および MySQL Cluster データ ノードを監視し、自動的に回復します。

オープンソースの MySQL Ndb Operator は、 Kubernetesクラスターでの MySQL Cluster の導入と操作を簡素化します。Ndb Operator は、永続ボリュームに格納されたデータを使用して、コンテナ化された MySQL Cluster データ、管理、および SQL ノードを多数の StatefulSet に導入します。Kubernetes メカニズムは、MySQL Cluster の高可用性機能を拡張します。たとえば、ハードウェア障害後にポッドを新しいハードウェアに移行することで、HA 冗長性を自動的に復元します。Kubernetes で MySQL Cluster を操作すると、クラウド ネイティブ ソフトウェアのフルスタックをプライベート クラウドまたはパブリック クラウドで同じように操作できます。

NDB Cluster は、MySQL Cluster の基盤となる分散データベースシステムです。MySQL サーバーとは独立して使用でき、ユーザーは NDB API (C++) を介して Cluster にアクセスできます。"NDB" は Network D ata b aseの略です。

MySQL サーバーの観点から見ると、NDB クラスターは行のテーブルを格納するためのストレージ エンジンです。

NDB Cluster の観点から見ると、MySQL ServerインスタンスはCluster に接続されたAPIプロセスです。NDB Cluster は、Memcached、JavaScript/Node.JS、Java、JPA、HTTP/REST などの他の種類の API プロセスからのアクセスを同時にサポートできます。すべての API プロセスは、NDB Cluster に保存されている同じテーブルとデータに対して操作できます。

MySQL Cluster はMySQL Server を使用して、Ndb Cluster 上で次の機能を提供します。

• SQL解析/最適化/実行機能
  • JDBC、ODBCなどを介したアプリケーションへのコネクタ。
• テーブル間結合メカニズム
• ユーザー認証と承認
• 他のシステムへの非同期データ複製

MySQLサーバーを含むすべてのAPIプロセスは、NDBAPI ^[6] C++クライアントライブラリを使用してNDB Clusterに接続し、操作を実行します。

MySQL Cluster は 3 つの異なるタイプのノード (プロセス) を使用します。

• データ ノード (ndbd/ndbmtd プロセス) : これらのノードはデータを格納します。テーブルはデータ ノード間で自動的にシャーディングされ、負荷分散、レプリケーション、フェイルオーバー、および自己修復も透過的に処理されます。
• 管理ノード（ndb_mgmdプロセス）：クラスタの構成と監視に使用されます。クラスタノードの起動または再起動にのみ必要です。仲裁者として構成することもできますが、これは必須ではありません（代わりにMySQLサーバーを仲裁者として構成できます）。^[7]
• アプリケーション ノードまたはSQL ノード (mysqld プロセス) : データの保存と取得を実行するためにすべてのデータ ノードに接続する MySQL サーバー (mysqld)。このノード タイプはオプションです。C++ API をネイティブに使用するか、上記の追加の NoSQL API のいずれかを使用して、NDB API 経由でデータ ノードを直接クエリできます。

一般的に、各ノードは個別の物理ホスト、VM、またはクラウド インスタンスで実行されることが想定されます (ただし、管理ノードを MySQL サーバーと同じ場所に配置することは非常に一般的です)。ベスト プラクティスとして、同じノード グループ内のノードを単一の物理ホストに同じ場所に配置しないことをお勧めします (単一障害点となるため)。

8.0 リリース以降、MySQL Cluster は MySQL Server の対応するリリースに直接基づいています。以前は、MySQL Cluster のバージョン番号は MySQL Server のバージョン番号から切り離されていました。たとえば、MySQL Cluster 7.6 は MySQL 5.7 のサーバー コンポーネントに基づいており、それを含んでいました。

MySQL Cluster の上位バージョンには、下位バージョンのすべての機能に加えて、いくつかの新機能が含まれています。現在利用可能なバージョン:

• MySQL Cluster 9.X イノベーション リリース シリーズ
• MySQL 8.4 LTS リリースに基づく MySQL Cluster 8.4 LTS

クラスタ内部接続にTLSのサポートを追加

• MySQL 8.0 ベースの MySQL Cluster 8.0

最大行サイズを 30kB に増加、最大 144 個のデータ ノードをサポート、分散フィルタリングと結合の改善、並列外部結合と準結合のサポート、スキーマと ACL 処理の改善、オンラインでの列名変更、構成の簡素化、マルチスレッド並列バックアップと復元、ディスク データ パフォーマンスの改善、3 および 4 レプリカ構成のサポートの強化、マルチ ソケット メッシュ ネットワーキングのサポート、復元変換のサポート、BLOB 書き込みパフォーマンスの改善、バックアップ暗号化、IPv6 のサポート、スレッド自動構成、回復パフォーマンスの改善、クエリ マルチスレッドの改善。 ^[8]

• MySQL 5.7 ベースの MySQL Cluster 7.6

再起動と回復時間の改善、ディスクスペース使用量の削減、結合パフォーマンスの向上、新しいインポートツール、共有メモリ通信、クラウドのトポロジ認識の向上。^[9]

旧バージョン（開発終了）:

• MySQL 8.1 Innovation リリースに基づく MySQL Cluster 8.1
• MySQL 8.2 Innovation リリースに基づく MySQL Cluster 8.2
• MySQL 8.3 Innovation リリースに基づく MySQL Cluster 8.3
• MySQL 5.7 ベースの MySQL Cluster 7.5

より大きなデータセット（ノードあたり128TB以上）のサポート、読み取り最適化テーブルによる読み取りスケーラビリティの向上、SQLサポートの改善が含まれます。^[10]

• MySQL 5.6 ベースの MySQL Cluster 7.4

強化された競合検出と解決、改善されたノード再起動時間、新しいイベントAPIが含まれています。^[11]

• MySQL 5.6 ベースの MySQL Cluster 7.3

外部キー制約、Node.js / JavaScript API、自動インストーラーのサポートが含まれています。 ^[12]

• MySQL 5.5 ベースの MySQL Cluster 7.2

適応型クエリローカリゼーション（JOIN操作をデータノードにプッシュダウン）、Memcached API、簡素化されたアクティブ/アクティブ地理的レプリケーション、マルチサイトクラスタリング、データノードのスケーラビリティ強化、統合されたユーザー権限が含まれます。^[13]

• MySQL 5.1.D ベースの MySQL Cluster 7.1

ClusterJおよびClusterJPAコネクタを含む

• MySQL 5.1.C ベースの MySQL Cluster 7.0

マルチスレッド データ ノード (ndbmtd)、トランザクション DDL、Windows サポートが含まれます。

• MySQL 5.1.B ベースの MySQL Cluster 6.3

圧縮バックアップ + LCP、循環レプリケーションのサポート、競合の検出/解決、テーブル最適化などが含まれます。

• MySQL 5.1.A に基づく MySQL Cluster 6.2

最初の「telco」または「キャリア グレード エディション」リリース。255 ノード、オンライン テーブル変更、レプリケーション レイテンシ、スループット強化などをサポートします。

• MySQL 5.1.X ソースツリーに含まれる Ndb

評価目的では、単一の物理サーバー上で MySQL Cluster を実行できます。実稼働環境での導入の場合、最小システム要件は 3 つのインスタンス/ホストです。

• 2 × データノード
• 1 × アプリケーション/管理ノード

または

• 2 × データノード + アプリケーション
• 管理ノード × 1

構成は次のとおりです。

• OS: Linux、Solaris、Windows、macOS（開発のみ）
• CPU: Intel/AMD x86/x86-64、UltraSPARC
• メモリ: 1GB
• ハードディスク: 3GB
• ネットワーク: 1 ノード以上 (標準イーサネット - TCP/IP)

高性能な本番環境レベルのクラスターを導入するためのヒントと推奨事項については、「MySQL Cluster 評価ガイド」および「MySQL Cluster データベースのパフォーマンス最適化ガイド」を参照してください。

MySQL ABは、エリクソンが設立した小さなベンチャー企業であるAlzatoからMySQL Clusterの技術を買収しました。NDBはもともと、高可用性と高パフォーマンスが求められる通信市場向けに設計されました。 ^[14]

NDB ストレージ エンジンに基づく MySQL Cluster はその後、MySQL製品に統合され、最初のリリースは MySQL 4.1 でした。

MySQL Cluster 7.5の詳細。^[15] NDBテクノロジーの創始者、Mikael Ronströmが書いた本。

Pro MySQL NDB Cluster。^[16] MySQLのサポートエンジニアであるJesper Wisborg KroghとMikiya Okunoが執筆した本。

MySQL Cluster はGPLv 2 ライセンスに基づいてライセンスされています。MySQL Cluster CGE の一部として商用サポートが利用可能で、MySQL Cluster Manager、MySQL Enterprise Monitor、MySQL Enterprise Security、MySQL Enterprise Audit などの非オープンソース アドオンも含まれています。

• Galera Clusterは、MySQLとMariaDB用のトランザクションデータベース用の汎用同期マルチマスターレプリケーションライブラリです。[2]
• Percona XtraDB Cluster も、Galera レプリケーション ライブラリとマルチマスターをサポートする MySQL の組み合わせです。
• RonDB Hopsworksによって管理されているMySQL Clusterのフォーク。^[17]

• 公式 MySQL Cluster ドキュメント
• MySQL Cluster API 開発者ガイド
• MySQL クラスタのデモンストレーション
• MySQL Cluster データシート
• MySQL クラスタに関するよくある質問
• MySQL Cluster 自動インストーラー チュートリアル
• MySQL Cluster を使い始める
• MySQL Cluster のホワイトペーパーとガイド
• MySQL Cluster コミュニティ フォーラム

• 通信アプリケーション向け並列データ サーバの設計とモデリング (1997) オリジナルの MySQL Cluster 設計の動機。