Azure Data Explorerは、 Microsoftが開発したフルマネージド[ 1 ]ビッグデータ分析クラウドプラットフォーム[ 2 ] [ 3 ]およびデータ探索サービス[ 4 ]であり[ 5 ] [ 6 ]、構造化データ、半構造化データ ( JSONなど)、および非構造化データ(自由形式のテキストなど)を取り込みます[ 7 ] [ 8 ] [ 9 ] [ 10 ] 。このサービスは、このデータを保存し、数秒のレイテンシで分析アドホッククエリに応答します。これは、時系列分析機能[ 6 ] [ 7 ]や正規表現評価およびテキスト解析[ 11 ]を含む、全文インデックス作成および検索データベースです。
これは、Microsoft Azureプラットフォームの一部として、サービスとしてのプラットフォーム(PaaS)として提供されています。この製品は、2018年にマイクロソフトによって発表されました。
この製品の開発は、2014年にマイクロソフトのイスラエルR&Dセンターで草の根インキュベーションプロジェクトとして始まり、[ 12 ]内部コードネームは「Kusto」[ 9 ] [ 7 ]( 「データの海を探検する」という意味でジャック・クストーにちなんで名付けられた)でした。プロジェクトの目的は、Azureサービスの高速でスケーラブルなログおよびテレメトリ分析のニーズに対応することでした。
2016年にApplication Insights Analyticsのバックエンドビッグデータおよび分析サービスとなった。[ 13 ]
この製品は、 Microsoft Ignite 2018 カンファレンスでパブリック プレビュー製品として発表され、 [ 14 ] 2019 年 2 月に開催された Microsoft Ignite カンファレンスで一般提供が開始されました。[ 15 ]
2021年3月、Azure Data Explorerの次世代ストレージおよびクエリエンジンである「Kusto EngineV3」が一般提供開始されました。これは、テレメトリ、ログ、時系列データの取り込みとクエリにおいて比類のないパフォーマンスを提供するように設計されています。[ 16 ]
Azure Data Explorer は、 KQL (Kusto Query Language [ 18 ] [ 19 ] [ 20 ]と呼ばれるSQLライクな言語を使用して、データの最適化されたクエリ言語と視覚化オプションを提供します[ 17 ] 。[ 7 ] [ 8 ]
Azure Data Explorer は、ノードごとに毎秒 200 MB のデータを取り込むことができます。[ 14 ]データ取り込みの方法としては、Azure Event Grid や Azure Event Hub などの一般的なサービスへのパイプラインやコネクタ、 [ 21 ]またはSDKを使用したプログラムによる取り込みなどがあります。
データ視覚化は、ネイティブのダッシュボード機能を使用するか、Power BI [ 21 ] [ 22 ]やGrafana [ 23 ] [ 24 ]などのツールを使用して実現できます。
Azure Data Explorer は、Microsoft Azureのコンピューティング ノードのクラスター上で実行される分散データベースです。リレーショナル データベース管理システム (RDBMS)に基づいており、データベース、テーブル、関数、列などのエンティティをサポートしています。計算列、行の検索とフィルタリング、集計によるグループ化、結合などの複雑な分析クエリ演算子をサポートしています。[ 25 ]
エンジンサービスはリレーショナルデータモデルを提供します。最上位レベル(クラスタ)にはデータベースの集合があり、各データベースにはテーブルとストアド関数の集合が含まれています。各テーブルはスキーマ(型付きフィールドの順序付きリスト)を定義します。
Azure Data Explorer では、一般的なリレーショナル データベース管理システム (RDBMS)とは異なり、キーの一意性、主キー、外部キーなどの制約はありません。[ 26 ]必要な関係はクエリ時に確立されます。[ 27 ] Azure Data Explorer のデータは、一般的に次のパターンに従います。[ 28 ]データベースの作成、データの取り込み、データベースのクエリ。