ストリームSQL

StreamSQL は、リアルタイムデータ ストリームを処理する機能を備えたSQL を拡張したクエリ言語です。SQL は主に、有限のタプル(行)の集まりであるリレーション(テーブルとも呼ばれる)を操作することを目的としています。StreamSQL は、同時にすべては利用できないタプルの無限のシーケンスであるストリームを操作する機能を追加します。ストリームは無限であるため、ストリームに対する操作は単調である必要があります。ストリームに対するクエリは通常「継続的」であり、長時間実行され、増分結果を返します。

StreamSQL 言語は通常、データ ストリーム管理システム(DSMS) のコンテキストで使用され、市場データ分析、ネットワーク監視、電子詐欺の検出と防止、クリックストリーム分析、リアルタイム コンプライアンス (マネーロンダリング防止、RegNMS、MiFID ) などのアプリケーションに使用されます。

SQL の他のストリーミングおよび継続的なバリエーションには、StreamSQL.io、Kafka KSQL、SQLStreamBuilder、WSO2 Stream Processor、SQLStreams、SamzaSQL、Storm SQL などがあります。

StreamSQL は、SQL の型システムを拡張して、テーブルに加えてストリームもサポートします。ストリームを操作するためのいくつかの新しい操作が導入されています。

ストリームからの選択- ストリームに対して標準SELECTステートメントを発行して、関数を計算したり (ターゲット リストを使用)、不要なタプルをフィルター処理したり (WHERE句を使用) することができます。結果は新しいストリームになります。

ストリーム-リレーション結合- ストリームをリレーションと結合して新しいストリームを作成できます。ストリーム上の各タプルは、述語に基づいてリレーションの現在の値と結合され、0 個以上のタプルが生成されます。

結合とマージ- 2 つ以上のストリームを結合またはマージすることで結合できます。結合では、タプルが厳密なFIFO順序で結合されます。マージはより決定論的で、ソート キーに従ってストリームを結合します。

ウィンドウ処理と集約- ストリームをウィンドウ処理して、有限のタプル セットを作成できます。たとえば、サイズが 5 分のウィンドウには、指定された 5 分間のすべてのタプルが含まれます。ウィンドウ定義では、タプル フィールド値に基づいて、メッセージの複雑な選択が可能になります。有限のタプル バッチが作成されると、カウント、平均、最大などの分析を適用できます。

ウィンドウ処理と結合- ストリームのペアをウィンドウ処理してから結合することもできます。結合ウィンドウ内のタプルは、述語を満たす場合に結合されて結果のタプルを作成します。

StreamSQL は、複合イベント処理と密接に関連するイベント ストリーム処理に関する学術研究から派生したものです。Michael Stonebrakerの指揮の下、プロジェクト Aurora の 30 人の教授と学生のチームが協力して、StreamSQL のコア原理を開発しました。

Aurora プロジェクトは Borealis プロジェクトに置き換えられました。Borealis は Aurora の分散マルチプロセッサ バージョンです。