複合イベント処理

イベント処理とは、発生した事象（イベント）に関する情報（データ）のストリームを追跡・分析（処理）し、 ^[1]そこから結論を導き出す手法である。複合イベント処理（CEP）は、1990年代初頭に開発された、リアルタイムイベントを処理し、到着したイベントストリームから情報を抽出するための一連の概念と技術から構成される。複合イベント処理の目的は、リアルタイムの状況で 意味のあるイベント（機会や脅威など）^{[2]を識別し、可能な限り迅速に対応することである。}

これらのイベントは、セールスリード、注文、カスタマーサービスコールなど、組織のさまざまな層で発生する可能性があります。または、ニュース項目、 ^{[3] 、} テキストメッセージ、ソーシャルメディアの 投稿、ビジネスプロセス（サプライチェーンなど）、交通情報、天気予報、またはその他の種類のデータである可能性があります。^[1]イベントは、測定値が時間、温度、またはその他の値の事前定義されたしきい値を超えたときの「状態の変化」として定義されることもあります。

アナリストは、CEP によって組織はパターンをリアルタイムで分析する新しい方法を手に入れ、ビジネス側が IT 部門やサービス部門とより適切にコミュニケーションできるようになると示唆しています。^[4] CEP はそれ以来、イベントのストリームに即座に対応するために使われる多くのシステムで有効な技術となっています。現在 (2018 年)、株式市場取引システム、モバイル デバイス、インターネット操作、詐欺検出、運輸業界、政府の諜報活動など、多くのビジネス分野でアプリケーションが使用されています。

イベントに関する膨大な情報は、イベントクラウドと呼ばれることもあります。^[1]

何千もの受信イベントの中で、監視システムは、たとえば同じソースから次の 3 つを受信する場合があります。

1. 教会の鐘が鳴る。
2. タキシードを着た男性と、ゆったりとした白いガウンを着た女性の姿。
3. 空を飛ぶお米。

これらのイベントから、監視システムは複雑なイベント、つまり結婚式を推測することができます。CEPという技術は、他のイベントを分析して相関させることで複雑なイベントを発見するのに役立ちます。^[5]鐘、結婚式の衣装を着た男女、空を飛ぶ米。

CEPは次のよ​​うないくつかの技術に依存しています^[6]。

• イベントパターン検出
• イベントの抽象化
• イベントフィルタリング
• イベントの集約と変換
• イベント階層のモデリング
• イベント間の関係（因果関係、メンバーシップ、タイミングなど）を検出する
• イベント駆動型プロセスの抽象化

CEPの商用アプリケーションは様々な業界で使用されており、クレジットカード詐欺の検出、ビジネス活動の監視、セキュリティ監視などが含まれます。^[7]

CEP の分野は、離散イベント シミュレーション、アクティブ データベース分野、およびいくつかのプログラミング言語にルーツがあります。業界での活動は、1990 年代に一連の研究プロジェクトの波に先立って行われました。^[8]によると、汎用 CEP 言語と実行モデルへの道を開いた最初のプロジェクトは、 David Luckhamが指揮するスタンフォード大学の Rapide プロジェクトでした。並行して、カリフォルニア工科大学のK. Mani Chandyが指揮するInfospheresと、 John Bates が指揮するケンブリッジ大学のApamaという 2 つの研究プロジェクトがありました。商用製品は、これらの研究プロジェクトとその後の研究プロジェクトで開発された概念に依存していました。コミュニティの取り組みは、 Event Processing Technical Societyが主催する一連のイベント処理シンポジウムから始まり、後に ACM DEBS カンファレンス シリーズによって開催されました。コミュニティの取り組みの 1 つは、イベント処理マニフェストを作成することでした。^[9]

CEP は、オペレーショナル インテリジェンス(OI) 製品で使用され、ライブ フィードとイベント データに対してクエリ分析を実行して、ビジネス オペレーションに関する洞察を提供します。OI はリアルタイム データを収集し、履歴データと相関させて洞察と分析を提供します。複数のデータ ソースを組み合わせて、現在の情報を使用した共通の運用状況を提供できます。

ネットワーク管理、システム管理、アプリケーション管理、サービス管理では、通常、イベント相関と呼ばれます。CEPエンジンとして、イベント相関エンジン（イベントコリレータ）は大量のイベントを分析し、最も重要なイベントを特定してアクションをトリガーします。ただし、そのほとんどは新しい推論イベントを生成しません。代わりに、高レベルのイベントを低レベルのイベントに関連付けます。^[10]

推論エンジン（例えば、ルールベース推論エンジン）は、通常、人工知能において推論された情報を生成します。ただし、複雑な（推論された）イベントの形で新しい情報を生成することは通常ありません。

CEP のより体系的な例としては、自動車、いくつかのセンサー、さまざまなイベントや反応が挙げられます。自動車に複数のセンサーが搭載されていると想像してください。1 つはタイヤの空気圧を測定し、1 つは速度を測定し、もう 1 つは誰かが座席に座っているか、座席から離れているかを検出します。

最初の状況では、車が走行しており、タイヤの 1 つの圧力が 15 分かけて 45 psiから 41 psi に変化します。タイヤの圧力が下がると、タイヤの圧力を含む一連のイベントが生成されます。さらに、車の速度を含む一連のイベントが生成されます。車のイベント プロセッサは、比較的長い期間にわたってタイヤの圧力が低下したために「lossOfTirePressure」イベントが作成される状況を検出する場合があります。この新しいイベントによって、反応プロセスがトリガーされ、圧力低下が車のメンテナンス ログに記録され、車のポータルを介してドライバーにタイヤの圧力が低下したことを警告する場合があります。

2 番目の状況では、車が動いていて、タイヤの 1 つの圧力が 5 秒間で 45 psi から 20 psi に低下します。異なる状況が検出されます。これは、圧力の低下が短時間で発生したためか、各イベント間の値の差が定義済みの制限よりも大きかったためと考えられます。異なる状況により、新しいイベント「blowOutTire」が生成されます。この新しいイベントによって、異なる反応プロセスがトリガーされ、ドライバーに直ちに警告が発せられ、オンボード コンピューター ルーチンが開始され、スリップによる制御を失うことなく車を停止できるようにドライバーが支援されます。

さらに、検出された状況を表すイベントを他のイベントと組み合わせることで、より複雑な状況を検出することもできます。たとえば、最終的な状況では、車は正常に走行していますが、タイヤがパンクして車が道路から外れて木に衝突し、ドライバーが車から投げ出されます。一連の異なる状況が急速に検出されます。非常に短い時間内に「blowOutTire」、「zeroSpeed」、「driverLeftSeat」が組み合わさると、「occupantThrownAccident」という新しい状況が検出されます。ドライバーが投げ出されたことや事故があったことを決定的に判断できる直接的な測定はありませんが、イベントの組み合わせによって状況を検出し、検出された状況を示す新しいイベントを作成できます。これが複雑な (または複合的な) イベントの本質です。複雑なのは、状況を直接検出できないためです。他のイベントの組み合わせから状況が発生したことを推測または推論する必要があります。

CEPはビジネスプロセス管理（BPM）と自然に調和します。^[11] BPMはエンドツーエンドのビジネスプロセスに焦点を当て、運用環境を継続的に最適化し調整します。

ただし、ビジネスの最適化は、個々のエンドツーエンドのプロセスだけに依存するわけではありません。一見異なるプロセスが、互いに大きく影響し合う可能性があります。次のシナリオを考えてみましょう。航空宇宙業界では、車両の故障を監視して傾向を調べる (製造プロセス、材料などの潜在的な弱点を特定する) ことが推奨されています。別の別のプロセスでは、現在運用中の車両のライフサイクルを監視し、適切な場合にそれらを廃止します。CEP の 1 つの用途は、これらの個別のプロセスをリンクすることです。これにより、最初のプロセス (故障監視) で金属疲労 (重大なイベント) に基づく機能不全が発見された場合、2 番目のプロセス (ライフサイクル) を利用して、最初のプロセスで欠陥が発見された同じ金属バッチを使用している車両のリコールを発行するアクションを作成できます。

CEP と BPM の統合は、ビジネス認識レベル (ユーザーは個々のプロセスの潜在的な全体的なメリットを理解する必要があります) と技術レベル (CEP が BPM 実装と相互作用できる方法が必要です) の 2 つのレベルで存在する必要があります。イベント駆動型ビジネス プロセス管理と呼ばれることが多い CEP と BPM の統合に関する最新のレビューについては、^{[12]を参照してください。}

計算指向の CEP の役割は、ビジネス ルール テクノロジと重複していると言えるでしょう。

たとえば、カスタマー サービス センターでは、クリック ストリーム分析とカスタマー エクスペリエンス管理に CEP を使用しています。CEP ソフトウェアは、1 秒あたり数百万のイベント (クリックやその他のインタラクション) に関するリアルタイム情報をビジネス インテリジェンスやその他の意思決定支援アプリケーションに組み込むことができます。これらの「推奨アプリケーション」は、エージェントが各顧客のエクスペリエンスに基づいてパーソナライズされたサービスを提供するのに役立ちます。CEP アプリケーションは、電話中の顧客が現在何をしているか、または支店内や Web 上のセルフサービス機能、インスタント メッセージング、電子メールなど、さまざまなチャネルで最近どのように会社とインタラクションしたかに関するデータを収集する場合があります。次に、アプリケーションは全体的な顧客エクスペリエンスを分析し、電話中のエージェントをガイドして顧客を満足させるスクリプトや次のステップを推奨します。^[13]

時系列データベースは、時間別に整理されたデータの処理に最適化されたソフトウェア システムです。時系列は有限または無限のデータ項目のシーケンスで、各項目にはタイムスタンプが関連付けられており、タイムスタンプのシーケンスは非減少です。時系列の要素は、ティックと呼ばれることがよくあります。タイムスタンプは昇順である必要はなく (単に非減少)、金融データ ソースなどの一部のシステムの時間解像度は実際には非常に低い (ミリ秒、マイクロ秒、またはナノ秒) ため、連続するイベントに同じタイムスタンプが付けられる場合があります。

時系列データは、複雑なイベント処理に通常関連する分析に歴史的な文脈を提供します。これは金融^[14]などのあらゆる垂直産業に適用でき、BPMなどの他の技術と連携して使用できます。

CEP 分析の理想的なケースは、過去の時系列とリアルタイムのストリーミング データを単一の時間連続体として見ることです。昨日、先週、先月起こったことは、今日起こっていることと将来起こり得ることの単なる延長です。例としては、取引実行ロジックのために現在の市場ボリュームを過去のボリューム、価格、ボラティリティと比較することが挙げられます。または、ライブ市場価格に基づいて行動する必要がある場合、セクターとインデックスの動きを含むベンチマークと比較することが必要になる場合があります。その日中および過去の傾向はボラティリティを測定し、外れ値を平滑化します。

複合イベント処理は、モノのインターネット(IoT) 環境やスマートサイバーフィジカルシステム(CPS) でも重要な実現要因です。さまざまなセンサーからの高密度で異種のストリームを処理し、それらのストリームに対してパターンをマッチングすることは、このような場合の典型的なタスクです。^[15]これらの手法の大部分は、IoT システムの状態とその変化を表現するには、静的で具体化されたモデルを使用するよりも、データストリームの形式で表現する方が効率的であるという事実に依存しています。このようなストリームベースのモデルでの推論は、従来の推論手法とは根本的に異なり、通常はモデル変換と CEP の組み合わせが必要です。^[16]

• イベント相関
• イベント駆動型アーキテクチャ(EDA) は、イベントの生成、検出、消費、およびイベントへの反応を促進するソフトウェア アーキテクチャ パターンです。
• SEDA - 段階的なイベント駆動型アーキテクチャは、複雑なイベント駆動型アーキテクチャを段階に分解します。
• イベント処理技術協会（EPTS）は、イベント処理に関するコミュニティです。
• イベント ストリーム処理(ESP) は、関連データのストリーム処理に重点を置いた関連テクノロジです。
• キネティック ルール言語(KRL) は、複雑なイベント表現言語が組み込まれたイベント条件アクション ルール言語です。
• 運用インテリジェンス— CEP と ESP はどちらも運用インテリジェンスの基盤となるテクノロジーです。
• パターンマッチング
• リアルタイムビジネスインテリジェンス- ビジネスインテリジェンスは、CEPシステムから得られた知識の応用です。
• リアルタイムコンピューティング— CEPシステムは典型的にはリアルタイムシステムである
• リアルタイムエンタープライズ

• Apama by Software AG - 急速に変化するイベントストリームを監視し、重要なパターンを検出して分析し、ルールに従ってアクションを実行します。^[17]
• Azure ストリーム分析
• ドロールズフュージョン
• Java および C# 用のEsper複合イベント処理 (GPLv2)。
• フィードザイ - パルス
• Microsoft StreamInsight Microsoft CEPエンジン実装^[18]
• openPDC — ストリーミング時系列データをリアルタイムで処理するためのアプリケーション セット。
• Oracle Event Processing - イベントをリアルタイムでフィルタリング、相関、処理するアプリケーションを構築します。
• SAP ESP - 低遅延、迅速な開発および展開プラットフォームで、複数のデータストリームをリアルタイムで処理できます^[19]
• SQLstream SQLstream のストリーム処理プラットフォームである s-Server は、大量のサービス、センサー、マシン、ログ ファイル データをリアルタイムで分析するためのリレーショナル ストリーム コンピューティング プラットフォームを提供します。
• TIBCO BusinessEvents & Streambase - CEP プラットフォームと高パフォーマンス低遅延イベント ストリーム処理
• WebSphere ビジネスイベント
• Apache Flink JavaおよびScala用のCEP API ^[20]を備えたオープンソースの分散ストリーム処理フレームワーク。
• Apache Storm は、無料でオープンソースの分散リアルタイム計算システムです。Storm は、無制限のデータ ストリームをリアルタイムで処理します。