オンライン分析処理

多次元構造は、「多次元構造を使用してデータを整理し、データ間の関係を表現するリレーショナル モデルのバリエーション」と定義されます。^{[ 6 ] : 177}この構造はキューブに分割され、キューブは各キューブの範囲内でデータを格納およびアクセスできます。「多次元構造内の各セルには、その各次元に沿った要素に関連する集約データが含まれています。」^{[ 6 ] : 178} データが操作されても、アクセスは容易であり、コンパクトなデータベース形式を構成し続けます。データは依然として相互に関連しています。多次元構造は、オンライン分析処理 (OLAP) アプリケーションを使用する分析データベースで非常に人気があります。^{[ 6 ]} 分析データベースは、複雑なビジネス クエリに迅速に回答を提供できるため、これらのデータベースを使用します。データはさまざまな角度から見ることができるため、他のモデルとは異なり、問題のより広い視点が得られます。^{[ 8 ]}

複雑なクエリの場合、OLAP キューブはOLTPリレーショナル データに対する同じクエリに必要な時間の約 0.1% で回答を生成できると主張されています。 ^{[ 9 ] [ 10 ]} OLAP でこのようなパフォーマンスを実現できる最も重要なメカニズムは、集計の使用です。集計は、特定のディメンションの粒度を変更し、集計関数(または集計関数)を使用してこれらのディメンションに沿ってデータを集計することにより、ファクト テーブルから構築されます。可能な集計の数は、ディメンションの粒度の可能なすべての組み合わせによって決まります。

考えられるすべての集計と基本データの組み合わせには、データから回答できるすべてのクエリに対する回答が含まれています。^{[ 11 ]}

通常、計算可能な集計は多数あるため、多くの場合、あらかじめ決められた数だけが完全に計算され、残りは必要に応じて解決されます。どの集計（ビュー）を計算するかを決定する問題は、ビュー選択問題として知られています。ビュー選択は、選択された集計セットの合計サイズ、基本データの変更からそれらを更新するのにかかる時間、またはその両方によって制約されることがあります。ビュー選択の目的は通常、OLAPクエリに応答する平均時間を最小化することですが、更新時間を最小化する研究もあります。ビュー選択はNP完全問題です。この問題に対しては、貪欲アルゴリズム、ランダム化探索、遺伝的アルゴリズム、A*探索アルゴリズムなど、多くの手法が検討されてきました。

集計関数の中には、各セルの値を事前に計算し、これらの集計値を集計してセルのロールアップの集計を計算することで、 OLAP キューブ全体に対して計算できるものがあります。このとき、分割統治アルゴリズムを多次元問題に適用して効率的に計算します。^{[ 12 ]}例えば、ロールアップの全体合計は、各セルの小計の合計になります。このように分解できる関数は、分解可能な集計関数と呼ばれ、各セルに対して計算して直接集計できるCOUNT、、、、などが含まれます。これらは自己分解可能な集計関数として知られています。^{[ 13 ]}MAXMINSUM

その他の場合、集計関数は、セルの補助数を計算し、これらの補助数を集計し、最後に全体の数を計算することによって計算できます。例としては、AVERAGE（合計とカウントを追跡し、最後に除算する）とRANGE（最大値と最小値を追跡し、最後に減算する）があります。その他の場合、集計関数は、セット全体を一度に分析しないと計算できませんが、場合によっては近似値を計算できます。例としてはDISTINCT COUNT、、、MEDIANおよびがありMODEます。たとえば、セットの中央値は、サブセットの中央値の中央値ではありません。後者は、ベースデータに対して集計関数を計算する必要があるため、OLAP で効率的に実装するのは困難です。集計関数は、オンラインで計算するか（遅い）、展開に備えて事前に計算しておく（大きなスペース）必要があります。

MOLAP（多次元オンライン分析処理）はOLAPの古典的な形態であり、単にOLAPと呼ばれることもあります。MOLAPは、リレーショナルデータベースではなく、最適化された多次元配列ストレージにデータを保存します。

MOLAPツールの中には、統合などの派生データの事前計算と保存を必要とするものがあります。これは処理と呼ばれる操作です。このようなMOLAPツールは一般的に、データキューブと呼ばれる事前計算済みのデータセットを利用します。データキューブには、特定の質問範囲に対する考えられるすべての回答が含まれています。そのため、クエリへの応答速度が非常に速くなります。一方で、更新には事前計算の度合いによっては時間がかかる場合があります。また、事前計算はデータ爆発と呼ばれる現象を引き起こす可能性もあります。

他のMOLAPツール、特に機能データベースモデルを実装しているツールは、派生データを事前に計算せず、以前に要求されてキャッシュに保存されたもの以外のすべての計算をオンデマンドで行います。

MOLAPの利点

• 最適化されたストレージ、多次元インデックス、およびキャッシュにより、高速なクエリパフォーマンスを実現します。
• 圧縮技術のおかげで、リレーショナルデータベースに保存されるデータと比較して、ディスク上のデータサイズが小さくなる。
• データの上位レベルの集計値を自動的に計算する。
• 低次元データセットに対して非常にコンパクトです。
• 配列モデルは自然なインデックス付けを提供する。
• 集約データの事前構造化により、効果的なデータ抽出が実現される。

MOLAPの欠点

• 一部のMOLAPシステムでは、処理ステップ（データロード）に時間がかかる場合があり、特にデータ量が多い場合は顕著です。この問題は通常、増分処理のみを行うことで解決されます。つまり、データセット全体を再処理するのではなく、変更されたデータ（通常は新規データ）のみを処理するのです。
• MOLAP手法の中には、データ冗長性を導入するものもある。

ROLAP はリレーショナル データベースと直接連携し、事前計算は不要です。基本データとディメンション テーブルはリレーショナル テーブルとして格納され、集計情報を格納するために新しいテーブルが作成されます。これは特殊なスキーマ設計に依存します。この手法は、リレーショナル データベースに格納されているデータを操作して、従来の OLAP のスライスとダイシング機能の外観を実現します。本質的に、スライスとダイシングの各操作は、SQL ステートメントに「WHERE」句を追加することと同等です。ROLAP ツールは、事前計算されたデータ キューブを使用せず、代わりに標準リレーショナル データベースとそのテーブルにクエリを実行して、質問に答えるために必要なデータを取得します。ROLAP ツールは、手法がキューブの内容に限定されないため、あらゆる質問を実行できます。ROLAP は、データベースの最も低いレベルの詳細までドリルダウンする機能も備えています。

ROLAPはリレーショナルデータベースをソースとして使用しますが、一般的にデータベースはROLAPでの使用を想定して慎重に設計する必要があります。OLTP用に設計されたデータベースは、ROLAPデータベースとしてはうまく機能しません。そのため、ROLAPでは依然としてデータのコピーを作成する必要があります。ただし、データベースであるため、データベースへのデータ投入にはさまざまな技術を使用できます。

ETLコストの増加とクエリパフォーマンスの低下という望ましくないトレードオフのため、現在ではほとんどの商用OLAPツールが「ハイブリッドOLAP」（HOLAP）アプローチを採用しており、モデル設計者はデータのどの部分をMOLAPに格納し、どの部分をROLAPに格納するかを決定できるようになっています。

業界全体で「ハイブリッド OLAP」が何であるかについての明確な合意はありませんが、データベースがデータをリレーショナルストレージと専用ストレージに分割するという点だけは共通しています。^{[ 15 ]}例えば、一部のベンダーでは、HOLAP データベースはリレーショナル テーブルを使用して大量の詳細データを保持し、より集計された、または詳細度の低い少量のデータの少なくとも一部の側面には専用ストレージを使用します。HOLAP は、両方のアプローチの機能を組み合わせることで、 MOLAPとROLAPの欠点を解消します。HOLAP ツールは、事前計算されたキューブとリレーショナル データ ソースの両方を利用できます。

それぞれのタイプには一定の利点があるが、提供者間では具体的な利点について意見の相違がある。

• MOLAPの実装の中には、データベース爆発を起こしやすいものがあります。これは、次元数が多い、事前に計算された結果がある、疎な多次元データであるといった特定の一般的な条件が満たされた場合に、MOLAPデータベースが膨大なストレージ容量を使用する現象です。
• MOLAPは、特殊なインデックス作成とストレージ最適化により、一般的に優れたパフォーマンスを発揮します。また、MOLAPは、特殊なストレージに圧縮技術が含まれているため、ROLAPに比べて必要なストレージ容量が少なくて済みます。^{[ 15 ]}
• ROLAPは一般的にスケーラビリティが高い。^{[ 15 ]}しかし、大量の前処理を効率的に実装することは難しいため、しばしば省略される。そのため、ROLAPクエリのパフォーマンスは著しく低下する可能性がある。
• ROLAPは計算を実行する際にデータベースへの依存度が高いため、使用できる特殊な関数にはより多くの制限がある。
• HOLAPは、ROLAPとMOLAPの長所を融合させた手法です。一般的に、高速な前処理、優れたスケーラビリティ、そして充実した関数サポートを提供します。

以下の略語も時折使用されますが、上記のものほど広く普及しているわけではありません。

• WOLAP – WebベースのOLAP
• DOLAP –デスクトップOLAP
• RTOLAP – リアルタイムOLAP
• GOLAP – グラフOLAP ^{[ 17 ] [ 18 ]}
• CaseOLAP – コンテキスト認識セマンティック OLAP、^{[ 19 ]}は、生物医学アプリケーション向けに開発されました。^{[ 20 ]} CaseOLAP プラットフォームには、データの前処理 (テキスト ドキュメントのダウンロード、抽出、解析など)、Elasticsearch を使用したインデックス作成と検索、Text-Cube と呼ばれる機能的なドキュメント構造の作成、^{[ 21 ] [ 22 ] [ 23 ] [ 24 ] [ 25 ]}およびコア CaseOLAP アルゴリズムを使用したユーザー定義のフレーズとカテゴリの関係の定量化が含まれます。

OLAPクエリを実行した最初の製品は、 1970年にリリースされたExpress （ 1995年にInformation ResourcesからOracleに買収された）でした。 ^{[ 28 ]}しかし、この用語は1993年に「リレーショナルデータベースの父」と呼ばれるEdgar F. Coddによって造語されるまで登場しませんでした。Coddの論文^{[ 1 ]}は、CoddがかつてのArbor Software（後にHyperion Solutionsとなり、2007年にOracleに買収された）のために行った短期のコンサルティング業務から生まれたもので、一種のマーケティング上の成功でした。

同社は1年前に独自のOLAP製品であるEssbaseをリリースしていた。そのため、コッドの「オンライン分析処理の12の法則」はEssbaseに明確に言及していた。その後、論争が起こり、ComputerworldはコッドがArborから報酬を受け取っていたことを知ると、記事を撤回した。OLAP市場は1990年代後半に力強い成長を遂げ、数十の商用製品が市場に投入された。1998年、マイクロソフトは初のOLAPサーバーであるMicrosoft Analysis Servicesをリリースし、OLAPテクノロジーの幅広い採用を促進し、主流へと押し上げた。 

OLAPクライアントには、Excelなどのスプレッドシートプログラム、Webアプリケーション、SQL、ダッシュボードツールなど、多くの種類があります。多くのクライアントは、ユーザーが関心のあるディメンションとメジャーを選択できるインタラクティブなデータ探索をサポートしています。一部のディメンションはフィルター（データのスライスとダイシング用）として使用され、その他はピボットテーブルまたはピボットチャートの軸として選択されます。ユーザーは、表示されるビューの集計レベル（ドリルダウンまたはロールアップ用）を変更することもできます。クライアントは、スライダー、地理マップ、ヒートマップなど、さまざまなグラフィカルウィジェットを提供することができ、これらはダッシュボードとしてグループ化および調整できます。OLAPサーバー比較表の視覚化列には、クライアントの詳細なリストが表示されます。

以下は、2006年の主要OLAPベンダーのリストで、金額は百万米ドル単位です。^{[ 29 ]}

• Apache Pinotは、LinkedIn、Cisco、Uber、Slack、Stripe、DoorDash、Target、Walmart、Amazon、Microsoft で、低遅延でスケーラブルなリアルタイム分析を提供するために使用されています。^{[ 30 ]}オフラインのデータソース (Hadoop やフラットファイルなど) だけでなく、オンラインソース (Kafka など) からもデータを取り込むことができます。Pinot は水平方向に拡張できるように設計されています。
• Mondrian OLAPサーバーは、 Javaで記述されたオープンソースのOLAPサーバーです。MDXクエリ言語、XML for Analysis、およびolap4jインターフェース仕様をサポートしています。
• Apache Dorisは、MPPアーキテクチャに基づいたオープンソースのリアルタイム分析データベースです。高並行性ポイントクエリシナリオと高スループットの複雑な分析の両方をサポートできます。^{[ 31 ]}
• Apache Druidは、OLAPクエリ向けの人気の高いオープンソースの分散データストアであり、様々な組織で大規模に本番環境で使用されています。
• Apache Kylinは、元々はeBayによって開発された、OLAPクエリ用の分散データストアです。
• Cubes（OLAPサーバー）は、 Pythonプログラミング言語でOLAP機能を実装した軽量なオープンソースツールキットであり、ROLAPが組み込まれています。
• ClickHouseは、処理速度と応答速度の速さに重点を置いた、比較的新しいカラム指向型DBMSです。
• DuckDB ^{[ 32 ]}は、プロセス内 SQL OLAP ^{[ 33 ]}データベース管理システムです。
• MonetDBは、OLAPクエリ向けに設計された、成熟したオープンソースの列指向SQLリレーショナルデータベース管理システムです。