オンライン分析処理

多次元構造は、「多次元構造を使用してデータを整理し、データ間の関係を表現するリレーショナル モデルのバリエーション」と定義されます。^{[ 6 ] : 177}この構造はキューブに分割され、キューブは各キューブの範囲内でデータを格納およびアクセスできます。「多次元構造内の各セルには、その各次元に沿った要素に関連する集約データが含まれています。」^{[ 6 ] : 178} データが操作されても、アクセスは容易であり、コンパクトなデータベース形式を構成し続けます。データは依然として相互に関連しています。多次元構造は、オンライン分析処理 (OLAP) アプリケーションを使用する分析データベースで非常に人気があります。^{[ 6 ]} 分析データベースは、複雑なビジネス クエリに迅速に回答を提供できるため、これらのデータベースを使用します。データはさまざまな角度から見ることができるため、他のモデルとは異なり、問題のより広い視点が得られます。^{[ 8 ]}

複雑なクエリの場合、OLAP キューブはOLTPリレーショナル データに対する同じクエリに必要な時間の約 0.1% で回答を生成できると主張されています。 ^{[ 9 ] [ 10 ]} OLAP でこのようなパフォーマンスを実現できる最も重要なメカニズムは、集計の使用です。集計は、特定のディメンションの粒度を変更し、集計関数(または集計関数)を使用してこれらのディメンションに沿ってデータを集計することにより、ファクト テーブルから構築されます。可能な集計の数は、ディメンションの粒度の可能なすべての組み合わせによって決まります。

考えられるすべての集計と基本データの組み合わせには、データから回答できるすべてのクエリに対する回答が含まれています。^{[ 11 ]}

通常、計算可能な集計は多数あるため、多くの場合、あらかじめ決められた数だけが完全に計算され、残りは必要に応じて解決されます。どの集計（ビュー）を計算するかを決定する問題は、ビュー選択問題として知られています。ビュー選択は、選択された集計セットの合計サイズ、基本データの変更からそれらを更新するのにかかる時間、またはその両方によって制約されることがあります。ビュー選択の目的は通常、OLAPクエリに応答する平均時間を最小化することですが、更新時間を最小化する研究もあります。ビュー選択はNP完全問題です。この問題に対しては、貪欲アルゴリズム、ランダム化探索、遺伝的アルゴリズム、A*探索アルゴリズムなど、多くの手法が検討されてきました。

Some aggregation functions can be computed for the entire OLAP cube by precomputing values for each cell, and then computing the aggregation for a roll-up of cells by aggregating these aggregates, applying a divide and conquer algorithm to the multidimensional problem to compute them efficiently.^[12] For example, the overall sum of a roll-up is just the sum of the sub-sums in each cell. Functions that can be decomposed in this way are called decomposable aggregation functions, and include COUNT, MAX, MIN, and SUM, which can be computed for each cell and then directly aggregated; these are known as self-decomposable aggregation functions.^[13]

In other cases, the aggregate function can be computed by computing auxiliary numbers for cells, aggregating these auxiliary numbers, and finally computing the overall number at the end; examples include AVERAGE (tracking sum and count, dividing at the end) and RANGE (tracking max and min, subtracting at the end). In other cases, the aggregate function cannot be computed without analyzing the entire set at once, though in some cases approximations can be computed; examples include DISTINCT COUNT, MEDIAN, and MODE; for example, the median of a set is not the median of medians of subsets. These latter are difficult to implement efficiently in OLAP, as they require computing the aggregate function on the base data, either computing them online (slow) or precomputing them for possible rollouts (large space).

MOLAP (multi-dimensional online analytical processing) is the classic form of OLAP and is sometimes referred to as just OLAP. MOLAP stores this data in an optimized multi-dimensional array storage, rather than in a relational database.

Some MOLAP tools require the pre-computation and storage of derived data, such as consolidations – the operation known as processing. Such MOLAP tools generally utilize a pre-calculated data set referred to as a data cube. The data cube contains all the possible answers to a given range of questions. As a result, they have a very fast response to queries. On the other hand, updating can take a long time depending on the degree of pre-computation. Pre-computation can also lead to what is known as data explosion.

Other MOLAP tools, particularly those that implement the functional database model, do not pre-compute derived data but make all calculations on demand other than those that were previously requested and stored in a cache.

Advantages of MOLAP

• 最適化されたストレージ、多次元インデックス、およびキャッシュにより、高速なクエリパフォーマンスを実現します。
• 圧縮技術のおかげで、リレーショナルデータベースに保存されるデータと比較して、ディスク上のデータサイズが小さくなる。
• データの上位レベルの集計値を自動的に計算する。
• 低次元データセットに対して非常にコンパクトです。
• 配列モデルは自然なインデックス付けを提供する。
• 集約データの事前構造化により、効果的なデータ抽出が実現される。

MOLAPの欠点

• 一部のMOLAPシステムでは、処理ステップ（データロード）に時間がかかる場合があり、特にデータ量が多い場合は顕著です。この問題は通常、増分処理のみを行うことで解決されます。つまり、データセット全体を再処理するのではなく、変更されたデータ（通常は新規データ）のみを処理するのです。
• MOLAP手法の中には、データ冗長性を導入するものもある。

ROLAP はリレーショナル データベースと直接連携し、事前計算は不要です。基本データとディメンション テーブルはリレーショナル テーブルとして格納され、集計情報を格納するために新しいテーブルが作成されます。これは特殊なスキーマ設計に依存します。この手法は、リレーショナル データベースに格納されているデータを操作して、従来の OLAP のスライスとダイシング機能の外観を実現します。本質的に、スライスとダイシングの各操作は、SQL ステートメントに「WHERE」句を追加することと同等です。ROLAP ツールは、事前計算されたデータ キューブを使用せず、代わりに標準リレーショナル データベースとそのテーブルにクエリを実行して、質問に答えるために必要なデータを取得します。ROLAP ツールは、手法がキューブの内容に限定されないため、あらゆる質問を実行できます。ROLAP は、データベースの最も低いレベルの詳細までドリルダウンする機能も備えています。

ROLAPはリレーショナルデータベースをソースとして使用しますが、一般的にデータベースはROLAPでの使用を想定して慎重に設計する必要があります。OLTP用に設計されたデータベースは、ROLAPデータベースとしてはうまく機能しません。そのため、ROLAPでは依然としてデータのコピーを作成する必要があります。ただし、データベースであるため、データベースへのデータ投入にはさまざまな技術を使用できます。

ETLコストの増加とクエリパフォーマンスの低下という望ましくないトレードオフのため、現在ではほとんどの商用OLAPツールが「ハイブリッドOLAP」（HOLAP）アプローチを採用しており、モデル設計者はデータのどの部分をMOLAPに格納し、どの部分をROLAPに格納するかを決定できるようになっています。

業界全体で「ハイブリッド OLAP」が何であるかについての明確な合意はありませんが、データベースがデータをリレーショナルストレージと専用ストレージに分割するという点だけは共通しています。^{[ 15 ]}例えば、一部のベンダーでは、HOLAP データベースはリレーショナル テーブルを使用して大量の詳細データを保持し、より集計された、または詳細度の低い少量のデータの少なくとも一部の側面には専用ストレージを使用します。HOLAP は、両方のアプローチの機能を組み合わせることで、 MOLAPとROLAPの欠点を解消します。HOLAP ツールは、事前計算されたキューブとリレーショナル データ ソースの両方を利用できます。

それぞれのタイプには一定の利点があるが、提供者間では具体的な利点について意見の相違がある。

• MOLAPの実装の中には、データベース爆発を起こしやすいものがあります。これは、次元数が多い、事前に計算された結果がある、疎な多次元データであるといった特定の一般的な条件が満たされた場合に、MOLAPデータベースが膨大なストレージ容量を使用する現象です。
• MOLAPは、特殊なインデックス作成とストレージ最適化により、一般的に優れたパフォーマンスを発揮します。また、MOLAPは、特殊なストレージに圧縮技術が含まれているため、ROLAPに比べて必要なストレージ容量が少なくて済みます。^{[ 15 ]}
• ROLAPは一般的にスケーラビリティが高い。^{[ 15 ]}しかし、大量の前処理を効率的に実装することは難しいため、しばしば省略される。そのため、ROLAPクエリのパフォーマンスは著しく低下する可能性がある。
• ROLAPは計算を実行する際にデータベースへの依存度が高いため、使用できる特殊な関数にはより多くの制限がある。
• HOLAPは、ROLAPとMOLAPの長所を融合させた手法です。一般的に、高速な前処理、優れたスケーラビリティ、そして充実した関数サポートを提供します。

以下の略語も時折使用されますが、上記のものほど広く普及しているわけではありません。

• WOLAP – WebベースのOLAP
• DOLAP –デスクトップOLAP
• RTOLAP – リアルタイムOLAP
• GOLAP – グラフOLAP ^{[ 17 ] [ 18 ]}
• CaseOLAP – コンテキスト認識セマンティック OLAP、^{[ 19 ]}は、生物医学アプリケーション向けに開発されました。^{[ 20 ]} CaseOLAP プラットフォームには、データの前処理 (テキスト ドキュメントのダウンロード、抽出、解析など)、Elasticsearch を使用したインデックス作成と検索、Text-Cube と呼ばれる機能的なドキュメント構造の作成、^{[ 21 ] [ 22 ] [ 23 ] [ 24 ] [ 25 ]}およびコア CaseOLAP アルゴリズムを使用したユーザー定義のフレーズとカテゴリの関係の定量化が含まれます。

OLAPクエリを実行した最初の製品は、 1970年にリリースされたExpress （ 1995年にInformation ResourcesからOracleに買収された）でした。 ^{[ 28 ]}しかし、この用語は1993年に「リレーショナルデータベースの父」と呼ばれるEdgar F. Coddによって造語されるまで登場しませんでした。Coddの論文^{[ 1 ]}は、CoddがかつてのArbor Software（後にHyperion Solutionsとなり、2007年にOracleに買収された）のために行った短期のコンサルティング業務から生まれたもので、一種のマーケティング上の成功でした。

同社は1年前に独自のOLAP製品であるEssbaseをリリースしていた。そのため、コッドの「オンライン分析処理の12の法則」はEssbaseに明確に言及していた。その後、論争が起こり、ComputerworldはコッドがArborから報酬を受け取っていたことを知ると、記事を撤回した。OLAP市場は1990年代後半に力強い成長を遂げ、数十の商用製品が市場に投入された。1998年、マイクロソフトは初のOLAPサーバーであるMicrosoft Analysis Servicesをリリースし、OLAPテクノロジーの幅広い採用を促進し、主流へと押し上げた。 

OLAPクライアントには、Excelなどのスプレッドシートプログラム、Webアプリケーション、SQL、ダッシュボードツールなど、多くの種類があります。多くのクライアントは、ユーザーが関心のあるディメンションとメジャーを選択できるインタラクティブなデータ探索をサポートしています。一部のディメンションはフィルター（データのスライスとダイシング用）として使用され、その他はピボットテーブルまたはピボットチャートの軸として選択されます。ユーザーは、表示されるビューの集計レベル（ドリルダウンまたはロールアップ用）を変更することもできます。クライアントは、スライダー、地理マップ、ヒートマップなど、さまざまなグラフィカルウィジェットを提供することができ、これらはダッシュボードとしてグループ化および調整できます。OLAPサーバー比較表の視覚化列には、クライアントの詳細なリストが表示されます。

以下は、2006年の主要OLAPベンダーのリストで、金額は百万米ドル単位です。^{[ 29 ]}

• Apache Pinotは、LinkedIn、Cisco、Uber、Slack、Stripe、DoorDash、Target、Walmart、Amazon、Microsoft で、低遅延でスケーラブルなリアルタイム分析を提供するために使用されています。^{[ 30 ]}オフラインのデータソース (Hadoop やフラットファイルなど) だけでなく、オンラインソース (Kafka など) からもデータを取り込むことができます。Pinot は水平方向に拡張できるように設計されています。
• Mondrian OLAPサーバーは、 Javaで記述されたオープンソースのOLAPサーバーです。MDXクエリ言語、XML for Analysis、およびolap4jインターフェース仕様をサポートしています。
• Apache Dorisは、MPPアーキテクチャに基づいたオープンソースのリアルタイム分析データベースです。高並行性ポイントクエリシナリオと高スループットの複雑な分析の両方をサポートできます。^{[ 31 ]}
• Apache Druidは、OLAPクエリ向けの人気の高いオープンソースの分散データストアであり、様々な組織で大規模に本番環境で使用されています。
• Apache Kylinは、元々はeBayによって開発された、OLAPクエリ用の分散データストアです。
• Cubes（OLAPサーバー）は、 Pythonプログラミング言語でOLAP機能を実装した軽量なオープンソースツールキットであり、ROLAPが組み込まれています。
• ClickHouseは、処理速度と応答速度の速さに重点を置いた、比較的新しいカラム指向型DBMSです。
• DuckDB ^{[ 32 ]}は、プロセス内 SQL OLAP ^{[ 33 ]}データベース管理システムです。
• MonetDBは、OLAPクエリ向けに設計された、成熟したオープンソースの列指向SQLリレーショナルデータベース管理システムです。