SAP について

SAP IQ (旧称SAP Sybase IQまたはSybase IQ、IQ for Intelligent Query ) は、ビジネス インテリジェンス、データ ウェアハウス、およびデータ マートに使用される、列ベースでペタバイト規模のリレーショナル データベースソフトウェア システムです。現在はSAPグループ会社のSybase Inc.によって開発され、主な機能は低コストで可用性の高い環境で大量のデータを分析することです。SA​​P IQ は、列ストア技術の商用化の先駆者として よく知られています^{[1] 。}

SAP IQ の基盤には、高速圧縮とアドホック分析を可能にする列ストア テクノロジーがあります。SAP IQ は、エコシステムに対してオープン インターフェイス アプローチを採用しています。また、SAP IQ は、エンドツーエンドのビジネス分析ソフトウェア スタックを形成するために SAP のビジネス インテリジェンス製品ポートフォリオと統合されており、SAP のインメモリ データ ファブリック アーキテクチャとデータ管理プラットフォームの不可欠なコンポーネントとなっています。

1990年代初頭、マサチューセッツ州ウォルサムに本社を置くExpressway Technologies, Inc.は、分析用に最適化された列ベースのエンジンであるExpressway 103を開発しました。これが後にSybase IQになります。SybaseはExpresswayを買収し、1995年にこの製品をIQ Acceleratorとして再導入し、その後すぐにSybase IQに改名し、バージョン番号11.0を付けました。^[2]

Sybaseは、データウェアハウスでよく見られる関連技術のコレクション（Sybase Adaptive Server Enterprise、Replication Server、PowerDesigner 、 SQL Anywhereなど）の一部としてIQ製品を提供することで、データウェアハウス市場向けの専門製品の必要性を認識した最初の大手企業の1つになりました。^[3]

バージョン 12.0 では、Sybase は Adaptive Server Enterprise の疎結合クエリ インターフェイスを SQL Anywhere との密結合に置き換えました。

バージョン16では、ペタバイト規模の極限のデータ量と、さらに極限のデータ圧縮に対応するために再設計された列ストアが導入されています。^[4]

2014年、SAP HANAはパートナーのBMMsoft、HP、Intel、NetApp、Red Hatと共同で世界最大のデータウェアハウスを発表しました。SAP、BMMsoft、HP、Intel、NetApp、Red HatのエンジニアチームがSAP HANAとSAP IQ 16を使用してデータウェアハウスを構築し、Red Hat Enterprise Linux 6のIntel Xeon E7-4870プロセッサーとNetApp FAS6290およびE5460ストレージを搭載したHP DL580サーバーでBMMsoft Federated EDMTを実行しました。12.1PBのデータウェアハウスの開発とテストは、カリフォルニア州サンタクララのSAP/Intel Petascaleラボで実施され、独立したTransaction Processing Council認定監査人であるInfoSizingによって監査されました。^[5]

SP08 のリリースでは、SAP HANA との製品の継続的な統合を反映するために、バージョン番号が SAP HANA のバージョン番号に合わせて変更されました。実際のリリース タイトル SP03 は SP02 の後継であり、リリースの影響を受けないすべてのプラットフォームをカバーします。

SAPの新しいアプローチは、データウェアハウスをインメモリデータファブリックに合理化し、簡素化します。^[6]

ビッグ データの出現により、SAP IQ は SAP HANA と連携して、分散型インメモリ分析プラットフォームを提供しています。運用レポートに SAP HANA のインメモリ速度を活用しながら、EDW およびビッグ データ プロセッサとしてのスケーラビリティとパフォーマンスに関する SAP IQ の強みを活用しようとする主なアプリケーションとユース ケースは 3 つあります。

https://blogs.sap.com/2016/10/12/sap-nls-solution-sap-bw

このシナリオでは、SAP Enterprise Resource Planning (ERP) のデータは、即時分析のための運用データストアとして機能する SAP HANA に送られます。データが分析されると、ニアラインストレージメカニズム (前述のとおり) を介して SAP IQ に統合されます。ここで、SAP IQ は、さまざまな従来のソース (OLTP データベースやファイルシステムなど) からデータを受信するエンタープライズデータウェアハウスとして機能し、SAP HANA Operational Data Store (ODS) ^[7]

https://blogs.sap.com/2019/05/22/q-the-easy-installer-for-sap-iq/

SAP IQ を EDW として使用する場合、HANA のインメモリ技術で拡張することもできます。一般的な用途としては、同時 OLTP 処理が必要な計画および分析レポートなどがあります。この場合、データは SAP IQ から SAP HANA に流れます。^[7] SAP BusinessObjects BI を使用すると、両方のプラットフォームにわたる可視性を実現できます。

ユーザーにとって、SAP IQ は、ODBC / JDBCドライバー経由でアクセスできる SQL ベースの言語レイヤーを備えたリレーショナル DBMS とまったく同じように見えます。ただし、内部的には、Sybase IQ は列指向 DBMSであり、ほとんどのトランザクション データベースのようにデータの行としてではなく、データの列のセクションとしてデータ テーブルを保存します。

列指向には多くの利点があります。^[8]データ列内の特定の値に一致する項目を検索する場合、テーブル内のそのデータ列に対応するストレージ オブジェクトのみにアクセスする必要があります。従来の行ベースのデータベースでは、テーブル全体を上から下まで読み取る必要があります。もう 1 つの利点は、インデックスが正しく作成されていれば、従来のデータベースではデータの各行に 1 回ずつ格納する必要があった値が 1 回だけ格納され、SAP IQ では n ビット インデックスを使用してデータにアクセスできることです。^[9] n ビットおよび階層型インデックスを使用すると、圧縮率が向上し、増分バッチ ロードが高速になります。

さらに、列ベースのストレージにより、SAP IQはデータを効率的にオンザフライで圧縮することができます。^[10]

• 
  SAP IQ 列ストア

SAP IQ 16 より前は、各データ ページは固定サイズのセルの配列として構造化されていたため、すべての値は同じデータ型でした。このストレージ アプローチは構造化され固定長のデータには効果的ですが、今日見られるより非構造化され可変サイズのデータ​​には当てはまりません。ストレージの非効率性に対処し、無駄なスペースを最小限に抑えて可変サイズのデータ​​を格納するために、各ページは密集した可変サイズのセルで構成されています。列ストア アーキテクチャは、ページあたりの可変数のセルと列内のさまざまなページ フォーマットをサポートしています。SAP IQ は、各データ ページがディスクに書き込まれるときに Lempel-Ziv-Welch (LZW) 圧縮アルゴリズム^[11]を適用して、データ量を大幅に削減します。^[12]

ビットマップはセカンダリインデックスとして使用されます。^[11]

• 
  SAP IQ インデックス作成

SAP IQ には、分散クエリ処理をサポートする共有環境に基づく超並列処理 (MPP)フレームワークがあります。MPP が可能な他のほとんどの製品は、共有なし環境に基づいています。共有環境の利点は、最適化できるクエリの種類に関して柔軟性が高いことです。特に、多数の同時ユーザーのニーズのバランスをとる場合に便利です。欠点は、極端な場合、共有ストレージ プール (通常はストレージ エリア ネットワーク) にアクセスするためのプロセッサ間の競合により、I/O競合が発生し、クエリのパフォーマンスに影響する可能性があることです。[12]

ただし、前述の SAP IQ のストレージ アーキテクチャにより、コンピューティング層とストレージ層を互いに独立してスケールアウトできるほか、基盤となるデータベースを再構築することなく、これらのリソースをオンデマンドでプロビジョニングして、より効率的に利用できるようになります。

SAP IQ は、SAP IQ サーバーのクラスター、つまりマルチプレックスで構成されるクラスター グリッド アーキテクチャを使用します。これらのクラスターは、多数の同時クエリまたは非常に複雑なクエリのパフォーマンスを拡張するために使用されます。これは、すべてのコンピューティング ノードが同じ共有ストレージとやり取りし、クエリをすべてのコンピューティング ノードに分散できる共有アーキテクチャ上に構築されています。マルチプレックスには、データベース カタログを管理し、ストアへのトランザクション書き込みを調整するコーディネーター ノードがあります。他のノードは、コーディネーター ノードのように、読み取り専用ノード、または読み取りと書き込みの両方を行うことができます。ストレージ ファブリックは、マルチプレックス ノード間での共有を可能にするさまざまなテクノロジを使用して実装できます。

このアーキテクチャには、ワークロード バランシングや柔軟な仮想データ マートなど、さまざまな用途があります。ワークロード バランシングは、SAP IQ クエリ エンジンによって、サーバ アクティビティの変化に応じて並列処理を動的に増減することで実現されます。ノードがクエリへの参加を停止すると、自動的にフェイルオーバーが行われ、他のノードが障害が発生したノードに元々割り当てられていた作業を引き継ぐため、クエリは完了します。クライアント側では、外部のロード バランスとの互換性により、物理サーバ上でクエリがバランスよく開始され、ボトルネックが解消されます。マルチプレックス内の物理ノードは、ワークロードを互いに分離できる「論理サーバ」にグループ化できます (セキュリティまたはリソース バランシングのため)。需要の変化に応じて、これらのサーバにマシンを追加できます。グリッド アーキテクチャの目的は、グローバル トランザクション中でも回復力を実現することです。

• 
  SAP IQ マルチプレックスアーキテクチャ
• 
  SAP IQ マルチプレックスの使用例

SAP IQ ロード エンジンは、増分バッチ、低レイテンシ、同時ロード、およびバルク ロード (クライアントとサーバーの両方のデータ ファイル) に使用できます。バルク ロード プロセスでは、ロードが異なるテーブルの場合、複数のロード プロセスを同時に実行できます。データは、他のデータベースやファイルからロードできます。ページ レベルのスナップショット バージョン管理により、同時ロードとクエリが可能になり、ロックはテーブル レベルでのみ発生します。SAP Replication Server は、SAP IQ へのロードを最適化するように強化され、トランザクションは最小限の操作セットにコンパイルされ、次に SAP IQ へのバルク マイクロバッチ ロードが実行され、リアルタイムで連続したロードのように見えます。

バルク ローダーは、プロセスをシリアル化するのではなく、すべての操作を並列で実行して、すべてのサーバー コアを最大限に活用し、ボトルネックを取り除き、すべてのスレッドの生産性を維持します。読み込みプロセスは 2 段階のプロセスのままで、最初に生データを読み取って FP インデックスを作成し、次にセカンダリ インデックスを作成しますが、すべてが並列で実行されます。クエリ オプティマイザーがどの列/行にどのデータ値が含まれているかに関する情報として頼る高グループ インデックスは、ピラミッドの下に行くほど増加する一連の層として構造化されるようになりました。

最後に、SAP IQ では、書き込みが最適化された行レベル バージョン管理 (RLV) デルタ ストアが導入され、高速データ ロードとユーザーへの高速データ提供が可能になります。このストアは、最小限のインデックスと圧縮、同時書き込みのための行レベル ロック、独自のトランザクション ログを備え、追加専用であり、メイン ストアの補助として機能します。データは RLV ストアに高速でロードされ、後でメイン ストアに移行され、定期的にマージされます。ユーザーにとっては、2 つの別個のエンティティが動作しているようには見えず、クエリは 2 つのストア間で透過的に実行されます。これを利用するには、ユーザーは特定の「ホット」データベース テーブルを RLV テーブルとして指定できます。

• 
  SAP IQ ロードエンジン

SAP IQ は、純粋な ANSI SQL 標準 (いくつかの制限あり) に基づくクエリ API を提供し、OLAP および全文検索サポートが含まれています。ストアド プロシージャは、ANSI SQL および Transact-SQL の両方のダイアレクトでサポートされており、スケジュールに従ってまたは即時に実行できます。また、JAVA、C/C++m、PHP、PERL、Python、Ruby、ADO.Net などのさまざまなプログラミング言語用のデータベース ドライバーもあります。

SAP IQ は、構造化データと非構造化データの両方をクエリし、その結果を結合できる分析エンジンです。SA​​P IQ では、非構造化テキストの塊内で用語を検索することでこれを容易にする新しいテキスト インデックスと SQL の「contains」句が導入されました。SAP Sybase とベンダーのパートナーシップにより、さまざまなバイナリ形式のテキスト ファイルを SAP IQ に取り込んで、テキスト インデックスを作成できます。これらのテキスト インデックスにより、より高度なテキスト分析アプリケーションが SELECT 文を使用して SAP IQ 内で全文検索を実行できるようにデータが準備されます。SELECT 構文は、トークン化、分類、およびさらなるテキスト分析を実行するアプリケーションで使用できます。

インデータベース分析は、分析アルゴリズムをデータの近くに保ち、パフォーマンスを向上させるという基本概念に基づいて構築されています。「インデータベース分析」と呼ばれる拡張フレームワークにより、SAP IQ のデータベース エンジン内に分析関数を埋め込むことができ、分析をデータベース外の特殊な環境ではなくデータベース内に移動します。データベース外の特殊な環境はエラーが発生しやすく、処理に時間がかかります。事前構築済みの関数はネイティブで使用できるほか、SAP IQ のパートナーを通じて、SAP IQ にプラグインする特殊な統計ライブラリやデータ マイニング ライブラリも利用できます。このフレームワークにより、データをデータベース外の分析用の特殊な環境に移動する必要がないため、SAP IQ の高度な処理と分析を行う能力が向上します。取得されたすべてのデータと結果は DBMS を通じて共有でき、SQL インターフェイスを通じて簡単に取得できます。ユーザー定義関数 (UDFS) を通じて、パートナーはカスタム計算で DBMS を拡張できます。これは、SAP IQ に直接プラグインする特殊な統計ライブラリやデータ マイニング ライブラリを提供することで、高度な処理と分析のパフォーマンスを向上させることができます。

SAP IQ には、ユーザーデータのセキュリティ保護に役立ついくつかの機能が用意されています。これらの機能は基本製品に含まれていますが、個別にライセンスすることもできます。IQ 16 で導入された新機能は、ロール ベース アクセス コントロール (RBAC) です。これは、権限操作を細分化してユーザーに個別に付与できるようにすることで、職務の分離を可能にし、最小権限の原則を維持します。基本製品の一部として、ユーザー、グループと権限、データベース管理権限、ユーザー ログイン ポリシー、データベース暗号化、トランスポート層セキュリティ、IPV6、ロール ベース アクセス コントロール、およびデータベース監査が含まれています。追加機能は、高度なセキュリティ オプションと呼ばれるライセンス可能なオプションの一部です。FIPS 暗号化、Kerberos 認証、LDAP 認証、およびデータベース列暗号化です。

• 
  SAP IQ セキュリティ

ILM の一部として、SAP IQ では、データを整理するために複数のユーザー DBSpace (データベース オブジェクトのストレージ/コンテナの論理ユニット) を作成できます。これを使用して、構造化データまたは非構造化データを分離したり、経過時間と値に基づいてグループ化したり、テーブル データをパーティション分割したりできます。また、DBSpace を読み取り専用としてマークして、1 回限りの整合性チェックとバックアップを有効にすることもできます。ILM のもう 1 つの用途は、テーブルをパーティション分割し、ストレージ ファブリックに沿って移動部分を配置し、バックアップ機能を使用することです。これにより、データが階層型ストレージを循環し、古くなるにつれて高速で高価なストレージから低速で安価なストレージに移動し、価値に基づいてデータをパーティション分割するストレージ管理プロセスが可能になります。

マルチプレックス セットアップでは、マルチプレックス コーディネーター ノードが代替コーディネーター ノードにフェイルオーバーできるため、コンピューティング ノードにスケーラビリティと高可用性が提供されます。

SAP IQ 仮想バックアップを使用すると、ユーザーはデータをすばやくバックアップできます。また、ストレージ レプリケーション テクノロジと合わせて、データが継続的にコピーされるため、バックアップはすばやく「舞台裏で」実行されます。仮想バックアップが完了すると、テストと復元によって検証できます。エンタープライズ データをコピーして開発とテストに使用できます。あとは、トランザクションの一貫性が保たれた時点でバックアップを完了するだけです。SA​​P は、MPP にすべてを共有するアプローチを採用することで、災害復旧が容易になると主張しています。SAP Sybase PowerDesigner モデリング ツールを使用すると、ユーザーは SAP IQ で導入できる ILM モデルを構築できます。ストレージ タイプ、DBSpace、ライフサイクル フェーズを ILM モデルで定義でき、このツールを使用してレポートを生成したり、パーティション作成および移動スクリプトを作成したりできます。

SAP IQ は、ビッグデータ用の非常に人気のあるフレームワークである Hadoop 分散ファイルシステム (HDFS) とのフェデレーションを提供しているため、エンタープライズ ユーザーは Hadoop にデータを保存し、その利点を活用できます。統合は、ユーザーのニーズに応じて、クライアント側フェデレーション、ETL、データ、およびクエリ フェデレーションの 4 つの異なる方法で実現されます。クライアント側フェデレーションは、クライアント アプリケーション レベルで IQ と Hadoop のデータを結合し、ETL フェデレーションでは、ユーザーが Hadoop データを IQ の列ストア スキーマにロードできます。HDFS データは、IQ からの SQL クエリを通じて IQ データとオンザフライで結合することもでき、最後に MapReduce ジョブの結果を IQ データとオンザフライで組み合わせることもできます。

SAP Control Center は、管理および監視用の Web ベースのグラフィカル ツールとして Sybase Central に代わるものです。SA​​P Control Center を使用すると、任意の場所から SAP Sybase サーバーとリソース (ノード、マルチプレックス) を監視できるほか、パフォーマンスを監視したり、使用傾向を把握したりできます。この Web アプリケーションには、SAP Sybase のパフォーマンスを Control Center サーバーに戻すサーバーと製品ベースのエージェントで構成される多層プラグイン アーキテクチャがあります。

SAP IQ には、さまざまな Web 2.0 プログラミングおよび実行環境 (Python、Perl、PHP、.Net、Ruby) から SAP IQ へのアクセスを容易にする Web 対応アプリケーション ドライバーが付属しています。他のデータベースとのクエリ フェデレーションを通じて、開発者は複数のデータ ソース (および他のベンダーのデータベース プラットフォーム) と同時に対話するアプリケーションを構築できます。外部データベースのテーブルにマップするフェデレーション プロキシ テーブルを作成できます。これらはメモリ内テーブルとして実現されますが、SAP IQ 内にあるかのように対話できます。このようにして、データ ソースを統合されたビューに組み合わせることができます。

SAP IQ は、 C++ およびJavaで記述された外部アルゴリズムのプラグインもサポートしています。SQL クエリはこれらのアルゴリズムを呼び出すことができるため、データベース内分析の実行が可能になり、パフォーマンスとスケーラビリティが向上します。さらに、Sybase IQ は、 PHP、Perl、Python、Ruby on Railsなどの言語を介してアクセスするためのドライバーも提供します。

SAP IQ は、以下を含むほとんどの主要なオペレーティング システム プラットフォームをサポートしています。

• Sun Solaris 64 ビット
• Red Hat Linux 64/32 ビット
• SuSE Linux 64/32 ビット
• HP-UX 64 ビット
• HP-UX Itanium 64 ビット
• IBM-AIX 64 ビット
• Windows 64/32 ビット

Sybase社によると、Sybase IQは現在2000以上の顧客サイトにインストールされている。主な顧客にはcomScore Inc.、^[13] CoreLogic、Investment Technology Group (ITG)、^[14]米国国税庁(IRS)などがある。^[15]

Sybase IQは、集中的なデータマートスタイルの導入に広く使用されていますが、^[16]エンタープライズデータウェアハウスとしても導入されています。

• SAP IQ ウェブサイト
• SAP IQ コミュニティ ウィキ
• SAP IQ ドキュメント
• SAP IQ サポート ページ
• SybaseWiki の技術文書