インメモリ処理

この用語は、次の 2 つの異なる目的で使用されます。

コンピュータサイエンスにおいて、インメモリ処理（PIM）とは、データ操作をCPUレジスタに転送する必要なく、データメモリ上で直接実行できるコンピュータアーキテクチャである。 ^[1]これにより、プロセッサとメインメモリ間でデータを移動する際における電力使用量とパフォーマンスが向上する可能性がある。
ソフトウェア工学において、インメモリ処理とは、データベースが完全にランダムアクセスメモリ（RAM）またはフラッシュメモリ内に保持され、通常のアクセス、特に読み取りまたはクエリ操作ではディスクストレージにアクセスする必要がないソフトウェアアーキテクチャです。^[2]これにより、「結合」などのデータ操作が高速化され、ビジネスにおけるレポート作成や意思決定が高速化されます。^[3]

非常に大きなデータセットは、インメモリデータグリッドとして連携システム間で分割される場合があります。

ハードウェア (PIM)

PIMは次のように実装できる: ^[4]

メモリを使用した処理 (PuM)
- 従来のメモリモジュール（DIMMモジュールなど）に限定された処理機能（浮動小数点乗算ユニット、コピーやゼロなどの4K行演算、2行のビット演算など）を追加する。
- アクセスされるデータが CPU に転送されたり、CPU のキャッシュに影響を与えたりすることなく、すぐに処理されるように、メモリコントローラに処理機能を追加します。

メモリ近傍処理 (PnM)
- メモリ層と処理層を備えたシリコンの新しい 3D 配置。

日常生活におけるインメモリ技術の応用

最新のスマートフォンやタブレットでは、アプリケーションのパフォーマンスを向上させるために、インメモリ処理技術が頻繁に使用されています。これにより、アプリの読み込み時間が短縮され、ユーザーエクスペリエンスが向上します。

PlayStationやXboxなどのゲーム機では、ゲーム速度を向上させるためにインメモリ処理が使用されることがあります。^[5]^{[検証失敗]}スムーズなゲーム体験を提供するには、迅速なデータアクセスが不可欠です。

スマートウォッチやフィットネストラッカーなどの特定のウェアラブルデバイスには、センサーデータを迅速に処理し、ユーザーにリアルタイムのフィードバックを提供するために、インメモリ処理が組み込まれている場合があります。一般的なガジェットの多くは、パフォーマンスと応答性を向上させるためにインメモリ処理を使用しています。^[6]

インメモリ処理は、スマートテレビでインターフェースナビゲーションとコンテンツ配信を強化するために使用されます。デジタルカメラでは、リアルタイム画像処理、フィルタリング、およびエフェクトに使用されます。^[7]音声起動アシスタントやその他のホームオートメーションシステムは、ユーザーの指示をより速く理解して応答することでメリットを得ることができます。

インメモリ処理は、家電製品や高級デジタルカメラの組み込みシステムでも効率的なデータ処理に使用されています。インメモリ処理技術により、特定のIoTデバイスは高速なデータ処理と応答時間を優先します。^[8]

ソフトウェア

ディスクベースのデータアクセス

データ構造

ディスクベースのテクノロジーでは、データは複数のテーブルと多次元構造の形でコンピュータのハードディスクにロードされ、それらに対してクエリが実行されます。ディスクベースのテクノロジーは多くの場合、リレーショナルデータベース管理システム(RDBMS) であり、多くの場合、構造化クエリ言語 ( SQL ) に基づいており、SQL Server、MySQL、Oracleなど多数あります。 RDBMS は、トランザクション処理の要件に合わせて設計されています。挿入と更新をサポートし、集計を実行するデータベースを使用すると、結合(BI ソリューションで一般的) は通常、非常に遅くなります。もう 1 つの欠点は、SQL はデータ行を効率的にフェッチするように設計されているのに対し、BI クエリでは通常、大量の計算を伴う部分的なデータ行のフェッチが必要になることです。

クエリのパフォーマンスを向上させるために、多次元データベースまたはOLAP キューブ(多次元オンライン分析処理 (MOLAP) とも呼ばれる) を構築することができます。キューブの設計は複雑で時間のかかるプロセスになる可能性があり、動的に変化するビジネスニーズに合わせてキューブの構造を変更するのは面倒な場合があります。キューブには特定のクエリに応答するためのデータが事前に入力されており、パフォーマンスは向上しますが、すべてのアドホッククエリに応答するには最適ではありません。^[9]

情報技術（IT）スタッフは、データベースの最適化、インデックスと集計の構築、キューブとスタースキーマの設計、データモデリング、クエリ分析にかなりの開発時間を費やすことがあります。^[10]

処理速度

ハードディスクからデータを読み取ると、同じデータを RAM から読み取る場合に比べて、はるかに遅くなります (数百倍になる場合もあります)。特に、大量のデータを分析する場合、パフォーマンスが大幅に低下します。SQL は非常に強力なツールですが、ディスクベースの実装による任意の複雑なクエリは実行に比較的長い時間がかかり、トランザクション処理のパフォーマンスが低下することがよくあります。許容可能な応答時間内に結果を取得するために、多くのデータウェアハウスは、要約を事前に計算し、特定のクエリにのみ応答するように設計されています。パフォーマンスを向上させるには、最適化された集計アルゴリズムが必要です。

インメモリデータアクセス

インメモリデータベースとデータグリッドの両方で、すべての情報は最初にハードディスクではなくメモリ RAM またはフラッシュメモリにロードされます。データグリッドでは、 ACIDなどの高度な機能を持つリレーショナルデータベースよりも 3 桁高速に処理されますが、これらの機能が追加されるとパフォーマンスが低下します。類似の情報をまとめて保存する列中心のデータベースの登場により、データをより効率的に、より高い圧縮率で保存できるようになりました。これにより、大量のデータを同じ物理スペースに保存できるため、クエリの実行に必要なメモリの量が減り、処理速度が向上します。多くのユーザーとソフトウェアベンダーは、フラッシュメモリをシステムに統合して、システムをより大きなデータセットに経済的に拡張できるようにしています。

ユーザーはシステムのメモリにロードされたデータに対してクエリを実行するため、データベースアクセスの速度低下やパフォーマンスのボトルネックを回避できます。これは、クエリパフォーマンスを高速化するために広く使用されているキャッシュとは異なります。キャッシュは、非常に具体的な事前定義済みの整理されたデータのサブセットです。インメモリツールを使用すると、分析に使用できるデータは、完全にメモリ内にあるデータマートまたは小規模なデータウェアハウスと同じくらいの大きさになる可能性があります。これには、複数の同時ユーザーまたはアプリケーションが詳細レベルですばやくアクセスでき、分析を強化したり、アプリケーションのスケーリングや速度を向上させたりできる可能性があります。理論上、データアクセス速度はディスクに比べて 10,000 ～ 1,000,000 倍向上します。^{[出典が必要]}また、IT スタッフによるパフォーマンスチューニングの必要性を最小限に抑え、エンドユーザーに高速なサービスを提供します。

インメモリ処理技術の利点

コンピュータ技術とビジネスニーズの特定の発展により、インメモリ技術の相対的な利点が増加する傾向にあります。^[11]

ムーアの法則に従って、単位面積あたりのトランジスタ数は約 2 年ごとに倍増します。これは、コンポーネントの価格、パフォーマンス、パッケージ、および機能の変化に反映されています。特に、ランダムアクセスメモリの価格と CPU の計算能力は、数十年にわたって向上しています。CPU 処理、メモリ、およびディスクストレージはすべて、この法則の何らかの変化の影響を受けます。また、マルチコアアーキテクチャ、NAND フラッシュメモリ、並列サーバー、およびメモリ処理能力の向上などのハードウェアの革新は、インメモリアプローチの技術的および経済的実現可能性に貢献しています。
一方で、列中心のデータベース、圧縮技術、集計テーブルの処理などのソフトウェアの革新により、効率的なインメモリ製品が可能になります。^[12]
64 ビットオペレーティングシステムの登場により、 32 ビットシステムでアクセス可能な 2 GB または 4 GB よりもはるかに大きな RAM (最大 100 GB 以上) にアクセスできるようになりました。64 ビットオペレーティングシステムでは、ストレージと分析用にテラバイト (1 TB = 1,024 GB) のスペースが提供されるため、インメモリ処理がスケーラブルになります。フラッシュメモリを使用すると、システムをより経済的に数テラバイトに拡張できます。
データ量の増加により、従来のデータウェアハウスでは、データをタイムリーかつ正確に処理できなくなる可能性があります。ディスクベースのデータウェアハウスを運用データで定期的に更新する抽出、変換、ロード(ETL) プロセスにより、遅延や古いデータが発生する可能性があります。インメモリ処理により、テラバイト単位のデータに高速にアクセスして、より優れたリアルタイムレポートを作成できるようになります。
インメモリ処理はディスクベースの処理に比べて低コストで利用でき、導入や保守も容易です。ガートナーの調査によると、^[13]従来のBIツールの導入には17か月もかかることがあります。
アクセスレイテンシの低減、メモリ帯域幅とハードウェア並列処理の向上により、消費電力が減少し、スループットが向上します。^[14]

ビジネスへの応用

さまざまなインメモリ製品では、既存のデータソースに接続したり、視覚的に豊かなインタラクティブダッシュボードにアクセスしたりできます。これにより、ビジネスアナリストやエンドユーザーは、トレーニングや専門知識がなくても、カスタムレポートやクエリを作成できます。簡単なナビゲーションと、クエリをその場で変更できる機能は、多くのユーザーにとってメリットになります。これらのダッシュボードには最新のデータを取り込むことができるため、ユーザーはリアルタイムデータにアクセスし、数分以内にレポートを作成できます。インメモリ処理は、コールセンターや倉庫管理で特にメリットがあります。

インメモリ処理では、クエリが実行されるたびにデータベースにアクセスするのではなく、ソースデータベースへのクエリが 1 回だけ実行されるため、繰り返し処理がなくなり、データベースサーバーの負荷が軽減されます。インメモリデータベースに夜間にデータを入力するようにスケジュール設定することで、ピーク時にデータベースサーバーを運用目的で使用できます。

インメモリ技術の採用

ユーザー数が多い場合、インメモリ構成には大量のRAMが必要となり、ハードウェアコストに影響します。クエリ応答速度が優先され、データ量が大幅に増加し、レポート機能の需要が高まっている状況では、この投資が適している可能性が高くなります。ただし、情報が急速に変化しない場合は、コスト効率が悪い可能性があります。インメモリツールは大量のデータをエンドユーザーに公開するため、セキュリティも考慮すべき事項です。メーカーは、承認されたユーザーのみがデータにアクセスできるようにすることをお勧めします。

参照

参考文献

^ Ghose, S. (2019 年 11 月). 「メモリ内処理: ワークロード主導の観点」(PDF) . IBM Journal of Research and Development . 63 (6): 3:1–19. doi :10.1147/JRD.2019.2934048. S2CID 202025511.
^ Zhang, Hao; Gang Chen; Beng Chin Ooi; Kian-Lee Tan; Meihui Zhang (2015 年 7 月)。「インメモリビッグデータ管理および処理: 調査」。IEEE Transactions on Knowledge and Data Engineering。27 (7): 1920–1948。doi : 10.1109/ TKDE.2015.2427795。
^ Plattner, Hasso; Zeier, Alexander (2012). インメモリデータ管理: テクノロジーとアプリケーション. Springer Science & Business Media. ISBN 9783642295744。
^ 「Processing-in-Memory コース: 講義 1: 将来のシステムのための PIM パラダイムの検討 - 2022 年春」。YouTube。2022年3 月 10 日。
^ Park, Kate (2023-07-27). 「Samsung、メモリチップ生産削減を延長、代わりにハイエンドAIチップに注力」TechCrunch . 2023年12月5日閲覧。
^ Tan, Kian-Lee; Cai, Qingchao; Ooi, Beng Chin; Wong, Weng-Fai; Yao, Chang; Zhang, Hao (2015-08-12). 「インメモリデータベース: ソフトウェアとハードウェアの観点から見た課題と機会」ACM SIGMOD Record . 44 (2): 35–40. doi :10.1145/2814710.2814717. ISSN 0163-5808. S2CID 14238437.
^ Fatemieh, Seyed Erfan; Reshadinezhad, Mohammad Reza; Taherinejad, Nima (2022). 「Memristive IMPLY Logic を使用した近似インメモリコンピューティングと画像処理への応用」。2022 IEEE 国際回路システムシンポジウム (ISCAS)。pp. 3115–3119。doi : 10.1109 / ISCAS48785.2022.9937475。ISBN 978-1-6654-8485-5. S2CID 253462291 . 2023年12月5日閲覧。
^ 「メモリ内処理 (PIM) とは何ですか? また、どのように機能しますか?」。ビジネスアナリティクス。2023年 12 月 5 日閲覧。
^ Gill, John (2007). 「インメモリデータベーステクノロジによる BI パラダイムの転換」. Business Intelligence Journal . 12 (2): 58–62. 2015 年 9 月 24 日時点のオリジナルよりアーカイブ。
^ Earls, A (2011). インメモリ分析ツールの評価、導入、管理に関するヒント(PDF) 。Tableau。2012年 4 月 25 日のオリジナル(PDF)からアーカイブ。
^ 「In_memory Analytics」。yellowfin。6 ページ。
^ Kote, Sparjan. 「ビジネスインテリジェンスにおけるインメモリコンピューティング」。2011 年 4 月 24 日時点のオリジナルよりアーカイブ。
^ 「調査分析：BI とアナリティクスの採用が低い理由とその範囲を拡大する方法」。ガートナー。2023 年 12 月 5 日閲覧。
^ Upchurch, E.; Sterling, T.; Brockman, J. (2004). 「高度な PIM アーキテクチャ設計のトレードオフの分析とモデリング」。ACM/IEEE SC2004 会議の議事録。ピッツバーグ、ペンシルバニア州、米国: IEEE。p. 12。doi : 10.1109/ SC.2004.11。ISBN 978-0-7695-2153-4. S2CID 9089044。

[1] Ghose, S. (2019 年 11 月). 「メモリ内処理: ワークロード主導の観点」(PDF) . IBM Journal of Research and Development . 63 (6): 3:1–19. doi :10.1147/JRD.2019.2934048. S2CID 202025511.

[2] ^ Zhang, Hao; Gang Chen; Beng Chin Ooi; Kian-Lee Tan; Meihui Zhang (2015 年 7 月)。「インメモリビッグデータ管理および処理: 調査」。IEEE Transactions on Knowledge and Data Engineering。27 (7): 1920–1948。doi : 10.1109/ TKDE.2015.2427795。

[3] Plattner, Hasso; Zeier, Alexander (2012). インメモリデータ管理: テクノロジーとアプリケーション. Springer Science & Business Media. ISBN 9783642295744。

[4] 「Processing-in-Memory コース: 講義 1: 将来のシステムのための PIM パラダイムの検討 - 2022 年春」。YouTube。2022年3 月 10 日。

[5] Park, Kate (2023-07-27). 「Samsung、メモリチップ生産削減を延長、代わりにハイエンドAIチップに注力」TechCrunch . 2023年12月5日閲覧。

[6] Tan, Kian-Lee; Cai, Qingchao; Ooi, Beng Chin; Wong, Weng-Fai; Yao, Chang; Zhang, Hao (2015-08-12). 「インメモリデータベース: ソフトウェアとハードウェアの観点から見た課題と機会」ACM SIGMOD Record . 44 (2): 35–40. doi :10.1145/2814710.2814717. ISSN 0163-5808. S2CID 14238437.

[7] Fatemieh, Seyed Erfan; Reshadinezhad, Mohammad Reza; Taherinejad, Nima (2022). 「Memristive IMPLY Logic を使用した近似インメモリコンピューティングと画像処理への応用」。2022 IEEE 国際回路システムシンポジウム (ISCAS)。pp. 3115–3119。doi : 10.1109 / ISCAS48785.2022.9937475。ISBN 978-1-6654-8485-5. S2CID 253462291 . 2023年12月5日閲覧。

[8] 「メモリ内処理 (PIM) とは何ですか? また、どのように機能しますか?」。ビジネスアナリティクス。2023年 12 月 5 日閲覧。

[9] Gill, John (2007). 「インメモリデータベーステクノロジによる BI パラダイムの転換」. Business Intelligence Journal . 12 (2): 58–62. 2015 年 9 月 24 日時点のオリジナルよりアーカイブ。

[10] Earls, A (2011). インメモリ分析ツールの評価、導入、管理に関するヒント(PDF) 。Tableau。2012年 4 月 25 日のオリジナル(PDF)からアーカイブ。

[11] 「In_memory Analytics」。yellowfin。6 ページ。

[12] Kote, Sparjan. 「ビジネスインテリジェンスにおけるインメモリコンピューティング」。2011 年 4 月 24 日時点のオリジナルよりアーカイブ。

[13] 「調査分析：BI とアナリティクスの採用が低い理由とその範囲を拡大する方法」。ガートナー。2023 年 12 月 5 日閲覧。

[14] Upchurch, E.; Sterling, T.; Brockman, J. (2004). 「高度な PIM アーキテクチャ設計のトレードオフの分析とモデリング」。ACM/IEEE SC2004 会議の議事録。ピッツバーグ、ペンシルバニア州、米国: IEEE。p. 12。doi : 10.1109/ SC.2004.11。ISBN 978-0-7695-2153-4. S2CID 9089044。