仮想メモリ圧縮

仮想メモリ圧縮（ RAM 圧縮やメモリ圧縮とも呼ばれる）は、データ圧縮を利用して補助記憶装置との間のページング要求のサイズや数を削減するメモリ管理技術である。^[1]仮想メモリ圧縮システムでは、仮想メモリからページアウトされるページは圧縮されて物理メモリ（通常はランダム アクセス メモリ(RAM)）に格納されるか、圧縮された状態でハードディスクドライブ(HDD) やソリッド ステート ドライブ(SSD) などの補助記憶装置に送信される。どちらの場合も、内容が圧縮されている仮想メモリ範囲はアクセス不可とマークされるため、圧縮されたページにアクセスしようとするとページ フォールトが発生し、プロセスが逆転する（補助記憶装置からの取得と解凍）可能性がある。ページングされるデータのフットプリントは圧縮プロセスによって削減される。最初のインスタンスでは、解放された RAM が使用可能な物理メモリ プールに戻され、圧縮された部分は RAM に保持される。2 番目のインスタンスでは、圧縮されたデータが補助記憶装置に送信されるが、結果として生じる I/O 操作は小さくなるため、時間がかかりません。^{[2] [3]}

zswap、zram、Helix Software Companyの Hurricaneなどの一部の実装では、プロセス全体がソフトウェアで実装されています。IBM の MXT などの他のシステムでは、圧縮プロセスは、ローカルキャッシュと RAM間の転送を処理する専用プロセッサで実行されます。

仮想メモリ圧縮は、未使用のメモリブロックを削除し、場合によっては使用済みのメモリ領域を統合して断片化を減らし、効率を向上させるガベージコレクション（GC）システムとは異なります。仮想メモリ圧縮は、 ConnectixのRAM Doubler（オンライン圧縮も可能）やApple OS 7.1などのコンテキストスイッチングシステムとも異なります。これらのシステムでは、非アクティブなプロセスが一時停止され、その後、全体として圧縮されます。^[4]

仮想メモリの圧縮には、一般的に2つのタイプがあります。(1)圧縮されたページをメインメモリのスワップファイルに送信し、補助記憶装置にバックアップストアを置く方法^{[1] [5] [6]と、(2)圧縮されたページを圧縮されていないページと並べて保存する方法[1]}です。

最初のタイプ (1) では、通常、LZOやLZ4などのエントロピー符号化と組み合わせたLZクラス辞書圧縮アルゴリズム^{[6] [5]}を使用して、スワップ アウトされるページを圧縮します。圧縮されたページは、メイン メモリのスワップ ファイルに保存されるか、ハード ディスクなどの補助記憶装置に書き込まれます。^{[6] [5]}代わりに、補助記憶装置にバックアップ ストア、メイン メモリにスワップ ファイルの両方が存在する 2 段階のプロセスを使用することもできます。この場合、メモリ内スワップ ファイルから追い出されたページは、書き込み帯域幅 (ページ/秒など) を大幅に増加させてバックアップ ストアに書き込まれるため、バックアップ ストアへの書き込みにかかる時間が短縮されます。この最後の方式では、前述の両方の方法の利点、つまり、スワップ アウトできるデータの総量が大幅に増加してメモリ内データ アクセスが高速になり、補助記憶装置へのページ書き込み帯域幅 (ページ/秒) が増加するという利点が活用されます。^{[6] [5] [1]}

タイプ (2) の仮想メモリ圧縮のアルゴリズムのクラスの 1 つの例は、WK (Wilson-Kaplan ら) クラスの圧縮アルゴリズムです。これらは、ポインタと整数に存在するメモリ内データの規則性を活用します。^{[1] [7]}具体的には、ほとんどの高水準プログラミング言語によって生成されるターゲット コード (データ セグメント -- WK アルゴリズムは命令圧縮には適していません^[1] ) では、要素がワード境界に揃えられたレコードに整数とポインタの両方が存在することがよくあります。さらに、整数に格納される値は通常小さいです。また、メモリ内で互いに近いポインタは、メモリ内でそれ自体が近くにある場所を指す傾向があります。さらに、すべて 0 のワードなどの一般的なデータ パターンは、圧縮された出力では非常に小さなコード (WKdm の場合は 2 ビット) でエンコードできます。これらのデータの規則性を利用して、WKクラスのアルゴリズムは非常に小さな辞書（WKdmの場合は16エントリ）を使用して、最大2：1の圧縮率を達成しながら、LZクラスの辞書圧縮方式よりもはるかに高速でオーバーヘッドが少ない。^{[1] [7]}

仮想メモリの圧縮により、ページング要求によって発生する I/O アクティビティが削減され、全体的なパフォーマンスが向上します。パフォーマンスの向上の度合いは、圧縮コプロセッサの可用性、CPU の空き帯域幅、I/O チャネルの速度、物理メモリの速度、物理メモリの内容の圧縮可能性など、さまざまな要因によって異なります。

マルチコア、マルチスレッドCPUでは、いくつかのベンチマークで50%以上のパフォーマンス向上が示されています。^{[8] [9]}

組み込み機器など、状況によっては補助記憶装置が限られていたり、存在しなかったりすることがあります。このような場合、仮想メモリ圧縮により、仮想メモリを無効にしなければならない場合でも仮想メモリシステムを動作させることができます。これにより、仮想メモリのない環境では動作できない特定のソフトウェアをシステムで実行できるようになります。^[10]

主な問題の 1 つは、実際の負荷下で物理メモリの内容をどの程度圧縮できるかということです。プログラム コードや物理メモリに保持されているデータの多くは、効率的なプログラミング手法とデータ アーキテクチャがデータ セット内の冗長性を自動的に排除するように設計されているため、圧縮率が高くないことがよくあります。さまざまな研究によると、プログラム データの典型的なデータ圧縮率は2:1 から 2.5:1 の範囲で、^{[7] [11]}ディスク圧縮で通常達成できる圧縮率とほぼ同じです。^[10]

仮想メモリ圧縮によって測定可能なパフォーマンス向上を実現するには、仮想メモリ システムのスループットを非圧縮の同等のシステムと比較して向上させる必要があります。したがって、圧縮によって導入される追加の処理量によって全体的なレイテンシが増加してはなりません。ただし、I/O に制約のあるシステムや圧縮率の高いデータ セットを持つアプリケーションでは、大幅な向上が期待できます。^[10]

圧縮システムによって使用される物理メモリは、システムが実行するプロセスで使用可能な物理メモリの量を減らし、ページングアクティビティの増加と仮想メモリ圧縮の全体的な効果の低下につながる可能性があります。ページングアクティビティと使用可能な物理メモリの関係はほぼ指数関数的であり、システムプロセスで使用可能な物理メモリの量を減らすと、ページングアクティビティが指数関数的に増加することを意味します。^{[12] [13]}

空き物理メモリの量が少なく、ページングがかなり頻繁に発生する状況では、圧縮システムによって得られるパフォーマンスの向上 (補助ストレージとの間で直接ページングする場合と比較して) は、ページ フォールト率の増加によって相殺され、スラッシングやシステム パフォーマンスの低下につながる可能性があります。反対に、十分な物理メモリが使用可能でページング アクティビティが少ない状態では、圧縮によるパフォーマンスへの影響は目立たない可能性があります。これら 2 つの状況の中間、つまり RAM が少なくページング アクティビティが多い状況と、RAM は十分にあるがページング アクティビティが少ない状況では、仮想メモリの圧縮が最も効果的である可能性があります。ただし、プログラム データの圧縮性が高いほど、圧縮されたデータを保持するために必要な物理メモリが少なくなるため、パフォーマンスの向上がより顕著になります。

たとえば、圧縮されたページ キャッシュを最大限に活用するために、Helix Software Companyの Hurricane 2.0 では、ユーザーが設定できる圧縮拒否しきい値を提供しています。この仮想メモリ圧縮システムは、4 KiB ページの最初の 256 バイトを 512 バイトに圧縮することで、特定のページで設定された圧縮レベルしきい値を達成できるかどうかを判断します。達成できる場合は、ページの残りの部分が圧縮されて圧縮キャッシュに保持され、達成できない場合は、通常のページング システムを通じてページが補助ストレージに送信されます。このしきい値のデフォルト設定は、8:1 の圧縮率です。^{[14] [4]}

ハードウェア実装では、このテクノロジは、システムのさまざまなコンポーネント間の価格差、たとえば RAM のコストと圧縮専用のプロセッサのコストの差にも依存します。さまざまなコンポーネントの相対的な価格対性能差は、時間の経過とともに変化する傾向があります。たとえば、圧縮コプロセッサを追加しても、CPU のコストにはほとんど影響がない可能性があります。

一般的な仮想メモリ実装では、ページングは​​最も最近使われていない順に行われるため、圧縮アルゴリズムが優先度の最も低いデータを処理するために CPU サイクルを使い果たしてしまう可能性があります。さらに、プログラム コードは通常読み取り専用であるため、ページアウトされることはありません。代わりに、コードは単に破棄され、必要に応じてプログラムの補助ストレージ ファイルから再ロードされます。この場合、圧縮のハードルは高くなります。これは、特にフラッシュ メモリ デバイスでは、削減しようとしている I/O サイクルがはるかに短いためです。

仮想メモリ圧縮は、テクノロジとして人気が出たり下がったりしています。ムーアの法則とDDR3などの RAM インターフェイスの改善により、RAM と外部ストレージの価格と速度が急落したため、仮想メモリ圧縮の必要性は減少しました。一方、マルチコア プロセッサ、サーバー ファーム、モバイル テクノロジ、およびフラッシュ ベース システムの出現により、仮想メモリ圧縮はより魅力的になっています。

エイコーン・コンピュータのUnixの派生版であるRISC iXは、1989年にリリースされたR140ワークステーションの主要オペレーティングシステムとして提供された。 ^[15] RISC iXは、圧縮された実行ファイルのデマンドページングをサポートしていた。しかし、圧縮された実行ファイルを提供する主な目的は、比較的小さなサイズのハードディスクに完全なUnixシステムを収容することであった。この方式では、圧縮されたデータはディスクにページアウトされなかった。^{[16] [17]}

ポール・R・ウィルソンは1990年に、ACM OOPSLA/ECOOP '90ガベージコレクションワークショップ（「ヒープ管理とメモリ階層に関するいくつかの問題と戦略」）で配布された論文の中で、仮想メモリページの圧縮キャッシュを提案し、1991年1月にACM SIGPLAN通知に掲載されました。^[18]

Helix Software Company は1992 年に仮想メモリ圧縮の先駆者となり、同年 10 月にそのプロセスの特許を申請しました。^[2] 1994 年と 1995 年に、Helix はテスト圧縮とビデオ カードやその他のデバイスの二次メモリ キャッシュを使用してプロセスを改良しました。^[3]しかし、Helix は 1996 年 7 月に Hurricane 2.0 をリリースするまで仮想メモリ圧縮を組み込んだ製品をリリースしませんでした。Hurricane 2.0 はStac Electronics Lempel–Ziv–Stac圧縮アルゴリズムを使用し、オフスクリーン ビデオ RAM を圧縮バッファーとして使用してパフォーマンス上の利点を得ました。^[14]

1995年、RAMの価格は1メガバイトあたり約50ドルで、MicrosoftのWindows 95では最低4MBのRAMが必要とされていました。^[19] RAMの要件が高かったため、圧縮技術を使用して「メモリ」を獲得すると主張するプログラムがいくつかリリースされました。最も悪名高かったのは、 Syncronys SoftcorpのSoftRAMプログラムです。SoftRAMは圧縮をまったく行わなかったため、偽物であると暴露されました。^{[20] [10]} HurricaneやMagnaRAMなどの他の製品には仮想メモリ圧縮が含まれていましたが、実行長符号化のみが実装されており、結果が悪く、この技術の評判が悪くなりました。^[21]

PC Magazine は 1997 年 4 月 8 日号で、いくつかのソフトウェア仮想メモリ圧縮ツールのパフォーマンス向上に関する包括的なテストを発表しました。PC Magazine のテストでは、Hurricane の使用によりパフォーマンスがわずかに (全体で 5%) 向上しましたが、他のパッケージではまったく向上しませんでした。^[21]ただし、テストはシングル コアでシングル スレッドの Intel Pentiumシステムで実行されたため、圧縮はすべてのシステム アクティビティに直接影響しました。

1996年にIBMは圧縮の実験を開始し、2000年にIBMはMemory eXpansion Technology (MXT)を発表しました。^{[22] [23] MXTはCPUとメモリコントローラ間の}CPUキャッシュとして機能するスタンドアロンチップでした。MXTには物理メモリとの間のすべてのデータを圧縮する統合圧縮エンジンがありました。その後Intelがこの技術をテストしたところ、システム全体のパフォーマンスが5～20%向上し、PC MagazineがHurricaneで得た結果と似ていました。^[24]

• 2008年初頭に、zram （当初はcompcacheと呼ばれていた）というLinuxプロジェクトがリリースされ、2013年のアップデートでChromeOS ^[25]とAndroid 4.4に組み込まれました。
• 2010年にIBMは仮想メモリ圧縮を実装したAIX 6.1用のActive Memory Expansion (AME)をリリースした。 ^[26]
• 2012年には、POWER7 +チップの一部のバージョンに、AIXで仮想メモリ圧縮に使用されるデータ圧縮サポート用の842圧縮アルゴリズムを使用したAMEハードウェアアクセラレータが搭載されました。 ^[27]最近のPOWERプロセッサは引き続きこの機能をサポートしています。
• 2012 年 12 月にzswapプロジェクトが発表され、2013 年 9 月にLinux カーネル メインラインに統合されました。
• 2013年6月、AppleはOS X Mavericksにウィルソン・カプランWKdmアルゴリズムを使用した仮想メモリ圧縮を組み込むと発表した。 ^{[28] [29]}
• 2015年8月10日のWindows 10 （ビルド10525）の「 Windows Insider Preview」アップデートでは、RAM圧縮のサポートが追加されました。^[30]

• ディスク圧縮
• SSD 上のパーティションをスワップする