粗粒度再構成可能アレイ

粗粒度再構成可能アレイまたは粗粒度再構成可能アーキテクチャ( CGRA ) は、プログラム可能で静的または動的に再構成可能なオンチップ相互接続を介して接続された、比較的多数の処理要素(PE) から構成される空間コンピューティングハードウェアの一種です。各 PE の動作と PE 間のルーティングの両方を再構成することで、CGRA は、多くの場合パフォーマンスが重要なループの本体である計算のデータフロー グラフを実装するように特化できます。これは、ソフトウェア プログラマブル プロセッサの適応性とカスタム ハードウェアのエネルギー効率の中間に位置します。^{[ 1 ] [ 2 ] [ 3 ]}

CGRAの構成要素はワードレベルで固定されており、粗い粒度で再構成されるため、フィールドプログラマブルゲートアレイ（FPGA）とは異なります。FPGAは個々のビットと論理ゲートのレベルで再構成可能であり、面積、電力、構成時間のオーバーヘッドが増加する代わりに、非常に高い柔軟性が得られます。汎用プロセッサ（CPUとGPU）も非常に柔軟ですが、すべての操作で命令ストリームをフェッチおよびデコードするためのエネルギーコストがかかります。一方、特定用途向け集積回路（ASIC）は、単一のアプリケーションに特化しているため柔軟性が最も低く、まさにエネルギー効率が最も高いオプションです。CGRAはワード粒度で動作することで、カスタムハードウェアの空間的かつエネルギー効率の高い並列性の大部分を維持しながら、ソフトウェアで再プログラム可能です。^{[ 1 ]}

CGRAは1960年に初めて構想され、1990年代半ばに現代的な形になった。^{[ 4 ]}それ以来、信号処理、無線通信、機械学習に応用され、学術的なプロトタイプと商用シリコンの両方に登場している。CGRA上でプログラムを実行するには、プログラムのデータフローグラフをアレイにマッピングする専用のコンパイラが必要であり、このステップは普及を阻む主な障害の1つとなっている。^{[ 5 ]}

CGRAへの関心は、ハードウェア環境におけるギャップの拡大から生じている。デナードスケーリングの終焉とムーアの法則の減速により、汎用プロセッサがかつて自動的に提供していた性能向上は減少し、コンピュータアーキテクチャは、ニューラルネットワークなどの要求の厳しいワークロードに後押しされ、ワットあたりの性能向上を継続するために特化へと向かった。一方の極端な例として、固定機能ASICは最高の効率を実現するが、高額な非反復エンジニアリングコストがかかり、製造後に変更することはできない。もう一方の極端な例として、フォンノイマンプロセッサは完全にプログラム可能であるがエネルギー効率が悪く、FPGAは柔軟性があるがコストがかかる中間的な位置にある。データフローアーキテクチャはワードレベルで再構成可能であるため、CGRAはASICに近い効率と製造後のプログラマビリティを組み合わせようとしている。^{[ 1 ]}

計算のために構造を再構成できるマシンのアイデアは、1960 年にジェラルド・エストリンが提案した「固定プラス可変構造コンピュータ」に遡ります。 ^{[ 4 ]}現代的な意味での粗粒度アレイは、1990 年代半ばに、いくつかのグループが FPGA のビットレベルのセルをワードレベルの処理要素に置き換えたときに登場しました。^{[ 5 ]} KressArray は再構成可能なデータパスユニットの 2 次元メッシュを導入しました。MATRIX はワードレベルのデータパスと構成可能な相互接続を組み合わせました。RaPiD と PipeRench はセルを再構成可能なパイプラインとして構成し、PipeRench はシリコンに到達しました。MorphoSys は再構成可能なセルメッシュとデータ並列メディアワークロード用の制御プロセッサを組み合わせました。^{[ 6 ]}

2000 年代を通じて、設計はより大規模になり、より緊密に統合されました。ADRES はVLIWプロセッサと再構成可能なマトリックスを組み合わせ、TRIPS は命令レベル、スレッドレベル、データレベルの並列性を活用できる多形アレイを研究し、PACT XPP は自己再構成型の商用ファブリックを提供しました。^{[ 7 ] [ 8 ] [ 9 ]} 2010 年代以降、研究はデータ移動とシステム統合を重視しました。HyCUBE はシングルサイクルのマルチホップ相互接続を導入し、Plasticine はパターン計算ユニットとパターンメモリユニットを中心に計算を編成し、ストリームデータフロー (Softbrain) モデルはメモリ ストリーミングを空間データパスから分離しました。^{[ 10 ] [ 11 ] [ 12 ]}同じ時期に、OpenEdgeCGRA などの超低消費電力エッジアレイを含むオープンソースのエコシステムが形作られました。OpenEdgeCGRA は HEEPsilon プラットフォームの X-HEEP RISC-Vマイクロコントローラと統合され、C コードからハードウェアへの完全なフローを提供します。^{[ 13 ] [ 14 ]}

少数のCGRAが商用シリコンに到達している。ADRESから派生したSamsungの再構成可能プロセッサ（SRP）は、システムオンチップや超低消費電力の生体医療用バリアントに登場している。^{[ 15 ] [ 16 ]} SambaNovaは、パターン演算ユニットとパターンメモリユニットから構築された大規模データフローアクセラレータである再構成可能データフローユニット（RDU）を商用化し、機械学習のトレーニングと推論を目的とした。^{[ 17 ]}

CGRAファブリックは通常、処理要素の2次元アレイとして構成され、各処理要素は、算術論理演算ユニット（ALU）または機能ユニット、小さなローカルレジスタファイルまたはパイプラインレジスタのセット、および処理要素ごとに実行する演算とオペランドのルーティング方法を決定する1つ以上の構成レジスタを中心に構築されています。処理要素は、プログラマブル相互接続（一般的にはメッシュ、トーラス、または小規模アレイの場合はクロスバースイッチ）によって接続され、1つの処理要素によって生成されたオペランドが隣接する処理要素、あるいはより高度な設計ではさらに遠い処理要素に到達できるようにします。ほとんどのCGRAはスタンドアロンではなく、アレイはホストプロセッサまたは制御プロセッサに接続されています。この役割は従来、VLIWまたはARMコアによって担われていましたが、最近の多くのオープンソース設計ではRISC-Vコアが使用されています。アレイがホストにどれだけ密接に結合されているかに応じて、CGRAは、プロセッサのデータパス内に配置され、カスタム命令として呼び出される密結合型、またはオンチップ相互接続を介して通信する独立したアクセラレータとして機能する疎結合型として説明されます。疎結合型の構成は、より大規模な現代のシステムでより一般的です。^{[ 18 ]}

CGRA をプログラミングするとは、構成をアレイの構成メモリにロードすることです。各 PE について、構成は操作 (たとえば、加算、乗算、シフト、または比較) と入力および出力のルーティングを指定します。この構成は粗粒度であるため、専用の CGRA はナノ秒単位で新しい構成に切り替えることができ、これは FPGA が再構成できる速度よりも桁違いに高速です。単一の構成は、実行中のデータフロー グラフ(DFG) の単一の空間「スナップショット」を生成します。空間のみのCGRA では、カーネルの DFG はアレイ全体に一度展開され、各 PE は実行全体にわたって同じ構成を保持します。これは、シストリック アレイの考え方と似ています。時間的または時空間的CGRAでは、各 PE は代わりに、ローカル構成メモリに保持されている構成の短いシーケンスを循環し、連続するサイクルにわたって複数の DFG ノードを同じ物理 PE に時分割多重します。^{[ 1 ] [ 2 ] [ 5 ]}

文献では、CGRA の実行を、PE アレイが一度に処理する構成とデータ ストリームの数によってさらに分類しています。単一構成、単一データ (SCSD)、単一構成、複数データ (SCMD) (アレイ全体に 1 つの構成が適用される)、および複数構成、複数データ (MCMD) (複数の異なる構成が同時に実行される) です。^{[ 1 ]}

注：

• (a) ここでいう「AI エンジン」とは、プログラマブル AXI ストリーム相互接続とローカル メモリで接続された VLIW-SIMD ベクトル タイルの空間アレイとして構築されたドメイン固有の AI/ML アクセラレータを指します (例えば、AMD/Xilinx Versal AI Engine など)。FPGA や CGRA ファブリックとは異なり、AI エンジン アレイと各タイルのデータ パスは製造時に固定されます。実行時にプログラム可能なのは、各タイルによって実行されるソフトウェア (命令駆動型) と、タイル間のストリームおよびデータ フローの接続性 (構成駆動型およびデータ フロー駆動型) です。^{[ 19 ]}
• （１）FPGAは時間計算を実行できるが、オーバーヘッドが大きいため実用的ではない。
• （２）ASICは再構成をサポートしていませんが、構成コードは存在する可能性があります。
• CPU、GPU、マルチコアプロセッサは命令駆動型のマシンであり、ファブリックを再構成しないため、再構成時間の項目は「適用外」とマークされています。これらのマシンの操作ごとのレイテンシは、再構成ではなく命令の発行を反映しています。

もう一つのアーキテクチャ上の違いは、アレイ全体にわたる PE が同一であるか、特化されているかという点です。均質な CGRA では、すべての PE が同じ一連の操作をサポートするため、コンパイル時の配置とルーティングが簡素化されます。異質な CGRA では、PE は特化されています (たとえば、一部の PE のみが乗算器またはメモリのロード/ストアユニットを実装し、残りはより単純な算術演算と論理演算を処理します)。これにより、特定のターゲットワークロードに対して面積と消費電力が削減されますが、コンパイラが各操作を実際にそれをサポートする PE に配置する必要があるため、マッピングの問題が難しくなります。均質か異質かという軸は、空間的か時空間的かという区別とは独立しており、単純でコンパイルが容易な均質空間アレイから複雑で高度に特化された異質時空間アレイまで、2 次元の設計空間を提供します。^{[ 20 ]}

CGRA は逐次命令ストリームではなく空間データフローグラフを実行するため、コンパイラはプログラムを機械語命令ではなく配置配線構成に変換する必要があります。典型的なフローは、通常 C または C++ などの高水準言語から始まり、パフォーマンスが重要なループを特定し、それらをそれぞれデータフローグラフに変換します。これは、MLIR ^{[ 21 ] [ 22 ]}を使用する新しい手法もありますが、一般的にはLLVMベースのフロントエンドを介して行われます。条件を含むループは、部分的または完全な述語によって制御依存性をデータ依存性に変換することで空間化され、分岐の両側が計算され、正しい結果が選択されます。^{[ 1 ]}

フローの中核はマッピング問題です。各 DFG ノードを PE にバインドし、PE の動作能力、インターコネクトのトポロジ、およびタイミング制約に従って、すべてのデータ依存関係をインターコネクト経由でルーティングします。この問題はNP 完全であり、通常は 2 つの結合されたサブ問題に分割されます。1 つは各操作にタイム スロットを割り当てるスケジューリング、もう 1 つは操作を PE にバインドし、インターコネクト リソースを予約する配置およびルーティングです。パイプライン ループの場合、主要な品質メトリックは開始間隔 (II) であり、これは連続するループ反復の開始間のサイクル数であり、スループットを決定します。モジュロ スケジューリングによるソフトウェア パイプラインは、達成可能な最小の II で有効なマッピングを探索し、マッピングが失敗した場合は II を上げて再スケジューリングします。文献に記載されているマッパーは、ヒューリスティック、シミュレーテッド アニーリング、整数線形計画法、最大クリーク探索などのグラフ理論的定式化、そして最近では学習ベースの階層的手法を使用しています。^{[ 23 ] [ 24 ]}

これらのフレームワークは主に次の4つの軸で異なります。ソースからDFGを自動的に生成するか、ユーザーが提供する必要があるか。マッパーがアーキテクチャ適応型であるか（コードの変更なしに新しい相互接続またはPEミックスをリターゲットできるか）。合成可能なRTLを出力するか。統合されたサイクル精度シミュレータが含まれているか。比較研究では通常、PolyBenchなどの標準的なループカーネルベンチマークスイート全体で達成可能な開始間隔、マッピング成功率、およびコンパイル時間が報告されます。^{[ 28 ]}

効率面での利点があるにもかかわらず、CGRAは未解決の研究課題であり、プログラマビリティと生産性の限界はまだ解決されていません。^{[ 1 ] [ 2 ]}

CGRAは、規則的なデータフローを持つ計算集約型でループが支配的なカーネルに最適であり、その応用の歴史はそれを反映している。^{[ 3 ]}初期のアレイは、デジタル信号処理、マルチメディア、画像およびビデオ処理を対象としており、同じ操作がデータストリームに適用される。関連研究では、再構成可能性を使用して規格を切り替えることで、無線ベースバンドおよびソフトウェア無線にCGRAを適用した。^{[ 1 ]}

近年では、機械学習が主要な推進力となっている。^{[ 3 ]} CGRA および CGRA に類似したデータフロー アクセラレータは、トランスフォーマーや大規模言語モデルのワークロードを実行する大規模な商用システムから、エッジの超低消費電力アレイまで、ディープ ニューラル ネットワークの推論とトレーニングに使用されている。その他の領域には、科学計算および高性能コンピューティング、ウェアラブルおよび近接センサー デバイス向けの組み込みバイオ信号処理、^{[ 30 ]}および精度とエネルギーをトレードオフする近似計算バリアントによって対処されるエラー耐性ワークロードが含まれる。 ^{[ 31 ]}

以下の表は、歴史の項で述べた時代にわたる、学術界および産業界における代表的なCGRAおよびCGRA類似の設計例を一覧にしたものです。

• 特定用途向け命令セットプロセッサ
• ハードウェアアクセラレーション
• 再構成可能なコンピューティング
• ベクトルプロセッサ

• CGRAアーキテクチャとツール – スタンフォードAHA
• Linuxで動作する初のCGRAに関するLinkedIn投稿