ベクトルプロセッサ

コンピューティングにおいて、ベクトル プロセッサまたは配列プロセッサは、ベクトルと呼ばれる大規模な1 次元データ配列を効率的かつ効果的に操作するように設計された命令セットを実装する中央処理装置(CPU)です。これは、命令が単一のデータ項目のみを操作するスカラー プロセッサとは対照的であり、同じスカラー プロセッサの一部が追加の単一命令複数データ(SIMD) またはレジスタ内 SIMD (SWAR) 演算装置を備えているのとも対照的です。ベクトル プロセッサは、特定のワークロード、特に数値シミュレーションや同様のタスクのパフォーマンスを大幅に向上させることができます。ベクトル処理技術は、ビデオ ゲーム コンソールハードウェアやグラフィック アクセラレータでも動作します。

ベクトル マシンは 1970 年代初頭に登場し、1970 年代から 1990 年代にかけてスーパーコンピュータの設計を支配し、特にさまざまなCrayプラットフォームでその地位を確立しました。従来のマイクロプロセッサ設計の価格性能比が急速に低下したため、1990 年代にはベクトル スーパーコンピュータの衰退が進みました。

ベクトル処理の開発は、1960 年代初頭にウェスティングハウス エレクトリック コーポレーションのSolomonプロジェクトで始まりました。Solomon の目標は、単一のマスター中央処理装置(CPU)の制御下にある多数の単純なコプロセッサを使用して、数学のパフォーマンスを大幅に向上させることでした。CPU は、すべての算術論理ユニット(ALU)に 1 つの共通命令を1 サイクルごとに 1 つずつ送信しましたが、各 ALU が処理するデータ ポイントはそれぞれ異なっていました。これにより、Solomon マシンは、配列の形式で送信される大規模なデータ セットに単一のアルゴリズムを適用できるようになりました。 ^{[引用が必要]}

1962 年、ウェスティングハウス社はプロジェクトを中止したが、イリノイ大学アーバナ・シャンペーン校がILLIAC IVとしてプロジェクトを再開した。当初の設計では 1 GFLOPS のマシンに 256 個の ALU を搭載する予定だったが、1972 年にようやく納品さ​​れたときには ALU が 64 個しかなく、100 ～ 150 MFLOPS にしか達しなかった。それでも、基本的なコンセプトがしっかりしていることが示され、数値流体力学などのデータ集約型アプリケーションで使用した場合、ILLIAC は世界最速のマシンとなった。データ要素ごとに別々の ALU を使用する ILLIAC のアプローチは、後の設計では一般的ではなく、別のカテゴリである超並列コンピューティングで言及されることが多い。この頃、フリンはこのタイプの処理を SIMT (単一命令複数スレッド)の初期の形式として分類した。^[要出典]

インターナショナル・コンピューターズ・リミテッドは、 ILLIACコンセプトの多くの困難を独自の分散アレイプロセッサ（DAP）設計で回避しようとし、ILLIACとDAPを、CDC STAR-100やCray 1などの従来のベクトルプロセッサ設計よりも大幅にパフォーマンス上の利点を提供できる可能性のあるセルラーアレイプロセッサとして分類しました。^[1]

関数演算用のコンピュータは1967年にカルツェフによって発表され開発された。^[2]

最初のベクトル スーパーコンピュータは、Control Data Corporation の STAR-100とTexas Instruments の Advanced Scientific Computer (ASC) で、それぞれ 1974 年と 1972 年に導入されました。

基本的な ASC (つまり「1 パイプ」) ALU は、スカラー計算とベクトル計算の両方をサポートするパイプライン アーキテクチャを使用していました。ピーク パフォーマンスは約 20 MFLOPS に達し、長いベクトルを処理するときに容易に達成されます。拡張された ALU 構成は、「2 パイプ」または「4 パイプ」をサポートし、それぞれ 2 倍または 4 倍のパフォーマンス向上を実現しました。メモリ帯域幅は、これらの拡張モードをサポートするのに十分でした。

STAR-100 は、 CDC 7600などの CDC 独自のスーパーコンピューターよりも低速でしたが、データ関連のタスクでは、はるかに小型で安価でありながら、追いつくことができました。ただし、このマシンはベクトル命令をデコードしてプロセスを実行する準備にかなりの時間を要したため、実際に速度を上げる前に、非常に特殊なデータ セットを処理する必要がありました。

ベクトル技術は、1976 年に有名なCray-1によって初めて本格的に活用されました。STAR-100 や ASC のようにデータをメモリ内に残すのではなく、Cray の設計では 8 つのベクトル レジスタがあり、それぞれが 64 個の 64 ビット ワードを保持していました。ベクトル命令はレジスタ間で適用されたため、メイン メモリと通信するよりもはるかに高速でした。STAR-100 ではメモリ内の長いベクトルに 1 つの操作を適用してから次の操作に進みますが、Cray の設計ではベクトルの小さなセクションをレジスタにロードしてから、そのデータにできるだけ多くの操作を適用することで、はるかに遅いメモリ アクセス操作の多くを回避しました。

Cray の設計では、複数の ALU ではなく、パイプライン並列処理を使用してベクトル命令を実装しました。さらに、設計では異なる命令に対して完全に独立したパイプラインが採用されており、たとえば、加算/減算は乗算とは別のハードウェアで実装されていました。これにより、一連のベクトル命令を各 ALU サブユニットにパイプライン化することができ、この手法はベクトル チェイニングと呼ばれていました。Cray-1 の通常のパフォーマンスは約 80 MFLOPS でしたが、最大 3 つのチェーンを実行すると、ピーク時には 240 MFLOPS、平均では約 150 MFLOPS となり、当時のどのマシンよりもはるかに高速でした。

他にも例が続いた。コントロールデータ社は、ETA-10マシンでハイエンド市場に再参入しようとしたが、売れ行きが振るわず、これを機にスーパーコンピューティング分野から完全に撤退した。1980年代前半から中頃には、富士通、日立、日本電気（NEC）などの日本企業が、Cray-1に似たレジスタベースのベクターマシンを発表した。これらは通常、Cray-1よりわずかに高速で、はるかに小型だった。オレゴン州に拠点を置くFloating Point Systems （FPS）は、ミニコンピュータ用のアドオンアレイプロセッサを構築し、後に独自のミニスーパーコンピュータを構築した。

その間ずっと、Cray はパフォーマンスのリーダーであり続け、Cray-2、Cray X-MP、Cray Y-MPにつながる一連のマシンで競合他社に勝ち続けました。それ以来、スーパーコンピュータ市場は、ベクトルプロセッサのより優れた実装よりも、超並列処理に重点を置くようになりました。しかし、ベクトル処理の利点を認識した IBM は、複数のスカラープロセッサを結合してベクトルプロセッサとして機能するスーパーコンピュータで使用するための 仮想ベクトルアーキテクチャを開発しました。

Cray-1 に似たベクトル スーパーコンピュータは、最近ではあまり人気がありませんが、NEC はSX シリーズのコンピュータで、このタイプのコンピュータを現在まで作り続けています。最新のSX-Aurora TSUBASA は、物理的にはグラフィックス コプロセッサに似ているカード内のHBM 2 モジュールにプロセッサと 24 または 48 ギガバイトのメモリを搭載していますが、コプロセッサとして機能するのではなく、メイン コンピュータとして機能し、接続された PC 互換コンピュータがサポート機能を提供します。

最新のグラフィックス処理ユニット ( GPU ) には、コンピューティング カーネルによって駆動されるシェーダ パイプラインの配列が含まれており、ベクトル プロセッサと見なすことができます (メモリ レイテンシを隠すための同様の戦略を使用)。Flynnの 1972 年の論文に示されているように、SIMT ベースの GPU の主な特徴は、単一の命令デコーダ/ブロードキャスターを備えている一方で、同じ命令を受信して​​実行するコアは、独自の ALU、独自のレジスタ ファイル、独自のロード/ストア ユニット、および独自の独立した L1 データ キャッシュを備えていることです。したがって、すべてのコアが互いに同期してまったく同じ命令を同時に実行しますが、完全に異なるメモリ位置からの完全に異なるデータを使用して実行します。これは、並列パイプライン算術演算の実行のみに厳密に制限されている「Packed SIMD」よりもはるかに複雑で複雑です。今日の商用GPUの正確な内部詳細は独自の秘密であるが、MIAOW ^[3]チームは、AMDGPUアーキテクチャのサブセットを実装するのに十分な逸話的な情報をまとめることができました。^[4]

最近のCPUアーキテクチャの多くは、ベクタープロセッサとして設計されています。RISC -Vベクター拡張は、初期のベクタープロセッサと同様の原理に従っており、 Andes Technology AX45MPVなどの商用製品に実装されています。^[5]また、 ForwardComやLibre-SOCなど、オープンソースのベクタープロセッサアーキテクチャもいくつか開発されています。

2016 年現在、^{[アップデート]}ほとんどのコモディティ CPU は、固定長 SIMD 命令を備えたアーキテクチャを実装しています。一見すると、これらは複数の (ベクトル化された明示的な長さの) データ セットで動作し、ベクトル プロセッサから機能を借用しているため、ベクトル処理の一形態と見なすことができます。ただし、定義上、SIMD の追加だけでは、プロセッサを実際のベクトル プロセッサと見なすことはできません。これは、SIMD が固定長で、ベクトルが可変長であるためです。以下に、3 つのカテゴリ (純粋な SIMD、述語付き SIMD、純粋なベクトル処理) を示して比較する例を使用して、その違いを示します。^{[引用が必要]}

• 純粋（固定）SIMD - 「Packed SIMD」、^[6] レジスタ内SIMD（SWAR）、およびFlynnの分類法におけるパイプラインプロセッサとも呼ばれる。ベクトルプロセッサからヒントを得た機能を備えたSIMDを使用する一般的な例としては、Intel x86のMMX、SSE、AVX命令、AMDの3DNow!拡張、ARM NEON、SparcのVIS拡張、PowerPCのAltiVec、MIPSのMSAなどがある。2000年には、IBM、東芝、ソニーが協力して、SIMDであるCellプロセッサを開発した。
• 述語付きSIMD -連想処理とも呼ばれます。要素ごと（レーンベース）の述語を持つ2つの注目すべき例は、ARM SVE2とAVX-512です。
• 純粋ベクター(ダンカンの分類法による) には、オリジナルのCray-1、Convex C シリーズ、NEC SX、RISC-V RVVが含まれます。メモリベースではありますが、CDC STAR-100もベクター プロセッサでした。

その他の CPU 設計には、複数の (ベクトル化された) データ セットのベクトル処理用の複数の命令が含まれています。これは通常、MIMD (Multiple Instruction, Multiple Data) と呼ばれ、 VLIW (Very Long Instruction Word) およびEPIC (Explicitly Parallel Instruction Computing)で実現されます。富士通 FR-V VLIW/ベクトル プロセッサは、両方のテクノロジを組み合わせています。

SIMD 命令セットには、ベクター命令セットと比較すると重要な機能が欠けています。最も重要なのは、ベクター プロセッサは、その定義と設計上、その登場以来、常に可変長であることです。

純粋な（固定幅、述語なし）SIMD は、しばしば「ベクター」であると誤って主張されますが（SIMD はたまたまベクターであるデータを処理するため）、歴史的 ISA と現代の ISA を詳細に分析および比較すると、実際のベクター ISA には、SIMD ISA にはない次の機能があることがわかります。^{[引用が必要]}

• vsetvlRISCV RVVの命令^[7]やlvlNEC SXの命令^[8]のように、長さを2の累乗や固定データ幅の倍数に制限せずにベクトル長を設定する方法。
• ベクトル内の要素に対する反復と削減。

述語付きSIMD（ Flynnの分類法の一部）は、ARM SVE2で現在利用可能なすべてのベクトル命令で包括的な個々の要素レベルの述語マスクです。^[9]そしてAVX-512は、ほぼベクトルプロセッサとして適格です。^{[どのように？ ]}述語付きSIMDは固定幅のSIMD ALUを使用しますが、ユニットのローカル制御（述語付き）アクティベーションを可能にして、可変長ベクトルの外観を提供します。以下の例は、これらのカテゴリの違いを説明するのに役立ちます。

SIMD は固定幅のバッチ処理を使用するため、設計上、反復処理や削減処理に対応できません。これについては、以下の例でさらに詳しく説明します。

さらに、ベクトルプロセッサは、ベクトル連鎖により、低速のハードウェアを使用して電力を節約しながらも、SIMDよりもスループットとレイテンシを低く抑え、リソース効率を高めることができます。^{[10] [11]}

SIMD プロセッサとベクトル プロセッサの両方が 4 つの 64 ビット要素で動作し、LOAD、ADD、MULTIPLY、STORE シーケンスを実行する場合を考えてみましょう。SIMD 幅が 4 の場合、SIMD プロセッサは ADD に進む前に 4 つの要素を完全に LOAD する必要があり、MULTIPLY に進む前にすべての ADD を完了する必要があり、同様に STORE を開始する前にすべての MULTIPLY を完了する必要があります。これは定義と設計によるものです。^[12]

4 ワイド同時 64 ビット LOAD および 64 ビット STORE を実行すると、ハードウェア (メモリへの 256 ビット データ パス) で非常にコストがかかります。4x 64 ビット ALU、特に MULTIPLY も同様です。これらの高コストを回避するには、SIMD プロセッサに 1 ワイド 64 ビット LOAD、1 ワイド 64 ビット STORE、および 2 ワイド 64 ビット ALU のみが必要です。マルチ発行実行モデルを想定している図に示されているように、結果として操作の完了にかかる時間が長くなります。マルチ発行が不可能な場合は、LD が最初の ADD と同時に発行 (開始) されない可能性があるため、操作にさらに時間がかかります。 4 ワイド 64 ビット SIMD ALU しかない場合、完了時間はさらに悪くなります。4 つの LOAD がすべて完了したときにのみ SIMD 操作を開始でき、すべての ALU 操作が完了したときにのみ STORE を開始できます。

対照的に、ベクトルプロセッサは、たとえシングルイシューでSIMD ALUを使用せず、1ワイド64ビットLOADと1ワイド64ビットSTORE（およびCray-1のように、MULTIPLYをADDと同時に実行する機能）のみを備えていても、1ワイドLOAD、1ワイドSTORE、および2ワイドSIMDを備えたSIMDプロセッサよりも4つの操作を高速に完了する可能性があります。ベクトルチェイニングによるこのより効率的なリソース使用は、SIMDと比較した重要な利点と違いです。SIMDは、設計上および定義上、結果のグループ全体を除いてチェイニングを実行できません。^[13]

一般的に言えば、CPU は一度に 1 つまたは 2 つのデータしか操作できません。たとえば、ほとんどの CPU には、基本的に「A を B に追加し、その結果を C に格納する」という命令があります。A、B、C のデータは、少なくとも理論上は、命令に直接エンコードできます。ただし、効率的な実装では、物事はそれほど単純になることはほとんどありません。データが生の形式で送信されることはめったになく、代わりに、データを保持するメモリ位置へのアドレスを渡すことによって「ポイント」されます。このアドレスをデコードしてメモリからデータを取得するには時間がかかります。その間、CPU は要求されたデータが現れるのを待機してアイドル状態になります。CPU の速度が上がるにつれて、このメモリ待ち時間は歴史的にパフォーマンスの大きな障害となってきました。ランダム アクセス メモリ § メモリ ウォールを参照してください。

これらのステップで消費される時間を削減するために、ほとんどの最新の CPU は、命令が複数のサブユニットを順番に通過する命令パイプラインと呼ばれる手法を使用しています。最初のサブユニットはアドレスを読み取ってデコードし、次のサブユニットはそれらのアドレスの値を「フェッチ」し、次のサブユニットは計算自体を行います。パイプラインの「秘訣」は、最初の命令が CPU を離れる前に、アセンブリ ラインのように次の命令のデコードを開始することです。そのため、アドレス デコーダは常に使用されています。特定の命令が完了するまでにかかる時間はどれも同じで、この時間はレイテンシと呼ばれますが、CPU は、一度に 1 つずつ処理する場合よりもはるかに高速かつ効率的に、一連の操作全体をオーバーラップ方式で処理できます。

ベクター プロセッサはこの概念をさらに一歩進めています。命令をパイプライン処理するだけでなく、データ自体もパイプライン処理します。プロセッサには、A を B に加算するだけでなく、「ここからここまで」のすべての数字を「そこからそこまで」のすべての数字に加算する命令が与えられます。常に命令をデコードして、命令を完了するために必要なデータを取得する代わりに、プロセッサはメモリから 1 つの命令を読み取ります。命令自体の定義には、命令が前回より 1 増分大きいアドレスにある別のデータ項目に対して再度実行されることが単純に暗示されています。これにより、デコード時間を大幅に節約できます。

これがどのような違いをもたらすかを説明するために、10 個の数字の 2 つのグループを加算するという単純なタスクを考えてみましょう。通常のプログラミング言語では、数字のペアを順に取得して加算する「ループ」を記述します。CPU では、これは次のようになります。

; 仮想 RISC マシン
; a、b、c はそれぞれのレジスタのメモリ位置であると仮定します
; a の 10 個の数値を b の 10 個の数値に追加し、結果を c に格納します
move $10 , count ; count := 10 loop: load r1 , a load r2 , b add r3 , r1 , r2 ; r3 := r1 + r2 store r3 , c add a , a , $4 ; 進むadd b , b , $4 add c , c , $4 dec count ; jnez countをデクリメントしますloop ; count がまだ 0 でない場合はループしますret        

     
     
          
    
            
       
       
             
       
  

しかし、ベクトル プロセッサにとって、このタスクはかなり異なって見えます。

;サイズが 10 以上の
ベクトルレジスタ v1-v3 があると仮定します。move $ 10 , count ; count = 10 vload v1 , a , count vload v2 , b , count vadd v3 , v1 , v2 vstore v3 , c , count ret          
      
      
       
     
  

命令にループがまったくないことに注目してください。これは、 10 個の連続した操作を実行したのはハードウェアであるためです。つまり、ループ カウントは実質的に命令ごとに明示的に行われます。

Cray スタイルのベクター ISA はこれをさらに一歩進め、ベクター長 (VL) と呼ばれるグローバルな「カウント」レジスタを提供します。

; ここでも、サイズが 10 以上の
ベクター レジスタ v1-v3 があると仮定します。setvli $10 # ベクターの長さを VL=10 に設定します。vload v1 、a # 10 を a からロードします。vload v2 、b # 10 を b からロードします。vadd v3 、v1 、v2 # 10を追加します。vstore v3 、c # 10 を c に格納します。ret            
            
            
         
           
  

このアプローチにはいくつかの節約効果が内在している。^[14]

1. 必要なアドレス変換は 3 つだけです。アーキテクチャによっては、これだけでも大きな節約になります。
2. もう 1 つの節約は、命令自体のフェッチとデコードであり、これは 10 回ではなく 1 回だけ実行すれば済みます。
3. コード自体も小さくなるため、メモリの使用効率が向上し、L1 命令キャッシュ サイズの削減、消費電力の削減につながります。
4. プログラムのサイズが縮小されると、分岐予測の作業が容易になります。
5. 長さ (SIMD 幅に相当) が命令にハードコードされていないため、エンコードがよりコンパクトになるだけでなく、「将来性」も高まり、組み込みプロセッサの設計でも、高性能を追求するのではなく、純粋に他のすべての利点を得るためにベクトルを使用することを検討できます。

さらに、より新しいベクトル プロセッサ ISA では、「Fail on First」または「Fault First」が導入されており (以下を参照)、さらに多くの利点がもたらされます。

しかし、それ以上に、高性能ベクトル プロセッサには、これらの数値を並列に加算する複数の機能ユニットがある場合があります。ベクトル命令は複数の独立した操作を指定するため、これらの数値間の依存関係のチェックは必要ありません。これにより、必要な制御ロジックが簡素化され、ストールを回避することでパフォーマンスをさらに向上できます。したがって、数学演算は全体的にはるかに速く完了しますが、制限要因はメモリからデータを取得するのに必要な時間です。

このような解決策ですべての問題を解決できるわけではありません。これらのタイプの命令を含めると、必然的にコア CPU の複雑さが増します。その複雑さにより、通常、他の命令の実行速度が低下します (つまり、連続して多くの数字を加算していない場合)。命令が複雑になるとデコーダーの複雑さも増し、通常の加算などの一般的な命令のデコード速度が低下する可能性があります。 (この問題は、ISA 全体をRISC の原則に従えばいくらか緩和できます。RVV では、高度な機能があっても、約 190 個のベクトル命令しか追加されません。^[15] )

ベクター プロセッサは、従来、処理するデータが大量にある場合にのみ最適に機能するように設計されていました。このため、この種の CPU は主にスーパーコンピュータで使用されていました。スーパーコンピュータ自体は、一般に、膨大な量のデータを「処理」する気象予報センターや物理学研究所などの場所に設置されていました。ただし、上記で示したように、RISC-V RVV で実証されているように、ベクター ISA の効率性は、組み込みユースケースでも魅力的な他の利点をもたらします。

上記のベクトル擬似コードの例では、ベクトル コンピュータが 1 バッチで 10 を超える数値を処理できるという大きな前提があります。ベクトル レジスタ内の数値の数が増えると、コンピュータがそれほど大きなレジスタを持つことは不可能になります。その結果、ベクトル プロセッサはループ自体を実行する機能を獲得するか、通常はベクトル長と呼ばれる、ある種のベクトル制御 (ステータス) レジスタをプログラマに公開します。

自己反復命令は、STAR-100 などの初期のベクトル コンピュータに見られ、上記のアクションは 1 つの命令 ( に似ています) で記述されます。また、 x86アーキテクチャでもプレフィックスとしてvadd c, a, b, $10見られます。ただし、この方法でハードウェアで効率的に実行できるのは、非常に単純な計算のみであり、コストが大幅に増加することはありません。STAR-100 アーキテクチャではすべてのオペランドをメモリに配置する必要があるため、アクセスによって発生するレイテンシも大きくなりました。 REP

Broadcomは、Videocore IV ISAのすべてのベクトル演算にフィールド用のスペースを含めましたが、繰り返しにメモリを使用するSTAR-100とは異なり、Videocore IVの繰り返しは算術ベクトル演算を含むすべての演算で行われます。繰り返しの長さは、 2の累乗REPの小さな範囲にすることも、スカラーレジスタの1つから供給することもできます。^[16]

Cray -1 では、プロセッサ レジスタを使用してベクトル データをバッチで保持するというアイデアが導入されました。バッチ長 (ベクトル長、VL) は、特別な命令を使用して動的に設定できます。Videocore IV (および、以下に示すように重要な SIMD も同様) と比較した重要な点は、繰り返し長を命令エンコーディングの一部にする必要がないことです。この方法では、各バッチで大幅に多くの作業を実行できます。命令エンコーディングもはるかに洗練され、コンパクトになります。唯一の欠点は、この追加のバッチ処理能力を最大限に活用するために、メモリのロードとストアの速度もそれに応じて増加する必要があることです。これは、Cray スタイルのベクトル プロセッサの欠点であると主張されることがあります^{(誰が主張したのでしょうか)} 。実際には、これは、まったく同じ問題に直面している GPUで見られるように、高性能スループットを実現するための要素です。

現代の SIMD コンピュータは、複数の ALU を直接使用することで、通常のスカラー パイプラインのみを使用する場合と比較して、より高いレベルの並列処理を実現し、初期の Cray を改良したと主張しています。現代のベクトル プロセッサ ( SX-Aurora TSUBASAなど) は、複数のデータを複数の内部パイプライン SIMD ALU に発行することで両方を組み合わせます。発行される数は、実行時にベクトル プログラムによって動的に選択されます。マスクを使用して、メモリ位置にデータを選択的にロードして格納したり、同じマスクを使用して SIMD ALU の処理要素を選択的に無効にしたりできます。SIMD を備えた一部のプロセッサ ( AVX-512、ARM SVE2 ) は、このような選択的な要素ごとの ( 「述語付き」 ) 処理が可能であり、これらは「ベクトル プロセッサ」という名称に多少値するか、少なくとも「ベクトル処理」が可能という主張に値します。要素ごとの述語のない SIMD プロセッサ ( MMX、SSE、AltiVec ) は、断じてそうではありません。

多数の小さな計算ユニットとそれぞれに独立した SIMD ALU を備えた最新の GPU は、単一命令複数スレッド(SIMT) を使用します。SIMT ユニットは、共有された単一のブロードキャスト同期命令ユニットから実行されます。「ベクター レジスタ」は非常に広く、パイプラインは長くなる傾向があります。SIMT の「スレッド」部分には、各計算ユニットでデータが独立して処理される方法が関係します。

さらに、Broadcom Videocore IV などの GPU やNEC SX-Aurora TSUBASAなどの他の外部ベクトル プロセッサでは、幅が示すよりも少ないベクトル ユニットが使用される場合があります。つまり、64 桁幅のレジスタに 64 ユニットを使用する代わりに、ハードウェアはハイブリッド アプローチのために 16 ユニットのパイプライン ループを実行する可能性があります。Broadcom Videocore IV もこのハイブリッド アプローチに対応しています。名目上は SIMD QPU エンジンが命令で 16 長の FP 配列操作をサポートすると記載されていますが、実際には (別の) 形式の「スレッド」として一度に 4 つずつ実行します。^[17]

この例では、アルゴリズム (「IAXPY」) から始まり、最初にスカラー命令、次に SIMD、述語付き SIMD、最後にベクター命令で示します。これにより、従来のベクター プロセッサと最新の SIMD プロセッサの違いを段階的に説明できます。この例は、Cの「DAXPY」関数の 32 ビット整数バリアントから始まります。

void iaxpy ( size_t n 、int a 、const int x []、int y []) { for ( size_t i = 0 ; i < n ; i ++ ) y [ i ] = a * x [ i ] + y [ i ]; }          
            
              

各反復では、y のすべての要素に x の要素が a 倍されて加算されます。プログラムは読みやすくするためにスカラー線形形式で表現されています。

このスカラー バージョンでは、x と y をそれぞれ 1 つずつ読み込み、計算を 1 つ処理し、結果を 1 つ保存してループします。

loop: 
load32 r1 , x ; 32 ビットのデータを 1 つロードしますload32 r2 , y mul32 r1 , a , r1 ; r1 := r1 * a add32 r3 , r1 , r2 ; r3 := r1 + r2 store32 r3 , y addl x , x , $4 ; x := x + 4 addl y , y , $4 subl n , n , $1 ; n := n - 1 jgz n , loop ; n > 0 の場合はループバックしますout: ret           
     
         
        
    
           
        
           
            

  

STAR のようなコードは簡潔なままですが、STAR-100 のベクトル化はメモリ アクセスに基づいて設計されているため、情報を処理するには追加のメモリ スロットが必要になります。メモリ アクセスの追加要件により、レイテンシも 2 倍必要になります。

  ; tmp は事前に割り当てられていると仮定
vmul tmp , a , x , n ; tmp[i] = a * x[i] vadd y , y , tmp , n ; y[i] = y[i] + tmp[i] ret       
       
  

現代のパックドSIMDアーキテクチャは、多くの名前で知られており（Flynnの分類法に記載されています）、ほとんどの操作をバッチで実行できます。コードはスカラーバージョンとほとんど同じです。ここではxとyの両方が適切に整列していること（16の倍数でのみ開始）とnが4の倍数であることが前提です。そうでない場合、マスクを計算したりスカラーバージョンを実行したりするために、何らかのセットアップコードが必要になります。また、簡単にするために、SIMD命令にはARM NEONのようにスカラーオペランドを自動的に繰り返すオプションがあると想定することもできます。^[18]そうでない場合は、「スプラット」（ブロードキャスト）を使用して、スカラー引数をSIMDレジスタ全体にコピーする必要があります。

  splatx4 v4 , a ; v4 = a,a,a,a            

y = mx + cかかる時間は、基本的に上記 のベクトル実装と同じになります。

vloop: 
load32x4 v1 , x load32x4 v2 , y mul32x4 v1 , a , v1 ; v1:= v1 * a add32x4 v3 , v1 , v2 ; v3:= v1 + v2 store32x4 v3 , y addl x , x , $16 ; x:= x + 16 addl y , y , $16 subl n , n , $4 ; n:= n - 4 jgz n , vloop ; n > 0 の場合は戻るout: ret     
     
         
        
    
            
          
             
             

  

x ポインタと y ポインタの両方が 16 ずつ増加していることに注意してください。これは、4 つの 32 ビット整数の長さ (バイト単位) が 16 であるためです。アルゴリズムは 4 ワイド SIMD のみに対応すると決定されたため、定数はプログラムにハードコードされています。

残念ながら、SIMD の場合、手がかりは上記の仮定、「n は 4 の倍数である」と「アラインされたアクセス」にあり、これは明らかに限られた専門的な使用例です。

現実的には、ポータブル ライブラリなどの汎用ループでは n をこのように制限できないため、SIMD 幅の倍数でない値に対処するための SIMD のセットアップとクリーンアップのオーバーヘッドが、ループ自体の命令数をはるかに超える可能性があります。最悪の場合、ハードウェアが不整列 SIMD メモリ アクセスを実行できないと仮定すると、実際のアルゴリズムは次のようになります。

• まず、SIMD メモリ アラインメント操作が引き継ぐことができる最初のポイントまで、最初のアラインメントされていないデータを処理する準備セクションが必要です。これには、(より遅い) スカラーのみの操作またはより小さなサイズのパックされた SIMD 操作が含まれます。各コピーは、完全なアルゴリズムの内部ループを実装します。
• 最後のいくつかの要素（固定SIMD幅に収まらない残りの要素）まで、最大SIMD幅で整列SIMDループを実行します。
• 準備セクションと同様に、クリーンアップ フェーズも規模が大きく、複雑です。

8 ワイド SIMD では、最初に 4 ワイド SIMD 要素、次に 2 ワイド SIMD、最後に 1 ワイド SIMD (スカラー) で内部ループ アルゴリズムを繰り返し、その間にテストと分岐を挿入して、最初の残りの SIMD 要素と最後の残りの SIMD 要素 (0 <= n <= 7) をカバーする必要があります。

これにより、コードのサイズが3 倍以上になり、実際、極端な場合には命令数が1 桁増加します。これは、 gccのオプションを使用してAVX-512の iaxpy の例をコンパイルすることで簡単に実証できます。 "-O3 -march=knl"

ISA が進化してパフォーマンスが向上し続けるにつれて、ISA アーキテクトは 2 ワイド SIMD、次に 4 ワイド SIMD、さらに 8 ワイド以上の SIMD を追加するようになりました。したがって、 x86 にAVX-512が存在する理由がわかります。

予測がなければ、SIMD幅が広くなるほど問題は悪化し、オペコードの大量増殖、パフォーマンスの低下、余分な電力消費、不必要なソフトウェアの複雑さにつながります。^[19]

一方、ベクター プロセッサは、任意のカウント n に対して可変長の計算を実行するように設計されているため、セットアップはほとんど必要なく、クリーンアップも必要ありません。マスク (ただしsetvl命令なし) を持つ SIMD ISA と比較しても、ベクター プロセッサは、最後のいくつかの要素をカバーするために明示的なマスク計算を実行する必要がないため、はるかにコンパクトなコードを生成します (下図参照)。

仮想的な述語型 (マスク対応) SIMD ISA を想定し、SIMD 命令が不整列データに対処できると仮定すると、命令ループは次のようになります。

vloop: 
# マスクを準備します。ほとんどの ISA では min から min まであります。t0 , n , $ 4 ; t0 = min(n, 4) shift m , $1 , t0 ; m = 1<<t0 sub m , m , $1 ; m = (1<<t0)-1 # ここで、m ビットでマスクされた演算を実行します。load32x4 v1 , x , m load32x4 v2 , y , m mul32x4 v1 , a , v1 , m ; v1 := v1 * a add32x4 v3 , v1 , v2 , m ; v3 := v1 + v2 store32x4 v3 , y , m # 次のループのために x、y、n を更新します。 addl x , t0 * 4 ; x := x + t0*4 addl y , t0 * 4 subl n , n , t0 ; n := n - t0 # loop? jgz n , vloop ; n > 0 の場合は戻るout: ret  
                
              
                 
  
      
      
          
         
     
  
               
         
               
  
               

  

ここで、コードがはるかにクリーンになっているものの、少し複雑であることがわかります。ただし、少なくともセットアップやクリーンアップはありません。ループの最後の反復で、述語マスクは 0b0000、0b0001、0b0011、0b0111、または 0b1111 に設定され、それぞれ 0 ～ 4 個の SIMD 要素操作が実行されます。もう 1 つ、潜在的な複雑さがあります。一部の RISC ISA には「min」命令がなく、代わりに分岐またはスカラー述語比較を使用する必要があります。

述語付き SIMD は述語マスクを使用して可変長ベクトルに対処できるため、少なくとも「ベクトル対応」という用語に値することは明らかです。ただし、「真の」ベクトル ISA への最終的な進化ステップは、ISA にSIMD 幅の 証拠をまったく持たず、それを完全にハードウェアに任せることです。

RVV などの Cray スタイルのベクター ISA では、「setvl」(ベクター長の設定) という命令が使用されます。ハードウェアはまず、1 つの「ベクター」で処理できるデータ値の数を定義します。これは実際のレジスタか、内部ループ (前述のハイブリッド アプローチ) のいずれかになります。この最大量 (ハードウェア「レーン」の数) は、「MVL」(最大ベクター長) と呼ばれます。SX-Aurora および Videocore IV で見られるように、MVL は実際のハードウェア レーン数または仮想レーン数である可能性があることに注意してください。(注: ARM SVE2 チュートリアルで述べたように、プログラマーは固定ベクター幅を想定するという間違いを犯してはなりません。その結果、MVL はプログラマーが知る必要のある量ではありません。これは、長年の SIMD の考え方の後では少し当惑するかもしれません)。^[トーン]

処理すべき未処理データ要素の数を指定して setvl を呼び出すと、「setvl」はそれを最大ベクトル長 (MVL) に制限することが許可され (基本的に必須)、後続のベクトル命令でハードウェアが処理できる実際の数を返し、内部特殊レジスタ「VL」を同じ量に設定します。ARM は、SVE2 のチュートリアルでこの手法を「ベクトル長に依存しない」プログラミングと呼んでいます。^[20]

以下は、上記と同じ SIMD スタイルのループに対する Cray スタイルのベクトル アセンブラーです。ハードコードされた定数の代わりに、t0 (VL の便利なコピーが含まれており、変化する可能性があります) が使用されていることに注意してください。

vloop: 
setvl t0 , n # VL=t0=min(MVL, n) vld32 v0 , x # ベクトル x をロードvld32 v1 , y # ベクトル y をロードvmadd32 v1 , v0 , a # v1 += v0 * a vst32 v1 , y # Y を格納add y , t0 * 4 # y を VL*4 だけ進めますadd x , t0 * 4 # x を VL*4 だけ進めますsub n , t0 # n -= VL (t0) bnez n , vloop # n != 0 の場合は繰り返します            
            
            
       
            
            
            
              
          

これは本質的には、SIMD バージョン (ループごとに 4 つのデータ要素を処理) や初期のスカラー バージョン (1 つのみを処​​理) とあまり変わりません。n には処理する残りのデータ要素の数が含まれますが、t0 には VL のコピー (各反復で処理される数) が含まれます。t0は各反復の後に n から減算され、n が 0 の場合はすべての要素が処理されています。

Predicated SIMD アセンブリ バリアントと比較する場合、注意すべき点がいくつかあります。

1. 指示書setvlにはmin指示書が埋め込まれている
2. SIMD バリアントでは、幅 (4) がマスクの作成とSIMD 幅 (load32x4 など) の両方にハードコードされていましたが、ベクター ISA の同等物にはそのような制限はありません。これにより、ベクター プログラムは移植可能で、ベンダーに依存せず、将来も使用できます。
3. VLを設定すると、ベクトルに自動的に適用される隠れた述語マスクが効果的に作成されます。
4. 述語付き SIMD ではマスク ビット長がスカラー (または特殊マスク) レジスタに保持できる長さに制限されますが、ベクター ISA のマスク レジスタにはそのような制限はありません。Cray-I ベクターは 1,000 要素をわずかに超える程度でした (1977 年当時)。

このように、ベクトル ISA が命令の数をどのように削減するかが非常に明確にわかります。

また、述語付き SIMD バリアントと同様に、x と y へのポインターは、両方とも 32 ビット データを指しているため t0 の 4 倍進められますが、n は t0 だけ減算されることにも注意してください。固定サイズの SIMD アセンブラーと比較すると、明らかな違いはほとんどありません。x と y はハードコードされた定数 16 だけ進められ、n はハードコードされた 4 だけ減算されるため、最初は重要性を理解するのが困難です。違いは、ベクトル ハードウェアが 4 つの同時操作、または 64 または 10,000 の操作を実行できる可能性があることを認識した点にあります。これらすべてに対してまったく同じベクトル アセンブラーが使用され、SIMD クリーンアップ コードは依然として存在しません。述語対応 SIMD と比較しても、よりコンパクトで、より明確で、より洗練されており、使用するリソースも少なくなります。

これは、はるかにコンパクトなプログラムであるだけでなく (L1 キャッシュ サイズを節約)、前述のように、ベクター バージョンでは ALU にはるかに多くのデータ処理を発行できるため、命令のデコードと発行がアイドル状態になるため、電力も節約されます。

さらに、関数に入る要素の数はゼロから開始できます。これにより、ベクトルの長さがゼロに設定され、すべてのベクトル命令が事実上無効になり、実行時にno-opsになります。したがって、非述語 SIMD とは異なり、処理する要素がない場合でも、無駄なクリーンアップ コードはありません。

この例は、リダクションを伴うアルゴリズムから始まります。前の例と同様に、最初にスカラー命令、次に SIMD、最後にベクトル命令で示します。c から始まります。

void ( size_t n , int a , const int x []) { int y = 0 ; for ( size_t i = 0 ; i < n ; i ++ ) y += x [ i ]; return y ; }        
       
            
          
     

ここでは、累算器 (y) を使用して、配列 x 内のすべての値を合計します。

スカラーバージョンでは、各 x をロードし、それを y に追加してループします。

  set y , 0 ; y をゼロに初期化loop: load32 r1 , x ; 32 ビットのデータを 1 つロードadd32 y , y , r1 ; y := y + r1 addl x , x , $4 ; x := x + 4 subl n , n , $1 ; n := n - 1 jgz n , loop ; n > 0 の場合はループバックout: ret y ; 結果 y を返す           

         
        
         
         
          

               

これは非常に簡単です。「y」はゼロから始まり、32 ビットの整数が 1 つずつ r1 にロードされ、y に追加され、配列「x」のアドレスが配列の次の要素に移動されます。

問題はここから始まる。SIMD は設計上、「要素間」の算術演算を行うことができない。ある SIMD レジスタの要素 0 は別のレジスタの要素 0 に追加できるが、要素 0 は別の要素 0 以外のものに追加できない。これにより、実装の可能性に厳しい制限が課せられる。簡単にするために、n はちょうど 8 であると仮定できる。

  addl r3 , x , $16 ; x の 2 番目の 4 個load32x4 v1 , x ; x の最初の 4 個load32x4 v2 , r3 ; x の 2 番目の 4 個add32x4 v1 , v2 , v1 ; 2 つのグループを追加         
           
          
        

この時点で、4 つの追加が実行されました。

• x[0]+x[4]- 最初のSIMD ADD: 最初のグループの要素0を2番目のグループの要素0に追加します
• x[1]+x[5]- 2番目のSIMD ADD: 最初のグループの要素1を2番目のグループの要素1に追加します
• x[2]+x[6]- 3番目のSIMD ADD: 最初のグループの要素2を2番目のグループの要素2に追加します
• x[3]+x[7]- 4番目のSIMD ADD: 最初のグループの要素3を2番目のグループの要素2に追加します

しかし、たとえば 4 ワイド SIMD は設計上、加算が不可能であるx[0]+x[1]ため、汎用 IAXPY ループに SIMD を使用する一般的なケースと同様に、状況は急速に悪化します。4 つの部分的な結果を合計するには、2 ワイド SIMD を使用し、その後に 1 回のスカラー加算を実行して最終的に答えを生成できますが、多くの場合、最後のスカラー計算を実行する前に、専用の SIMD レジスタからデータを転送する必要があります。

一般的なループ（n が固定されていない）でも、4 ワイド SIMD を使用する唯一の方法は、それぞれ 4 つの要素でオフセットされた 4 つの別々の「ストリーム」を想定することです。最後に、4 つの部分的な結果を合計する必要があります。その他のテクニックにはシャッフルが含まれます。オンラインでは、AVX-512の「水平合計」の実行例が見つかります^{[21] [22]}

プログラムのサイズと複雑さの他に、浮動小数点計算が関係する場合は、値が厳密な順序で合計されない (4 つの部分的な結果) ため、丸め誤差が生じる可能性があるという追加の潜在的な問題が発生します。

ベクトル命令セットには、算術縮約演算がISA に組み込まれています。n が最大ベクトル長以下であると仮定すると、必要な命令は 3 つだけです。

  setvl t0 , n # VL=t0=min(MVL, n) vld32 v0 , x # ベクトル x をロードvredadd32 y , v0 # y に減算加算         
           
       

n が最大ベクトル長より大きい場合のコードはそれほど複雑ではなく、最初の例 (「IAXPY」) と同様のパターンになります。

  set y , 0 vloop: setvl t0 , n # VL=t0=min(MVL, n) vld32 v0 , x # ベクトル x をロードvredadd32 y , y , v0 # すべての x を y に追加add x , t0 * 4 # x を VL*4 だけ進めますsub n , t0 # n -= VL (t0) bnez n , vloop # n != 0 の場合は繰り返しますret y      

            
            
      
            
              
          
   

SIMD と比較すると、アルゴリズムの単純さは際立っています。ここでも、IAXPY の例と同様に、アルゴリズムは長さに依存しません (最大ベクトル長が 1 のみになる組み込み実装の場合でも)。

ハードウェア実装では、正しい答えが確実に得られると確信できる場合、並列で縮約を実行することができます。一部のベクトルISAでは、潜在的な丸め誤差が問題にならないことをプログラマが認識しており、低レイテンシが重要である場合に備えて、明示的なオプションとして並列縮約モードを提供しています。^[23]

この例は、真のベクトル プロセッサと、ベクトル プロセッサの機能にヒントを得たほとんどの商用 GPU を含む SIMD プロセッサとの間の重要な基本的な違いを再び強調しています。

ベクトル プロセッサを主張するどの SIMD プロセッサと比較しても、プログラム サイズの桁違いの削減は驚異的です。ただし、ISA レベルでのこのレベルの洗練性は、ハードウェア レベルではかなり高価です。

1. IAXPY の例から、不整列なメモリ アクセスの処理を回避することで内部ハードウェアを簡素化できる SIMD プロセッサとは異なり、ベクトル プロセッサではそのような簡素化を回避できないことがわかります。ベクトルの開始の整列に関係なく、ベクトルのロードとストアが成功することを本質的に前提としたアルゴリズムが記述されます。
2. 削減例から、順序変更命令は別として、SIMD は定義上、レーン間の操作を完全に回避する (要素 0 は別の要素 0 にのみ追加可能) ことがわかりますが、ベクトル プロセッサはこれに正面から取り組みます。プログラマがソフトウェアで行う必要がある操作 (シャッフルやその他のトリックを使用して、データを適切な「レーン」にスワップする) を、ベクトル プロセッサはハードウェアで自動的に行う必要があります。

全体的には、

1. 複雑なソフトウェアと簡素化されたハードウェア (SIMD)
2. 簡素化されたソフトウェアと複雑なハードウェア（ベクトルプロセッサ）

これらの大きな違いが、ベクトル プロセッサと SIMD を備えたプロセッサを区別するものです。

多くのSIMD ISAは以下のリストを参考にしているが、ベクトルプロセッサが持つ典型的な機能は以下の通りである: ^{[24] [25] [26]}

• ベクター ロードおよびストア– レジスタ間設計のベクター アーキテクチャ (スカラー プロセッサのロード/ストア アーキテクチャに類似) には、メモリとベクター レジスタ間で複数の要素を転送するための命令があります。通常、複数のアドレッシング モードがサポートされています。ユニット ストライド アドレッシング モードは必須です。最新のベクター アーキテクチャは通常、任意の定数ストライドやスキャッター/ギャザー (インデックス付きとも呼ばれる) アドレッシング モードもサポートしています。高度なアーキテクチャには、セグメントロードおよびストア、および標準ベクター ロードおよびストアのフェイルファースト バリアントのサポートも含まれる場合があります。セグメント ロードは、各要素が複数のメンバーを含むデータ構造であるベクターをメモリから読み取ります。メンバーはデータ構造 (要素) から抽出され、抽出された各メンバーは異なるベクター レジスタに配置されます。
• マスクされた操作–述語マスクにより、分岐に頼ることなく並列の if/then/else 構造が可能になります。これにより、条件文を含むコードをベクトル化できます。
• 圧縮と拡張– 通常はビットマスクを使用して、マスク内のビットが設定されているかどうかに基づいてデータが線形に圧縮または拡張 (再分配) されますが、常に順序が保持され、値が重複することはありません (Gather-Scatter または permute とは異なります)。これらの命令はAVX-512に含まれています。
• レジスタギャザー、スキャッター（別名、並べ替え）^[27] – 圧縮/展開のテーマのより制限が少なく、より一般的なバリエーションで、代わりに1つのベクトルを使用して、別のベクトルを「並べ替え」るために使用するインデックスを指定します。ギャザー/スキャッターは、圧縮/展開よりも実装が複雑で、本質的に非シーケンシャルであるため、ベクトルの連鎖を妨げる可能性があります。ギャザースキャッターメモリロード/ストアモードと混同しないでください。ギャザー/スキャッターベクトル操作はベクトルレジスタに対して動作し、代わりに並べ替え命令と呼ばれることがよくあります。
• Splat と Extract – スカラーとベクトル間の相互作用に役立ち、それぞれベクトル全体に単一の値をブロードキャストしたり、ベクトルから 1 つの項目を抽出したりします。
• Iota – 連続的に増加する即値を連続する要素に落とす、非常にシンプルで戦略的に便利な命令です。通常はゼロから始まります。
• 削減と反復– ベクトルに対してmapreduce を実行する操作(たとえば、ベクトル全体の最大値を見つける、またはすべての要素を合計する)。反復は次の形式です。x[i] = y[i] + x[i-1]削減は次の形式です。x = y[0] + y[1]… + y[n-1]
• 行列乗算のサポート– メモリからデータをアルゴリズム的にロードするか、通常は線形であるベクトル要素へのアクセスを並べ替える (再マッピングする) か、「アキュムレータ」を提供することで、任意のサイズの行列を効率的に処理できます。IBM POWER10 は MMA 命令^[28]を提供していますが、SIMD サイズに正確に適合しない任意の行列幅の場合は、レジスタ ファイル リソースを無駄にするデータ繰り返し技術が必要です。^{[29] [30]} NVidia は高レベルの行列CUDA API を提供していますが、内部の詳細は利用できません。^[31]最もリソース効率の高い技術は、線形であるベクトル データへのアクセスをその場で並べ替えることです。
• 高度な数学形式- 多くの場合、ガロア体演算が含まれますが、2進化10進数や10進固定小数点を含むこともでき、並列キャリーインとキャリーアウトをサポートすることで、はるかに大きな（任意精度の）算術演算をサポートします。
• ビット操作- ビットレベルの順列操作、ビットフィールドの挿入と抽出、遠心分離操作、人口カウントなどのベクトル化されたバージョンが含まれます。

多くの 3Dシェーダアプリケーションでは、三角関数演算と一般的な演算用の短いベクター (RGB、ARGB、XYZ、XYZW) が必要なため、ベクター プロセッサに備わっているものに加えて、最新の GPU では通常、次のサポートが提供されます。

• サブベクトル– 要素には通常、2つ、3つ、または4つのサブ要素（vec2、vec3、vec4）が含まれます。述語マスクの任意のビットは、サブベクトル内の要素ではなく、vec2/3/4全体に適用されます。サブベクトルはRISC-V RVV（「LMUL」と呼ばれる）でも導入されています。^{[32]サブベクトルは、} Vulkan SPIR-V仕様の重要な不可欠な部分です。
• サブベクトル スウィズル– 別名「レーン シャッフル」。サブベクトルの要素間計算を、サブ要素を正しい SIMD「レーン」に移動するための余分な (コストが高く無駄な) 命令を必要とせずに実行でき、述語マスク ビットも節約できます。これは実質的にサブベクトルのインフライトミニ パーミュテーションであり、3D シェーダ バイナリで頻繁に使用され、Vulkan SPIR-V 仕様の一部になるほど重要です。Broadcom Videocore IV では「レーン ローテート」という用語^{[33]が使用されていますが、業界の他の企業では}「スウィズル」という用語が使用されています。^[34]
• 超越関数-正弦、余弦、対数などの三角関数の演算は、要求の厳しいHPCワークロードの多くよりも 3D でより多く使用されます。ただし、興味深いのは、ピクセル座標の計算に高い精度がまったく必要ないため、GPU の 3D では速度が精度よりもはるかに重要であることです。Vulkan 仕様はこれを認識し、驚くほど低い精度要件を設定しているため、GPU ハードウェアは電力使用量を削減できます。精度がまったく必要ない場合に精度を下げるという概念は、MIPS -3D拡張機能で検討されています。

ARM SVE2とRISC-Vで導入されたRVVは、投機的シーケンシャルベクトルロードの概念です。ARM SVE2には「ファーストフォールトレジスタ」と呼ばれる特別なレジスタがあり、^[35] RVVはベクトル長（VL）を変更（切り捨て）します。^[36]

ffirst の基本原理は、大規模なシーケンシャル ベクター ロードを試行することですが、ハードウェアがロードされる実際の量を、メモリ エラーを発生せずに成功する量、または最も便利な量 (0 より大きい) に任意に切り捨てられるようにします。重要な点は、後続の命令に通知されるか、または後続の命令が実際に成功したロードの数を正確に判断し、その量を使用して実際にロードされたデータに対してのみ作業を実行することです。

この状況を SIMD と比較すると、SIMD は固定 (柔軟性がない) ロード幅と固定データ処理幅であり、ページ境界を越えるロードには対応できず、対応できたとしても実際に成功したものに適応することはできません。しかし、逆説的に、SIMD プログラムが事前に (各内部ループで毎回) 何が最適に成功するかを見つけようとしたとしても、それらの命令は必然的に重要な内部ループの一部となるため、パフォーマンスを低下させるだけです。

これは、ffirstが非常に革新的である理由を示唆し始めており、標準の128ビット非述語非ffirst SIMDで実装されたmemcpyまたはstrcpyによって最もよく説明されます。IBM POWER9の場合、strncpyを実装するために手動で最適化された命令の数は240を超えます。^[37] 対照的に、手動で最適化されたRVVアセンブラでの同じstrncpyルーチンは、わずか22命令です。^[38]

上記の SIMD の例は、あまりにも多くの値を読み取ろうとしたために、メモリの終わりで障害が発生して失敗する可能性があります。同様に境界を越えることによって、かなりの数のページ障害または不整列障害を引き起こす可能性もあります。対照的に、ベクトル アーキテクチャにロードする要素の数を自由に決定できるようにすることで、strncpy の最初の部分は、最初は最適ではないメモリ境界で開始する場合、ループのその後の反復でベクトル化されたメモリ読み取りのバッチが基礎となるキャッシュと仮想メモリ配置と最適に整列されるのに十分なロードを返す可能性があります。さらに、ハードウェアは、特定のループ反復のメモリ読み取りをページ境界で正確に終了する機会を使用することを選択できます (コストのかかる 2 回目の TLB ルックアップを回避します)。これにより、現在のループでデータがまだ処理されている間に、投機的実行によって次の仮想メモリ ページが準備されます。これらすべては、プログラム自体ではなく、ハードウェアによって決定されます。^[39]

r をベクトル速度比、f をベクトル化比とします。ベクトル ユニットが 64 個の数値の配列を加算するのにかかる時間が、同等のスカラー ユニットの 10 倍速い場合、r = 10 となります。また、プログラム内の操作の総数が 100 で、そのうち 10 個だけがスカラー (ベクトル化後) である場合、f = 0.9 となり、つまり、作業の 90% がベクトル ユニットによって実行されます。これは、達成可能な速度向上に従っています。

${\displaystyle r/[(1-f)*r+f]}$

したがって、ベクトルユニットのパフォーマンスが非常に高い ( ) 場合でも、速度向上は 未満であり、比率fがパフォーマンスにとって重要であることがわかります。この比率は、メモリ内の要素の隣接性などのコンパイルの効率に依存します。 ${\displaystyle r=\infty}$${\displaystyle 1/(1-f)}$

• SXアーキテクチャ
• パイプライン型ベクトルプロセッサに関するダンカンの分類
• GPGPU
• 計算カーネル
• ストリーム処理
• 自動ベクトル化
• 連鎖（ベクトル処理）
• 機能を備えた操作用コンピュータ
• RISC-V は、関連する可変幅ベクトル拡張を備えたオープン ISA 標準です。
• バレルプロセッサー
• テンソル処理ユニット
• スーパーコンピューティングの歴史
• スーパーコンピュータのアーキテクチャ