基本的な線形代数サブルーチン

基本線形代数サブルーチン( BLAS ) は、ベクトル加算、スカラー乗算、内積、線形結合、行列乗算などの一般的な線形代数演算を実行するための一連の低レベルルーチンを規定する仕様です。これらは、線形代数ライブラリの事実上の標準低レベルルーチンであり、ルーチンにはC 言語(「CBLAS インターフェース」) とFortran (「BLAS インターフェース」) の両方のバインディングがあります。BLAS 仕様は汎用的ですが、BLAS の実装は特定のマシンでの速度を最適化するように設計されていることが多いため、これらを使用することで大幅なパフォーマンス向上を実現できます。BLAS の実装では、ベクトルレジスタやSIMD命令などの特殊な浮動小数点ハードウェアを活用します。

これは 1979 年に Fortran ライブラリとして始まり^{[ 1 ]}、そのインターフェースは BLAS Technical (BLAST) Forum によって標準化され、最新の BLAS レポートはnetlib のWeb サイトに掲載されています。^{[ 2 ]}この Fortran ライブラリはリファレンス実装(時々、紛らわしいことにBLASライブラリと呼ばれる) として知られており、速度は最適化されていませんが、パブリック ドメインです。^{[ 3 ] [ 4 ]}

線形代数ルーチンを提供するライブラリのほとんどはBLASインターフェースに準拠しているため、ライブラリ利用者は使用するBLASライブラリの種類に依存しないプログラムを開発できる。

さまざまなハードウェア プラットフォームを対象とした多くの BLAS ライブラリが開発されています。例としては、 cuBLAS (NVIDIA GPU、GPGPU )、rocBLAS (AMD GPU)、およびOpenBLAS があります。CPU ベースの BLAS ライブラリのブランチの例としては、OpenBLAS、BLIS (BLAS ライク ライブラリ インスタンス化ソフトウェア)、Arm Performance Libraries、^{[ 5 ]} ATLAS、およびIntel Math Kernel Library (iMKL) があります。AMD は、 AMDプラットフォーム向けに最適化された BLIS のフォークを維持しています。^{[ 6 ]} ATLAS は、任意のアーキテクチャ向けに自動的に最適化されるポータブル ライブラリです。iMKL は、 x86 および x86-64 向けに最適化され、 Intelプロセッサのパフォーマンスを重視したフリ​​ーウェア^{[ 7 ]}およびプロプライエタリ^{[ 8 ]}のベンダー ライブラリです。^{[ 9 ]} OpenBLAS は、多くの一般的なアーキテクチャ向けに手動で最適化されたオープンソース ライブラリです。LINPACKベンチマークは、パフォーマンス測定のためにBLAS ルーチンに大きく依存しています。gemm

多くの数値計算ソフトウェアアプリケーションは、線形代数計算を行うためにBLAS互換ライブラリを使用しており、LAPACK、LINPACK、Armadillo、GNU Octave、Mathematica、^{[ 10 ]} MATLAB、^{[ 11 ]} NumPy、^{[ 12 ]} R 、 Julia、Lisp-Statなどが含まれます。

C++26で導入されたC++ライブラリは、BLAS に基づいています。std::linalg

数値プログラミングの登場により、高度なサブルーチンライブラリが有用になりました。これらのライブラリには、根の探索、行列の逆行列、連立方程式の解法など、一般的な高レベルの数学演算のためのサブルーチンが含まれます。選択された言語はFORTRANでした。最も有名な数値プログラミングライブラリは、IBMのScientific Subroutine Package (SSP)でした。^{[ 13 ]} これらのサブルーチンライブラリにより、プログラマは特定の問題に集中し、よく知られたアルゴリズムを再実装する必要がなくなりました。ライブラリルーチンは平均的な実装よりも優れており、たとえば、行列アルゴリズムでは、より高い数値精度を得るためにフルピボットを使用する場合があります。ライブラリルーチンには、より効率的なルーチンも含まれています。たとえば、ライブラリには、上三角行列を解くプログラムが含まれている場合があります。ライブラリには、一部のアルゴリズムの単精度バージョンと倍精度バージョンが含まれています。

当初、これらのサブルーチンは、低レベルの操作にハードコードされたループを使用していました。たとえば、サブルーチンが行列の乗算を実行する必要がある場合は、サブルーチンに 3 つのネストされたループが含まれます。線形代数プログラムには、多くの共通の低レベル操作 (いわゆる「カーネル」操作、オペレーティングシステムとは関係ありません) があります。^{[ 14 ]} 1973 年から 1977 年の間に、これらのカーネル操作のいくつかが特定されました。^{[ 15 ] [ 16 ]}これらのカーネル操作は、数学ライブラリが呼び出すことができる定義済みサブルーチンになりました。カーネル呼び出しには、ハードコードされたループよりも利点がありました。ライブラリルーチンの可読性が向上し、バグの可能性が減り、カーネル実装を速度用に最適化することができました。スカラーとベクトルを使用したこれらのカーネル演算の仕様であるレベル1基本線形代数サブルーチン（BLAS）は1979年に公開されました。^{[ 17 ]} BLASは線形代数サブルーチンライブラリLINPACKの実装に使用されました。

BLASの抽象化により、高性能化のためのカスタマイズが可能になります。例えば、LINPACKは汎用ライブラリであり、多くの異なるマシンで変更なしで使用できます。LINPACKは汎用バージョンのBLASを使用できます。パフォーマンスを向上させるために、異なるマシンでは、カスタマイズされたバージョンのBLASを使用する場合があります。コンピュータアーキテクチャが高度化するにつれて、ベクトルマシンが登場しました。ベクトルマシン用のBLASは、マシンの高速なベクトル演算を利用できます。（ベクトルプロセッサは最終的に廃れましたが、現代のCPUのベクトル命令は、BLASルーチンで最適なパフォーマンスを実現するために不可欠です。）

他のマシン機能も利用可能になり、活用できるようになりました。その結果、1984年から1986年にかけて、BLASはベクトル行列演算に関するレベル2カーネル演算で拡張されました。メモリ階層も活用できるものとして認識されました。多くのコンピュータはメインメモリよりもはるかに高速なキャッシュメモリを備えています。行列操作を局所化することで、キャッシュをより効率的に使用できます。1987年と1988年には、行列-行列演算を行うレベル3 BLASが特定されました。レベル3 BLASはブロック分割アルゴリズムを推奨しました。LAPACKライ​​ブラリはレベル3 BLASを使用しています。^{[ 18 ]}

オリジナルのBLASは、密に格納されたベクトルと行列のみを対象としていました。疎行列など、BLASのさらなる拡張が検討されています。^{[ 19 ]}

BLAS の機能は、「レベル」と呼ばれる 3 つのルーチンセットに分類され、これは定義と公開の時系列順と、アルゴリズムの複雑さの多項式の次数に対応しています。レベル 1 の BLAS 操作は通常、線形時間O ( n )を要し、レベル 2 の操作は 2 次時間、レベル 3 の操作は 3 次時間です。^{[ 20 ]}最新の BLAS 実装は通常、3 つのレベルすべてを提供します。

加速する

AppleのmacOSおよびiOS向けフレームワークには、 BLASおよびLAPACKの調整版が含まれています。^{[ 26 ] [ 27 ]}

Armパフォーマンスライブラリ

Arm Performance Librariesは、Arm 64ビットAArch64ベースのプロセッサをサポートしており、 Armから入手可能です。^{[ 5 ]}

アトラス

自動調整線形代数ソフトウェア、CおよびFortran 77用のBLAS APIのオープンソース実装。^{[ 28 ]}

BLIS

BLAS ライクなライブラリインスタンス化ソフトウェアフレームワークで、高速なインスタンス化を実現します。ほとんどの最新の CPU に最適化されています。BLIS は GotoBLAS を完全にリファクタリングしたもので、特定のプラットフォーム向けに記述する必要のあるコード量を削減します。^{[ 29 ] [ 30 ]}

C++ AMP BLAS

C ++ AMP BLASライブラリは、MicrosoftのVisual C++用AMP言語拡張機能向けのBLASのオープンソース実装です。 ^{[ 31 ]}

cuBLAS

NvidiaベースのGPUカード向けに最適化されたBLASで、追加のライブラリ呼び出しはほとんど必要ありません。^{[ 32 ]}

NVBLAS

NvidiaベースのGPUカード向けに最適化されたBLASで、レベル3の機能のみを提供しますが、他のBLASライブラリの直接的な代替として使用できます。^{[ 33 ]}

clBLAS

AMDによるBLASのOpenCL実装。AMD Compute Librariesの一部。^{[ 34 ]}

clBlast

BLAS APIのほとんどを実装した、調整済みのOpenCL実装。 ^{[ 35 ]}

固有BLAS

MPLライセンスのEigenライブラリをベースに実装されたFortran 77およびC言語のBLASライブラリで、x86、x86-64、ARM（NEON）、およびPowerPCアーキテクチャをサポートしています。

ESS

IBMのエンジニアリングおよび科学サブルーチンライブラリは、AIXおよびLinux上のPowerPCアーキテクチャをサポートしています。^{[ 36 ]}

GotoBLAS

後藤和成によるBSDライセンスのBLAS実装は、特にIntel Nehalem / Atom、VIA Nanoprocessor、AMD Opteron向けに調整されている。^{[ 37 ]}

GNU科学ライブラリ

多数の数値計算ルーチンをマルチプラットフォームで実装。CBLASインターフェースを搭載。

HP MLIB

HPの数学ライブラリは、HP-UXおよびLinux環境下で、 IA-64、PA-RISC、x86、およびOpteronアーキテクチャをサポートしています。

インテルMKL

Intel Math Kernel Libraryは、x86 32ビットおよび64ビットをサポートし、Intelから無料で入手できます。[ 7 ^{] Intel Pentium}、Core、Intel Xeon CPUおよびIntel Xeon Phiの最適化が含まれています。Linux、Windows、macOSをサポートしています。^{[ 38 ]}

マスケイサン

NECの数学ライブラリは、SUPER-UXの下でNEC SXアーキテクチャをサポートし、Linux上でItaniumをサポートしています^{[ 39 ]。}

Netlib BLAS

Netlibの公式リファレンス実装はFortran 77で記述されています。^{[ 40 ]}

Netlib CBLAS

BLASへのCインターフェースを参照してください。CからFortran BLASを呼び出すことも可能です（そして一般的です）。 ^{[ 41 ]}

OpenBLAS

GotoBLAS に基づく最適化された BLAS で、x86、x86-64、MIPS、ARM、RISC-Vプロセッサをサポートしています。^{[ 42 ]}

PDLIB/SX

NEC SX-4システム用のNECのパブリック ドメイン数学ライブラリ。^{[ 43 ]}

ロックブラス

ROCmを介してAMD GPU上で動作する実装。^{[ 44 ]}

SCSL

SGIの科学計算ソフトウェアライブラリには、SGIのIrixワークステーション用のBLASとLAPACKの実装が含まれています。^{[ 45 ]}

Sun Performance Library

Solaris 8、9、10およびLinux上で、 SPARC、Core、AMD64アーキテクチャ向けに最適化されたBLASおよびLAPACK 。 ^{[ 46 ]}

uBLAS

BLAS機能を提供する汎用C++テンプレートクラスライブラリ。Boostライブラリの一部。統一された表記法で多くのハードウェアアクセラレーションライブラリへのバインディングを提供する。さらに、uBLASは高度なC++機能を使用してアルゴリズムの正確性に重点を置いている。^{[ 47 ]}

エレメンタル

Elementalは、分散メモリ密行列および疎行列直接線形代数と最適化のためのオープンソースソフトウェアです。 ^{[ 50 ]}

ハセム

は、線形方程式を解いたり固有値を計算したりできる C++ テンプレート ライブラリです。BSD ライセンスでライセンスされています。^{[ 51 ]}

ラマ

LAMA（Library for Accelerated Math Applications ）は、分散メモリシステム上の様々なハードウェア（CUDAやOpenCLを介したGPUなど）を対象とした数値ソルバーを作成するためのC++テンプレートライブラリであり、プログラム開発者からハードウェア固有のプログラミングを隠蔽します。

MTL4

Matrix Template Libraryバージョン 4 は、疎行列および密行列 BLAS 機能を提供する汎用C++テンプレート ライブラリです。MTL4 は、汎用プログラミングのおかげで、直感的なインターフェース ( MATLABに類似) と幅広い適用性を実現しています。

BLASライブラリの歴史を通じて、疎行列を扱うためのいくつかの拡張機能が提案されてきました。最終的に、疎行列カーネルルーチンの小さなセットが2002年に標準化されました。^{[ 52 ]}

従来の BLAS 関数は、 GPUなどの大規模な並列処理をサポートするアーキテクチャにも移植されています。ここでは、従来の BLAS 関数は、通常、大きな行列に対して良好なパフォーマンスを提供します。しかし、GEMM ルーチンを使用して多数の小さな行列の行列積を計算する場合、これらのアーキテクチャではパフォーマンスが大幅に低下します。この問題を解決するために、2017 年に BLAS 関数のバッチバージョンが規定されました。^{[ 53 ]}

上記のGEMMルーチンを例にとると、バッチ処理版では、多数の行列に対して以下の計算を同時に実行します。

${\displaystyle {\boldsymbol {C}}[k]\leftarrow \alpha {\boldsymbol {A}}[k]{\boldsymbol {B}}[k]+\beta {\boldsymbol {C}}[k]\quad \forall k}$

インデックス${\displaystyle k}$角括弧は、その演算がすべての行列に対して実行されることを示します。${\displaystyle k}$スタック内。多くの場合、この操作はストライド付きバッチメモリレイアウトに対して実装され、すべての行列が配列内で連結されます。${\displaystyle A}$、${\displaystyle B}$そして${\displaystyle C}$。

バッチ処理された BLAS 関数は汎用性の高いツールであり、たとえば、多くの時間ステップを持つ長い積分期間を扱う指数積分器やMagnus 積分器の高速実装を可能にします。 ^{[ 54 ]}ここでは、積分の計算コストが高い部分である行列の指数化を、バッチ処理された BLAS 関数を使用することで、すべての時間ステップに対して並列に実装できます。

• 数値ライブラリの一覧
• オープンソースの数学ライブラリ一覧
• Math Kernel Libraryは、 Intelアーキテクチャ向けに最適化された数学ライブラリで、BLAS、LAPACKなどが含まれています。
• 数値線形代数、BLASが解決する問題の種類

• BLASTフォーラム（2001年8月21日）、基本線形代数サブプログラム技術（BLAST）フォーラム標準、テネシー州ノックスビル：テネシー大学
• Dodson, DS; Grimes, RG (1982)、「アルゴリズム539に関する考察：Fortranで使用するための基本的な線形代数サブルーチン」、ACM Trans. Math. Softw.、8 (4): 403–404、doi : 10.1145/356012.356020、S2CID 43081631 
• Dodson, DS (1983)、「訂正：『アルゴリズム539：FORTRANで使用するための基本的な線形代数サブルーチン』に関する注記」「、ACM Trans. Math. Softw.、9：140、doi：10.1145/356022.356032、S2CID 22163977 
• JJ Dongarra、J. Du Croz、S. Hammarling、RJ Hanson、「アルゴリズム 656: FORTRAN 基本線形代数サブプログラムの拡張セット」、ACM Trans. Math. Softw.、14 (1988)、pp.  18 – 32。
• JJ Dongarra、J. Du Croz、IS Duff、S. Hammarling、「レベル3の基本線形代数サブプログラムのセット」、ACM Trans. Math. Softw.、16 (1990)、pp.  1 – 17。
• JJ Dongarra、J. Du Croz、IS Duff、S. Hammarling、「アルゴリズム679：レベル3の基本線形代数サブルーチンのセット」、ACM Trans. Math. Softw.、16（1990）、pp.  18 – 28。

新しいBLAS

• LS Blackford、J. Demmel、J. Dongarra、I. Duff、S. Hammarling、G. Henry、M. Heroux、L. Kaufman、A. Lumsdaine、A. Petitet、R. Pozo、K. Remington、RC Whaley、「基本線形代数サブプログラムの更新セット（BLAS）」、ACM Trans. Math. Softw.、28-2（2002）、pp.  135 – 151。
• J. Dongarra、「基本線形代数サブプログラム技術フォーラム標準」、International Journal of High Performance Applications and Supercomputing、16(1) (2002)、pp.  1 – 111、およびInternational Journal of High Performance Applications and Supercomputing、16(2) (2002)、pp.  115 – 199。

• Netlib.orgのBLASホームページ
• BLASに関するよくある質問
• BLASクイックリファレンスガイド（LAPACKユーザーガイドより）
• ローソン氏による口述歴史BLASの原著者の1人が、口述歴史インタビューでその作成について語る。チャールズ・L・ローソン氏への口述歴史インタビュー、トーマス・ヘイグ氏による、2004年11月6日および7日、カリフォルニア州サンクレメンテ。産業応用数学会、ペンシルベニア州フィラデルフィア。
• ドンガラ氏のオーラルヒストリーインタビュー ジャック・ドンガラ氏は、オーラルヒストリーインタビューの中で、BLASとLINPACKの初期の関係、新しいアーキテクチャ向けの高レベルBLASバージョンの作成、そして特定のマシン向けにBLASを自動的に最適化するATLASシステムに関する後期の研究について語っています。ジャック・ドンガラ氏、トーマス・ヘイグ氏によるオーラルヒストリーインタビュー、2005年4月26日、テネシー大学ノックスビル校、テネシー州。産業応用数学会、フィラデルフィア、ペンシルベニア州
• BLASはどのようにしてこれほどの驚異的なパフォーマンスを実現しているのでしょうか？単純な1000 × 1000行列の乗算（浮動小数点数の乗算加算を10回）を2.6GHzプロセッサで15.77秒で実行すると^、  BLAS の実装ではわずか1.32 秒で済みます。
• 疎行列基本線形代数サブプログラムの概要：BLASテクニカルフォーラムによる新しい標準