InfiniBand ( IB ) は、非常に高いスループットと非常に低いレイテンシを特徴とする高性能コンピューティングで使用されるコンピュータ ネットワーク規格です。コンピュータ間およびコンピュータ内のデータ相互接続に使用されます。InfiniBand は、サーバーとストレージ システム間の直接またはスイッチド相互接続、およびストレージ システム間の相互接続としても使用されます。拡張性を考慮して設計されており、スイッチド ファブリックネットワーク トポロジを使用します。2014 年~ 2016 年 6 月の間、[ 1 ]スーパーコンピュータのTOP500リストで最も一般的に使用されている相互接続でした。
Mellanox ( Nvidiaに買収された)は、InfiniBandホストバスアダプタとネットワークスイッチを製造しており、これらは大手コンピュータシステムおよびデータベースベンダーの製品ラインで使用されています。[ 2 ]
コンピュータクラスタ間の相互接続技術として、IBはイーサネット、ファイバーチャネル、インテルオムニパスと競合する。この技術は、インフィニバンド業界団体によって推進されている。
InfiniBand は 1999 年に、Future I/O と Next Generation I/O (NGIO) という 2 つの競合する設計が統合されて誕生しました。NGIO はIntelが主導し、1998 年に仕様が発表され[ 3 ] 、 Sun MicrosystemsとDellが参加しました。Future I/O は Compaq、IBM、Hewlett-Packardが支援しました[ 4 ]。 これにより、ハードウェア ベンダーの両グループとMicrosoftなどのソフトウェア ベンダーを含む InfiniBand Trade Association (IBTA) が設立されました。当時、 PCI-Xなどのアップグレードにもかかわらず、より強力なコンピュータの一部がPCIバスの相互接続のボトルネックに近づいていると考えられていました[ 5 ]。InfiniBandアーキテクチャ仕様のバージョン 1.0 は 2000 年にリリースされました。当初、IBTA の IB のビジョンは、I/O における PCI、マシン ルームにおける Ethernet 、クラスタ相互接続、およびファイバー チャネルの代替となることでした。 IBTAはまた、IBファブリック上でサーバーハードウェアを分解することも想定していた。
Mellanoxは1999年にNGIO技術を開発するために設立されたが、2001年には10 Gbit/秒の速度でInfiniBridgeと呼ばれるInfiniBand製品ラインを出荷した。[ 6 ]ドットコムバブル の崩壊後、業界ではこのような広範囲にわたる技術の飛躍に投資することに躊躇があった。[ 7 ] 2002年までに、IntelはIB集積回路(「チップ」)の出荷の代わりにPCI Expressの 開発に注力すると発表し、Microsoftはイーサネットの拡張を優先してIBの開発を中止した。Sun MicrosystemsとHitachiはIBのサポートを継続した。[ 8 ]
2003 年、バージニア工科大学で構築されたSystem Xスーパーコンピュータ は、当時世界で 3 番目に大きいコンピュータと推定され、InfiniBand を使用しました。[ 9 ] OpenIB Alliance (後に OpenFabrics Alliance に改名) は、 Linuxカーネル用のオープンなソフトウェア セットを開発するために 2004 年に設立されました。2005 年 2 月までに、サポートは 2.6.11 Linux カーネルに受け入れられました。[ 10 ] [ 11 ] 2005 年 11 月、Engenio などのベンダーから InfiniBand を使用したストレージ デバイスがようやくリリースされました。[ 12 ] Cisco は、イーサネットよりも優れた技術を市場から排除したいと考え、「買収して潰す」戦略を採用しました。Cisco は、買収によって Topspin などの InfiniBand スイッチング企業を潰すことに成功しました。[ 13 ]
2009 年のトップ 500 台のスーパーコンピュータのうち、内部相互接続技術としてギガビット イーサネットが 259 台で採用され、InfiniBand を使用しているのは 181 台でした。 [ 14 ] 2010 年、市場リーダーの Mellanox と Voltaire が合併し、主にファイバー チャネルベンダーであるQLogicという IB ベンダーが 1 社だけになりました。[ 15 ] 2011 年の国際スーパーコンピューティング会議では、約 56 ギガビット/秒で動作するリンク (FDR として知られています。下記参照) が発表され、展示会のブースを接続することで実証されました。[ 16 ] 2012 年、Intel が QLogic の InfiniBand 技術を買収し、独立系サプライヤーは 1 社だけになりました。[ 17 ]
2014年までに、InfiniBandはスーパーコンピュータ向けの最も人気のある内部接続技術となったが、2年以内に10ギガビットイーサネットがそれを取って代わり始めた。[ 1 ]
2016年には、 Oracle Corporation(Mellanoxへの投資企業)が独自のInfiniBandハードウェアを開発する可能性があると報じられた。 [ 2 ]
2019年、NvidiaはInfiniBand製品の最後の独立系サプライヤーであるMellanoxを買収した。 [ 18 ]
仕様はInfiniBand業界団体によって公開されています。
当初の速度の名称は、以下に示すように、シングルデータレート(SDR)、ダブルデータレート(DDR)、クワッドデータレート(QDR)でした。[ 12 ]その後、さらに高いデータレートを表すために、他の3文字の頭字語が追加されました。[ 19 ]
各リンクは双方向です。リンクは集約できます。ほとんどのシステムでは、4リンク/レーンのコネクタ(QSFP)を使用します。HDRでは、2xリンク(別名HDR100、 QSFPコネクタを使用しながらHDRの2レーンを使用する100Gbリンク)がよく使用されます。NDRでは、2x(NDR200)または4x(NDR400)で1つまたは2つのリンクをホストするOSFPコネクタが導入されました。OSFPケーブルでスイッチ同士を接続した場合でも、論理的に単一の8xリンクとして構成されることはありません。
InfiniBandは、CPU負荷を低く抑えるリモートダイレクトメモリアクセス(RDMA)機能を提供します。
InfiniBandは、初期の共有メディアイーサネットとは異なり、スイッチドファブリックトポロジーを採用しています。すべての伝送はチャネルアダプタで開始または終了します。各プロセッサにはホストチャネルアダプタ(HCA)が、各周辺機器にはターゲットチャネルアダプタ(TCA)が搭載されています。これらのアダプタは、セキュリティやサービス品質(QoS)に関する情報の交換も可能です。
InfiniBandは、最大4KBのパケットにデータを分割して送信し、 それらをまとめてメッセージを構成します。メッセージは以下のとおりです。

ボードフォームファクタ接続に加えて、アクティブおよびパッシブ銅線(最大10メートル)と光ファイバーケーブル(最大10km )の両方を使用できます。[ 32 ] QSFPコネクタが使用されます。
InfiniBand協会はまた、銅線、アクティブ光ケーブル、および24芯MPOコネクタを備えたパラレルマルチモードファイバーケーブルを使用する光トランシーバー上で最大120Gbpsの速度を実現するCXPコネクタシステムを規定した。
Mellanox のオペレーティングシステムサポートは、 Solaris、FreeBSD、[ 33 ] [ 34 ] Red Hat Enterprise Linux、SUSE Linux Enterprise Server (SLES)、Windows、HP-UX、VMware ESX、[ 35 ]およびAIX [ 36 ]で利用可能です。
InfiniBand には、特定の標準アプリケーション プログラミング インターフェイス(API) はありません。標準では、存在しなければならない関数またはメソッドの抽象的な表現である、ibv_open_deviceやなどの動詞のセットのみがリストされていibv_post_sendます。これらの関数の構文はベンダーに任されています。参照のために、これは動詞API と呼ばれることもあります。事実上の標準ソフトウェアはOpenFabrics Allianceによって開発され、Open Fabrics Enterprise Distribution (OFED) と呼ばれています。Linuxおよび FreeBSD 用のGPL2またはBSDライセンス、および Windows 用の Mellanox OFED (製品名: WinOF / WinOF-2、特定の ConnectX 3 ~ 5 デバイスに適合するホスト コントローラ ドライバとして割り当てられています) [ 37 ] の2 つのライセンスでリリースされ、Windows 用の BSD ライセンスを選択できます。Linux 、FreeBSD、およびMicrosoft Windows用のInfiniBand ベンダーのほとんどがこれを採用しています。[ 38 ] Linuxカーネルのサポートは2005年にカーネルバージョン2.6.11に統合されました。[ 39 ]libibverbs
EoIB と略される Ethernet over InfiniBand は、InfiniBand プロトコルとコネクタ技術を使用した Ethernet の実装です。EoIB は、InfiniBand (IB) バージョンに応じて複数の Ethernet帯域幅を実現します。 [ 40 ]通常 TCP/IP と呼ばれる Ethernet のインターネット プロトコル スイートの実装は、IP over IB (IPoIB) の直接 InfiniBand プロトコルとは詳細が異なります。
テクノロジーは現在 205 システムに搭載されており、235 システムの中から減少していますが、内部システム相互接続技術としては 2 番目に多く使用されています。ギガビット イーサネットは 182 システムの中から 218 システムに増加しており、これは主に 176 システムが 10G インターフェイスを使用していることによるものです。
は非標準のInfiniBandデータレートで、4Xポートの各レーンは
64b/66bエンコーディングで10.3125 Gbit/sのビットレートで動作し、結果として40 Gbit/sの実効帯域幅を実現します
。FDR10は、より優れたエンコーディングレートにより、QDRよりも20%多くの帯域幅をサポートします。
InfiniBand FDRおよびFDR10の概要 [...] FDRは標準InfiniBandデータレートであり、4Xポートの各レーンは64b/66bエンコーディングで14.0625 Gbit/sのビットレートで動作し
、結果として54.54 Gbit/sの実効帯域幅になります
。 FDR物理層は、異なるブロックタイプ、デスクウメカニズム、およびフレーミングルールを使用するIBTAで規定された物理層です。 SX6518スイッチは、非標準のInfiniBandデータレートであるFDR10もサポートしており、4Xポートの各レーンは
64b/66bエンコーディングで10.3125 Gbit/sのビットレートで動作し、結果として40 Gbit/sの実効帯域幅を実現します
。