インフィニバンド

InfiniBand 貿易協会
形成	1999
タイプ	業界団体
目的	InfiniBandの推進
本部	米国オレゴン州ビーバートン
Webサイト	翻訳元

InfiniBand ( IB ) は、非常に高いスループットと非常に低いレイテンシを特徴とする、高性能コンピューティングで使用されるコンピュータネットワーク通信規格です。コンピュータ間およびコンピュータ内のデータ相互接続に使用されます。また、InfiniBand は、サーバーとストレージシステム間の直接またはスイッチ相互接続、およびストレージシステム間の相互接続としても使用されます。スケーラブルに設計されており、スイッチファブリックネットワークトポロジを使用します。2014年から2016年6月まで、^{[1]スーパーコンピュータの}TOP500リストで最も一般的に使用された相互接続でした。

Mellanox（Nvidiaが買収）は、InfiniBandホストバスアダプタとネットワークスイッチを製造しており、大規模なコンピュータシステムやデータベースベンダーの製品ラインに使用されています。^[2]

コンピュータクラスタ相互接続として、IB はEthernet、ファイバーチャネル、および Intel Omni-Pathと競合します。このテクノロジはInfiniBand Trade Associationによって推進されています。

歴史

InfiniBand は、1999 年に Future I/O と Next Generation I/O (NGIO) という 2 つの競合する設計の統合から生まれました。NGIO はIntelが主導し、1998 年に仕様がリリースされ、^[3]Sun MicrosystemsとDellが参加しました。Future I/O はCompaq、IBM、およびHewlett-Packardが支援しました。^[4] これにより、両方のハードウェアベンダーとMicrosoftなどのソフトウェアベンダーを含む InfiniBand Trade Association (IBTA) が結成されました。当時は、PCI-Xなどのアップグレードにもかかわらず、一部のより強力なコンピューターがPCIバスの相互接続ボトルネックに近づいていると考えられていました。^{[5] InfiniBand アーキテクチャ仕様のバージョン 1.0 は 2000 年にリリースされました。当初、IBTA の IB ビジョンは、I/O における PCI、}マシンルームにおける Ethernet 、クラスター相互接続、およびファイバーチャネルの同時置き換えでした。 IBTA は、IBファブリック上のサーバーハードウェアを分解することも想定していました。

Mellanox は1999 年に NGIO 技術を開発するために設立されましたが、2001 年までに 10 Gbit/秒の速度で InfiniBridge と呼ばれる InfiniBand 製品ラインを出荷しました。^[6]ドットコムバブルの崩壊後、業界ではこのような広範囲にわたる技術の飛躍に投資することに躊躇がありました。^{[7] 2002 年までに、Intel は IB 集積回路 (「チップ」) を出荷する代わりに}PCI Express の開発に重点を置くと発表し、Microsoft はイーサネットの拡張を優先して IB 開発を中止しました。Sun MicrosystemsとHitachi はIB のサポートを継続しました。^[8]

2003年、バージニア工科大学で構築されたSystem Xスーパーコンピュータは、当時世界で3番目に大きいコンピュータと推定されたコンピュータでInfiniBandを使用しました。^[9] OpenIB Alliance （後にOpenFabrics Allianceに改名）は、 Linuxカーネル用のオープンソフトウェアセットを開発するために2004年に設立されました。2005年2月までに、サポートは2.6.11 Linuxカーネルに受け入れられました。^[10]^[11] 2005年11月、EngenioなどのベンダーからInfiniBandを使用したストレージデバイスがようやくリリースされました。^[12] イーサネットよりも優れた技術を市場から排除したいと考えたシスコは、「買収して潰す」戦略を採用しました。シスコは、買収によってTopspinなどのInfiniBandスイッチング企業を潰すことに成功しました。^[13]^[^{出典が必要}^]

2009年の上位500台のスーパーコンピュータのうち、259台でギガビットイーサネットが内部相互接続技術として採用され、181台でInfiniBandが採用されていました。 ^[14] 2010年に市場リーダーであるMellanoxとVoltaireが合併し、IBベンダーは主にファイバーチャネルベンダーであるQLogicのみとなりました。^[15] 2011年の国際スーパーコンピューティング会議では、約56ギガビット/秒で動作するリンク（FDRとして知られています、下記参照）が発表され、展示会の接続ブースで実演されました。^[16] 2012年にIntelがQLogicのInfiniBand技術を買収し、独立したサプライヤーは1社のみとなりました。^[17]

2014年までに、InfiniBandはスーパーコンピュータの最も人気のある内部接続技術になりましたが、2年以内に10ギガビットイーサネットがそれに取って代わり始めました。^[1]

2016年には、 Oracle Corporation（Mellanoxの投資家）が独自のInfiniBandハードウェアを設計する可能性があると報じられた。 ^[2]

2019年にNvidiaはInfiniBand製品の最後の独立サプライヤーであったMellanoxを買収した。^[18]

仕様

仕様は InfiniBand 業界団体によって公開されています。

パフォーマンス

速度の元々の名前は、以下に示すように、シングルデータレート（SDR）、ダブルデータレート（DDR）、クアッドデータレート（QDR）でした。^[12]その後、さらに高いデータレートを表すために、他の3文字の頭字語が追加されました。^[19]

注記

^ リード・ソロモン前方誤り訂正法の使用

各リンクは二重です。リンクは集約可能で、ほとんどのシステムは 4 リンク/レーンコネクタ (QSFP) を使用します。HDR は多くの場合、2x リンク (別名 HDR100、2 レーンの HDR を使用する 100 Gb リンク、ただし QSFP コネクタを使用) を使用します。OSFP (Octal Small Form Factor Pluggable) コネクタを使用する NDR スイッチポートでは、8x が必要です(「ケーブルおよびコネクタの定義」)。

InfiniBand は、 CPU オーバーヘッドを低減するリモートダイレクトメモリアクセス(RDMA) 機能を提供します。

トポロジー

InfiniBand は、初期の共有メディアEthernetとは対照的に、スイッチファブリックトポロジを使用します。すべての送信は、チャネルアダプタで開始または終了します。各プロセッサにはホストチャネルアダプタ (HCA) が含まれ、各周辺機器にはターゲットチャネルアダプタ (TCA) が含まれます。これらのアダプタは、セキュリティやサービス品質(QoS) に関する情報も交換できます。

メッセージ

InfiniBand は、最大 4 KB のパケットでデータを送信し、これらをまとめてメッセージを形成します。メッセージは次のようになります。

リモート直接メモリアクセス読み取りまたは書き込み
チャネルの送信または受信
トランザクションベースの操作（元に戻すことが可能）
マルチキャスト送信
原子操作

物理的な相互接続

ボードフォームファクタ接続に加えて、アクティブおよびパッシブ銅線（最大10メートル）と光ファイバーケーブル（最大10km）の両方を使用できます。^[31] QSFPコネクタが使用されます。

InfiniBand 協会は、24 芯 MPO コネクタを備えた並列マルチモードファイバケーブルを使用する銅線、アクティブ光ケーブル、光トランシーバで最大 120 Gbit/s の速度を実現するCXPコネクタシステムも規定しました。 ^{[引用が必要]}

ソフトウェアインターフェース

Mellanoxのオペレーティングシステムサポートは、 Solaris、FreeBSD、^[32]^[33] Red Hat Enterprise Linux、SUSE Linux Enterprise Server（SLES）、Windows、HP-UX、VMware ESX、^[34]AIXで利用可能です。^[35]

InfiniBand には、特定の標準アプリケーションプログラミングインターフェイスibv_open_device(API) はありません。標準では、存在する必要がある関数またはメソッドの抽象表現であるやなどの一連の動詞のみがリストされていますibv_post_send。これらの関数の構文はベンダーに任されています。参照用に、これはverbs API と呼ばれることがあります。事実上の標準ソフトウェアはOpenFabrics Allianceによって開発され、Open Fabrics Enterprise Distribution (OFED) と呼ばれています。Linuxおよび FreeBSD ではGPL2またはBSD ライセンスの 2 つのライセンスでリリースされ、Windows では BSD ライセンスの選択で Mellanox OFED for Windows (製品名: WinOF / WinOF-2。ConnectX 3 から 5 の特定のデバイスに対応するホストコントローラードライバーとして割り当てられている) ^{[36]としてリリースされています。これは、}Linux、FreeBSD、Microsoft Windowsのほとんどの InfiniBand ベンダーによって採用されています。IBMは、AIXlibibverbsオペレーティングシステム用のと呼ばれるソフトウェアライブラリと、「AIX InfiniBand verbs」を参照しています。^[37] Linuxカーネルのサポートは2005年にカーネルバージョン2.6.11に統合されました。^[38]

InfiniBand 経由のイーサネット

Ethernet over InfiniBand（略してEoIB）は、InfiniBandプロトコルとコネクタ技術を介したイーサネット実装です。EoIBは、InfiniBand（IB）バージョンに応じて複数のイーサネット帯域幅を可能にします。 ^[39] イーサネットのインターネットプロトコルスイートの実装（通常TCP/IPと呼ばれます）は、IP over IB（IPoIB）の直接のInfiniBandプロトコルと比較して、詳細がいくつか異なります。

参照

参考文献

^ ab 「ハイライト– 2016年6月」。Top500.Org。2016年6月。 2021年9月26日閲覧。InfiniBandテクノロジーは現在235システムから205システムに搭載されており、現在2番目に多く使用されている内部システム相互接続テクノロジーです。ギガビットイーサネットは182システムから218システムに増加しており、これは主に176システムが現在10Gインターフェースを使用していることによるものです。
^ Timothy Prickett Morgan (2016年2月23日)。「Oracle Engineers Its Own InfiniBand Interconnects」The Next Platform 。 2021年9月26日閲覧。
^ Scott Bekker (1998年11月11日). 「Intel、コンピューティングサーバー向け次世代 I/O を発表」. Redmond Channel Partner . 2021年9月28日閲覧。
^ Will Wade (1999年8月31日). 「対立するNGIOとFuture I/Oグループが合併へ」. EE Times . 2021年9月26日閲覧。
^ Pentakalos、Odysseas。「InfiniBand アーキテクチャ入門」。O'Reilly。2014年7月 28 日閲覧。
^ 「タイムライン」。メラノックステクノロジーズ。2021年9月26日閲覧。
^ Kim, Ted. 「InfiniBand の簡潔な歴史: 誇大宣伝から実用主義へ」。Oracle。2014 年 8 月 8 日時点のオリジナルよりアーカイブ。2021 年9 月 28 日閲覧。
^ Computerwire (2002年12月2日). 「SunがInfiniBandへの取り組みを確認」. The Register . 2021年9月26日閲覧。
^ 「バージニア工科大学が10テラフロップスのコンピュータを開発」R&D World 2003年11月30日。 2021年9月28日閲覧。
^ Sean Michael Kerner (2005年2月24日). 「Linuxカーネル2.6.11がInfiniBandをサポート」.インターネットニュース. 2021年9月28日閲覧。
^ OpenIB Alliance (2005年1月21日). 「OpenIB AllianceがKernel.orgによる承認を獲得」.プレスリリース. 2021年9月28日閲覧。
^ ab Ann Silverthorn (2006年1月12日)、「InfiniBandは復活の兆しありか?」、Infostor、10 (2) 、2021年9月28日閲覧
^ Connor, Deni. 「シスコとTopspinの契約がInfiniBandにもたらす影響」Network World . 2024年6月19日閲覧。
^ Lawson, Stephen (2009年11月16日). 「ライバルのスーパーコンピューター2社がトップの座を争う」. Computerworld . 2021年9月29日時点のオリジナルよりアーカイブ。 2021年9月29日閲覧。
^ Raffo, Dave. 「最大のInfiniBandベンダーが合併、統合ネットワークに注目」。2017年7月1日時点のオリジナルよりアーカイブ。2014年7月29日閲覧。
^ Mikael Ricknäs (2011年6月20日). 「MellanoxがInfiniBandの強化版をデモ」CIO . 2012年4月6日時点のオリジナルよりアーカイブ。2021年9月30日閲覧。
^ Michael Feldman (2012年1月23日). 「IntelがQLogicの製品ラインであるInfiniBandテクノロジーを買収」HPCwire . 2021年9月29日閲覧。
^ 「NvidiaがMellanoxを69億ドルで買収」プレスリリース。2019年3月11日。 2021年9月26日閲覧。
^ ab 「FDR InfiniBand Fact Sheet」。InfiniBand Trade Association。2021年11月11日。2016年8月26日時点のオリジナルよりアーカイブ。2021年9月30日閲覧。
^ Panda, Dhabaleswar K.; Sayantan Sur (2011). 「IB と HSE によるネットワーク速度の高速化」(PDF) . InfiniBand と高速イーサネットを使用したクラウドおよびグリッドコンピューティングシステムの設計. 米国カリフォルニア州ニューポートビーチ: CCGrid 2011. p. 23 . 2014 年9 月 13 日閲覧。
^ 「InfiniBand ロードマップ: IBTA - InfiniBand Trade Association」。2011 年 9 月 29 日時点のオリジナルよりアーカイブ。2009年 10 月 27 日閲覧。
^ http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf // メラノックス
^ 「InfiniBand の種類と速度」。
^ 「インターフェイス」。NVIDIA Docs。2023-11-12取得。FDR10は非標準の InfiniBand データレートで、4X ポートの各レーンでは 64b/66b エンコーディングで 10.3125 Gbit / s のビットレートが実行され、有効帯域幅は 40 Gbit/s になります。FDR10 は、エンコーディングレートが優れているため、QDR よりも 20% 広い帯域幅をサポートします。
^ 「324 ポート InfiniBand FDR SwitchX® スイッチプラットフォームハードウェアユーザーマニュアル」(PDF) . nVidia . 2018-04-29. セクション 1.2 . 2023-11-12に取得。InfiniBand FDR および FDR10 の概要 [...] FDR は標準の InfiniBand データレートで、4X ポートの各レーンでは 64b/66b エンコーディングで 14.0625 Gbit/s のビットレートが実行され、有効帯域幅は 54.54 Gbit/s になります。FDR 物理層は、異なるブロックタイプ、デスキューメカニズム、およびフレーミングルールを使用する IBTA 指定の物理層です。 SX6518 スイッチは、非標準の InfiniBand データレートである FDR10 もサポートしており、4X ポートの各レーンでは 64b/66b エンコーディングで 10.3125 Gbit/s のビットレートが実行され、有効帯域幅は 40 Gbit/s になります。
^ abc 「InfiniBand ロードマップ - InfiniBand の推進」。InfiniBand Trade Association。
^ 「はじめに」。NVIDIA Docs 。 2023年11月12日閲覧。
^ https://www.mellanox.com/files/doc-2020/pb-connectx-6-vpi-card.pdf ^{[ベア URL PDF ]}
^ 「はじめに」。NVIDIA Docs 。 2023年11月12日閲覧。
^ 「NVIDIA、1兆パラメータのGPUコンピューティングとAIインフラストラクチャ向けに最適化された新しいスイッチを発表」。NVIDIA Newsroom 。2024年3月19日閲覧。
^ 「仕様に関するFAQ」。ITA。2016年11月24日時点のオリジナルよりアーカイブ。 2014年7月30日閲覧。
^ 「Mellanox OFED for FreeBSD」。Mellanox 。 2018年9月19日閲覧。
^ Mellanox Technologies (2015 年 12 月 3 日). 「FreeBSD カーネルインターフェースマニュアル、mlx5en」. FreeBSD マニュアルページ. FreeBSD . 2018 年9 月 19 日閲覧。
^ 「InfiniBand カード - 概要」。Mellanox。2014年7 月 30 日閲覧。
^ 「IBM System p への InfiniBand の実装 (IBM Redbook SG24-7351-00)」(PDF)。
^ Windows 用 Mellanox OFED - WinOF / WinOF-2
^ 「Verbs API」。IBM AIX 7.1 ドキュメント。2020 年。2021 年9 月 26 日閲覧。
^ Dotan Barak (2014 年 3 月 11 日). 「Verbs プログラミングチュートリアル」(PDF) . OpenSHEM、2014 年. Mellanox . 2021 年9 月 26 日閲覧。
^ 「InfiniBand の 10 の利点」。NADDOD。2023年1 月 28 日閲覧。

外部リンク

Kerr, Gregory (2011)、Verbs API を使用した小規模 InfiniBand アプリケーションの分析、arXiv : 1105.1827、Bibcode :2011arXiv1105.1827K
InfiniBand Trade Association の Web サイト

[29] リード・ソロモン前方誤り訂正法の使用

[down-1] 「ハイライト– 2016年6月」。Top500.Org。2016年6月。 2021年9月26日閲覧。InfiniBandテクノロジーは現在235システムから205システムに搭載されており、現在2番目に多く使用されている内部システム相互接続テクノロジーです。ギガビットイーサネットは182システムから218システムに増加しており、これは主に176システムが現在10Gインターフェースを使用していることによるものです。

[oracle-2] Timothy Prickett Morgan (2016年2月23日)。「Oracle Engineers Its Own InfiniBand Interconnects」The Next Platform 。 2021年9月26日閲覧。

[3] Scott Bekker (1998年11月11日). 「Intel、コンピューティングサーバー向け次世代 I/O を発表」. Redmond Channel Partner . 2021年9月28日閲覧。

[4] Will Wade (1999年8月31日). 「対立するNGIOとFuture I/Oグループが合併へ」. EE Times . 2021年9月26日閲覧。

[pentakalos-5] Pentakalos、Odysseas。「InfiniBand アーキテクチャ入門」。O'Reilly。2014年7月 28 日閲覧。

[timeline-6] 「タイムライン」。メラノックステクノロジーズ。2021年9月26日閲覧。

[kim-7] Kim, Ted. 「InfiniBand の簡潔な歴史: 誇大宣伝から実用主義へ」。Oracle。2014 年 8 月 8 日時点のオリジナルよりアーカイブ。2021 年9 月 28 日閲覧。

[8] Computerwire (2002年12月2日). 「SunがInfiniBandへの取り組みを確認」. The Register . 2021年9月26日閲覧。

[9] 「バージニア工科大学が10テラフロップスのコンピュータを開発」R&D World 2003年11月30日。 2021年9月28日閲覧。

[10] Sean Michael Kerner (2005年2月24日). 「Linuxカーネル2.6.11がInfiniBandをサポート」.インターネットニュース. 2021年9月28日閲覧。

[11] OpenIB Alliance (2005年1月21日). 「OpenIB AllianceがKernel.orgによる承認を獲得」.プレスリリース. 2021年9月28日閲覧。

[comeback-12] Ann Silverthorn (2006年1月12日)、「InfiniBandは復活の兆しありか?」、Infostor、10 (2) 、2021年9月28日閲覧

[13] Connor, Deni. 「シスコとTopspinの契約がInfiniBandにもたらす影響」Network World . 2024年6月19日閲覧。

[14] Lawson, Stephen (2009年11月16日). 「ライバルのスーパーコンピューター2社がトップの座を争う」. Computerworld . 2021年9月29日時点のオリジナルよりアーカイブ。 2021年9月29日閲覧。

[15] Raffo, Dave. 「最大のInfiniBandベンダーが合併、統合ネットワークに注目」。2017年7月1日時点のオリジナルよりアーカイブ。2014年7月29日閲覧。

[16] Mikael Ricknäs (2011年6月20日). 「MellanoxがInfiniBandの強化版をデモ」CIO . 2012年4月6日時点のオリジナルよりアーカイブ。2021年9月30日閲覧。

[17] Michael Feldman (2012年1月23日). 「IntelがQLogicの製品ラインであるInfiniBandテクノロジーを買収」HPCwire . 2021年9月29日閲覧。

[18] 「NvidiaがMellanoxを69億ドルで買収」プレスリリース。2019年3月11日。 2021年9月26日閲覧。

[fdr_fact_sheet-19] 「FDR InfiniBand Fact Sheet」。InfiniBand Trade Association。2021年11月11日。2016年8月26日時点のオリジナルよりアーカイブ。2021年9月30日閲覧。

[ccgrid11-ib-hse-23-20] Panda, Dhabaleswar K.; Sayantan Sur (2011). 「IB と HSE によるネットワーク速度の高速化」(PDF) . InfiniBand と高速イーサネットを使用したクラウドおよびグリッドコンピューティングシステムの設計. 米国カリフォルニア州ニューポートビーチ: CCGrid 2011. p. 23 . 2014 年9 月 13 日閲覧。

[ib_over-21] 「InfiniBand ロードマップ: IBTA - InfiniBand Trade Association」。2011 年 9 月 29 日時点のオリジナルよりアーカイブ。2009年 10 月 27 日閲覧。

[22] ttp://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf // メラノックス

[23] 「InfiniBand の種類と速度」。

[24] 「インターフェイス」。NVIDIA Docs。2023-11-12取得。FDR10は非標準の InfiniBand データレートで、4X ポートの各レーンでは 64b/66b エンコーディングで 10.3125 Gbit / s のビットレートが実行され、有効帯域幅は 40 Gbit/s になります。FDR10 は、エンコーディングレートが優れているため、QDR よりも 20% 広い帯域幅をサポートします。

[25] 「324 ポート InfiniBand FDR SwitchX® スイッチプラットフォームハードウェアユーザーマニュアル」(PDF) . nVidia . 2018-04-29. セクション 1.2 . 2023-11-12に取得。InfiniBand FDR および FDR10 の概要 [...] FDR は標準の InfiniBand データレートで、4X ポートの各レーンでは 64b/66b エンコーディングで 14.0625 Gbit/s のビットレートが実行され、有効帯域幅は 54.54 Gbit/s になります。FDR 物理層は、異なるブロックタイプ、デスキューメカニズム、およびフレーミングルールを使用する IBTA 指定の物理層です。 SX6518 スイッチは、非標準の InfiniBand データレートである FDR10 もサポートしており、4X ポートの各レーンでは 64b/66b エンコーディングで 10.3125 Gbit/s のビットレートが実行され、有効帯域幅は 40 Gbit/s になります。

[ib_roadmap-26] 「InfiniBand ロードマップ - InfiniBand の推進」。InfiniBand Trade Association。

[27] 「はじめに」。NVIDIA Docs 。 2023年11月12日閲覧。

[28] ttps://www.mellanox.com/files/doc-2020/pb-connectx-6-vpi-card.pdf ^{[ベア URL PDF ]}

[30] 「はじめに」。NVIDIA Docs 。 2023年11月12日閲覧。

[31] 「NVIDIA、1兆パラメータのGPUコンピューティングとAIインフラストラクチャ向けに最適化された新しいスイッチを発表」。NVIDIA Newsroom 。2024年3月19日閲覧。

[faq-32] 「仕様に関するFAQ」。ITA。2016年11月24日時点のオリジナルよりアーカイブ。 2014年7月30日閲覧。

[33] 「Mellanox OFED for FreeBSD」。Mellanox 。 2018年9月19日閲覧。

[34] Mellanox Technologies (2015 年 12 月 3 日). 「FreeBSD カーネルインターフェースマニュアル、mlx5en」. FreeBSD マニュアルページ. FreeBSD . 2018 年9 月 19 日閲覧。

[35] 「InfiniBand カード - 概要」。Mellanox。2014年7 月 30 日閲覧。

[36] 「IBM System p への InfiniBand の実装 (IBM Redbook SG24-7351-00)」(PDF)。

[37] Windows 用 Mellanox OFED - WinOF / WinOF-2

[38] 「Verbs API」。IBM AIX 7.1 ドキュメント。2020 年。2021 年9 月 26 日閲覧。

[39] Dotan Barak (2014 年 3 月 11 日). 「Verbs プログラミングチュートリアル」(PDF) . OpenSHEM、2014 年. Mellanox . 2021 年9 月 26 日閲覧。

[40] 「InfiniBand の 10 の利点」。NADDOD。2023年1 月 28 日閲覧。