1999年に、InfiniBand™として標準化を担うInfiniBand Trade Association（IBTA）が発足しました。　ここでは標準仕様およびドライバモデルが発行され、InfiniBand のロードマップとともに現在に至っています。 スピードの世代を見ますと、次のようになります。NDR以降はIBTAのロードマップより抜粋しました。
SDR       Single Data Rate                10Gbps(1レーン当たり2.5Gbps)
DDR      Double Data Rate              20Gbps(同5Gbps)
QDR      Quad Data Rate                 40Gbps(同10Gbps)
FDR       Fourteen Data Rate           56Gbps(同14Gbps)
EDR      Enhanced Data Rate          100Gbps(同25Gbps)
HDR      High Data Rate                  200Gbps(同50Gbps)
NDR      Next Data Rate                  400Gbps(同100Gbps)
XDR      eXtended Data Rate           1000Gbps(同 250Gbps)

何と、4レーンのケーブル一本で1Tbpsの転送を行おうとするロードマップです。
最近(2021年3月時点)は「HDR」 と呼ばれる200Gbpsの製品が本格出荷開始されております。

図1　InfiniBandのアーキテクチャスペックの表紙　2020年時点は、Release 1.4

ケーブルがそのスピードに追従できるか

なお、物理レイヤーでも別途規格があります。ケーブルのコネクタのスペックは下記の通りですが、モジュール部分はSFF-8661で規定され、実際にどのスピードでも形状は変わりません。

図2：　SNIA REF-TA-1011 Rev. 1.1より

HDR以上は、PAM4という技術で、1ビットの時間で、２ビット送るという、エンコーディング方式を使い、サポートできる速度を上げています。

図３　ケーブルのモジュール/ケーブルプラグの形状

よって、ケーブルのプラグは同じですが、挿入される方のコネクターや、ポートケージのスペックが違うことになります。　機械的なスペックとして、SDRのスイッチにEDRのケーブルを挿すことも可能です。

InfiniBand世代間の互換性

InfiniBandは、標準化当初から、世代間の互換性を重要視しており、SDR/DDR/QDRからHDRまでサポートすることができます。　　また、同じケーブルを使用し、複数のファブリックスピードをサポートします。スペック上は、SDR/DDR のファブリックにHDRのファブリックを簡単に追加することが可能です。また独立して導入した異なるスピードのファブリックを統合し、多世代に渡るファブリックも統合可能です。よって、速度を気にせず接続の互換性を持つことになり、スピード制限はありますが、通信は可能となります。
ファブリック同志を繋ぐケーブルとして、光ケーブルでは860nm (マルチモードで数百メートルの範囲内：可視光線で、赤く見える)や、1,310nm(シングルモードで赤外線なので、目には見えませんが、デジタルカメラなどを通してみることができ、到達距離は数十キロメータと距離を各段に延ばすことが可能です)を使用します。また、ラック内の数メートルの距離ですと、銅線ケーブルでも可能です。ただし、HDRのスピードでは、ケーブル長は２ｍで、AWG26(直径約0.4㎜)の太さの銅銭を束ねるため太くなり、曲げ半径も約10㎝が必要となります。

大は小を兼ねる？

今まで、QDR/FDRにより構成されていたInfiniBandのファブリックを拡張するために、新しいEDRのスイッチをQDR/FDRのファブリックに追加し　QDR/FDRスイッチとEDRス イッチ間の接続に、新しいEDRのケーブルを接続したとします。この場合、スイッチOS/ソフトウェアをアップデートをしていない古いスイッチに最新のケーブルを使用すると、殆どの場合、物理レイヤーでのリンクアップはしないでしょう。
これは、SFF-8636により規定されるケーブルのManagement Interfaceの速度拡張部分が古いスイッチではサポートされていないケースが考えられます。NVIDIA/Mellanox のスイッチは、接続されているケーブルの情報が内蔵メモリ内に書かれております。NVIDIA/Mellanxスイッチのファームウェアは、ケーブルの内部情報を読み取り、サポートするスピードでリンクアップさせようとしますが、古いスイッチのファームウェアが、ケーブルから得られた情報より、そのケーブルをサポートしていないと、不適合として取り扱いリンクアップを行わなくなります。　要は、ケーブルの素性が、スイッチが持っているケーブルのデータベースと適合しないとわかると、リンクアップさせません。

また、InfiniBand の規格で、BER(Bit Error Rate: 10E-12、10のマイナス12乗に1ビットの誤り)というケーブルの品質を担保しなくてはなりません。従って、ケーブル自体にInfiniBandでどのスピードをサポートするか、それらの情報がケーブル内臓メモリに書き込まれます。

図４　SFF-8636 InfiniBand サポートするための拡張モジュールコード
リンクアップしたとしても、上記モジュールコードにセットされている値以下か、BER値により一段低いスピードでリンクアップします。　特にEDR以降のスイッチに関しては、Extended Module Codeが適切にセットされていないと物理レイヤーでリンクアップしません。

また、スイッチのファームウェアが、接続されたケーブルを認識できなければ、リンクアップはしません。よって、何世代か前に導入したファブリックを拡張する場合は、古いスイッチのファームウェアのリリースノート等で、サポートされるケーブルを確認する必要があります。

なお、弊社においても、世代の違うInfiniBandのスイッチ間で、使えるケーブルかどうかを確認しております。

その結果に関しては、次回以降に紹介させていただきたいと思います。

<参考文献＞

– NVIDIA Mellanox Onyx Release Notes　Ver 3.9.2110
– SFF-8024 SFF Committee Cross Reference to Industry Products
– SFF-8436 QSFP+ 10 Gb/s 4X Pluggable Transceiver – (EIA-964)
– SFF-8635 QSFP+ 10 Gb/s 4X Pluggable Transceiver Solution (QSFP10)
– SFF-8636 Management Interface for Cabled Environments
– SFF-8661 QSFP+ 28 Gb/s 4X Pluggable Module
– SFF-8662 QSFP+ 28 Gb/s 4X Connector (Style A)
– SFF-8663 QSFP+ 28 Gb/s Cage (Style A)
– SFF-8665 QSFP+ 28 Gb/s 4X Pluggable Transceiver Solution (QSFP28)
– SFF-8672 QSFP+ 28 Gb/s 4X Connector (Style B)
– SFF-8679 QSFP+ 4X Hardware and Electrical Specification
– SFF-8682 QSFP+ 4X Connector (Style B)
– SFF-8683 QSFP+ Cage
– SFF-8685 QSFP+ 14 Gb/s 4X Pluggable Transceiver Solution (QSFP14)

＊ 2021年4月7日、ご指摘ありがとうございました、TYPO修正致しました。