IBM System X3650 M2とX3250 M4にInfiniBandを搭載しました。

MHQH19B-XTR(ConnectX-2)というInfiniBandのHCAが安くで入手できたので、仮想サーバとiSCSIサーバに搭載です。HCAはすごく安かったのですが、QSFPケーブルが必要だったので、次のケーブルを買いました。 (HCA2個よりケーブル1Mのほうが高かった)

X3250 M4でibstatしたところ、InfiniBandでRate 40でリンクされています。

ESXi側の認識では物理アダプタ側は40000Mbps(40Gbps)でリンクされています。

ESXiはドライバをメーカーのものを組み込まないとリンクできませんでした。
ねころくぶろぐ様を参照してドライバを組み込んだらうまくいきました。
https://www.neko6.info/archives/2100

仮想マシンからX3250 M4にiperfをした結果です。

8Gbpsちょい出ています。仮想マシンにNICを追加するときに10Gbpsまでしか認識しないようです。

せっかくここまで速度の出るLANを用意しましたが、あんまり使いみちは無いんですよね・・・
X3250 M4にSSDを積んでiSCSIをInfiniBand経由にしたら爆速になったりするんでしょうか？

まず、現在のサーバ環境をざっくり画像で紹介します。

X3250 M4にST3250824ASという何の変哲も無い3.5インチのSATA HDDを搭載、iSCSIターゲットを構築し、ESXiでデータストアとして使用します。

X3250 M4上でhdparm -t をしてみたところ61MB/sと昔のHDDらしい読み込み速度でした。

一方で、X3650 M2のESXi上でiSCSIにおいてあるマシンでhdparmをするとこのような結果になりました。

iSCSIには192.168.3.x系ネットワークでESXiとiSCSIターゲットを1GbpsのLANで直接つないでいます。

このような結果になった理由はわかっていませんが、iSCSIでStorageを構成するのはアリなのかな？