月別アーカイブ: 2016年9月

VMware ESXi 6.0にInfiniBandを組み込む

コメントを残す

IBM System X3650 M2とX3250 M4にInfiniBandを搭載しました。

ib-network

MHQH19B-XTR(ConnectX-2)というInfiniBandのHCAが安くで入手できたので、仮想サーバとiSCSIサーバに搭載です。HCAはすごく安かったのですが、QSFPケーブルが必要だったので、次のケーブルを買いました。 (HCA2個よりケーブル1Mのほうが高かった)

X3250 M4でibstatしたところ、InfiniBandでRate 40でリンクされています。
csyydlqweaa-0y6

ESXi側の認識では物理アダプタ側は40000Mbps(40Gbps)でリンクされています。esxi-ib

ESXiはドライバをメーカーのものを組み込まないとリンクできませんでした。
ねころくぶろぐ様を参照してドライバを組み込んだらうまくいきました。
https://www.neko6.info/archives/2100

 

仮想マシンからX3250 M4にiperfをした結果です。csy2rbgusaixtrh

8Gbpsちょい出ています。仮想マシンにNICを追加するときに10Gbpsまでしか認識しないようです。

せっかくここまで速度の出るLANを用意しましたが、あんまり使いみちは無いんですよね・・・
X3250 M4にSSDを積んでiSCSIをInfiniBand経由にしたら爆速になったりするんでしょうか？

VMware ESXi 6.0でiSCSIを使った時のベンチマークの話

コメントを残す

まず、現在のサーバ環境をざっくり画像で紹介します。

iscsi-network

X3250 M4にST3250824ASという何の変哲も無い3.5インチのSATA HDDを搭載、iSCSIターゲットを構築し、ESXiでデータストアとして使用します。

local-hdparm
X3250 M4上でhdparm -t をしてみたところ61MB/sと昔のHDDらしい読み込み速度でした。

vm-hdparm
一方で、X3650 M2のESXi上でiSCSIにおいてあるマシンでhdparmをするとこのような結果になりました。

iSCSIには192.168.3.x系ネットワークでESXiとiSCSIターゲットを1GbpsのLANで直接つないでいます。

このような結果になった理由はわかっていませんが、iSCSIでStorageを構成するのはアリなのかな？

 

IBM Sysem X3650 M2を6コアCPUに換装(L5640)

コメントを残す

Xeon X5550が2個搭載された状態で購入したものです。今回はこれを6コアCPUであるXeon L5640に換装したことをについて書きます。

SystemX3650M2は、メーカーオプションだとE5504からX5570の4コアCPUが用意されている2Uサーバです。CPUソケットはLGA1366が2個ついてます。
LGA1366のE5504やX5570はNehalem-EPとアーキテクチャで、45nmプロセスルールです。
この後継としてリリースされたWestmere-EPアーキテクチャは32nmプロセスルールに変更され、6コアCPUが登場しました。
Nehalem-EPもWestmere-EPは両方LGA1366ソケットを採用しており、マザーボードさえ対応すれば載せ替えが可能になります。（LGA1366だから確実にWestmere-EPが乗るわけではないです)

System X3650 M2のUEFIのリリースノートでは、Version 1.18でWestmereに関するFixが記載されています。そこに当たりをつけてUEFIを更新すればWestmere-EPが乗るのでは無いかと思い、試してみました。

UEFIは現時点で最新版だった1.20を使っています。

交換自体はツールレスで交換可能でした。
蓋を開け、導風板を外して、レバーを上げるとヒートシンクが外れCPUが見えます。CPUの固定のレバーを上げてしまえばCPUが外れます。IntelのLGA系CPUを交換したことがあれば簡単にできると思います。
次の画像がVMwareESXiで確認したCPUの認識です。きちんとL5640を認識し、6コア12スレッド*2になりました。

1473342823324

次の画像がCinebench R15の実行結果です。ギリギリ1000cbには届かない惜しい結果になりました。

2

現在、LGA1366系のサーバはオークションなどで格安で入手できると思います。コア数を攻めてみたい方、おひとついかがでしょうか？