だいぶブログを放置してしまったので、前回の記事から構成が変わっているのですが、家の仮想サーバ環境はESXi＋CentOS6(iSCSIターゲット)です。
CentOS6ですがサポートが2020年までなので、そろそろ以降を考えているので、構築の備忘録として記事を書いていこうと思います。
7.6で組む予定でしたが、諦めて7.3にします。
CentOS7.3でInfiniBandでiSCSIなサーバを組む(1)
コメントを残す
投稿者「gurees」のアーカイブ
マイニングについてアレコレ
かなり久々な更新です。
ThinkPadを買わなかったり、忙しかったりで全然更新出来てませんでした。すみません。
さて、本題ですが、今年はEthereumなんかを採掘しておりました。
どこかでBOINCをしていると話したことがあったと思いますが、
どのみちマシンを回しているなら…と思い手を出してました。
掘ることにロマンを感じて延々と掘っている生活を送っていたので、
それについて話してみようと思います。
ThinkPad E535 APU+RAM交換
もともとA4のThinkPad E535のAPUをA10(ES品)に交換、RAMも変更しました。
ThinkPad T420i 4177-R6J
ThinkPad T420i 4177-R6Jを買いました。
KB不良のジャンクで5千円ほどで、前々から欲しい機種でしたので、すぐに確保してしまいましたｗ
スペック的には14インチWXGA、Corei3 2350M、2GB RAM、320GB HDDといったあたりです。ジャンクでしたが珍しくメモリもHDDも付いてました。
家に帰って電源をつなぐと何もしないで電源が点きました。T420やX220なんかはKBと電源ボタンが一体ですので、店頭の記載通りKB不良のようです。
部屋に転がってるX220ジャンクのKB(電源ボタンが半分めり込んでる)を拾って交換してやるとKBも正常に動作するようになりました。
とりあえずSSDを突っ込んでOSのセットアップ中です。
ブログ止まってました
DBサーバが固まってブログ止まってました、すみません・・・
X3550M3のCPUを載せ替えた件
IBM X3350 M3のCPUをX5550からL5630へと換装しました。 続きを読む
ブログに攻撃来てた件
昨日友人に指摘されてブログが止まっていることに気付きました。
Out of memory;Kill の乱発でhttpdが死んでいることがわかって、とりあえずサーバを再起動して様子を見たところ、またOut of memoryの連発です。
topしてみるとhttpdが大量に立ち上がっていたので、外部からの大量アクセスくさいと思って、アクセスログを覗いたところ下のようなログが大量に見つかりました。
IPアドレスはとりあえず伏せています。
xmlrpc.phpに対してブルートフォース攻撃されているようです。
攻撃してたIPアドレスがわかったので、iptablesでdorpするように設定したところ、Out of memoryは発生しなくなりました。
暫定的な処置としてはこれでオーケーですね。
サーバにグラボを載せたい
System X3550 M3という1Uサーバをいつの間にか仕入れていました。
本当はHDDマウンタが欲しかっただけなのですが、マウンタを1個買う値段で、マウンタが4台ほど付いたサーバが購入できるなら、サーバを買うでしょう。
X3550 M3はサーバとしては珍しくPCIe x16を載せています。個人的にはサーバにはPCIe x8ばかりのイメージだったので、これはx16を活用するしか無いと思いました。
なので表題のサーバにグラボを載せたいです！
私の思いつく範囲だとPCIe x16はグラボぐらいだったというしょうもない理由です。
ただ、サーバにグラボを載せるのは非常にリスキーです。
以前、SocketFのマザーボードのPCIe x8をエッジフリーに加工し、グラボを搭載したところ見事失敗しました。PCIe x1化して自作マシンで動作していたグラボを搭載してもやはり失敗したので諦めてマザーボードを交換した経緯があります。
しかし、teslaやXeonPhiなどのPCIeに搭載する演算ボードがあることから、そういったカードを積むような設計になっているサーバもあるので、PCIe x16がついているX3550 M3ならいけるかと思った次第です。
そんなわけで、サーバにグラボを積みたい欲が湧いてきて、部屋に転がっていたグラボをポン付けシてみたのですが、見事に失敗しました。
マザーボード上のPCIe付近のLEDが黄色点灯して、bootが進まなくなったので、おそらく失敗です。
現在試行錯誤中です。とはいってもUEFIの更新やグラボの種類を変えてみるぐらいしか思いつかないですが。。。・
VMware ESXi 6.0にInfiniBandを組み込む
IBM System X3650 M2とX3250 M4にInfiniBandを搭載しました。
MHQH19B-XTR(ConnectX-2)というInfiniBandのHCAが安くで入手できたので、仮想サーバとiSCSIサーバに搭載です。HCAはすごく安かったのですが、QSFPケーブルが必要だったので、次のケーブルを買いました。 (HCA2個よりケーブル1Mのほうが高かった)
X3250 M4でibstatしたところ、InfiniBandでRate 40でリンクされています。
ESXi側の認識では物理アダプタ側は40000Mbps(40Gbps)でリンクされています。
ESXiはドライバをメーカーのものを組み込まないとリンクできませんでした。
ねころくぶろぐ様を参照してドライバを組み込んだらうまくいきました。
https://www.neko6.info/archives/2100
仮想マシンからX3250 M4にiperfをした結果です。
8Gbpsちょい出ています。仮想マシンにNICを追加するときに10Gbpsまでしか認識しないようです。
せっかくここまで速度の出るLANを用意しましたが、あんまり使いみちは無いんですよね・・・
X3250 M4にSSDを積んでiSCSIをInfiniBand経由にしたら爆速になったりするんでしょうか？
VMware ESXi 6.0でiSCSIを使った時のベンチマークの話
まず、現在のサーバ環境をざっくり画像で紹介します。
X3250 M4にST3250824ASという何の変哲も無い3.5インチのSATA HDDを搭載、iSCSIターゲットを構築し、ESXiでデータストアとして使用します。
X3250 M4上でhdparm -t をしてみたところ61MB/sと昔のHDDらしい読み込み速度でした。
一方で、X3650 M2のESXi上でiSCSIにおいてあるマシンでhdparmをするとこのような結果になりました。
iSCSIには192.168.3.x系ネットワークでESXiとiSCSIターゲットを1GbpsのLANで直接つないでいます。
このような結果になった理由はわかっていませんが、iSCSIでStorageを構成するのはアリなのかな？