このシリーズはInfiniBandと言いつつ接続はイーサネットモードになります。
アダプタがInfiniBand対応なのでタイトルで行きます。

ConnectX-3はCentOS7系で最小インストールでドライバをサポートしてます。なので今回は標準のドライバで行きます。

RAIDの設定は前回同様にSoftwareRAIDのmdadmで行きたいと思います。
HW RAIDを搭載しているのでHW RAIDでもよいのですが、x3650 M4は標準でm5110eのRAIDカードが積んでおり、RAID6もサポートしてますが、接続はSFF-8087を２ポートなので、8ベイ分なので、16ベイ分搭載するにはRAIDカードの増設が要ります。
今回はm5110とバックプレーンを増設し、bootディスクを抜いて10~14台でアレイを組む予定にしています。
RAIDカードを跨ってRAIDは組めないので、SoftwareRAIDでRAID6の予定です。

例によってSoftwareRAIDの管理用にmdadmをインストールします。

#yum install mdadm

まだ8ベイしかないので、とりあえず6台分でRAID6を組みます。

#mdadm --create /dev/md/md4tb --level=raid6 --name=md4tb --raid-devices=6 /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg
#mdadm --detail --scan > /etc/mdadm.conf

作成結果を確認します。

# mdadm --detail /dev/md/md4tb
/dev/md/md4tb:
           Version : 1.2
     Creation Time : Mon Apr 12 20:10:11 2021
        Raid Level : raid6
        Array Size : 3901812736 (3.63 TiB 4.00 TB)
     Used Dev Size : 975453184 (930.26 GiB 998.86 GB)
      Raid Devices : 6
     Total Devices : 6
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Mon Apr 12 20:11:31 2021
             State : clean, resyncing
    Active Devices : 6
   Working Devices : 6
    Failed Devices : 0
     Spare Devices : 0

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : bitmap

     Resync Status : 0% complete

              Name : sv5.gurees.net:md4tb  (local to host sv5.gurees.net)
              UUID : 07b01357:9710c7cb:8997550d:1c7fbe39
            Events : 16

    Number   Major   Minor   RaidDevice State
       0       8       16        0      active sync   /dev/sdb
       1       8       32        1      active sync   /dev/sdc
       2       8       48        2      active sync   /dev/sdd
       3       8       64        3      active sync   /dev/sde
       4       8       80        4      active sync   /dev/sdf
       5       8       96        5      active sync   /dev/sdg

ベンチ目的なので、hdparmをインストールして、簡単にベンチマークします。

#yum install hdparm

ベンチマーク結果、読み取りのみですが、400MB/s程度出てます。
SATAのSSDぐらいの結果ですね。

#hdparm -t /dev/md/md4tb

/dev/md/md4tb:
 Timing buffered disk reads: 1298 MB in  3.00 seconds = 432.04 MB/sec

次回はiSCSIを設定して、ESXiの仮想マシンからの読み書きスピードを見ようと思います。

RAID6はディスク増やすと高速になる傾向にあるので、バックプレーンが届き次第ディスク増やした場合の結果も見たいですね。