せっかくC2960Sをスタックにしたのと、ReadyNASはLACPをサポートしてるので、設定してみます。
続きを読むWS-C2960S-24TD-LとReadyNASUltra4の間でLACPを組む
コメントを残す
せっかくC2960Sをスタックにしたのと、ReadyNASはLACPをサポートしてるので、設定してみます。
続きを読むNICをCA05954-2101に交換しました。ConnectX-3の富士通のOEMです。
FDR/40GbEが使えるはずです。
とりあえずOFEDを入れます。
# yum install gtk2 atk cairo gcc-gfortran tcsh lsof tcl tk # mount -o ro,loop MLNX_OFED_LINUX-4.9-2.2.4.0-rhel7.9-x86_64.iso /mnt # cd /mnt # /mnt/mlnxofedinstall # reboot
OFEDをインストールするとファームアップデートに失敗した旨のエラーが出ると思います。せっかくなので富士通のサイトからファームウェアをダウンロードしてアップデートします。
以下のULRからファムウェアをダウンロードし、F1025573.exeをWindowsPCで実行すると解凍されるので、「242500F1.bin」をサーバにコピーします。
https://azby.fmworld.net/app/customer/driversearch/ia/drviadownload?driverNumber=F1025573
コピーできたらmst statusでデバイスを確認し、flintでファームアップデートします。
# mst start Starting MST (Mellanox Software Tools) driver set Loading MST PCI module - Success Loading MST PCI configuration module - Success Create devices -W- Missing "lsusb" command, skipping MTUSB devices detection # mst status MST modules: ------------ MST PCI module loaded MST PCI configuration module loaded MST devices: ------------ /dev/mst/mt4099_pciconf0 - PCI configuration cycles access. domain:bus:dev.fn=0000:86:00.0 addr.reg=88 data.reg=92 cr_bar.gw_offset=-1 Chip revision is: 01 /dev/mst/mt4099_pci_cr0 - PCI direct access. domain:bus:dev.fn=0000:86:00.0 bar=0x90100000 size=0x100000 Chip revision is: 01 # flint -d /dev/mst/mt4099_pci_cr0 -i 242500F1.bin burn Current FW version on flash: 2.11.1250 New FW version: 2.42.5000 Burning FS2 FW image without signatures - OK Restoring signature - OK # reboot
ESXi6.7がInfiniBandで接続できないので、ETHモードに変更します。
# mst start Starting MST (Mellanox Software Tools) driver set Loading MST PCI module - Success Loading MST PCI configuration module - Success Create devices -W- Missing "lsusb" command, skipping MTUSB devices detection [root@sv5 ~]# mlxconfig -d /dev/mst/mt4099_pci_cr0 s LINK_TYPE_P1=ETH Device #1: ---------- Device type: ConnectX3 Device: /dev/mst/mt4099_pci_cr0 Configurations: Next Boot New LINK_TYPE_P1 VPI(3) ETH(2) Apply new Configuration? (y/n) [n] : y Applying... Done! -I- Please reboot machine to load new configurations. # reboot
再起動できたら、ibstatで確認します。
Link layerがEthernetになっているのでOKです。
# ibstat CA 'mlx4_0' CA type: MT4099 Number of ports: 1 Firmware version: 2.42.5000 Hardware version: 1 Node GUID: 0x0002c90300221790 System image GUID: 0x0002c90300221793 Port 1: State: Active Physical state: LinkUp Rate: 40 Base lid: 0 LMC: 0 SM lid: 0 Capability mask: 0x00010000 Port GUID: 0x0202c9fffe221790 Link layer: Ethernet
CiscoのCatalyst 2960Sをラックのメインスイッチにしています。
10G対応モデルなのでそれで接続してましたが、スタックモジュールがついていたので、冗長化も兼ねてスタックに変えます。
続きを読む