RHEL6下多网卡bonding绑定的配置
1.&创建绑定接口bond0
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。博客访问： 1557750
博文数量： 206
注册时间：
认证徽章：
多年大型项目架构实施、驻现场运维经验。Oracle OCP、RHCE。
为企业、个人提供Oracle现场培训,远程技术支持；高可用及容灾系统硬件架构设计实施；主流平台系统及Oracle数据库设计实施（RAC、DG、GG等）、排障维护、数据备份迁移、调优等工作。
联系方式：QQ： 邮箱：shaosijia_
IT168企业级官微
微信号：IT168qiye
系统架构师大会
微信号：SACC2013
分类： Linux
（1）编辑虚拟网络接口配置文件（bond0），并指定网卡IPvi & /etc/sysconfig/network-scripts/ifcfg-bond0DEVICE=bond0ONBOOT=yesBOOTPROTO=staticIPADDR=192.168.0.254BROADCAST=192.168.0.255NETMASK=255.255.255.0NETWORK=192.168.0.0GATEWAY=192.168.0.1USERCTL=noTYPE=Ethernet注意：不要指定MAC地址
vi & /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0BOOTPROTO=noneONBOOT=yesUSERCTL=noMASTER=bond0&& ------添加SLAVE=yes&&&&&&&&&& ------添加注意：建议不要指定MAC地址，其余保持不变即可，注释掉ip，掩码，网关
vi & /etc/sysconfig/network-scripts/ifcfg-eth1DEVICE=eth1BOOTPROTO=noneONBOOT=yesUSERCTL=noMASTER=bond0&& ------添加SLAVE=yes&&&&&&&&&& ------添加注意：建议不要指定MAC地址，其余保持不变即可，注释掉ip，掩码，网关
4.修改/etc/modprobe.conf，配置绑定模型
加入以下内容：
alias bond0 bonding
bonding&&&millmon=100 mode=0
这样配置完就不需要在对/etc/rc.local进行修改了
注：{一般会在/etc/rc.local增加以下内容：ifenslave bond0 eth0 eth1，负责在系统启动时将虚拟网卡和两张物理网卡相绑定，使用本方法不需要此步}另外：多bond的情况下a) 当2个或者多个bond网卡的所有参数（即bonding模块的参数，如mode、miimon 等）都相同时，加载bonding模块时设置 max_bonds参数即可。如max_bonds=2时，加载bonding驱动之后可以创建2个bond网卡bond0，bond1，修改后的modprobe.conf和下面的情形类似：alias bond0 bondingalias bond1 bondingoptions bonding&&miimon=100 mode=1 max_bonds=2或：alias bond0 bondingoptions bonding mode=1 miimon=100alias bond1 bondingoptions bonding mode=1 miimon=100b)当2个或者多个bond网卡的参数（即bonding模块的参数，如mode、miimon等）不同时，需要在加载bonding模块时修改模块的名称（文档中的说法是linux的模块加载系统要求系统加载的模块甚至相同模块的不同实例都需要有一个唯一的命名），修改后的modprobe.conf和下面的情形类似：install bond0 /sbin/modprobe --ignore-install bonding -o bond0miimon=100 mode=0install bond1 /sbin/modprobe --ignore-install bonding -o bond1miimon=100 mode=1
说明：miimon=100miimon是指多久时间要检查网路一次，单位是ms(毫秒)这边的100，是100ms，即是0.1秒意思是假设其中有一条网路断线，会在0.1秒内自动备援mode共有七种(0~6)mode=0：平衡负载模式，有自动备援，但需要”Switch”支援及设定。mode=1：自动备援模式，其中一条线若断线，其他线路将会自动备援。
mode=6：平衡负载模式，有自动备援，不必”Switch”支援及设定。
需要说明的是如果想做成mode 0的负载均衡,仅仅设置这里options bond0 miimon=100 mode=0是不够的,与网卡相连的交换机必须做特殊配置（这两个端口应该采取聚合方式），因为做bonding的这两块网卡是使用同一个MAC地址.从原理分析一下（bond运行在mode 0下）：mode 0下bond所绑定的网卡的IP都被修改成相同的mac地址，如果这些网卡都被接在同一个交换机，那么交换机的arp表里这个mac地址对应的端口就有多 个，那么交换机接受到发往这个mac地址的包应该往哪个端口转发呢？正常情况下mac地址是全球唯一的，一个mac地址对应多个端口肯定使交换机迷惑了。所以 mode0下的bond如果连接到交换机，交换机这几个端口应该采取聚合方式（cisco称为 ethernetchannel，foundry称为portgroup），因为交换机做了聚合后，聚合下的几个端口也被捆绑成一个mac地址.我们的解 决办法是，两个网卡接入不同的交换机即可。
mode6模式下无需配置交换机，因为做bonding的这两块网卡是使用不同的MAC地址。
PS：RHEL4 （centos4）及以下的版本options加在/etc/modprobe.conf中；RHEL5 （centos5）可以在ifcfg-bond0中加BONDING_OPTS=”mode=1 arp_interval=100 arp_ip_target=192.168.0.1″
可以查看bond0来得知当前状态：
[root@localhost ~]# cat /proc/net/bonding/bond0Ethernet Channel Bonding Driver: v3.4.0-1 (October 7, 2008)
Bonding Mode: load balancing (round-robin)MII Status: upMII Polling Interval (ms): 100Up Delay (ms): 0Down Delay (ms): 0
Slave Interface: eth0MII Status: upSpeed: 100 MbpsDuplex: fullLink Failure Count: 0Permanent HW addr: 00:24:XXXXXXXX
Slave Interface: eth1MII Status: upSpeed: 100 MbpsDuplex: fullLink Failure Count: 1Permanent HW addr: 00:24:XXXXXXXX
七种bond模式说明：
第一种模式：mode=0 ，即：(balance-rr) Round-robin policy（平衡抡循环策略）特点：传输数据包顺序是依次传输（即：第1个包走eth0，下一个包就走eth1….一直循环下去，直到最后一个传输完毕）， 此模式提供负载平衡和容错能力；但是我们知道如果一个连接或者会话的数据包从不同的接口发出的话，中途再经过不同的链路，在客户端很有可能会出现数据包无序到达的问题，而无序到达的数据包需要重新要求被发送，这样网络的吞吐量就会下降
第二种模式：mode=1，即： (active-backup) Active-backup policy（主-备份策略）特点：只有一个设备处于活动状态，当一个宕掉另一个马上由备份转换为主设备。mac地址是外部可见得，从外面看来，bond的MAC地址是唯一的，以避免switch(交换机)发生混乱。此模式只提供了容错能力；由此可见此算法的优点是可以提供高网络连接的可用性，但是它的资源利用率较低，只有一个接口处于工作状态，在有 N 个网络接口的情况下，资源利用率为1/N
第三种模式：mode=2，即：(balance-xor) XOR policy（平衡策略）特点：基于指定的传输HASH策略传输数据包。缺省的策略是：(源MAC地址 XOR 目标MAC地址) % slave数量。其他的传输策略可以通过xmit_hash_policy选项指定，此模式提供负载平衡和容错能力
第四种模式：mode=3，即：broadcast（广播策略）特点：在每个slave接口上传输每个数据包，此模式提供了容错能力
第五种模式：mode=4，即：(802.3ad) IEEE 802.3ad Dynamic link aggregation（IEEE 802.3ad 动态链接聚合）特点：创建一个聚合组，它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。外出流量的slave选举是基于传输hash策略，该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的 是，并不是所有的传输策略都是802.3ad适应的，尤其考虑到在802.3ad标准43.2.4章节提及的包乱序问题。不同的实现可能会有不同的适应 性。必要条件：条件1：ethtool支持获取每个slave的速率和双工设定条件2：switch(交换机)支持IEEE 802.3ad Dynamic link aggregation条件3：大多数switch(交换机)需要经过特定配置才能支持802.3ad模式
第六种模式：mode=5，即：(balance-tlb) Adaptive transmit load balancing（适配器传输负载均衡）特点：不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载（根据速度计算）分配外出流量。如果正在接受数据的slave出故障了，另一个slave接管失败的slave的MAC地址。该模式的必要条件：ethtool支持获取每个slave的速率
第七种模式：mode=6，即：(balance-alb) Adaptive load balancing（适配器适应性负载均衡）特点：该模式包含了balance-tlb模式，同时加上针对IPV4流量的接收负载均衡(receive load balance, rlb)，而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答，并把源硬件地址改写为bond中某个slave的唯一硬件地址，从而使得不同的对端使用不同的硬件地址进行通信。来自服务器端的接收流量也会被均衡。当本机发送ARP请求时，bonding驱动把对端的IP信息从ARP包中复制并保存下来。当ARP应答从对端到达 时，bonding驱动把它的硬件地址提取出来，并发起一个ARP应答给bond中的某个slave。使用ARP协商进行负载均衡的一个问题是：每次广播 ARP请求时都会使用bond的硬件地址，因此对端学习到这个硬件地址后，接收流量将会全部流向当前的slave。这个问题可以通过给所有的对端发送更新 （ARP应答）来解决，应答中包含他们独一无二的硬件地址，从而导致流量重新分布。当新的slave加入到bond中时，或者某个未激活的slave重新 激活时，接收流量也要重新分布。接收的负载被顺序地分布（round robin）在bond中最高速的slave上当某个链路被重新接上，或者一个新的slave加入到bond中，接收流量在所有当前激活的slave中全部重新分配，通过使用指定的MAC地址给每个 client发起ARP应答。下面介绍的updelay参数必须被设置为某个大于等于switch(交换机)转发延时的值，从而保证发往对端的ARP应答 不会被switch(交换机)阻截。必要条件：条件1：ethtool支持获取每个slave的速率；条件2：底层驱动支持设置某个设备的硬件地址，从而使得总是有个slave(curr_active_slave)使用bond的硬件地址，同时保证每个 bond 中的slave都有一个唯一的硬件地址。如果curr_active_slave出故障，它的硬件地址将会被新选出来的 curr_active_slave接管其实mode=6与mode=0的区别：mode=6，先把eth0流量占满，再占eth1，….ethX；而mode=0的话，会发现2个口的流量都很稳定，基本一样的带宽。而mode=6，会发现第一个口流量很高，第2个口只占了小部分流量
阅读(11162) | 评论(0) | 转发(0) |
相关热门文章
给主人留下些什么吧！~~
原帖由gooogle于 09:43:16发表
您好，有个疑惑，您文章里面有段话，我不是很懂
『所以 mode0下的bond如果连接到交换机，交换机这几个端
这个说的是工作在mode0模式下的情况，举个例子：机器的eth0和eth1做了bond，交换机1和交换机2是独立的，但都在同一个区域内，eth0连接交换机1，eth1连接交换机2，这样，虽然做过bond后的eth0和eth1的mac是一样的，但对于2台交换机的arp表来说，mac和端口是一一对应的。
我们通过后面的项目跟踪，最终选择的方案是2种，1种是使用mode0模式，在交换机的端口做端口汇聚，经测试这种方式流量负载最为均衡，能充分发挥双网卡汇聚的性能。1种是mode1模式，2块网卡做主从备份，经过测试，mode1的切换时间在1个包内，基本无延时，能保证网络的冗余性。
请登录后评论。RHEL6下配置双机热备_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
RHEL6下配置双机热备
上传于||文档简介
&&R​H​E​L下​配​置​双​机​热​备​详​细​文​档
阅读已结束，如果下载本文需要使用3下载券
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩31页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢qiujichun 的BLOG
用户名：qiujichun
文章数：408
评论数：100
访问量：1057153
注册日期：
阅读量：5863
阅读量：12276
阅读量：354325
阅读量：1051773
51CTO推荐博文
实验环境：VMware Workstation8
& & & & & RHEL6.2
& & & & & 双网卡（虚机做bonding实验只支持mode=1热备模式）
#&cd&/etc/sysconfig/network-scripts/&&#&cat&ifcfg-eth0&DEVICE=&eth0&&HWADDR=&00:0C:29:E4:DC:43&&
（建议不指定MAC地址）#NM_CONTROLLED=&yes&&ONBOOT=&yes&&BOOTPROTO=none&MASTER=bond1&SLAVE=yes&USERCTL=no&&#&cat&ifcfg-eth1&DEVICE=&eth1&&HWADDR=&00:0C:29:E4:DC:4D&&
（建议不指定MAC地址）#NM_CONTROLLED=&yes&&ONBOOT=&yes&&BOOTPROTO=none&MASTER=bond1&SLAVE=yes&USERCTL=no&&#&cat&ifcfg-bond1&DEVICE=bond1&#TYPE=Ethernet&BOOTPROTO=none&ONBOOT=yes&#IPADDR=192.168.10.88&#NETMASK=255.255.255.0&#GATEWAY=192.168.10.2&USERCTL=no&BRIDGE=br0&BONDING_OPTS=&miimon=100&mode=1&&&#由于RHEL6与以前不一样，所以指定模式参数放在此bonding文件中&&#&cat&ifcfg-br0&DEVICE=&br0&&#HWADDR=&00:0C:29:E4:DC:43&&#NM_CONTROLLED=&yes&&ONBOOT=&yes&&TYPE=Bridge&BOOTPROTO=static&#MASTER=bond1&#SLAVE=yes&#USERCTL=no&IPADDR=192.168.10.88&NETMASK=255.255.255.0&GATEWAY=192.168.10.2&&#&cat&/etc/modprobe.d/modprobe.conf&alias&netdev-bond1&bonding&&重启系统查看&#&ifconfig&bond1&&&&&Link&encap:Ethernet&&HWaddr&00:0C:29:E4:DC:43&&&&&&&&&&&inet6&addr:&fe80::20c:29ff:fee4:dc43/64&Scope:Link&&&&&&&&&&&UP&BROADCAST&RUNNING&MASTER&MULTICAST&&MTU:1500&&Metric:1&&&&&&&&&&&RX&packets:1947&errors:0&dropped:0&overruns:0&frame:0&&&&&&&&&&&TX&packets:2774&errors:0&dropped:0&overruns:0&carrier:0&&&&&&&&&&&collisions:0&txqueuelen:0&&&&&&&&&&&RX&bytes:1.1&KiB)&&TX&bytes:2.7&KiB)&&br0&&&&&&&Link&encap:Ethernet&&HWaddr&00:0C:29:E4:DC:43&&&&&&&&&&&inet&addr:192.168.10.88&&Bcast:192.168.10.255&&Mask:255.255.255.0&&&&&&&&&&&inet6&addr:&fe80::20c:29ff:fee4:dc43/64&Scope:Link&&&&&&&&&&&UP&BROADCAST&RUNNING&MULTICAST&&MTU:1500&&Metric:1&&&&&&&&&&&RX&packets:925&errors:0&dropped:0&overruns:0&frame:0&&&&&&&&&&&TX&packets:2708&errors:0&dropped:0&overruns:0&carrier:0&&&&&&&&&&&collisions:0&txqueuelen:0&&&&&&&&&&&RX&bytes:7&KiB)&&TX&bytes:8.3&KiB)&&eth0&&&&&&Link&encap:Ethernet&&HWaddr&00:0C:29:E4:DC:43&&&&&&&&&&&UP&BROADCAST&RUNNING&SLAVE&MULTICAST&&MTU:1500&&Metric:1&&&&&&&&&&&RX&packets:1039&errors:0&dropped:0&overruns:0&frame:0&&&&&&&&&&&TX&packets:2775&errors:0&dropped:0&overruns:0&carrier:0&&&&&&&&&&&collisions:0&txqueuelen:1000&&&&&&&&&&&RX&bytes:.9&KiB)&&TX&bytes:3.5&KiB)&&eth1&&&&&&Link&encap:Ethernet&&HWaddr&00:0C:29:E4:DC:43&&&&&&&&&&&UP&BROADCAST&RUNNING&SLAVE&MULTICAST&&MTU:1500&&Metric:1&&&&&&&&&&&RX&packets:909&errors:0&dropped:0&overruns:0&frame:0&&&&&&&&&&&TX&packets:0&errors:0&dropped:0&overruns:0&carrier:0&&&&&&&&&&&collisions:0&txqueuelen:1000&&&&&&&&&&&RX&bytes:8&KiB)&&TX&bytes:0&(0.0&b)&&lo&&&&&&&&Link&encap:Local&Loopback&&&&&&&&&&&inet&addr:127.0.0.1&&Mask:255.0.0.0&&&&&&&&&&&inet6&addr:&::1/128&Scope:Host&&&&&&&&&&&UP&LOOPBACK&RUNNING&&MTU:16436&&Metric:1&&&&&&&&&&&RX&packets:0&errors:0&dropped:0&overruns:0&frame:0&&&&&&&&&&&TX&packets:0&errors:0&dropped:0&overruns:0&carrier:0&&&&&&&&&&&collisions:0&txqueuelen:0&&&&&&&&&&&RX&bytes:0&(0.0&b)&&TX&bytes:0&(0.0&b)&
&本文出自 “” 博客，请务必保留此出处
了这篇文章
类别：┆阅读(0)┆评论(0)系统（63）
根据操作系统版本进行驱动选择，建议使用ISO格式驱动包。
备注：RHEL5及以前版本选择1.5.3系列驱动，RHEL6及以后版本选择2.0及以上系列驱动。
2.1将下载好的驱动传到服务器上，挂载到/public/ofed目录。
[root@node33 sourcecode]#mount -o loop MLNX_OFED_LINUX-1.5.3-4.0.42-rhel5.8-x86_64.iso
/public/ofed/
[root@node33 sourcecode]# cd
[root@node33 ~]# df -h
Filesystem&&&&&&&&&&&Size&
Used Avail Use% Mounted on
/dev/sda3&&&&&&&&&&&&117G&
101G&&9% /
/dev/sda1&&&&&&&&&&&&494M&&
452M&&4% /boot
tmpfs&&&&&&&&&&&&&&&&5.9G&&&&
5.9G&&0% /dev/shm
/tftpboot/rhel.iso&&&3.9G&
0 100% /tftpboot/iso
/public/sourcecode/MLNX_OFED_LINUX-1.5.3-4.0.42-rhel5.8-x86_64.iso
&&&&&&&&&&&&&&&&&&&&&
267M&&&&0 100% /public/ofed
[root@node33 ~]#
2.2执行安装命令，开始软件包安装。
[root@node33 ~]# /public/ofed/mlnxofedinstall -y
&Usage:/public/ofed/mlnxofedinstall [OPTIONS]
&&&&&&&&&&-c|--config &packages config_file& Example
of the configurationfile
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&can be
found under docs
&&&&&&&&&&-n|--net &network config_file& Example of
the networkconfiguration file
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
canbe found under docs
&&&&&&&&&&-k|--kernel-version &kernel version& Use
provided kernel versioninstead of 'uname -r'
&&&&&&&&&&-p|--print-available&&&&&&
Printavailable packages for current platform
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
Andcreate corresponding ofed.conf file
&&&&&&&&&&--without-32bit&&&&&&&&&&&
Skip32-bit libraries installation
&&&&&&&&&&--without-depcheck&&&&&&&&
SkipDistro's libraries check
&--without-fw-update&&&&&&&
Skip firmware update
&&&&&&&&&&--fw-update-only&&&&&&&&&&
Updatefirmware. Skip driver installation
&&&&&&&&&&--force-fw-update&&&&&&&&&
Forcefirmware update
&&&&&&&&&&--force&&&&&&&&&&&&&&&&&&&
Forceinstallation
&--all|--hpc|--basic|--msm&
Install all, hpc, basic or Mellanox Subnetmanager packages
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&correspondingly
&&&&&&&&&&--vma|--vma-vpi&&&&&&&&&&&
Installpackages required by VMA to support VPI
&&&&&&&&&&--vma-eth&&&&&&&
&&&&&&&&&&Install packages required by VMA towork over Ethernet
&&&&&&&&&&-v|-vv|-vvv&&&&&&&&&&&&&&&
Setverbosity level
&&&&&&&&&&--umad-dev-rw&&&&&&&&&&&&&
Grantnon root users read/write permission for umad devices instead of default
&&&&&&&&&&
--hugepages-overcommit&&&&
Setting 80% of MAX_MEMORY as overcommitfor huge page allocation
&&&&&&&&&&--pfc &0|bitmask&&&&&&&&&&Priority
based Flow Control policy on TX and RX [7:0].
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
Perpriority bit mask (uint). Default 0.
&&&&&&&&&&-q&&&&&&&&&&&&&&&&&&&&&&&&
Setquiet - no messages will be printed
[root@node33 ~]# echo y |/public/ofed/mlnxofedinstall --basic --msm --umad-dev-rw --hugepages-overcommit
This program will install the MLNX_OFED_LINUX packageon your machine.
Note that all other Mellanox, OEM, OFED, orDistribution IB packages will be removed.
Do you want to continue?[y/N]:
Starting MLNX_OFED_LINUX-1.5.3-4.0.42 installation...
Installing mlnx-ofa_kernel RPM
Preparing...&&&&&&&&&&&&&&&##################################################
mlnx-ofa_kernel&&&&&&&&&&&&##################################################
Installing kmod-mlnx-ofa_kernel RPM
Preparing...&&&&&&&&&&&&&&&
##################################################
kmod-mlnx-ofa_kernel&&&&&&&##################################################
Installing kmod-mlnx-ofa_kernel-xen RPM
Preparing...&&&&&&&&&&&&&&&##################################################
kmod-mlnx-ofa_kernel-xen&&&##################################################
Installing kernel-mft RPM
Preparing...&&&&&&&&&&&&&&&##################################################
kernel-mft&&&&&&&&&&&&&&&&&##################################################
Installing user level RPMs:
Preparing...&&&&&&&&&&&&&&&##################################################
mlnxofed-docs&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
ofed-scripts&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libibverbs&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libibverbs&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libibverbs-utils&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libmthca&&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&
##################################################
libmthca&&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libmverbs&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libmverbs&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libmlx4&&&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libmlx4&&&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libcxgb3&&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libcxgb3&&&&&&&&&&&&&&&&&&&
##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libnes&&&&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&
##################################################
libnes&&&&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libipathverbs&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libipathverbs&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
librdmacm&&&
&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
librdmacm&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&
##################################################
librdmacm-utils&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
mstflint&&&&&&&&&&&&&&&&&&&
##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libibumad&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libibumad&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libibmad&&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
libibmad&&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
mft&&&&&&&&&&&&&&&&&&&&&&&&
##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
opensm-libs&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&
##################################################
opensm-libs&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
infiniband-diags&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
opensm&&&&&&&&&&&&&&&&&&&&&##################################################
Preparing...&&&&&&&&&&&&&&&##################################################
ibutils&&&&&&&&&&&&&&&&&&&&##################################################
Device (06:00.0):
06:00.0InfiniBand: Mellanox Technologies MT26428 [ConnectX VPI PCIe 2.0 5GT/s - IB QDR/ 10GigE] (rev b0)
LinkWidth: 8x
PCILink Speed: 2.5Gb/s
Installation finished successfully.
Programming HCA firmware for /dev/mst/mt26428_pci_cr0device
Running: mlxburn -d /dev/mst/mt26428_pci_cr0 -fw/public/ofed/firmware/fw-_1000/fw-ConnectX2-rel.mlx
-dev_type25408& -no
-I- Querying device ...
-I- Using auto detected configuration file:/public/ofed/firmware/fw-_1000/MHQH19B-XTR_A1-A3.ini (PSID =MT_0D)
-I- Generating image ...
&&&Current FW version on flash:&2.7.626
&&&New FW version:&&&&&&&&&&&&&&2.9.1000
Burning FW image without signatures&
Restoring signature&&&&&&&&&&&&&&&&&
-I- Image burn completed successfully.
Configuring /etc/security/limits.conf.
Please reboot your system for the changes to takeeffect.
[root@node33 ~]#
备注：安装可选all、hpc、basic、msm四种方式。建议使用basic标准模式。管理节点需要安装msm和basic两种模式！！！安装过程中会强制刷新HCA卡固件，非独立HCA卡请严格注意固件版本！！！
2.3配置IB网卡IP地址
[root@node33 ~]# cat &&EOF && /etc/sysconfig/network-scripts/ifcfg-ib0
&DEVICE=ib0
&BOOTPROTO=none
&ONBOOT=yes
&NETMASK=255.255.255.0
&IPADDR=12.12.12.3
[root@node33 ~]#
[root@node33 ~]# cat/etc/sysconfig/network-scripts/ifcfg-ib0
DEVICE=ib0
BOOTPROTO=none
ONBOOT=yes
NETMASK=255.255.255.0
IPADDR=12.12.12.33
[root@node33 ~]#
2.4启动IB服务
[root@node33 ~]#
chkconfig--list | grep open
openibd&&&&&&&
opensmd&&&&&&&
[root@node33 ~]#
/etc/init.d/openibdrestart
Unloading HCA driver:&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
Loading HCA driver and Access Layer:&&&&&&&&&&&&&&&&&&&&&&
Setting up InfiniBand network interfaces:
Bringing up interface ib0:&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
Setting up service network . . .&&&&&&&&&&&&&&&&&&&&&&&&&&
[root@node33 ~]#
/etc/init.d/opensmdrestart
Stopping IB Subnet Manager.&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
Starting IB Subnet Manager.&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
[root@node33 ~]# ibstat
CA 'mlx4_0'
CAtype: MT26428
Numberof ports: 1
Firmwareversion: 2.9.1000
Hardwareversion: b0
NodeGUID: 0xcc00e
Systemimage GUID: 0xcc011
&&&&&&&&&&&&&&&&&&
State:Active
&&&&&&&&&&&&&&&&&&
Physicalstate: LinkUp
&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&
Baselid: 1
&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&
Capabilitymask: 0x0251086a
&&&&&&&&&&&&&&&&&&
PortGUID: 0xcc00f
&&&&&&&&&&&&&&&&&&
Linklayer: InfiniBand
[root@node33 ~]#
备注：管理节点需要先启动openibd，后启动opensmd。计算节点只需要启动openibd。配置完成后注意通过ibstat检查速率和链路状态。
3卸载IB驱动
[root@node33 ~]#echo y | /public/ofed.uninstall.sh
This program will uninstall allMLNX_OFED_LINUX-1.5.3-4.0.42 packages on your machine.
Do you want to continue?[y/N]:y
rpm -e --allmatches --nodeps&kmod-mlnx-ofa_kernel-xen-1.5.3-OFED.1.5.3.4.0.42.g3cb72fe.rhel5u8libnes-1.1.1mlnx1-1
libcxgb3-1.3.1-1 libmverbs-0.1.0-3.15.gd28970elibibmad-1.3.8.MLNX_.1 libmthca-1.0.6mlnx1-0.1.gbe5eef3 libibumad-1.3.7.MLNX__fflibibverbs-1.1.5mlnx2-1 libmlx4-1.0.2mlnx6-1 librdmacm-1.0.15-1kernel-mft-2.7.1-2.6.18_308.el5 libmverbs-0.1.0-3.15.gd28970elibipathverbs-1.2mlnx1-1
libibmad-1.3.8.MLNX_.1mlnx-ofa_kernel-1.5.3-OFED.1.5.3.4.0.42.g3cb72fe.rhel5u8libibverbs-utils-1.1.5mlnx2-1 libcxgb3-1.3.1-1 mstflint-1.4mlnx4-1.21.gd948dddlibmlx4-1.0.2mlnx6-1 librdmacm-1.0.15-1 libmthca-1.0.6mlnx1-0.1.gbe5eef3libibumad-1.3.7.MLNX__ff
libibverbs-1.1.5mlnx2-1 librdmacm-utils-1.0.15-1mlnxofed-docs-1.5.3-4.0.42 libipathverbs-1.2mlnx1-1kmod-mlnx-ofa_kernel-1.5.3-OFED.1.5.3.4.0.42.g3cb72fe.rhel5u8libnes-1.1.1mlnx1-1 kernel-mft-2.7.1-2.6.18_308.el5ofed-scripts-1.5.3-OFED.1.5.3.4.0.42 mft-2.7.1a-1
Uninstall finished successfully
[root@node33 ~]#rm –rf/etc/infiniband
[root@node33 ~]#
4.1查看IB工作状态
[root@node33 ~]# ibstat
CA 'mlx4_0'
CAtype: MT26428
Numberof ports: 1
Firmwareversion: 2.9.1000
Hardwareversion: b0
NodeGUID: 0xcc00e
Systemimage GUID: 0xcc011
&&&&&&&&&&&&&&&&&&
State:Active
&&&&&&&&&&&&&&&&&&
Physicalstate: LinkUp
&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&
Baselid: 1
&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&
Capabilitymask: 0x0251086a
&&&&&&&&&&&&&&&&&&
PortGUID: 0xcc00f
&&&&&&&&&&&&&&&&&&
Linklayer: InfiniBand
[root@node33 ~]#
4.2查看hosts信息
[root@node33 ~]#
:0xcc00a ports 1 &node34 HCA-1&
:0xcc00e ports 1 &node33 HCA-1&
[root@node33 ~]#
4.3查看switch信息
[root@node33 ~]# ibswitches
Switch&&&&&
:0xbcc0 ports 36 &MF0;switch-1140a2:IS5030/U1& enhancedport 0 lid 4 lmc 0
[root@node33 ~]#
4.4查看拓扑信息
[root@node33 ~]#ibnetdiscover
# Topology file: generated on Sun Mar&
8 19:53:35 2015
# Initiated from node cc00e portcc00f
vendid=0x2c9
devid=0xbd36
sysimgguid=0x2c9020042bcc3
switchguid=0x2c9020042bcc0(2c9020042bcc0)
Switch&&&&&
36&S-bcc0&&&&&&&&&&&&&&&&
#&MF0;switch-1140a2:IS5030/U1& enhanced port 0 lid 4 lmc 0
&H-cc00e&[1](2cf)&&&&&&&&&
# &node33 HCA-1& lid 14xQDR
&H-cc00a&[1](2cb)&&&&&&&&&&&&&&&&&&
# &node34HCA-1& lid 7 4xQDR
vendid=0x2c9
devid=0x673c
sysimgguid=0x2cd
caguid=0x2ca
1&H-cc00a&&&&&&&&&&&&&&&&&
#&node34 HCA-1&
&&&&&& &S-bcc0&[31]&&&&&&&&&&&&&
# lid 7 lmc 0&MF0;switch-1140a2:IS5030/U1& lid 4 4xQDR
vendid=0x2c9
devid=0x673c
sysimgguid=0x2c1
caguid=0x2ce
1&H-cc00e&&&&&&&&&&&&&&&&&
#&node33 HCA-1&
&&&&&&& &S-bcc0&[30]&&&&&&&&&&&&&
# lid 1 lmc 0&MF0;switch-1140a2:IS5030/U1& lid 4 4xQDR
[root@node33 ~]#
4.5查看报错统计信息
[root@node33 ~]# ibdiagnet -Pall=1
Loading IBDIAGNET from:/opt/ibutils/lib64/ibdiagnet1.5.7
-W- Topology file is not specified.
Reportsregarding cluster links will use direct routes.
Loading IBDM from: /opt/ibutils/lib64/ibdm1.5.7
-I- Using port 1 as the local port.
-I- Discovering ... 3 nodes (1 Switches & 2 CA-s)discovered.
-I---------------------------------------------------
-I- Bad Guids/LIDs Info
-I---------------------------------------------------
-I- No bad Guids were found
-I---------------------------------------------------
-I- Links With Logical State = INIT
-I---------------------------------------------------
-I- No bad Links (with logical state = INIT) werefound
-I---------------------------------------------------
-I- General Device Info
-I---------------------------------------------------
-I---------------------------------------------------
-I- PM Counters Info
-I---------------------------------------------------
-I- No illegal PM counters values were found
-I---------------------------------------------------
-I- Fabric Partitions Report (see ibdiagnet.pkey fora full hosts list)
-I---------------------------------------------------
-I-&&&PKey:0x7fff
Hosts:2 full:2 limited:0
-I---------------------------------------------------
-I- IPoIB Subnets Check
-I---------------------------------------------------
-I- Subnet: IPv4 PKey:0x7fff QKey:0x00000b1bMTU:2048Byte rate:10Gbps SL:0x00
-W- Suboptimal rate for group. Lowest memberrate:40Gbps & group-rate:10Gbps
-I---------------------------------------------------
-I- Bad Links Info
-I- No bad link were found
-I---------------------------------------------------
----------------------------------------------------------------
-I- Stages Status Report:
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&ErrorsWarnings
&&&Bad GUIDs/LIDs Check&&&&&&&&&&&&&&&&&&&&0&&&&&
&&&Link State Active Check&&&&&&&&&&&&&&&&&0&&&&&
&&&General Devices Info Report&&&&&&&&&&&&&0&&&&&
&&&Performance Counters Report&&&&&&&&&&&&&0&&&&&
&&&Partitions Check&&&&&&&&&&&&&&&&&&&&&&&&0&&&&&
&&&IPoIB Subnets Check&&&&&&&&&&&&&&&&&&&&&0&&&&&
Please see /tmp/ibdiagnet.log for complete log
----------------------------------------------------------------
-I- Done. Run time was 1 seconds.
[root@node33 ~]#
4.6查看全局详细报错信息
[root@node33 ~]#
ibqueryerrors
Errors for 0x2c9020042bcc0&MF0;switch-1140a2:IS5030/U1&
GUID0x2c9020042bcc0 port ALL: [PortRcvSwitchRelayErrors == 64] [PortXmitDiscards ==29] [PortXmitWait == 240663]
GUID0x2c9020042bcc0 port 0: [PortXmitWait == 1232]
GUID0x2c9020042bcc0 port 1: [PortRcvSwitchRelayErrors == 2] [PortXmitDiscards == 3]
GUID0x2c9020042bcc0 port 2: [PortRcvSwitchRelayErrors == 3] [PortXmitDiscards == 3]
GUID0x2c9020042bcc0 port 3: [PortRcvSwitchRelayErrors == 1] [PortXmitDiscards == 3]
GUID0x2c9020042bcc0 port 4: [PortRcvSwitchRelayErrors == 1] [PortXmitDiscards == 1]
GUID0x2c9020042bcc0 port 5: [PortRcvSwitchRelayErrors == 1] [PortXmitDiscards == 2]
GUID0x2c9020042bcc0 port 6: [PortRcvSwitchRelayErrors == 2] [PortXmitDiscards == 3]
GUID0x2c9020042bcc0 port 7: [PortRcvSwitchRelayErrors == 1] [PortXmitDiscards == 2]
GUID0x2c9020042bcc0 port 8: [PortRcvSwitchRelayErrors == 1] [PortXmitDiscards == 2]
GUID0x2c9020042bcc0 port 9: [PortRcvSwitchRelayErrors == 1] [PortXmitDiscards == 2]
GUID0x2c9020042bcc0 port 10: [PortRcvSwitchRelayErrors == 1] [PortXmitDiscards ==2]
GUID0x2c9020042bcc0 port 11: [PortRcvSwitchRelayErrors == 1] [PortXmitDiscards ==2]
GUID0x2c9020042bcc0 port 12: [PortRcvSwitchRelayErrors == 1] [PortXmitDiscards ==2]
GUID0x2c9020042bcc0 port 13: [PortRcvSwitchRelayErrors == 1] [PortXmitDiscards ==1]
GUID0x2c9020042bcc0 port 14: [PortRcvSwitchRelayErrors == 1] [PortXmitDiscards ==1]
GUID0x2c9020042bcc0 port 30: [PortXmitWait == ]
GUID0x2c9020042bcc0 port 31: [PortRcvSwitchRelayErrors == 46] [PortXmitWait == 295]
GUID0x2c9020042bcc0 port 34: [PortXmitWait == 892]
GUID0x2c9020042bcc0 port 36: [PortXmitWait == 238245]
## Summary: 17 nodes checked, 1 bad nodes found
##&&&&&&&&&
53ports checked, 19 ports have errors beyond threshold
## Thresholds:
## Suppressed:
[root@node33 ~]#
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：72686次
积分：1674
积分：1674
排名：第18308名
原创：97篇
转载：30篇
评论：16条
(1)(8)(7)(1)(1)(4)(1)(5)(6)(2)(4)(11)(3)(6)(1)(1)(2)(1)(5)(1)(1)(1)(2)(1)(4)(1)(2)(1)(1)(3)(2)(7)(26)(1)(2)