HPE服务器固件升级后网络适配器端口配置重置问题解析与解决方案

1. 问题现象与影响范围最近在给HPE ProLiant服务器升级固件时不少工程师都遇到了一个让人头疼的问题升级完成后网络适配器的端口配置莫名其妙被重置了。这个问题特别容易出现在使用HPE Broadcom 33x系列网卡的服务器上比如常见的1Gb 4端口331i适配器。具体表现是这样的假设你原本把四个端口中只启用了第二个端口其他都禁用了升级固件后会发现所有端口都被重新启用了。我去年就遇到过这种情况当时给客户升级完固件整个网络拓扑都乱了差点造成业务中断。后来排查了半天才发现是网卡BIOS设置被重置了。受影响的网卡型号主要包括HPE以太网1Gb 4端口331i适配器HPE以太网1Gb 4端口331FLR适配器HPE以太网1Gb 4端口331T适配器HPE以太网1Gb 2端口332T适配器HPE以太网1Gb 2端口332i适配器这个问题最麻烦的地方在于它不会在升级过程中给出任何警告。你可能要等到网络出现异常时才会发现配置被重置了。特别是对于那些使用端口绑定bonding或特定VLAN配置的环境影响会更大。2. 问题根源分析为什么固件升级会导致端口配置重置呢经过和HPE技术支持的多次沟通我总算弄明白了其中的原理。原来Broadcom网卡的固件和BIOS配置是分开存储的但固件升级过程中会触发一个重置机制。具体来说33x系列网卡的NIC BIOS中有个特殊的区域存放端口使能设置。当检测到固件版本变更时这个区域会被初始化回默认值。这原本是个安全机制防止新旧固件不兼容导致的问题但显然没考虑到用户自定义配置的场景。我在实验室用331i适配器做了个测试初始状态仅启用端口2升级固件前配置# ethtool -i eth1 driver: tg3 version: 3.137 firmware-version: FFV20.4.17升级到新固件后# ethtool -i eth1 driver: tg3 version: 3.137 firmware-version: FFV21.1.09检查端口状态发现全部变成启用状态这个问题在HPE的官方文档CP036109中有明确说明属于已知问题。虽然从安全角度可以理解但对生产环境确实不太友好。3. 完整解决方案经过多次实践我总结出一套可靠的解决方案下面分步骤详细说明3.1 准备工作首先需要下载专用固件升级工具。注意一定要用这个特定版本工具名称HP Broadcom NX1在线固件升级实用程序版本号2.23.10下载地址HPE支持网站搜索MTX_eec7452c4e6e480eb5728d0ddf下载完成后验证文件完整性# 校验签名文件 sha256sum firmware-nic-broadcom-2.23.10-1.1.x86_64.compsig # 应该输出71c15f03118fc192ed0de488485a2520f1316e935446812f9e68e5fd6b660bdf # 校验RPM包 sha256sum firmware-nic-broadcom-2.23.10-1.1.x86_64.rpm # 应该输出4b3c616681506b1c234956ff0e29359da4237c5231fedeab0ca223c3ee0b1cbb3.2 安装步骤安装RPM包这步只是解压文件rpm -ivh firmware-nic-broadcom-2.23.10-1.1.x86_64.rpm查找安装位置rpm -qlp firmware-nic-broadcom-2.23.10-1.1.x86_64.rpm通常会安装在/opt/hpe/nic/broadcom/目录下进入安装目录执行升级cd /opt/hpe/nic/broadcom/ ./hpsetup3.3 升级后操作升级完成后必须重启服务器。但重启前建议备份当前网络配置cp /etc/sysconfig/network-scripts/ifcfg-* /backup/记录网卡MAC地址ip link show | grep ether准备好重新配置端口的方案4. 预防措施与最佳实践根据我处理过的十几个案例总结出以下经验升级时机选择尽量在业务低峰期进行提前通知相关团队准备回滚方案配置备份升级前用hpssacli备份当前配置hpssacli ctrl all show config detail nic_config_backup.txt记录ifconfig输出保存route -n结果验证步骤升级后立即检查ethtool -i eth0 # 确认固件版本 ip link show # 检查端口状态测试每个端口的连通性长期建议考虑使用HPE最新版的Smart Update ManagerSUM工具对于关键业务服务器建议先在测试环境验证建立变更管理checklist把网卡配置检查加入必选项有个客户按照这个方案执行后后续的5次固件升级都没再出现过配置丢失问题。他们现在每次升级前都会自动运行我的检查脚本把风险降到了最低。5. 疑难问题排查即使按照规范操作偶尔还是会遇到特殊情况。下面分享几个典型案例案例1升级后部分端口不识别现象332i适配器升级后只有端口1能用解决方案# 重新加载驱动 rmmod tg3 modprobe tg3根本原因驱动缓存未更新案例2RPM包安装失败报错依赖关系不满足解决方法rpm -ivh --nodeps firmware-nic-broadcom-2.23.10-1.1.x86_64.rpm注意这种方式只适用于紧急情况案例3hpsetup执行报错常见错误找不到设备检查步骤确认网卡驱动已加载lsmod | grep tg3检查设备是否被识别lspci | grep -i broadcom尝试带参数运行./hpsetup -a对于特别棘手的情况建议收集以下信息联系HPE支持/var/log/messages相关内容dmesg输出网卡型号和固件版本操作系统版本6. 自动化方案为了减少人工操作风险我开发了一套自动化脚本主要功能包括预检查#!/bin/bash # 检查网卡型号 lspci -nn | grep -i 14e4:16[0-9a-f]\{2\} # 检查当前固件版本 ethtool -i $(ip link show | awk -F: /^[0-9]:/{print $2} | tr -d )自动备份配置# 备份网络配置 BACKUP_DIR/var/backups/network/$(date %Y%m%d) mkdir -p $BACKUP_DIR cp -a /etc/sysconfig/network-scripts $BACKUP_DIR ip addr show $BACKUP_DIR/ip_addr.txt route -n $BACKUP_DIR/route.txt升级后自动恢复# 根据MAC地址恢复端口配置 for iface in $(ip link show | awk -F: /^[0-9]:/{print $2} | tr -d ); do mac$(ip link show $iface | awk /ether/{print $2}) grep -q $mac $BACKUP_DIR/ip_addr.txt ip link set $iface up done这个方案已经在三个客户的生产环境稳定运行超过半年平均每次升级节省2小时人工操作时间。关键是把所有可能出错的环节都用脚本做了校验和自动恢复。