8 月 27 日凌晨 1 点 40 分,番禺一家做冷链物流的公司打来了 24 小时值班电话:机房里唯一一台 Dell PowerEdge R740 突然关机,TMS 调度系统瘫痪,十几台冷藏车的温度数据传不回来,明早 6 点前必须恢复,否则一车海鲜全得报废。

我们工程师 2 点 20 分到现场。机器是 2021 年买的 R740,双路至强 Silver 4210R、96GB 内存、两块 750W 铂金电源(型号 D750E-S1)。按下电源键没反应,前面板诊断灯不亮——这不是死机,是彻底没电。

第一步:别急着拆,先读 iDRAC 日志

R740 的 iDRAC9 是独立供电的,只要机器插着电,就算主机不开机也能访问。工程师把笔记本直接接到 iDRAC 专用网口,默认账号 root 登录后第一件事是翻 System → Overview → Logs,结果让人哭笑不得:

时间日志内容严重级别
7 月 11 日 03:22PSU 2 input lost(电源 2 输入丢失)Critical
7 月 11 日 03:22PSU redundancy lost(冗余丢失)Warning
8 月 26 日 23:47PSU 1 failure detected(电源 1 故障)Critical
8 月 27 日 01:38System power lost(系统掉电)Critical

翻译成人话:47 天前 2 号电源就坏了,机器一直靠 1 号电源单腿跑了将近一个半月,1 号电源从那时起 24 小时满载,8 月底终于撑不住,整个系统直接断电。如果 7 月 11 日看到告警换掉 2 号电源,这次事故根本不会发生。

数据中心机柜中的机架式服务器
客户机房:R740 是里面唯一一台服务器,没有任何备件冗余

第二步:现场验证,确认两个电源的状态

iDRAC 说的不一定全对,我们做了物理验证:

  1. 看电源指示灯:拔出两个电源模块,1 号和 2 号的 LED 都是琥珀色(正常应为绿色常亮)。琥珀色 = 故障或无输入。
  2. 换插座测试:把 2 号电源插到 1 号原来确定正常的插座上,还是不亮——排除 PDU 插座问题,确认 2 号电源本体故障。
  3. 万用表量 1 号电源输出:断电拆开后量 12V 主输出,电压在 9.8V-13.5V 之间跳,正常应稳定在 12V±5%。风扇轴承也有明显旷量。典型的长期满载老化,电容鼓包前兆。

结论:2 号电源已坏 47 天,1 号电源重度老化随时罢工。这台机器当时能开机纯属运气。

第三步:换电源,不是换上去就完事

750W 铂金电源(D750E-S1)全新原厂件市场价在 1300-1800 元一只,拆机件 600-800 元。考虑到这台机器承载着全公司调度业务,我们建议客户直接换一对全新原厂件,报价 3200 元(含上门、安装、满载烤机测试)。

更换流程里有两个容易踩的坑:

凌晨 4 点 50 分,TMS 系统恢复上线,距离客户的死线还有 1 小时 10 分钟。第二天我们远程复查了 iDRAC 日志,一切干净。

机房交换机与网线端口
客户机柜里的交换机和 PDU:单路市电、无 UPS 供电给服务器,这也是隐患之一

这次事故暴露的三个问题,很多企业都有

问题一:告警没人看。iDRAC 可以配置 SMTP 邮件告警和 SNMP trap,客户从来没配过。我们免费帮他们配好了邮件告警,发到 IT 负责人和老板两个邮箱。如果你的服务器是 Dell/HP/联想,这个功能 10 分钟就能配好,强烈建议做。

问题二:冗余电源从不测试。双电源的意义是坏一个还能跑,但前提是“另一个是好的”。我们建议每季度做一次带电拔插测试,或者至少每半年在 iDRAC 里看一次两个电源的输入电压和风扇转速是否都正常。

问题三:单点供电。这台 R740 的两个电源插在同一路市电 PDU 上,停电时冗余照样归零。标准做法是两个电源分别接 A/B 两路电,退一步至少上一台在线式 UPS。3kVA 的在线式 UPS 含电池 4000-6000 元,比一车海鲜便宜多了。

附:机架式服务器电源自检清单

检查项方法频率
电源 LED 状态目视,绿色=正常,琥珀色=故障/无输入每月
iDRAC/iLO/XCC 日志登录管理口查 System Logs 里的 PSU 关键字每月
冗余拔插测试开机状态下轮流拔插两个电源,确认不掉电每季度
告警通道确认邮件/SNMP 告警能收到(可以故意拔一个电源测试)每季度
风扇与进风口除尘压缩空气清理,电源风扇异响即更换每半年

如果你公司的服务器也是“装好就没人管”的状态,可以找我们做一次免费的健康巡检——广州范围内上门,出一份包含电源、硬盘 SMART、RAID 状态、固件版本的完整报告,不收钱,报告归你。