8 月 27 日凌晨 1 点 40 分,番禺一家做冷链物流的公司打来了 24 小时值班电话:机房里唯一一台 Dell PowerEdge R740 突然关机,TMS 调度系统瘫痪,十几台冷藏车的温度数据传不回来,明早 6 点前必须恢复,否则一车海鲜全得报废。
我们工程师 2 点 20 分到现场。机器是 2021 年买的 R740,双路至强 Silver 4210R、96GB 内存、两块 750W 铂金电源(型号 D750E-S1)。按下电源键没反应,前面板诊断灯不亮——这不是死机,是彻底没电。
第一步:别急着拆,先读 iDRAC 日志
R740 的 iDRAC9 是独立供电的,只要机器插着电,就算主机不开机也能访问。工程师把笔记本直接接到 iDRAC 专用网口,默认账号 root 登录后第一件事是翻 System → Overview → Logs,结果让人哭笑不得:
| 时间 | 日志内容 | 严重级别 |
|---|---|---|
| 7 月 11 日 03:22 | PSU 2 input lost(电源 2 输入丢失) | Critical |
| 7 月 11 日 03:22 | PSU redundancy lost(冗余丢失) | Warning |
| 8 月 26 日 23:47 | PSU 1 failure detected(电源 1 故障) | Critical |
| 8 月 27 日 01:38 | System power lost(系统掉电) | Critical |
翻译成人话:47 天前 2 号电源就坏了,机器一直靠 1 号电源单腿跑了将近一个半月,1 号电源从那时起 24 小时满载,8 月底终于撑不住,整个系统直接断电。如果 7 月 11 日看到告警换掉 2 号电源,这次事故根本不会发生。

第二步:现场验证,确认两个电源的状态
iDRAC 说的不一定全对,我们做了物理验证:
- 看电源指示灯:拔出两个电源模块,1 号和 2 号的 LED 都是琥珀色(正常应为绿色常亮)。琥珀色 = 故障或无输入。
- 换插座测试:把 2 号电源插到 1 号原来确定正常的插座上,还是不亮——排除 PDU 插座问题,确认 2 号电源本体故障。
- 万用表量 1 号电源输出:断电拆开后量 12V 主输出,电压在 9.8V-13.5V 之间跳,正常应稳定在 12V±5%。风扇轴承也有明显旷量。典型的长期满载老化,电容鼓包前兆。
结论:2 号电源已坏 47 天,1 号电源重度老化随时罢工。这台机器当时能开机纯属运气。
第三步:换电源,不是换上去就完事
750W 铂金电源(D750E-S1)全新原厂件市场价在 1300-1800 元一只,拆机件 600-800 元。考虑到这台机器承载着全公司调度业务,我们建议客户直接换一对全新原厂件,报价 3200 元(含上门、安装、满载烤机测试)。
更换流程里有两个容易踩的坑:
- 固件版本要对齐:新电源固件和旧的不一致时,iDRAC 会报“PSU mismatched firmware”。我们在 iDRAC 里跑了电源固件更新,10 分钟对齐。
- 换完必须做冗余拔插测试:开机状态下拔掉 1 号电源,确认机器不掉电、iDRAC 出 redundancy lost 告警;插回去等状态恢复绿色,再拔 2 号测一遍。这一步很多同行省掉,结果就是下次真出事时冗余依然是假的。
凌晨 4 点 50 分,TMS 系统恢复上线,距离客户的死线还有 1 小时 10 分钟。第二天我们远程复查了 iDRAC 日志,一切干净。

这次事故暴露的三个问题,很多企业都有
问题一:告警没人看。iDRAC 可以配置 SMTP 邮件告警和 SNMP trap,客户从来没配过。我们免费帮他们配好了邮件告警,发到 IT 负责人和老板两个邮箱。如果你的服务器是 Dell/HP/联想,这个功能 10 分钟就能配好,强烈建议做。
问题二:冗余电源从不测试。双电源的意义是坏一个还能跑,但前提是“另一个是好的”。我们建议每季度做一次带电拔插测试,或者至少每半年在 iDRAC 里看一次两个电源的输入电压和风扇转速是否都正常。
问题三:单点供电。这台 R740 的两个电源插在同一路市电 PDU 上,停电时冗余照样归零。标准做法是两个电源分别接 A/B 两路电,退一步至少上一台在线式 UPS。3kVA 的在线式 UPS 含电池 4000-6000 元,比一车海鲜便宜多了。
附:机架式服务器电源自检清单
| 检查项 | 方法 | 频率 |
|---|---|---|
| 电源 LED 状态 | 目视,绿色=正常,琥珀色=故障/无输入 | 每月 |
| iDRAC/iLO/XCC 日志 | 登录管理口查 System Logs 里的 PSU 关键字 | 每月 |
| 冗余拔插测试 | 开机状态下轮流拔插两个电源,确认不掉电 | 每季度 |
| 告警通道 | 确认邮件/SNMP 告警能收到(可以故意拔一个电源测试) | 每季度 |
| 风扇与进风口除尘 | 压缩空气清理,电源风扇异响即更换 | 每半年 |
如果你公司的服务器也是“装好就没人管”的状态,可以找我们做一次免费的健康巡检——广州范围内上门,出一份包含电源、硬盘 SMART、RAID 状态、固件版本的完整报告,不收钱,报告归你。
