服务器无故重启事件:黄灯是线索,不是答案
一台跑 SAP 的 Lenovo 服务器(ThinkSystem)开始反复无预警重启。第一次发生时,机箱前面板的 System Error LED 亮黄灯——按 Lenovo 的故障排查文档,黄灯覆盖的可能原因一大把:温度超阈值、电压异常、风扇转速过低、风扇被拔、电源故障、电源没接电。
第一轮排查:找到并”修好”了一个真问题
按文档指引先查电源,果然发现:电源模块 2 没有 AC/DC 指示灯——供电本身有问题。重新把电源线插紧,指示灯恢复,黄灯也跟着消失。看起来是一次教科书式的排查:文档指路 → 现场核实 → 找到硬件问题 → 修复。
第二轮:问题复发,但这次没有黄灯
几天后,服务器又一次无缘无故重启。这一次,System LED 没有报任何黄灯。
这个细节是本文最重要的转折点:如果第一次的电源问题是唯一根因,它不应该在”没有报错”的情况下复发。黄灯的消失说明第一轮修复的确解决了它自己指向的那个问题——但那个问题,可能从来不是”无故重启”的真正原因,只是恰好同时存在的另一个小故障。
红鲱鱼的典型模样:一个真实存在、被正确修复、但和主线故障无关的干扰项
真正的线索:Minidump,不是 LED
既然硬件指示灯这轮交了白卷,转向系统自己留下的证据——C:\Windows\Minidump 里躺着好几份崩溃转储文件,时间分布在 3 月 24 日到 31 日之间,间隔几天一次,规律得不像是随机硬件抽风。
结合社区讨论(Lenovo 服务器”unexpected restart, without cleanly shutting down first”是一个有一定共性的已知问题类别)和自查,把怀疑对象转向了网络适配器驱动——版本停留在 2017 年,而系统已经运行到 2020 年,中间三年的驱动更新完全没跟上。
更新网络适配器驱动到 2019 年的版本之后,“unexpected restart” 再没有出现过。
教训
- 硬件指示灯报告的是”它认识的”异常,不代表它认识全部异常。黄灯灭了只说明那一类传感器读数正常了,不代表故障根因被消灭;
- 复发时症状变了(这次没有黄灯),是最有价值的排查信号——它在暗示你第一轮修的可能不是真正的病灶;
- 多份、有规律间隔的 minidump,比一次性的指示灯报警更接近”证据”——系统崩溃时留下的转储文件,才是能被真正分析的东西;
- 老旧驱动是被严重低估的故障源——服务器”能用就不动”的心态,会让驱动版本停留在安装那一天,而系统已经运行了好几年。