systemd 255 报 start-limit-hit 服务 3 秒重启一次怎么定位

凌晨两点,监控把「Node 服务无响应」推到群里。登上机器看 systemCtl status app,状态行是 start-limit-hit,下面一行 Start request repeated too quickly。翻 journalctl,最近一小时 1180 条 Started 和 Stopped 交替,平均 3 秒一轮。

第一反应是应用自己崩了。翻 /var/log/app/error.log,最后一条只有 Listening on 3000,之后什么都没有。进程不是抛异常退出的,更像是启动完立刻被回收。

把 Restart=always 改成 RestartSec=1,重启更快了,每小时 500 次以上,CPU 被拉起进程吃掉 30%。这是加速死亡,不是修。

用 journalctl -u app -n 40 --no-pager 翻更早的输出,看到一行 Error: listen EADDRINUSE: address already in use :::3000。上一个进程还挂着,新进程绑不上端口就退出,systemd 再拉起下一个,如此循环。残留进程的来源是 ExecStart 里写了 nohup node server.js &,多了这个符号之后 systemd 认为主进程一秒内结束,KillMode 默认又是 control-group,子进程留在原地。

改 unit:Type=simple,ExecStart 直接前台跑 node,不要 nohup 和后台符;KillMode=mixed 让停止信号先给主进程;再补熔断参数,60 秒内失败 3 次就停手,别让日志把磁盘写满。

[Service]
Type=simple
ExecStart=/usr/bin/node /srv/app/server.js
Restart=always
RestartSec=5
KillMode=mixed
StartLimitIntervalSec=60
StartLimitBurst=3

上线后 systemctl show -p NRestarts 停在 0 不动,跑满 24 小时还是 0。端口占用也消失了,ss -lntp 里只有一个 node 在 3000 上。

RestartSec 定成 5,避免真崩溃时疯狂拉起。判断是否修好,我只看 NRestarts 和 ss 的监听数两个值,不看 systemctl 那行绿色的 active。

您可以还会对下面的文章感兴趣: