Jenkins 2.426 流水线构建卡在等待 workspace 锁怎么解

周一早上的发布卡住了。Jenkins 2.426.1 的构建队列里排了六个 job,第一个显示 Pending—Waiting for next available executor on agent-01,等了四十分钟不动。agent 的 CPU 是空的,executor 却显示被占着。

点进去看那个占着 executor 的 build,是上周五的 #482,状态还在跑。控制台最后一行是 [Pipeline] lock,后面没了。流水线里用 lock(resource: 'deploy-prod') 包住发布阶段,上一个构建中途被人点了 Abort,ssh 到发布机上的脚本没退出,一直挂着,锁和 executor 一起被占死。

先手工解决:进 agent 的 workspace,kill 掉残留的 deploy.sh 和 rSYNc 进程,再把 #482 在界面上强制结束,队列立刻开始动。这种事一个月发生两次,得从配置上治。

试过给 stage 加 timeout,没用,因为卡住的位置在 lock 内部,abort 之后计时器也停了。最后是三层一起改:lock 外面套 timeout,shell 用 setsid 启动并记 pid,finally 里 deleteDir 清工作空间。

并发参数也调了。之前 executor 设 4,实际一台 agent 只有 2 核 4G,四个 Maven 构建一起跑直接 OOM,然后 build 挂死占着 executor。降到 2,并且 remote FS root 所在盘留够 30G,磁盘满的时候 workspace 锁一样会卡。

stage('deploy') {
  options { timeout(time: 20, unit: 'MINUTES') }
  steps {
    lock(resource: 'deploy-prod') {
      sh 'setsid ./deploy.sh > deploy.log 2>&1 &
          echo $! > deploy.pid'
    }
  }
  post { always { deleteDir() } }
}

判断是不是锁的问题,看 jenkins.log 里 Waiting for lock on 那一行的时间戳,再上 agent 用 ps -ef 找残留进程。现在每次发布前脚本先检查有没有同名 lock 文件,有就打印持有者 pid 直接退出。

您可以还会对下面的文章感兴趣:

暂无相关文章