陆零云
29
0
下午财务一次点了五个大导出,二十分钟后整个服务不可用。ssh 上去 df -h,/tmp 使用率 100%,MySQL 报 Can't create/write to file '/tmp/MLxxxx',数据目录和 /tmp 在同一块盘上。
导出代码用 tmpfile(),先把 60 万行写成 CSV,再读出来发给浏览器。600MB 一份,五个人同时点就是 3GB,那台机器的 /tmp 只有 2GB。
第一反应是加磁盘,运维说这块盘和系统盘是同一块,扩不...
陆零云
27
0
图片上传接口开始报 500,日志是 java.io.IOException: No space left on device。df -h 看 /data 只用了 61%,还剩 200 多 G,第一反应是日志骗人。
再看 df -i,IUse% 是 100%,inode 用光了。上传目录里 120 万个小文件,平均 30KB 一个,空间没占多少,inode 先见底。这个分区建的时候没调 inode 比例,默认 1600 万,被缩略图和临时文件吃干净了。
第一...
陆零云
35
0
周三上午监控告警,根分区使用率 100%,/var/lib/docker 占 38G。docker ps 还正常,但新容器起不来,报 no space left on device。
du -sh /var/lib/docker/containers/* 排下来,一个 Java 服务的 json 日志 12.4G,另两个各 6G 多。应用把 debug 级别开着,一天往 stdout 写 2G,docker 默认的 json-file 驱动不做任何轮转。...
陆零云
33
0
早上 9 点接口开始 500,报错是 java.io.IOException: No space left on device。df -h 一看,根分区 100G 用了 100%。
du -sh /var/log 下面的目录排序,app.log 单个文件 38GB,加上滚动出来的 app.log.1 到 .6,日志目录 62GB。剩下的空间在临时文件和 docker 的 overlay 里。
logback 的 root level 写的是 DEBUG,是...