六台机器 500G 日志 grep 太慢 Loki 采集怎么搭

大促前压测,六台 web 的访问日志一天 40G。出了问题要查某个订单号的超时,六台机器挨个 ssh,grep -r 在 2000 万行里翻了四分钟还没结果,磁盘 IO 打到 100%,业务接口跟着变慢。这种排查方式已经不能用了。

试过先把日志 rSYNc 到一台机器再找,40G 传过来要二十分钟,查完还得删。也试过 ELK 7.17 单机 4C8G,ES 堆给 2G,写入端一直报 429 Too Many Requests,bulk 队列满,日志丢了一大截。

后来换 Loki 2.9 加 Promtail。Loki 只对标签建索引,日志正文压成 chunk 存对象存储,六台机器的 Promtail 各自推送,查询时按标签定位再扫正文。硬件还是那台 4C8G,写入稳在每秒 8MB 左右,没有出现拒绝。

标签设计是成败关键。app、env、level 三个够了,把 request_id 或者请求路径当标签,索引基数会直接炸,Loki 提示 max streams 超限,然后开始丢数据。这个报错我在测试环境复现过两次。

scrape_configs:
  - job_name: nginx
    static_configs:
      - targets: [localhost]
        labels:
          app: web
          env: prod
          __path__: /var/log/nginx/*.log
    pipeline_stages:
      - json:
          expressions:
            level: level
            duration: upstream_time

检索用 LogQL,不是 grep。查超时就是 {app="order"} |= "Timeout" | json | duration > 3000,先按标签缩到一个流,再在流里过滤,比全量扫快一个量级。

access log 里的 uri 一开始被写进了标签,index 一周涨到 6G,查询也慢。挪到 structured metadata 之后索引回落到 400M。保留期设 14 天,再往前的归档到 OSS,真要查走冷备。

您可以还会对下面的文章感兴趣:

暂无相关文章