六台机器 500G 日志 grep 太慢 Loki 采集怎么搭

陆零云 32 0
大促前压测,六台 web 的访问日志一天 40G。出了问题要查某个订单号的超时,六台机器挨个 ssh,grep -r 在 2000 万行里翻了四分钟还没结果,磁盘 IO 打到 100%,业务接口跟着变慢。这种排查方式已经不能用了。 试过先把日志 rsync 到一台机器再找,40G 传过来要二十分钟,查完还得删。也试过 ELK 7.17 单机 4C8G,ES 堆给 2G,写入端一直报 429 Too Many Requests,bulk 队列满,日志丢了一大...