WebSocket 多实例广播 2000 连接只收到 900 个 Redis 怎么补

聊天室扩到 4 个 Pod 之后,用户反馈消息时有时无。压测时 2000 个连接发一条广播,只有 900 个客户端收到,剩下的没有任何报错,就是收不到。

第一反应是客户端断线。抓包看没收到消息的连接都还活着,心跳正常,只是不在同一个实例上。每个实例只在本地内存里维护了自己那 500 个连接,广播时只遍历本地 map,别的实例上的用户自然收不到。

试过让入口把消息转发给所有实例,每个实例都推一遍。能收到,但同一用户如果重连过、在两个实例上都有残留连接,就会收到两条,客户端还得做去重。这个方案维护成本太高。

改成 Redis 发布订阅。每个实例订阅同一个频道,消息只发一次,由 Redis 扇出到 4 个实例,各推各的本地连接。

const sub = redis.duplicate();
await sub.subscribe("room:1001");
sub.on("message", function (ch, msg) {
  const data = JSON.parse(msg);
  const list = roomClients.get(data.room) || [];
  list.forEach(function (ws) {
    if (ws.readyState === 1) ws.send(data.payload);
  });
});

频道按房间拆,room:1001 这种。一个房间的消息不会吵到其他房间,2000 个连接分在 20 个房间,每个实例只处理自己订阅的那部分。订阅连接和业务用的 Redis 连接要分开,duplicate 一个专门做 subscribe,不然会阻塞普通命令。

发送前判断 readyState,等于 1 才 send。半开的连接写进去会抛异常,一个异常没接住整个遍历就断了,后面的用户全都收不到。这是上线后第二天才发现的,加了 try 才稳。

还补了一个在线人数统计,每个实例往 Redis 的 hash 里写自己的连接数,监控能看出四个实例是否均衡。之前 2000 个连接压在一个实例上,另外三个闲着,扩容等于没扩。

确认:4 个实例各 500 连接,发一条消息,四个实例日志里的 send 计数加起来正好 2000;抽 20 个客户端核对,全部收到且只有一条;P99 延迟 12 毫秒。

您可以还会对下面的文章感兴趣: