后台上传 800MB 的视频,前端切成 200 片,每片 4MB。合并之后播放器打不开,服务端算出的 MD5 和前端给的对不上,文件大小少了 1 个字节。
1 个字节的差异最难查,先排除分片缺失。服务端按 index 排序,收到 200 片,编号 0 到 199 全在,每片大小也对,除了最后一片 3.7MB。
怀疑合并顺序。把合并后的文件和原文件做 cmp -l,第一个差异出现在偏移 4194304,正好是第一片和第二片的交界处,后面每隔 4MB 差一个字节。
问题在切片读取。前端用的是 FileReader.readAsText,把二进制当 UTF-8 文本读,遇到 0x00 和非法序列会替换成 U+FFFD,再包回 Blob 就少字节。这个写法在纯文本上看不出来,二进制必崩。
改成 readAsArrayBuffer,直接拿 ArrayBuffer 上传:
const buf = await blob.arrayBuffer();
const form = new FormData();
form.append('index', String(i));
form.append('total', String(total));
form.append('chunk', new Blob([buf]), `part-${i}`);
服务端也改了一处。之前用 fs.appendFile(file, req.body) 传字符串,默认 utf8 编码,二进制照样被改写。改成先收齐 Buffer 再 writeFileSYNc,或者 appendFile 时显式给 Buffer。
合并完还要校验。服务端对每片算 crc32,前端在切片时也算一份带上来,不一致直接返回 400 让前端重传那一片,不用等整个文件传完才发现。
确认方式:同一个 800MB 文件连续传 10 次,合并后 md5sum 每次一致;再传一个含大量 0x00 的镜像文件,大小和哈希都对得上。
顺带把单片的 Content-Length 记进日志。这次少 1 字节,如果早有分片级别的长度对比,定位时间能从两小时压到五分钟。
