后台上传 4.9GB 的视频,跑到 78% 报 400,返回码里写着 EntityTooLarge。单文件上限 5GB,分片上传本不该撞这条线。
代码用的是 oss2 的 resumable_upload,默认分片 100KB,按 4.9GB 算要切 5 万片。OSS 对分片数量有上限,一万片,超了直接 400。
第一反应是调大 part_size。改成 10MB,分片数降到 500,能传了。但中断续传时又报 400,错误换成了 InvalidPart。
InvalidPart 是 ETag 对不上。上传中断后重新发起,代码重新生成了 uploadId,旧分片还在服务端,新任务从第 1 片开始,和已完成的片对不上。
正确做法是持久化 uploadId 和已上传分片列表。每次上传前先查本地记录,有就接着传,没有才初始化。分片对象存 Redis,key 用文件 md5,过期时间 7 天。
part_size = max(1024 * 1024,
oss2.determine_part_size(size, 10000))
uid = store.get(md5_of_file) or bucket.init_upload(key)
for i in range(start, total):
bucket.upload_part(key, uid, i, data)
part_size 按文件大小算,保证分片数不超过 1 万,同时不小于 100KB。4.9GB 用 1MB 就够,5GB 以上按比例放大。
还有一处超时。单片 40 秒没传完,客户端重试,服务端收到两份同号分片,后一份覆盖前一份,ETag 变了,complete 时校验失败。把 connect_timeout 设 10 秒、read_timeout 设 60 秒,重试次数限 3 次。
确认:传一个 4.9GB 的文件,中途 kill 进程再重跑,能从断点接上;complete 之后 head_object 校验 Content-Length 和本地一致;再把 part_size 设成 1KB,确认客户端初始化时就拦住,而不是传到一半才报错。
小于 100MB 的文件不走分片,直接 put_object。分片有额外的请求费,小文件用它纯属多花钱。
