陆零云
28
0
报价单里要算面积乘单价,让 gpt-4o-mini 直接算 187×243,10 次里错 3 次,45441 和 45641 来回跳。三个数连乘更难,基本靠猜,错的那几次还都说得很有道理。
原因不在题难。tokenizer 把 187 切成 1、8、7 三个 token,模型没有逐位对齐的能力,只能靠模式补全。试过 few-shot 塞 5 个三位数乘法的例子,错误降到十分之一,换成四位数又开始错。试过让它先分解成 187×200 减 187×43,中间步...
陆零云
36
0
摘要任务用 gpt-4o-mini 流式输出两千多条,其中 31 条结尾停在半句。日志里最后那个 chunk 的 finish_reason 是 length,max_tokens 设的 4096,输出确实顶到 4096 才停。不是网络断,是模型被硬截断。
第一版把 max_tokens 提到 8192。截断从 31 条降到 11 条,可长报告该超还是超,单次费用接近翻倍,P95 延迟多了 6 秒。报告长度本来就不可控,调参只是把问题往后推。长报告里还有大...
陆零云
35
0
上周把一批商品标题改写任务从手动跑改成 12 个 worker 并发,模型用 gpt-4o-mini,跑到第 4 分钟开始整片报 error code 429,body 里写着 rate_limit_exceeded,Retry-After 给的是 20。最初的重试写得很朴素:捕获到 429 就 sleep 3 秒再发一次。结果 12 个 worker 在同一秒撞上限流,也在同一秒醒来,第二轮直接把每分钟 429 的次数从 6 推到 40 多,队列越积越长...