图片理解这块接的是 OpenAI 兼容网关,模型 gpt-4o-mini,前端把用户上传的图读成 base64 直接塞进 image_url,返回 400,原始报文是 Invalid image URL: 'iVBORw0KGgo...'. ExpeCted a base64-encoded data URL with a valid media type。
第一次把前缀去掉只传裸串,还是 400。第二次加上 data:image/png;base64,,依旧 400,但错误换成了 unsupported image format。用 file 看原文件是 JPEG,代码里却写死了 png,网关按声明去解,解出来不是 PNG。
另一个坑在换行。base64.encodebytes 默认每 76 个字符插一个 \n,json.dumps 会把它转成 \n,服务端 b64decode 拿到带换行的字符串直接失败。换成 base64.b64encode 输出单行之后,同一个文件就能过。
中间还试过不传 base64,把图片先传到对象存储再传 URL。网关所在的内网没有出网权限,请求卡到 30 秒超时,退回来还是走 base64。
现在的做法是读文件头判断 MIME,不靠扩展名。JPEG 开头是 FF D8 FF,PNG 是 89 50 4E 47,猜错了就按 image/jpeg 兜底。拼前缀时统一成 data:
有个细节容易忽略:同一张 PNG 用截图工具另存后会变成带 alpha 的 RGBA,网关对透明通道的 webp 支持时好时坏,遇到 400 就把它压成白底 JPEG,问题消失。
验证拿了三张 1.2MB 的 JPEG、一张 300KB 的 PNG 和一张 webp 各跑两次,全部 200,响应里的 usage 显示图片 token 812 到 1103,和官方那张表对得上。现在上传入口先在前端把大于 4MB 的图压到 1600px,base64 体积能减一半多。
import base64
import mimetypes
def to_data_url(path):
mime = mimetypes.guess_type(path)[0] or "image/jpeg"
raw = open(path, "rb").read()
b64 = base64.b64encode(raw).decode("ascii")
return "data:%s;base64,%s" % (mime, b64) 