模型心算 187×243 十次错三次:calculator 工具怎么接才可靠

报价单里要算面积乘单价,让 gpt-4o-mini 直接算 187×243,10 次里错 3 次,45441 和 45641 来回跳。三个数连乘更难,基本靠猜,错的那几次还都说得很有道理。

原因不在题难。tokenizer 把 187 切成 1、8、7 三个 token,模型没有逐位对齐的能力,只能靠模式补全。试过 few-shot 塞 5 个三位数乘法的例子,错误降到十分之一,换成四位数又开始错。试过让它先分解成 187×200 减 187×43,中间步骤对了,最后一步加法还是错,token 还翻了一倍。temperature 设 0 也没用,错的那几次照样错。

能落地的是不许它算。tools 里注册 Calculate,表达式字符串进,用 ast 解析白名单节点求值,只放行数字、加减乘除和括号。system 明确写两位以上数字的乘除一律调 calculate 不得心算,tool_choice 直接强制指向这个函数。

import ast, operator

OPS = {ast.Add: operator.add, ast.Sub: operator.sub,
       ast.Mult: operator.mul, ast.Div: operator.truediv}

def calc(expr):
    tree = ast.parse(expr, mode="eval")
    return walk(tree.body)      # 只递归 Num 和 BinOp

参数也得防。模型传过带引号的 "187*243",传过中文乘号 ×,传过 187 x 243,工具侧先用 regex 清洗成统一格式再进 ast,解析失败返回 {"error": "bad_expr"},让它重写一次,别抛异常把整轮打断。除零也得提前判,返回 {"error": "div_zero"},不然 Python 的 ZeroDivisionError 会冒到框架层。

验证用 500 道三位数乘法,真值由 decimal 在本地算好。工具接入后准确率 100%,算术全在本地跑。端到端多 180 毫秒,多一轮调用,用户感知不到。顺手把单位换算也做成工具,之前问 1.5 米等于多少英尺同样错得离谱。

您可以还会对下面的文章感兴趣: