50套真实税务卷宗考倒最强AI代理 十个里过不了一个 差的那步是什么
乌鸦小编 发表于:2026-10-29 01:26 复制链接 发表新帖
阅读数:167
现在的AI代理能自己写代码、订机票、整理数据表,看起来什么活都能接。一家叫Surge AI的公司给这些代理出了套真实考题,把税务师日常工作里会碰到的50套卷宗原样搬进考场,让代理从客户请求一路做到成品交付。结果最强的模型通过率只有10.8%,十个任务里过不了一个。这家公司本身就在给大模型公司做训练数据和评测,之前已经用同样的方法考过医疗和金融,这次这份税务卷子的得分,比前两份更低。

卷宗摊开来看就知道为什么难。50个任务覆盖个人税、小企业税、合伙企业、房产投资、遗产信托、国际税务、公司交易、税务争议八个领域,总共塞了1789个文件,平均每个任务30份,最多的一个塞了123份,包括1487份PDF、117张Excel表、38份Word文档,还有合伙企业收入明细(注,K-1表,美国合伙企业发给投资人的年度收入报表)、雇主工资单(注,W-2表)、国税局通知函、总账、工资记录和往来邮件。有的任务里只有一张手写进货收据的照片,代理要自己读出条目和金额,跟支出记录对上,再算清楚这笔钱怎么进存货成本。出题和审题的是一组资深税务专家,背景包括四大会计师事务所和能源巨头十年的税务律师、事务所税务总监,每道题过三层人工审查。

卖公寓的案例最能说明差距。房主安娜2024年8月搬出去,问代理2026年10月和2027年1月哪天过户更划算。代理算得很对,两个日期都满足自住满两年的免税条件,卖房增值里最多25万美元不用交税。可它没提一条截止线,按规则房主需要在出售前五年里住满两年,安娜2024年8月搬走,到2027年8月底这条资格就过期了,真拖到那时候卖,免税额就没了。有一个模型五次尝试全都没发现这条线,另一个叫Opus的模型五次全发现了。客户问的是日期,专业顾问该看见的是那个没人问的期限。

离婚分账户的考题更扎心。一对分居的夫妻问代理怎么分割退休账户,其中一个是雇主提供的养老金计划(注,401k,美国雇主的免税养老储蓄账户)。一个顶级模型的回答开头就是一句,你们没有合法婚姻,两个账户谁也不能分给谁,只能各留各的再拿现金补差价。麻烦在于夫妻自己的档案里写着,他们虽然住在不承认事实婚姻的佛罗里达,但之前在承认非正式婚姻的德克萨斯同居过,还在科罗拉多办过仪式,外州成立的婚姻在佛州依然有效,这个区别会直接改变分割的税务后果。那个模型五次尝试全部按未婚给了方案,另一个模型五次里四次提出要先确认两人的婚姻状态,证据就躺在文件里,它只是没有去翻。

测评方自己的总结只有一句,代理们还没通过审计。现有的税务基准测的是模型能不能答对难题、算准税表,这套考卷测的是另一件事,客户给的材料是乱的、指令是缺的、真正要紧的问题客户自己都没想到,代理能不能把该干的活从头接管下来。算力和知识年年涨,发现问题的那一步几乎没动。往小处说这是模型能力的边界,往大处说这就是专业服务真正的收费点,客户买的从来不是计算,是那些没人提醒就会踩进去的坑。把AI往专业流程里装的团队,与其再比谁答得准,不如先补上让代理主动翻档案、主动挑毛病的那一层,这一层现在还是空的。

创业找资源,上乌鸦部落。
本页内容由网友自行在乌鸦部落发布,本站仅提供帖文、图片存储空间服务,帖文(图片)发布者应自行负责所上传帖文(图片)涉及的法律责任,本站对帖文真实性、版权等概不负责,亦不承担任何法律责任。
0 条评论
您需要登录后才可以回帖 登录 | 立即注册
高级
相关推荐

关闭

乌鸦部落