最强模型成功率只有 44%:AI 一碰上“实时”就露馅

英伟达牵头做了个新考卷,12 款前沿大模型集体不及格

摘要:英伟达联合 UT-Austin 发布 Realtime-Bench,50 个实时交互任务考 12 款模型。按真实推理耗时推进环境时,最好的 GPT-6-Astra 成功率仅 44%,三次全成功的概率只有 36%。

英伟达联合得克萨斯大学奥斯汀分校等机构,近日发布了一个专门考"实时交互"的新基准,叫 Realtime-Bench。它设计了 50 个任务、覆盖 8 类场景,只考三件事:模型能不能及时感知环境变化、能不能按时间推进来推理、能不能在正确的那一秒做出动作。为了区分"是算力不够"还是"能力不够",研究者还设了三种不同的环境时钟推进协议。

结果不太好看。12 款前沿大模型全上了一遍,在按真实推理耗时推进环境的严苛设定下,成绩最好的 GPT-6-Astra 任务成功率也只有 44%。换成高推理强度再测,三次全部成功的概率更是只有 36%。

研究还拆出了几个反直觉的发现。第一,推理强度和成功率不是线性正相关——不是"想得越久越准",在实时场景里想太久,机会就过去了。第二,模型必须精确权衡"思考深度"和"行动时机"这两件互相拉扯的事。第三,单纯把延迟压下去,解决不了全部问题,哪怕快到几乎不花时间,该失手的还是失手。

过去两年,大模型在写文章、写代码、生成图片这类静态任务上分数一路飙升,榜单都快不够用了。Realtime-Bench 换了个考法:环境在动,你不动就被判输。

boxiyunAI的看法

  • 44% 说明"会答题"和"会办事"是两码事。静态 benchmark 已经饱和到没区分度,动态环境才是真战场。一个模型能通过考试,不代表它能在一台不停变化的机器上把活干完。
  • 36% 这个数字比 44% 更致命。三次连续全成功的概率只有 36%,意味着多步任务里可靠性是按乘积衰减的。任何做 Agent 产品的团队都该拿这个数字照照镜子——你宣传的"自动化流程",跑三步就有三分之二概率崩。
  • "想得更久反而更差"是最有价值的一条。它直接否掉了"堆推理强度解决一切"的思路。工程上应该做分级思考:简单动作走快通道,复杂判断才进慢通道,而不是所有请求都送进大模型深思一遍。
  • 落地别指望端到端一把梭。把任务拆成小步、每步做中间校验、给关键动作设超时和兜底——这些"老土"的工程手段,比换更强的模型更能提升成功率。
  • 看数据也要看立场。基准是英伟达牵头做的,结论指向"实时推理需要更强算力",这个叙事方向对硬件厂商有利。数据本身可信,但"所以该买更多卡"这个推论,得自己判断。

这一轮评测最有价值的地方,是把行业从"分数竞赛"拉回到"能力体检"。实时感知、时机判断这类能力,不靠堆参数解决,而要在架构和工程上重新设计。谁先能在低延迟和深推理之间做出可切换的平衡,谁就拿到了下一代产品的入场券。

咨询合作电话 / 微信同号,一键拨打

💡 行业在变,数字化转型正当时在 AI 技术的加持下,许多以前成本高、实现难的软件与小程序需求,现在都能高效落地。博曦云,专注软件定制开发、小程序开发及 AI 应用落地,欢迎随时交流探讨!

上一篇:948 个漏洞,每个 1279 美元:OpenAI 把挖漏洞做成了流水线

下一篇:2100 万条数据喂出来的国产模型,登上了《自然》