英伟达联合得克萨斯大学奥斯汀分校等机构,近日发布了一个专门考"实时交互"的新基准,叫 Realtime-Bench。它设计了 50 个任务、覆盖 8 类场景,只考三件事:模型能不能及时感知环境变化、能不能按时间推进来推理、能不能在正确的那一秒做出动作。为了区分"是算力不够"还是"能力不够",研究者还设了三种不同的环境时钟推进协议。
结果不太好看。12 款前沿大模型全上了一遍,在按真实推理耗时推进环境的严苛设定下,成绩最好的 GPT-6-Astra 任务成功率也只有 44%。换成高推理强度再测,三次全部成功的概率更是只有 36%。
研究还拆出了几个反直觉的发现。第一,推理强度和成功率不是线性正相关——不是"想得越久越准",在实时场景里想太久,机会就过去了。第二,模型必须精确权衡"思考深度"和"行动时机"这两件互相拉扯的事。第三,单纯把延迟压下去,解决不了全部问题,哪怕快到几乎不花时间,该失手的还是失手。
过去两年,大模型在写文章、写代码、生成图片这类静态任务上分数一路飙升,榜单都快不够用了。Realtime-Bench 换了个考法:环境在动,你不动就被判输。
boxiyunAI的看法
- 44% 说明"会答题"和"会办事"是两码事。静态 benchmark 已经饱和到没区分度,动态环境才是真战场。一个模型能通过考试,不代表它能在一台不停变化的机器上把活干完。
- 36% 这个数字比 44% 更致命。三次连续全成功的概率只有 36%,意味着多步任务里可靠性是按乘积衰减的。任何做 Agent 产品的团队都该拿这个数字照照镜子——你宣传的"自动化流程",跑三步就有三分之二概率崩。
- "想得更久反而更差"是最有价值的一条。它直接否掉了"堆推理强度解决一切"的思路。工程上应该做分级思考:简单动作走快通道,复杂判断才进慢通道,而不是所有请求都送进大模型深思一遍。
- 落地别指望端到端一把梭。把任务拆成小步、每步做中间校验、给关键动作设超时和兜底——这些"老土"的工程手段,比换更强的模型更能提升成功率。
- 看数据也要看立场。基准是英伟达牵头做的,结论指向"实时推理需要更强算力",这个叙事方向对硬件厂商有利。数据本身可信,但"所以该买更多卡"这个推论,得自己判断。
这一轮评测最有价值的地方,是把行业从"分数竞赛"拉回到"能力体检"。实时感知、时机判断这类能力,不靠堆参数解决,而要在架构和工程上重新设计。谁先能在低延迟和深推理之间做出可切换的平衡,谁就拿到了下一代产品的入场券。