你有没有想过,为什么那些能写代码、能做数学证明、能跟你聊哲学的大语言模型,装到机器人身上之后却常常显得笨手笨脚?
这不是算力不够的问题。2026年的GPT-6 Astra和Claude Opus 5已经强到可以进行长达数百步的推理,可以调用各种工具,可以记住几十万字的上下文。但当你让它们控制一个真实的机器人穿过房间、绕过桌子、走到某个指定位置时,问题出现了:这个世界不会等它想清楚。
想象一下,你正在过马路,突然一辆车冲了过来。这时候你大脑里负责"深思熟虑"的那部分还在分析"这辆车的速度、角度、我和它的相对位置关系",但你的身体已经本能地跳开了。如果你非要等大脑分析完再行动,你可能已经出事了。
机器人也是这样。语言模型想得很深,但想得慢,每做一次决策可能要花3到19秒。而真实世界的动态变化,比如突然出现的玻璃门、临时需要绕开的障碍物,根本等不了这么久。这就是来自Adelaide大学等机构研究者们要解决的核心矛盾:怎么让一个"思考很慢但很聪明"的大脑,和一个"反应很快但不太聪明"的身体,配合得天衣无缝。
他们给出的答案,叫做NavGPT-3。
被拆开的两种能力
这里有个概念需要先说清楚。
规划器(Planner):指负责"想清楚该怎么走"的大语言模型,比如GPT-6 Astra或Claude Opus 5,它负责理解指令、判断进度、决定何时该停。
动作策略(VLA,Vision-Language-Action model):指负责"具体怎么挪动身体"的小模型,专门训练出来预测每一步该往哪走,走多远。
过去的做法往往想让一个模型既聪明又能快速反应,这就像让一个既要当CEO又要当流水线工人的人,两头都干不好。NavGPT-3反其道而行之,把"想"和"做"彻底拆开,规划器负责战略层面的判断,动作策略负责每秒钟一到两次的具体执行。
论文里有一组数据特别能说明这种分工的价值:没有动作策略介入时,系统的反应速度完全取决于语言模型的思考节奏,平均每3到19秒才能做一次决策。而一旦让动作策略接管具体执行,整个系统的反应速度提升到了每0.5到1秒一次,相当于1到2赫兹的控制频率。
这就好比一家餐厅,老板负责想"今天该做什么菜、给谁上菜、什么时候该打烊",但炒菜颠勺这种事交给厨师来做。如果老板事必躬亲,从买菜到颠勺都自己上,那效率可想而知,客人可能等到天黑都吃不上饭。反过来,如果让厨师决定整个餐厅的经营策略,那这家店大概率也开不长久。
但这里有个细节值得玩味:论文发现动作策略是否真的有用,取决于语言模型本身有多强。对Claude Opus 5来说,引入动作策略后,每集对话轮次从16.75次降到8.5到11.19次,成功率从73%提升到76%到81%,成本也从0.99美元降到0.35到0.4美元,全面受益。但对GPT-6 Astra来说,情况有点反常,轮次确实从10.71降到了3.37,但成功率却从83%掉到了75%,成本没怎么变化。
为什么会这样?研究者的解释是,Astra本身已经足够强,强到能把环境读得很准,这时候动作策略带来的执行效率提升,被用来监督和纠正动作策略执行中的偏差所抵消了。换句话说,一个已经很聪明的大脑,反而要花更多精力去"管教"手脚,上限被自己的能力框住了。
OS一样的运行时
光把两个模型拼在一起还不够,因为现实世界里,"思考"、"执行"、"监控"这三件事情需要同时进行,而不是排队等候。
运行时(Runtime):指建立在规划器和动作策略之上的一套调度系统,类似操作系统管理多个程序一样,管理着"推理线程"、"执行线程"、"监控线程",决定谁有权控制机器人的实际移动。
这个设计思路很像你电脑里的多任务系统。你一边在后台下载文件,一边在前台打字写文档,突然收到一个紧急来电提醒,这个提醒会立刻弹出来打断你正在做的事,而不是排在下载任务后面慢慢等。
论文里专门提出了一个概念叫运动权限(motion authority),指的是在某一时刻,只有一个线程被允许向机器人发出实际移动指令。这个权限可以被转移、被暂停、也可以被强制收回。
举个论文里的真实例子。机器人正在执行一段长距离导航,动作策略持有移动权限,在后台的监控线程这时候审查进度,发现路线有问题,于是提出中断请求。系统会等动作策略完成当前这一步动作之后,再把权限转交给修复工具,原来的主线程暂停,等修复完成后权限再交还给动作策略继续执行。
这个"等完成当前动作再切换"的细节特别重要。如果不这样设计会怎样?想象一下你正在倒车入库,突然收到一条短信提醒你该左转了,如果车辆立刻执行这个新指令而不管你当前方向盘打到哪个角度,车可能直接撞上旁边的车。运行时的设计就是确保每次权限转移都是"干净"的,不会留下半截没完成的动作造成混乱。
而对于真正紧急的情况,比如激光雷达探测到障碍物,运行时的处理方式完全不同:它不等任何一个动作完成,立刻收回权限,这叫协议优先级更高。论文的真实机器人实验(用的是宇树Go2机器狗)里验证了这一点:引入"重叠推理加优先级监控"之后,成功率从73.3%提升到83.3%,而p95(95分位数)的紧急停止延迟从1840毫秒大幅降到180毫秒。
1840毫秒是什么概念?差不多是你眨两次眼的时间。而180毫秒,基本上就是你听到警报声到本能反应之间的时间差。这个数字差距,在真实世界里,可能就是机器人撞没撞到人的区别。
视觉信息该怎么分配
动作策略每次预测下一步该怎么走,需要"看"周围的环境。但问题来了,机器人身上的摄像头不断产生新画面,如果把过去所有看到的画面都塞给模型,计算量会爆炸。
研究者从视频压缩技术里借了个思路。
编解码分配(codec allocation):指借鉴视频编码中I帧(完整参考帧)和P帧(只记录变化的帧)的思想,给每一张历史画面分配多少"视觉注意力token",取决于这张画面相对上一张变化了多少。
这个思路其实很生活化。你回忆一段走路的经历时,大脑不会均匀地记住每一秒钟的画面。如果你走在一条笔直又空荡的走廊里,连续五秒钟画面几乎没变化,大脑会一笔带过;但如果突然转过拐角看到一扇门,或者有人迎面走来,这个瞬间会被你记得特别清楚。
论文里给出了一个具体例子:在第16步的时候,前方视角、右侧视角、后方视角、左侧视角分别分配到了80、48、24、35个token。前方视角因为变化最大(刚好经过一个新的场景),拿到了最多的注意力资源;后方视角变化最小,只分到了24个。
如果不做这种动态分配会怎样?论文的对照实验给出了答案。在8B模型上,这种编解码分配让R2R-CE(一种室内导航评测基准)的成功率在不同训练阶段分别提升了1.7、5.7、2.1个百分点,在跨平台数据(包括单摄像头视角、变速移动、室外驾驶等差异极大的场景)上效果尤其明显。这说明一个固定不变的"位置优先"分配规则,在场景变化剧烈时根本无法适应,而变化感知的分配方式能跟着实际情况走。
这就像你给一个新来的实习生安排精力分配,如果你规定他"永远按固定比例关注每一项工作",那遇到突发紧急任务时他反而会手忙脚乱;但如果让他学会"哪里变化大就多看哪里",适应能力自然更强。
海量数据喂出来的通才模型
NavGPT VLA(论文给这套动作策略起的名字)的训练数据量相当惊人,每个训练周期大约有1928万条有效样本,这背后是一套精心设计的数据配比策略。
论文把训练数据分成了四个维度:能力、载体、场景条件、视觉语言理解。能力维度从简单到复杂依次是:跟着文字指令走、根据目标物体主动探索、追踪动态移动的目标、再到跨平台的室外驾驶。载体维度覆盖了四视角全景摄像头、单一前置摄像头、不同机器人平台的摄像头配置。场景条件则专门针对语言表达的多样性、罕见的离轨道状态、以及动作类型的平衡性做了补强。
这里有个处理很巧妙。原始的DAgger(一种模仿学习采集方式)轨迹里,每个偏离路线的状态都标记着"模型自己下一步打算怎么走",但这个标签本身可能是错的,因为它本来就是偏航状态下产生的。研究者把这些标签全部重新打上"从当前位置到目标的最短路径方向",等于是给每一个"走错路"的瞬间都补上了正确的纠偏方向。
这就像教孩子写字,如果只给他看写对的字帖,他永远不知道写歪了该怎么往回拉。但如果你把每一个写歪的笔画旁边都标注"应该往哪个方向拉回来",孩子反而能学会自我修正,这种"犯错之后怎么纠正"的数据,往往比"从不犯错的范例"更有价值。
数据的规模效应在论文里体现得很直接。把训练数据从170万条扩大到完整的1928万条,R2R-CE成功率从62.6%提升到74.33%(4B模型)、从65.3%提升到76.94%(8B模型);RxR-CE(另一个更复杂的多语言导航基准)成功率提升幅度更大,4B模型从68.7%到81.41%,8B模型从70.5%到82.39%。
数据规模带来的提升,甚至超过了模型参数量翻倍带来的提升。论文里有个很直观的对比:用了跨平台数据训练的4B模型(69.2% SR),竟然超过了只用导航数据训练的8B模型(65.3% SR)。这说明在这个任务上,喂给模型足够丰富多样的经历,比单纯堆砌参数更管用。
成绩单:追平人类的导航系统
说到底,所有设计是否成功,还得看最终成绩。
在R2R-CE(Room-to-Room连续环境)这个基准上,NAVGPT-3搭配GPT-6 Astra拿到了81.51%的成功率,刷新了当时的最好成绩。
而在RxR-CE(更复杂、指令更长的多语言导航基准)上,结果更让人意外:NAVGPT-3的成功率达到90.43%,而人类向导者(真人跟随语音指令走出的路线)的成功率是90.4%。两者几乎完全一致。在路径贴合度(nDTW指标)上,NAVGPT-3是78.47,人类是77.7,机器甚至略微领先。
更值得一提的是完成任务所需的时间:NAVGPT-3平均每集只需要1分22秒,而人类大约需要3分钟。
这是一个历史性的时刻。这是第一次有自主智能体在连续环境(而非简化的离散路网图)导航任务上,在成功率和路径准确度两个维度同时追平人类水平。要知道,之前的方法大多还停留在六七十的成功率区间,这个跨越不是一点半点的进步。
研究者在论文里还做了个很有意思的拆分实验,专门测试"检查频率"对结果的影响。规划器多久检查一次动作策略的执行进度,如果完全不检查,只能等动作策略自己停下来才能介入;每32步检查一次,成功率从77%微涨到78%,token消耗从17.9万暴涨到153万;每16步检查一次,成功率涨到83%,但token消耗飙升到232万。
这个结果说明了一件事:更频繁的监督确实能换来更好的结果,但代价是指数级增长的计算成本。这就像公司里的管理层,如果事事都要向上级汇报请示,决策质量可能更稳妥,但沟通成本和时间成本会指数级上升,最后反而拖慢了整体效率。NavGPT-3选择了一种更聪明的做法,让规划器只在关键节点介入,其余时间完全信任执行层自主运作。
论文还展示了几个真实的失败恢复案例。比如在一次R2R-CE的测试里,Claude Opus 5发现动作策略已经走过了指令里提到的走廊桌子,一路走进了卧室,它判断出这是"超调",于是调用工具沿原路返回8.54米到之前记录的节点,再向前走1.2米验证自己确实"刚好经过桌子"的状态,然后才停下。这种"发现错了就回头纠正"的能力,正是依靠运行时提供的"返回到任意记录节点"这个工具实现的。
写在后面
读完这篇论文,我印象最深的不是那些刷新纪录的成功率数字,而是那个关于GPT-6 Astra和Claude Opus 5表现差异的发现。
一个更聪明的语言模型,在引入动作策略之后反而成绩下降了。这打破了我原本以为"模块越强、组合效果越好"的直觉。事实可能恰恰相反:当某个组件已经足够胜任某项工作时,给它配上一个执行层,反而可能因为需要额外花精力去监督纠正而拖累整体表现。这提醒我们,系统设计不是简单的叠加,强强组合有时候会互相拆台。
另一个让我反复琢磨的细节,是那个"等动作完成再切换权限"的设计。这个看起来微不足道的工程细节,实际上解决的是一个极其根本的问题:多个智能体同时存在时,如何避免"半成品决策"互相冲突造成的混乱。这种思路或许能迁移到很多其他涉及多主体协同的系统设计里,不只是机器人。
论文里也留了一些没有完全解决的问题。比如那个"频繁检查效果好但成本爆炸"的矛盾,论文提到真正的解法应该是"事件触发式"的监督,而不是固定周期的巡检,但这部分论文只是提出了方向,没有给出完整的实现和验证。这大概是下一篇论文该解决的事情了。
Q&A
Q1:NavGPT-3是什么?
A:NavGPT-3是一套将大语言模型推理能力和动作执行模型结合起来的机器人导航系统,通过类似操作系统的运行时来协调"思考"和"行动"两个部分,让机器人既能理解复杂指令,又能快速反应环境变化。
Q2:NavGPT-3的导航效果有多好?
A:在RxR-CE基准上,NavGPT-3的成功率达到90.43%,几乎与人类向导者的90.4%持平,是第一个在连续环境导航任务上追平人类水平的自主系统,而且完成任务只需1分22秒,比人类的3分钟快得多。
Q3:为什么要把语言模型和动作模型分开设计?
A:因为语言模型推理能力强但反应慢,每次决策要3到19秒,而真实环境变化不等人;动作模型反应快但不够聪明。分开设计后系统反应速度提升到0.5到1秒一次,兼顾了智能和速度。



