华为诺亚具身智能团队The North Star凭借HiPhys-RSI方案,在BEHAVIOR-1K Challenge 2026 国际具身智能挑战赛中从全球 57 支参赛团队中脱颖而出,以绝对优势夺得冠军,在覆盖 100 项家庭任务的隐藏测试中取得约0.683 的 Q-score和48.2% 的完整任务成功率。
本届赛事为第二届挑战赛,依托斯坦福大学李飞飞团队开发的 BEHAVIOR-1K 基准平台,与机器人领域顶级会议 CoRL 2026(11 月 9 日至 12 日)联动开展,围绕整理、清洁等真实家庭需求,综合评测机器人的高层推理、跨房间导航与双臂精细操作能力。
李飞飞本人也在社交媒体发帖称,机器人学习正在取得令人瞩目的进展,并邀请更多研究者关注 CoRL 2026 的 BEHAVIOR Challenge。
与去年相比,2026 年挑战赛在多个维度实现显著跃升:基准规模扩大 2 倍(任务从 50 项增至 100 项、场景从 3 个增至 7 个),参与度提升 3 倍(参赛者从 96 人增至 265 人、参赛提交从 18 份增至 57 份)。同时,最佳完整任务成功率从 12% 提升至 48%,达到上一届的 4 倍。
作为检验具身智能系统综合能力的高门槛 “试金石”,BEHAVIOR-1K 聚焦长时序任务,与侧重场景泛化的 Robodojo 并列 T0 级具身智能榜单。相较于短时抓取和单一技能评测,该挑战要求机器人依靠机载视觉、深度及本体感知信息,在数分钟级长时序任务中连续完成多物体交互、状态变化处理与多技能协同,对任务规划、感知与动作协同及执行稳定性提出严苛要求。
https://mp.weixin.qq.com/s/62JaH3cWCq03P2YJYB6M0g
12 个任务成功 rollout
要应对这类长时序、多技能协同的复杂挑战,当前业界仍主要沿用 AI 领域最熟悉的 Scaling 路径,即更大的模型、更多的数据、更高的计算投入。
AI 发展中还有另一条能力增长路径:积累知识、规则和操作流程,让系统掌握可推理、组合和执行的方法。早期符号 AI 长期探索这一路径,机器人领域也积累了丰富的感知、规划与控制工具。
当大模型已经能够编写程序、使用工具,并根据执行结果修改方案,这两条路径之间,是否出现了新的连接?
团队在冠军方案技术报告《Scaling by Structure: What Forms Can Scaling Take in Embodied AI?》中,提出了一个更广义的 Scaling 问题:具身智能能否通过构建和改进结构化、可执行的知识与技能,持续扩展能力?
这项工作将可执行程序及其背后的工具、约束和经验,作为能力积累的载体。编程智能体构建、检验和改进这些结构,机器人通过它们完成任务,产生的轨迹又支持视觉 — 语言 — 动作模型(VLA)训练。
让 “系统掌握了多少可执行技能”,也成为具身智能能力增长的一个维度。
经典机器人方法,如何走向可扩展的知识体系?
机器人领域已经拥有大量有效方法。几何推理处理空间关系和碰撞,SLAM 支持定位与建图,任务与运动规划连接逻辑决策和动作可行性,反馈控制不断纠正执行误差。
这些方法各有适用条件。用于不同任务和环境时,需要组织信息流、连接模块接口、设计操作顺序,并根据物体几何和场景约束调整策略。场景变化后,原有流程可能需要新的抓取方式、动作顺序或恢复机制。
这也构成了结构化机器人系统扩展能力时的关键瓶颈:随着任务增加,构建和维护解决方案所需的人工投入也在增长。
编程智能体提供了自动化承担其中一部分工作的可能。它可以读取执行日志、分析视频、定位失败、修改工具与程序,再运行验证。有效的改进被保留下来,成为后续任务可以调用和调整的知识。
由此,泛化也多了一层含义:系统可以利用已有工具和经验,为新任务构建、适配解决方案。
这种能力的扩展潜力,既取决于覆盖的任务数量,也取决于每增加一项任务所需的工程与交互成本。报告通过实验考察了这两方面。
HiPhys-RSI:把交互经验变成可执行结构
团队提出 Hierarchical Physical Recursive Self-Improvemen (HiPhys-RSI),即分层物理递归自我改进框架。它以参数冻结的编程智能体及视觉语言模型(VLM)为基础,在训练实例中构建并改进自主执行的机器人流水线。
图 1|HiPhys-RSI 总体框架。智能体通过任务体验、程序构建、执行分析和迭代改进积累可执行知识;推理时根据任务条件选择已有流水线或 VLA 策略。(报告图 1)
首先,智能体阅读任务说明与参考示范,并通过工具调用获得交互经验:哪些操作有效,步骤之间有哪些依赖,什么样的观测能够说明任务取得进展。
随后,这些经验被组织成程序。感知输出如何用于规划、控制器何时执行、失败后如何处理,都通过明确的信息流和条件逻辑连接起来。构建完成的流水线可以根据自身的检查和分支逻辑自主执行。
执行结果再进入下一轮分析。日志说明程序调用了什么,视频揭示物理世界实际发生了什么:轨迹执行完毕,物体是否真的移动到位?抓取指令返回成功,物体是否仍然留在桌面?智能体结合这些证据,定位需要修改的模块和策略。
改进既可以发生在高层的工具选择、步骤编排和恢复逻辑,也可以深入到底层工具实现。构建阶段还可以引入人工纠正,为复杂问题提供指导。经过验证的程序与经验被保留,并能够作为后续任务的可复用组件。
https://mp.weixin.qq.com/s/62JaH3cWCq03P2YJYB6M0g
同一案例的真实迭代记录,包含失败现象、修改内容和再次执行结果;注明人工参与环节。
在这一过程中,编程智能体和 VLM 的参数保持冻结,改进存储在可执行程序和结构化知识中。最终系统通过能力卡记录各流水线和 VLA 的适用条件、历史表现及已知困难,在推理时选择合适的执行组件。
从工具,到流程,再到可以复用和组合的流程,结构化知识得以逐层积累。
100 项家庭任务,比较两种能力增长方式
团队在 BEHAVIOR-1K 的复杂家庭仿真环境中研究这条路径。评测覆盖 100 项任务、八类能力,涉及移动取物、摆放与分类、精细操作、工具使用、倾倒、设备操作以及物体加工。
这些任务需要持续协调感知、决策和动作。找到目标后能否接近,抓稳物体后能否搬运,完成一步后能否继续下一步,都会影响最终结果。
团队以 2025 年 BEHAVIOR Challenge 冠军方案为基础,适配并比较三组 VLA 设置:在全部 100 项任务的示范数据上联合训练一个 epoch(Meta-1-Epoch);从该检查点出发进行逐任务后训练(Per-Task Post-Training);以及在相同的全任务示范数据上联合训练两个 epoch(Meta-2-Epochs)。一个 epoch 指完整遍历一轮训练数据。
逐任务后训练将基准示范与程序生成的轨迹混合,为每项任务训练独立策略,并引入深度、相对机器人位置的几何信息等三维输入。因此,其效果同时涉及任务适配、数据补充与表征变化。三组 VLA 既作为单独执行任务的对照,也作为最终系统推理时可选择的策略。
图 2|三组 VLA 与 HiPhys-RSI 的 100 项任务表现对比。每根径向柱代表一项任务得分;A–H 依次对应移动取物、一般摆放、匹配放置、精细操作、工具使用、倾倒、设备操作和物体加工。(技术报告图 2)
在报告的实验中,HiPhys-RSI 最终混合系统在几乎所有任务上取得了高于所比较 VLA 方案的得分,优势覆盖全部八类任务。
不同 VLA 设置体现了训练方式的作用。在当前配置下,额外一个 epoch 的全任务联合训练带来的增益相对有限;逐任务后训练提高了部分任务表现,但各类别的能力强弱分布总体仍然保留。这些结果反映的是本次实验条件下各配置的表现。
结构化系统则通过显式分工处理这些任务要求:感知与建图模块提供场景信息,程序组织任务逻辑和约束,专门的规划与控制方法完成动作。编程智能体根据反馈调整它们的组合与实现,使已有机器人知识能够适应更多任务条件。
实验将 Scaling 的讨论扩展到整个系统:训练如何增加策略能力,结构又如何组织和扩展已有能力。
结构如何 Scale:从能力组合,到策略发现
最终得分之外,一个更关键的问题是:结构化知识的增长过程是什么样的?
图 3|流水线改进过程。左:整体任务得分随迭代变化;中:各任务需要的迭代次数;右:不同技能在流水线中的使用频率。(报告图 3)
报告中的曲线呈现出三个阶段:早期快速提升,随后进入平台期,再通过持续探索取得一定增益。
早期增长主要来自能力组合。许多问题可以通过修正工具配置、执行顺序和模块协同解决。原本已经具备的能力被有效组织起来,系统便能覆盖大量任务。
当这些问题逐渐解决,剩余任务需要更深入的策略探索。继续调整原有方案的参数,收益可能已经有限;新的进展开始依赖不同的接触方式、准备动作和操作顺序。部分后期增益来自发现参考示范中没有出现的、更稳定的操作办法。
https://mp.weixin.qq.com/s/62JaH3cWCq03P2YJYB6M0g
Task 38,优先提供原策略与改进策略的真实对照,突出接触方式、准备动作和操作顺序的变化。
平台期因此可能标志着改进方式的变化:从把已有能力接好,走向探索新的解法。
结构化 Scaling 因而同时涉及通用能力的复用,以及特殊瓶颈的突破。覆盖更多困难任务所需的投入,可能比任务数量增长得更快,如何分配改进预算也随之成为重要问题。
结构能否迁移,进一步改进又受什么限制?
隐藏评测检验程序能否迁移到开发之外的新实例。多数任务的 Q-score 有所下降,其中大部分降幅低于 0.2;部分任务保持相近表现或取得更高得分,体现出一定的跨实例迁移能力。这里考察的是已知任务在不同初始条件下的表现。
图 4|隐藏评测与此前报告的 Q-score 之差(Qhidden − Qreported)。每根柱对应一项任务;正值表示隐藏评测得分更高,负值表示下降。(技术报告图 5)
较大的降幅主要出现在依赖目标搜索的任务中。物体初始位置变化、遮挡和难以接近的区域,都可能显著增加搜索与操作成本。部分任务的评分条件较少,甚至采用二元评分,单个条件未满足就会造成较大的得分变化;每项任务仅有 10 个测试实例,也带来一定采样波动。
失败模式揭示了进一步改进的瓶颈。在 VLA 基线的失败类型排序中,抓取与放置位居前列;HiPhys-RSI 中排在前列的则是抓取与超时,放置、关节物体操作和物体掉落的排序相对靠后。
图 5|失败模式对比。柱内数字表示该模式在各方法中的频次排名。抓取仍是共同难点,HiPhys-RSI 中超时和导航问题也较突出。各类别并非互斥,同一次执行可能出现多个失败模式。(技术报告图 6)
目标藏在不可见的位置,或者通道与操作空间过于狭窄时,反复搜索和规划会持续消耗执行预算。代码改进仍然受到当前感知能力、搜索策略、物理可达性和执行时间的限制。这说明,结构的积累可以解决许多协调与执行问题,而持续增长也需要进一步改善这些底层能力与环境交互方式。
新的操作策略,怎样成为系统知识?
具体案例展示了结构化知识的内容。通过智能体提出方案与人工引导改进,系统形成了一些适应不同任务的操作方式。
图 6|程序构建与改进中形成的操作策略。上排:木头支撑几何调整、喷壶预处理;中排:锅沿抓取、扫描仪操作与移动;下排:借助盒子支撑纸袋、从车斗前沿搬运独轮车。木头任务也用于后文的评测漏洞分析。(技术报告图 7)
锅柄难以接近时,机器人抓住近侧锅沿,保持锅体水平,再将其搬到炉灶上。独轮车把手被阻挡时,机器人从车轮一侧接近,以双手抓住前部车斗边缘完成搬运。
喷壶直立时难以抓取和启动,系统先改变其姿态,再从更合适的方向操作。外卖打包时,机器人先将空纸袋立在盒子里,再放入汉堡,利用环境支撑降低操作难度。扫描仪则可以先在桌面上启动,再根据位置条件选择推移或抓取搬运。
https://mp.weixin.qq.com/s/62JaH3cWCq03P2YJYB6M0g
https://mp.weixin.qq.com/s/62JaH3cWCq03P2YJYB6M0g
Task 81 & Task 92,展示准备动作、操作顺序与最终效果。
这些经验包含接触点选择、物体状态调整、环境支撑利用和动作顺序安排。它们被写进程序后,可以在自主执行中再次使用。
更广的策略,也会暴露任务评分中的缺口。在堆木头任务中,系统将木头组成独立的配对,满足了接触条件,却没有形成预期的木堆,是较典型的评测漏洞利用。另一个案例是在冰箱内直接切食物:它获得部分分数,却未完成后续转移目标,其行为既可能是有效中间步骤,也可能停留在获取容易分数的阶段。
图 7|策略探索暴露的评测问题。左:用独立木头配对满足接触条件;右:在冰箱内切食物获得部分分数,但未完成后续目标。(技术报告图 8)
这些观察也推动了对评测的反思:成功条件需要准确表达任务意图,同时保留合法替代方案的空间。系统能否自行判断阶段进展与任务完成,以及判断的准确性和时延,也值得作为独立能力进行评估。
让结构化经验与模型训练连接起来
程序改进产生的经验,还可以通过执行轨迹进入模型训练。
团队将流水线生成的观察 — 动作序列与基准示范混合,用于逐任务 VLA 后训练。程序探索中形成的操作方式与协调经验,由此成为学习策略可以利用的数据;训练得到的策略又与已有流水线一起,参与推理时的选择。
这为结构与策略的进一步协同演化提供了基础:更强的策略可以扩展后续系统构建时可用的能力,持续改进的流水线则可以继续产生训练经验。这种双向过程仍是值得深入探索的后续方向。
这份技术报告进一步提出:具身智能的能力增长,能够以多少种形式发生?
模型训练让经验进入参数,程序构建让经验成为可执行知识。编程智能体连接二者,使机器人领域积累的工具和方法能够通过自动化构建、验证与复用,服务于更广泛的任务。
Scaling by Structure 所探索的,正是这一维度:通过持续积累和改进结构化、可执行的知识,扩展整个具身系统的能力。
核心相关技术
Jinbang Huang, Zhiyuan Li, Yuanzhao Hu, Ran Qi, Yixin Xiao, Mark Coates, Tongtong Cao, Zhanguang Zhang, and Yingxue Zhang. RoboHarness: Memory-Driven Orchestration of Heterogeneous Robot Policies for Long-Horizon Planning. arXiv:2607.18060, 2026. ECCV 2026 Agent in the World Workshop Best Paper Award.
Ran Qi, Yixin Xiao, Dawei Wang, Zhiyuan Li, Jinbang Huang, Xuan Zhao, Yintao Ma, Yangzheng Wu, Tongtong Cao, and Yingxue Zhang. RoboCoEvo: Expanding Robot Capabilities through Agent–Policy Co-Evolution. 2026. Preprint.
Liheng Ma, Rui Heng Yang, Amin Abyaneh, George Z. Xue, Behnam Rahmati, Mateo Clemente, Ziwen Hu, Anlin Chen, Tongtong Cao, Zhanguang Zhang, and Yingxue Zhang. Faster-WAM: Do World Action Models Need Deep Action Modules? arXiv:2608.02365, 2026.
Jinbang Huang, Zhiyuan Li, Yuanzhao Hu, Zhanguang Zhang, Mark Coates, Xingyue Quan, and Yingxue Zhang. Self-CriTeach: LLM Self-Teaching and Self-Critiquing for Improving Robotic Planning via Automated Domain Generation. International Conference on Machine Learning (ICML), 2026.
Jinbang Huang, Yuanzhao Hu, Zhiyuan Li, Ran Qi, Yixin Xiao, Yangzheng Wu, Tengyue Ba, Zhanguang Zhang, and Yingxue Zhang. StageGuard: Learning Stage Transitions for Long-Horizon Robot Tasks via Agentic Distillation. arXiv:2609.20791, 2026.


