判据是能完成任意用语言或图文给定的任务。这个集合里既有从 A 到 B 的常规导航,也有现场定义的、更细粒度更开放的任务。关键在于后者在训练时无法穷举——所以不能靠枚举任务类型来解决,只能靠泛化。
GPT-3 的分水岭意义不在于某个 benchmark 更准,而在于 few-shot in-context learning 第一次稳定呈现: prompt 里给两三个例子,它就能执行从未为其微调过的新任务。one-shot 平均准确率约 45%,few-shot 约 65%——数字不高,但「教它」的成本从数万步梯度塌缩到几秒钟打字。
更值得注意的是 ChatGPT 被广泛认可的原因: 人们可以通过 prompt 定向地、few-shot 地调整它,使它执行任意下游任务。当时「prompt engineering」成为一个专门说法,本身就说明这个技术是可被调整的。
反过来想更清楚: 如果它只能做一个 chatbot,只能和人聊天,没办法被定制到任意角色或任务上,它的成功不会被这样认可。可定制性——而非对话质量——才是它被视为突破的原因。
同样的逻辑迁移过来: 一个移动机器人只会执行预设的几类导航任务,即使每类都做得很好,也不构成 GPT-3 时刻。它必须能被现场指定训练时没有枚举过的任务。
一个反例足以说明差距: 一个只会 A-to-B 的机器人,即使在陌生楼里成功率很高,你也没法让它「贴着右墙走」「绕着这几个桶蛇形前进」「按我照片上画的红线走」。它有自主性,但无法被现场定义任务。
一个具体观察。带孩子参加体能运动时,老师教小孩子走路线的方式是:
先带孩子看一遍路线、告诉他每一步应该怎么走,然后让孩子独立完成。
这里只有两步: 演示与讲解合在一起是一步(老师边走边说,演示和语言是同一个信息包),然后是孩子独立执行。
关键在于: 孩子没有「训练」。他没有练一百遍,没有梯度更新,看了一遍听懂了就能做。这正是 in-context learning。而且这件事对人类来说很简单——这才是要害。一个五岁孩子做得到的事,当前的移动模型做不到。
因为这类任务对人类是简单的,所以任何一个普通人随口提出的走法或任务,模型都应该能执行。这比「成功率 X%」更本质——成功率是在固定任务集上度量的,而这里要度量的恰恰是「任务集之外」的能力。
要追求的是两种能力,不是一种取代另一种。第一种是常规导航任务,有若干基本形式,不属于 in-context learning。第二种是 in-context learning: 用语言与图文现场定义任务,带即兴成分。第二种建立在第一种之上——递进,不是并列或替代。
这类任务有明确的、可枚举的基本形式:
这些是移动智能的基本功。它们可以被穷举、被单独训练、被逐项评测。它们不属于 in-context learning——每一类都是预先定义好的任务类型,模型见过这类任务的训练数据。
用语言或图文在现场定义一个具体任务,而这个任务在训练时未被枚举:
这类任务的特征是带即兴成分——就像具身操作领域里的即兴行为。它不是从预设任务库里选一个,而是根据当场的物体、约束、目标临时组装出一套行为。
其他例子: 「贴着右墙走到尽头」「按照片上这条红线走」「绕开中庭从侧廊过去」「跟着我走,但保持三米距离」。
能力二依赖能力一。即使任务是现场定义的,执行它仍然需要底层的避障、路径规划、定位、地标识别——这些都由能力一提供。in-context learning 提供的是「任务如何被指定」的灵活性,不是「如何移动」的能力。
反过来,能力一不蕴含能力二: 一个把五类常规任务都做到很高成功率的系统,面对「蛇形绕桶」依然束手无策,因为它的任务表达里没有这个概念。
| 能力一 | 能力二 | |
|---|---|---|
| 任务来源 | 预定义的类型 | 现场用语言/图文定义 |
| 训练时可否穷举 | 可以 | 不可以 |
| 失败模式 | 做不好 | 无法理解 / 表达不出来 |
两者都重要。能力一决定它能不能用,能力二决定它是不是智能。商业上先需要能力一(闭环的起点),但 GPT-3 时刻的标志是能力二。
下表列出目前能想到的十种 context 形态。它们之间没有递进关系,这个分类也几乎肯定不完备——真实世界里人给指令的方式远比这个列表丰富。列表的目的不是穷举,而是说明输入通道需要有多宽。
| 形态 | 例子 | 要求的核心能力 |
|---|---|---|
| 已在近期工作中出现 | ||
| 演示 | 带着它走一遍这条路线 | 从 sensorimotor 序列反推任务意图。信息量最大——同时含空间路径与时序节奏。GEN-1.5 的 physical prompting 即此类,体能课老师用的也是 |
| 宏观语言指令 | 「先往左走,看到电梯后向右转」 | 把语言里的语义地标 ground 到实时观测,维护「走到第几步」的进度状态。注意与常规导航的区别: 这里指定的是路径序列而非目标,终点对但走法不对即失败 |
| 微观语言指令 | 「以蛇形走位在这几个桶中间迂回,到消防栓折返,完成一轮」 | 理解抽象运动模式、任务结构词汇(折返/一轮)、把消防栓识别为功能性地标。特点是没有目标点,翻译不成坐标。这只是 instruction following 的一种粒度,不代表更高级的智能 |
| 图像 / 图文路径 | 照片上用红线画出路线 | 三重难关: 区分「红线是指令」而非场景内容(元认知)、2D 曲线映射为 3D 自身路径、处理拍摄视角与当前视角的差异 |
| 实时多模态交互 | 边走边说「左转」「这里走 S 弯」 | 难点在时序而非语义: 指令与观测的时序对齐(现在还是下个路口)、打断与覆盖、1 秒内的响应延迟。对应的其实是 ChatGPT 时刻而非 GPT-3 时刻 |
| 尚未见到系统性工作 | ||
| 第三方视频演示 | 给一段别人或另一台机器人执行任务的视频 | 比亲自带走更难: 视角完全不同,需要更强的跨视角迁移与「他者动作 → 自身动作」的映射 |
| 抽象示意图 | 手绘草图、平面图、箭头标注 | 缺少纹理与真实外观线索,只能从拓扑结构去理解并对齐到真实空间 |
| 负例与禁止 | 「别走这边」「不要靠近那个门」 | 约束型表达,与「做什么」是不同的信息类型。需要在保持目标不变的前提下重新规划 |
| 类比与历史引用 | 「像刚才那样但慢一点」「用你上次走的那条路」 | 依赖对自身历史行为的可检索表示,以及在其上做修饰性调整 |
| 混合与追加 | 语言 + 图像 + 演示混着给;执行中途追加新约束 | 多模态 context 的融合与冲突消解;已开始执行后接受增量约束而不重启任务 |
不追求把这个列表补全。真正的判据回到第一部分: 任何一个普通人随口给出的指令形式,它都应该能接受。如果需要用户学习「支持哪几种指令格式」,那就还没到 GPT-3 时刻。
分层原则是「换一个环境、换一种任务要付多少代价」。L0–L1 是能力一的逐步完善,L2 是能力二的出现,L3 是它作为系统的可靠性。行业主流产品在 L0,研究前沿在 L1 并开始触碰 L2。
含两种形态: 固定路线(标注路径点),以及图内自由导航(已建图区域内自主规划、动态避障)。共同前提是地图必须先建好、语义目标需人工绑定坐标,换场地要重新部署。今天的商用送餐、酒店配送机器人都在这一层。适配成本: 数天到数周现场工程。
能力一的五类基本形式都能做: 跟人、寻物、跟随地图、漫游、目标明确的指令跟随。能读门牌路牌,能自主规划含楼层切换的路线。但只能执行预定义的任务类型。
能接受现场用语言、图文、演示定义的单个任务并零训练执行,包括训练时未枚举的任务。适配成本趋零——不只是换环境不花钱,是换任务也不花钱。
不是单个任务做得更稳,而是作为一个系统可靠: 多任务连续切换、长链条串联不中断、途中完成交互(按电梯、开门、取放、交接)、连续数小时到全天无人接管、异常后自恢复。参考量级: 单步 90% 在 20 步链条上只剩 12%。
室内外贯通,与人车协商通行,处理施工绕行与突发人流。核心是社会性而非导航。
为什么 L2 是门槛: L0 到 L1 每一层都还需要为新环境付出成本,进展本质是工程量的减少。L2 是质变——边际成本从「有」变成「几乎没有」,而且新增了一整个维度(任务可现场定义)。这与 GPT-3 的意义同构: 不是能力清单变长,而是获得新能力的方式变了。
这两层是否该合并值得说清。如果 L3 讲的只是「单个任务做得更可靠」,那它不该独立成层——那是 L2 的正常迭代,任何能力刚出现时成功率都低,提升可靠性是同一件事的延续,不构成新维度。
所以这里把 L3 定义为系统级能力: L2 关心的是一个现场定义的任务能否被理解和执行,L3 关心的是大量任务连续切换、长链条串联时整个系统是否可靠。两者的失败模式不同——L2 的失败是「听不懂 / 做不出来」,L3 的失败是「单项都会,但连起来跑两小时就崩了」。后者需要的是任务调度、状态维护、异常恢复、跨任务的一致性,不是把某一项做得更准。
两者都被归在具身智能之下,但难点分布几乎是错开的: 操作的难点集中在物体与材料,移动的难点集中在空间与语义。这意味着尽管操作和移动常常共享研究范式，研发的细节上可能有比较大的差别。
| 维度 | 操作智能 | 移动智能 |
|---|---|---|
| 任务多样性 | 高。要面对的物体种类极多,每种物体的抓法、受力、形变都不同 | 基本形式少(跟人、寻物、跟随地图、漫游、指令跟随),但现场定义的开放任务把总量重新推高 |
| 场景多样性 | 更偏室内。桌面、料理台、货架,布局变化有限 | 室内外都要覆盖。楼宇、园区、商场、街道,叠加天气、时段、人流密度,几乎无上界 |
| 核心理解对象 | 物体与材料: 刚性/柔性、摩擦、重量、接触点 | 场景与语义: 空间如何组织、路怎么走通、标识在说什么 |
| 文字标识 | 基本不需要 | 硬需求。门牌号、楼层指示、指向牌、临时公告,读错就到不了 |
| 规划长度 | 短程。子步骤之间耦合紧,但整体链条不长 | 长程。含楼层切换、区域穿越、多个中间节点 |
| 任务时长 | 数十秒到数分钟 | 十几分钟甚至更长 |
| 空间尺度 | 厘米到米 | 百米到公里 |
| 精度要求 | 高。毫米级,抓偏一点就失败 | 低。厘米到分米级足够 |
泛化压力的方向是反的。操作的泛化压力来自物体——同一张桌子上换个杯子就是新问题。移动的泛化压力来自空间——同一个任务换一栋楼就是新问题。两者都要泛化,但要跨越的东西不同,这直接决定了数据该往哪个维度堆。
任务多样性这一栏有个反转。只看基本形式,移动的任务种类确实比操作少得多——操作面对的物体几乎无穷,而移动的基本形式可以列完。但把现场定义的开放任务算进来就变了: 「蛇形绕桶」「贴墙走」「按红线走」同样没有上界。所以真实的对比不是「移动任务少」,而是多样性的来源不同——不来自物体的物理属性,而来自人可以怎样描述一次行进。
大尺度与长时程叠加,改变了理解的对象。操作在米级空间、数分钟内完成,要理解的是眼前物体的物理属性。移动跨越百米以上、持续十几分钟,要理解的是空间如何组织、路怎么走通、标识在说什么——其中文字标识是硬需求而非加分项: 门牌号读错就到不了,楼层指示看漏就上错楼,而且这些字往往带着反光、遮挡、模糊、手写、临时贴纸。这是操作领域完全不会遇到的一类问题。
要追求的是人类的、各种各样的、多样的轨迹与任务数据。因果链很直接: 数据多样 → 可标注出多样的 instruction → 模型能输出多样的轨迹。数据本身不多样,就支撑不出多样的输出。
| 维度 | 内容 |
|---|---|
| 场景 | 不同建筑类型(写字楼、商场、住宅、医院、地铁站)、天气、时段、人流密度。近期文献的结论是 Diversity > Scale——同场景的大量数据价值远低于跨场景的多样数据 |
| 任务 | 不只 A-to-B。要有回路巡逻、绕障模式、折返计数、路径约束(不许坐电梯/避开正门)、跟随引导、搜索。这些在现有移动数据集里几乎全部缺失,因为采集时的任务定义就是「从这走到那」 |
| 轨迹 | 同一起终点的多种走法: 最短路/绕远路、快速/谨慎、贴边/走中间、避开人群/直接穿过、礼让优先/效率优先 |
后两个维度决定能力二的上限。instruction 是从数据里标出来的——数据里有一条人贴着右墙慢慢走的轨迹,它才能被标注成「贴右墙、慢速」,成为一条可训练的 instruction-行为对。数据里全是最短路,「贴墙走」这个指令就永远无法被理解。
这是关于数据规模最重要的一条认知,值得单独展开。
当数据量足够大时,会出现非常多合理但罕见的轨迹。这些轨迹不是噪声,不是需要被过滤的异常——它们本身就是智能的一部分。
关键在于: 我们当前可能根本没有办法想象某些轨迹会出现。但在那个特定的情况下,就是需要那样做才是合理的。一个人在真实场景里遇到某种从未预料的局面,他当场做出的那个反应——那才是最有价值的数据,恰恰因为它无法被事先设计。
模型的即兴能力,实际上就是这批数据带来的。人在实际任务中确实会遇到各种各样的情况,那时候就需要自由发挥——这些自由发挥的片段,是整个数据集里最有价值的部分。
这也解释了为什么能力二不能靠「设计更多任务类型」来获得: 即兴的本质是应对没被设计过的局面。只能靠真实数据的规模与多样性把这类片段自然地捞进来。
对于确实极端罕见的行为模式,可能还需要针对性地专门采集来拓展数据边界。具体以什么方式做,目前还没有想好——这是一个需要单独设计的问题。
让你的数据都是摆拍的轨迹,他自然就学出来一个摆拍的轨迹;面对真实场景的时候,他可能就做不出来这个动作。
黄青虬,《具身是一场马拉松》
他指出的行业问题: 虽然已用上无本体采集(手套、头环),但仍在数采场摆拍——专业采集员做出「擦桌子」的动作而非真的为了擦干净,轨迹会变形。
对移动智能的翻译: 采集「人在真实建筑里真的要去某个地方」的轨迹,而不是让采集员在空场地走预设路线。前者包含犹豫、抬头看标识、走错回头、等电梯、避让行人——而这些正是罕见轨迹与即兴反应的来源。真实性与多样性在这里是同一件事,不是两个需要平衡的目标。
无本体采集是趋势。路径是遥操作 → 夹爪 → 手套 → 只戴头环拍第一人称视频,综合效率提升 10 倍以上。移动智能的对应物是头戴相机 + IMU,让人戴着走遍各种建筑。人类数据可以直接用——GEN-1.5 已证明人在机器人视野里用自己的手演示,机器人能用自己的手复现。
部署回流是主引擎。已部署机器人的轨迹、观测、决策自动回流。这条路的可行性有一个重要前提被验证过: 次优数据不必丢弃,给它标注上「低质量/低速度」这类 metadata 后照样能入训,而不会教坏模型。这是从 L0 到 L2 的主要数据来源。
仿真用来生成 context,不是用来训练。危险或罕见的走法可以在仿真里安全地「演示」,作为 physical prompt 使用,而预训练不需要含仿真数据。
不做一次性技术攻关,而是跑闭环: 选一个能接管的真实场景低水平进场(人工兜底)→ 回流真实数据 → 深化模型 → 扩大接管范围。核心命题: 选场景 = 选数据 = 选模型能力边界,场景选择是技术决策而非商业决策。
这是循环而非瀑布,每一圈同时产出商业收入和训练数据。这也意味着第一圈的技术水平可以很低——低到只能做一件事,只要那件事能进场、能回流数据。
选场景 = 选数据 = 选基础模型能力。做很专用的活,很难训出通用智能。
黄青虬
| 标准 | 含义 |
|---|---|
| 与终局同构 | 能力要求要和最终目标场景相似,否则数据训不出通用能力。允许绕路,不允许走死路 |
| 可分阶段进入 | 哪怕只完成任务里的一个子环节,也能先进场景开始回流数据 |
| 数据能回流 | 隐私、合规、技术上都允许把真实轨迹拿回来训练 |
一号营地: 办公楼 / 园区内勤。楼层结构、电梯、走廊、门牌与所有室内移动场景共享核心能力;从「固定两点送文件」起步可逐步扩展;企业场景合规相对简单。额外优势是这里天然产生大量现场定义的任务需求——「东西在我工位左边第二个柜子」「走后门别经过前台」这类话每天都有人说,能力二的训练数据在这里自然产生。
二号营地: 酒店 / 商住公寓。对移动智能的价值是 A 点不确定但 B 点确定(布草间到任意房间),且楼层导航 + 门禁交互 + 与住客共处三件事同时存在。数据在保护隐私前提下可回流,而家庭数据几乎无法回流。
三号营地: 医院内物流。时效强、路线复杂、人工成本高,付费意愿明确。但合规门槛高、容错低,适合模型已有相当可靠性后再进。
终局: 开放环境配送。街道、跨楼、最后 100 米。技术要求 L4,法律与安全责任框架尚是空白。顺路但很远。
机器人节拍与成本目前不如人,但不需要 100% 替代——节省保洁员 30% 的时间,酒店就能从 10 个保洁员变成 7 个保洁员 + 3 个机器人。
黄青虬
翻译过来: 不需要机器人能处理所有请求,只要能吃掉最高频最简单的那 30% 就有商业价值。剩下 70% 交给人,同时这 30% 持续产出数据。
配套的是先量化瓶颈的方法: 「人戴上夹爪在酒店能干 70% 的活,但算法干不到 5%——所以瓶颈不在执行器」。移动智能应做同样的量化: 人推着同样的底盘能完成多少,模型能完成多少?我的估计是人推着底盘能完成约 95% 的楼宇配送任务,当前模型在陌生楼里不到 20%。瓶颈明确在模型,不在硬件。
移动智能的 GPT-3 时刻是能完成任意用语言或图文给定的任务: 既包括常规导航的几类基本形式,也包括现场定义、训练时无法穷举的开放任务。两种能力是递进关系——能力一决定它能不能用,能力二决定它是不是智能。
2026 年具身领域的进展已经证明了两个前提: 演示可以直接作为 context 使用并零梯度执行,多模态 prompt 可以指定「怎么做」而不只是「做什么」,而且即兴行为确实能从大规模预训练中涌现。缺的是把这些扩展到移动这个更大的状态空间,并打通「路径与风格指令」这个输入通道。
路径上最关键的认知是: 能力二来自数据多样性,而多样性里最有价值的部分——那些合理但罕见的轨迹、那些人在意外局面下的自由发挥——无法被设计,只能靠真实场景的持续回流自然获得。而回流需要先低水平进场。所以这不是「先攻关技术再商业化」,而是「用商业闭环养技术」。这也是为什么场景选择是技术决策: 你选的场景决定了能拿到什么轨迹,轨迹决定了能标出什么 instruction,instruction 决定了模型最终能被怎么指令。
时间判断: 如果闭环在 2026–2027 启动,能力二的初步呈现在 3 年内是合理预期,L3 的系统级可靠性还要再 2–3 年。移动智能有机会成为具身智能最先规模商业化的分支——需求面更广(每栋楼都是场景),技术要求更窄(不需要解决灵巧操作)。