2026 年 09 月 05 日
和 Generalist 研究员 Yanwei(Felix)聊聊 GEN-1:机器人 GPT-3 时刻的判断、数据观、Harness Layer 与 Steerability
#AI 总结
节目:许华哲Harry(Bilibili)
嘉宾:Yanwei(阎伟 / Felix),Generalist AI 研究员,MIT CSAIL 博士(导师 Julie Shah,方向 Human-Robot Interaction 与机器人 steerability)
时长:34 分钟 · 发布:2026-04-25
来 源
许华哲Harry · Bilibili:https://www.bilibili.com/video/BV1eao9BJEJS/
本报告由音频转写(whisper 自动识别)后按金字塔原理整理 · 引用时间戳为音频原片时间
—— 金 字 塔 结 构 ——
顶层结论 · 一句话
GEN-1 的历史意义不在“把专项任务做可靠”,而在 generalism(通用性)、快速学习、灵巧即兴三重火花的同时出现;Generalist 的真正护城河是“一流模型 + 一流系统 + 一流的人”三位一体支柱一 · 能力判断
“机器人 GPT-3 时刻”的判定标准是 sparks of genius:能快学很多不同的事(generalism + 速度),以及 dexterity improvisation——而可靠性本身只是 specialist 水平,不构成火花支柱二 · 系统观
GEN-1 是一个 system 而非单一模型:50 万小时数据之上还有 harness layer(经典机器人学 + 低延迟推理栈);一流系统加一流模型,好过让模型用 domain randomization 去迁就二流系统支柱三 · 交互观
Steerability(training-free 的人机交互)是机器人进家庭的必要条件:没有“失败动作”,只有与用户意图 align 与否;且模型越强,steering 越容易支柱四 · 人与组织
人是核心变量:选团队“主要就是跟人”(bold enough + practical minded 的 research taste),温暖文化带来的速度超过 996;机器人做“人不想做的事”而非取代人,具身是一场马拉松01GEN-1 是机器人的 GPT-3 时刻吗?
2026 年 4 月 3 日,Generalist 发布具身基础模型 GEN-1(愿景:Scaling Embodied Foundation to Mastery),宣称在简单任务上做到“精通”并展示 improvisation 能力,对外口径是“达到 GPT-3 水平”。主持人许华哲开门见山:这一定性是否成立?
核心结论
在 Yanwei 看来,GEN-1 带来的冲击不在于把某件事做可靠——那是任何团队堆数据都能达到的 specialist 水平——而在于 generalism、学习速度、灵巧即兴三重火花同时出现。这正是他认可“接近 GPT-3 moment”的理由,但他本人对这一类比刻意保持保守。
判断基准可靠性不构成火花:specialist 任何团队都能做到
GPT-3 时刻的定义因人而异。若标准是“拿来就能用、直接做事”,现在的模型还没完全达到,毕竟仍需通过后训练优化;若标准是“后训练后能可靠完成有用任务”,则确实接近当年的 GPT-3 moment。但单纯把一个任务做到高可靠性,Google 早已用乒乓球场面证明过——那是数据和技术堆到头的必然结果,不是 sparks of genius。
sparks of genius 可能是来自于它可以很快地学会很多的事情……(做一个 specialist)任何一个团队都是能够做到的,这个在我看来可能不是 sparks of genius。 [03:05]
火花一Generalism:出 demo 从“很难”变成“相对容易”
只要 base model 足够强、有很强的学习能力,就可以很快让模型学会一个新技能,并通过不同的 demo 展示出来。出 demo 这件以前很困难的事,现在变得相对容易——这是 generalism 的直接证据。
以前出 demo 是一个很困难的事情,但是现在来说已经相对比较容易,如果你的 base model 比较强的话……展示出来的 generalism 是对我来说非常 impressive 的。 [03:52]
火花二学习速度:50 万小时预训练 + 1 小时后训练
第二重冲击来自“学得有多快”。GEN-1 用 50 万小时预训练,一小时后训练即可达到很高表现——这个数量级的学习效率跃迁,在 Yanwei 看来是“相当大的一个突破”。
还有一个就是有多快地能够学,这个也是让我有一点小小的震撼。 [04:07]
火花三Dexterity improvisation:“像有了一双上帝之手”
观感最强烈的第三点是灵巧的即兴发挥——某些行为让你停下手中的事、震惊地驻足观看。公司早期发布的拼积木视频(人做一次示范、机器人直接模仿)被 Yanwei 列为入职以来最震撼的能力之一。值得注意的是,这条模仿链路是 in-context 的,不含机器人数据——它指向的最终目标是任何人都能对机器人做 in-context learning。
突然之间你感觉它像有了一双上帝之手一样……做一些让你很难停下你手中的事情,然后震惊在那裡去看它的那种行为。 [04:20]
这个是 in context,因为我们最后想实现的目标肯定是 in context learning,就是任何人都可以通过某种方式用这个机器人 in context learning。 [05:07]
悬而未决Harry 的追问:预训练数据对下游任务的“包含程度”
许华哲提出了整个访谈最锋利的方法论质疑:π0.5 微调叠衣服效果好,可能只是因为预训练里叠衣服数据本来就多;GEN-1 若能给出“从未见过 / 见过一点 / 大量见过”的三档任务与新技能学习时间的对照表,会更有说服力。Yanwei 坦承无法详谈,且承认现有论证较弱——他们只能通过展示非常不同的 capability 来间接论证“预训练中刻意挑出这些任务专门训练的可能性不高”;而当任务多到 100~200 个时,这种间接论证“就非常困难了”。开源方面:“有一定的可能性”,但没有时间表。
这个 link 可能比较 weak……如果我们能够展示非常不同的 capability 的话,那 likelihood 就是(预训练中)特地训这个的可能性就会没有那么高。 [06:30]
我觉得有一定的可能性(开源),但我也不好说我们会在什么时刻做这件事情。 [07:07]
02数据观:50 万小时从哪来、意味着什么
GEN-0 到 GEN-1,预训练数据从 27 万小时增至 50 万小时。数据是不是唯一的关键变量?
核心结论
数据量的增长是“非常重要的变量,但不完全”——GEN-1 更应该被理解为一个 system:模型之上还有 harness layer(详见第 3 章)。数据获取是多种手段的组合(包括专人采集),细节保密;商业上最终目标是零样本拿来即用,但落地节奏以“哪条路径先产生价值”为准,两条路同时推进。
数据来源Variety of means:有专人采集,也有不能讲的门道
面对“自己采 / 购买 / 有小窍门快速生成”的三连问,Yanwei 只给出有限信息:获取数据有 variety of means,其中之一是专人采集(福布斯报道文章配图所展示的采集团队);至于如何快速、大量拿到 diverse 数据的具体方法,“可能也不能讲太多”。
就像很多别的公司在讲的,就是我们有什么办法能够尽量多地拿到 diverse 的数据,我们都会去努力地去考虑和用。 [18:23]
Scaling Law从 loss 到闭环成功率:Gen0 的 appendix 补充
Harry 追问是否画过“数据量 - 成功率”曲线。Gen0 发布后确有同行提出此问题,团队后来在 appendix 中补充了 loss 与 closed-loop success rate 的相关性曲线,“大概是一样的这样一条曲线”——即 loss 下降与真实闭环任务成功率同向,这为具身 Scaling Law 提供了工程层面的初步证据。
我们后来有这样一个 appendix……correlate with closed loop 的 success rate performance,大概是一样的这样的一个曲线。 [07:49]
终极形态零样本即用 vs 用户少量采集:哪条先落地先做哪条
最终目标肯定是“拿起来就能用,不用考虑采数据”,就像今天用 Claude / ChatGPT 一样。但通往这一目标的路径,与“让用户采少量数据、快速 fine-tune 自己的模型做部署”是并行的两条路:哪条更快落地、更快产生价值,就先做哪条——同时继续推进更长远的目标。
The eventual goal 肯定就是大家拿起来就能用,都不用太多去考虑采数据这件事情,就像我们现在拿到 Claude 或者 ChatGPT 就可以直接用。 [08:31]
03Harness Layer:GEN-1 是系统,不只是模型
访谈中一个少被讨论、但被 Yanwei 称为公司“过敏点”的话题:从 GEN-0 的“模型”到 GEN-1 的“系统”,中间隔着什么。
核心结论
GEN-1 的跃迁不能只归因于数据:它从“一个模型”变成了“一个系统”。Base model 相当于 model-free learner,其输出必须经过 model-based control、低延迟推理栈等 harness layer——大量经典机器人学(classical robotics)工作——才能真正在硬件平台上 shine。Generalist 的立场:一流系统 + 一流模型,好过让模型用 domain randomization 去迁就二流系统;而 classical robotics 人才正因为没有 LLM 式的浪潮孵化,反而比 ML 人才更稀缺。
概念拆解Base model 是 model-free learner,落到物理世界还差很多层
现在的基础模型基本是“视觉 + 动作历史输入 → 预测世界变化(再配 inverse model)或直接预测动作”。这个 intelligence core 产生的动作要在物理世界实现,还需要很多 layer:model-based control 技术、低延迟推理栈——“你有很多很多,在我看来需要 classical robotics,去能够让这个 model 的 output 能够 actually shine on a hardware platform”。
我们可能把 GEN-1 看到更多是一个 system……在这个模型之上其实还有很多 harness layer,就是怎么样用这个模型,可以把它用出更厉害的效果出来。 [18:42]
人才判断Classical robotics 不是“不需要聪明人做”,而是更稀缺
针对“年轻人放弃 robotics、回到早期 CV 式纯练模型刷 benchmark”的趋势,Yanwei 给出反驳:LLM 这一波让很多人有了很强的 ML expertise,但没有任何一波浪潮让人积累 classical robotics 的 expertise——所以这方面人才更稀缺,那反而是“更难的问题”。
我们觉得那可能是更难的问题……我们没有这样一波浪潮让很多人有 classical robotics 的 expertise,所以这方面的人才可能是更稀缺的。 [20:50]
公司立场一流系统 + 一流模型,不让模型迁就系统
有人可以 argue:模型学会 adapt、用 domain randomization 弥补系统不足即可。但 Generalist 从“让机器人产生生产价值”的 Go 出发倒推,需要非常 reliable 的 system engineering——只要还能做出一流的 system,一流系统加一流模型的效果一定更好。MIT 近期关于 control gain 的论文是实证:很小的一条增益参数差异,效果差得很远。
很多时候模型的水平它展现出来是怎么样,它只差那个 system 做得怎么样……我们要考虑机器人做一个 system problem,模型训练只是其中的一个部分。 [21:36]
主持人补充UMI 采集无延迟 vs 控制链路多层延迟
许华哲分享了同为从业者的高度共鸣:用 UMI 采集数据时,手到即到、某种意义上零延迟;而真实控制链路是“AI 指令 → 电机 → 末端位置”的多层嵌套。让模型“从没有延迟的数据里学、用在一有延迟的系统里”,正是当前相对有挑战的问题之一。
怎么样让它从一个没有 latency 的东西里面去学,然后用在一个有 latency 的系统里面,确实是相对来说有挑战的一件事。 [22:15]
04Steerability:机器人进家庭需要 training-free 的交互
Yanwei 博士期间的代表工作是 Inference-Time Policy Steering。这段学术脉络如何延续到 GEN-1?
核心结论
不管预训练和后训练做多好,机器人进到家里,其行为一定与用户 intent 不完全对齐——所以必须有 training-free 的交互机制,让机器人理解用户意图。Steering 是一个多模态、分抽象层的广义框架(语言 / 物理动作 / 观察空间标注),其哲学基础是:所有物理上可行且合理的动作都是 success,区别只在 align 与否。而且 Generalist 内部发现:基础模型越强,steering 越没有想象中那么难。
类比谷歌地图:用户只在 high level 做选择
Yanwei 用开车导航类比他理想的人机交互:地图规划几条路线,用户只在 high level 选左线还是右线,途中改道地图自动 replan——用户不需要关心每条路线怎么走。他的研究就是:假设机器人有一组 base skill,如何让用户轻易 switch、correct、steer 这些技能,甚至引导它做之前很少做的技能。
我其实不用 care 具体每条 route 是怎么走的,我只用在比较 high level 的就是选择一下……这样的一个用户和机器交互的体验,我觉得我非常向往能够在机器人上实现。 [12:51]
框架多模态 steering:不同抽象层擅长激发不同行为
Steering 不只是 physical steering。它可以是 language(“帮我把碗洗掉”这类 high-level 任务最合适)、可以是 observation space 的 annotation(指定厨房怎么收拾时比语言好用)、也可以是 physical 的 augmentation / nudging(指定洗碗方式时最有效)。不同模态的 steering signal 有不同的抽象层级,各自擅长激发不同层级的行为。
不同 modality 这些 steering signal 实际上是有不同的 abstraction,它可能会擅长 elicit 不同的 behavior at different abstraction level。 [14:06]
必要性模型深处已有 capability,缺的是把它 elicit 出来的 guidance
很多模型其实有很多 capability、“很 eager”,只差一些 guidance 去激发它模型深处的能力。就像买一辆车不需要先训练一个模型、直接就能开——training-free 的交互方式是机器人进入应用场景非常重要的一步。Yanwei 表示“当然会很想加进去”(把 steering 加进 Generalist 的产品),时机取决于基础模型的能力。
如果我们要把机器人送进每个人的家庭里面,我觉得一个 training free 的 interaction modality 或者 mechanism 是 necessary 的。 [17:08]
哲学“没有失败动作”:摔杯子不是 mistake,只是不 align
对 Yanwei 而言,评估中所谓的“机器人把杯子摔掉 = 失败”值得重新审视:如果用户是顽皮的小孩或猫,故意摔杯子恰恰是正确行为。所有物理上可行且合理的动作都是 success,区别只在与用户意图 align 与否。当物理行为的丰富性足够多,总能在其中找到满足需求的那个意图。
所有 physically feasible 和 plausible 的这个 motion,在我看来都是 success,只不过它要么是 align 或者是不 align。 [15:46]
内部发现模型越强,steering 越容易
博士期间没有强大的基础模型可用,steering 做得“比较辛苦”;而 Generalist 内部的发现是:当基础模型能力越来越强,steering 反而没有想象中那么难。这也回应了“为什么 steering 研究在这个基础模型时代是重要议题”——它是随模型能力水涨船高的能力。
当你的基础模型的能力变得越来越好,其实 steering 没有想象中那么难。 [17:31]
05战略与组织:榕树、硬件与“跟人”
30 人左右的团队支撑起 GEN-0 到 GEN-1 两次模型跃迁,被称为具身赛道“人效最高”的公司。生态位怎么选?硬件做不做?顶尖研究员为什么选择加入?
核心结论
用榕树比喻未来生态:长出很多垂直(落地的气根)是为了获取 diversified data 反哺 base model 这根主干;最终交付的更可能是 capability 而非裸模型 license。硬件坚持用市面上成熟机械臂,把小团队的精力留给 intelligence 问题。而 Yanwei 择业的答案高度一致:“主要就是跟人”——从论文里读出 research taste(既大胆又务实),温暖文化不是福利而是速度优势。
生态位榕树比喻:垂直落地是气根,base model 是主干
小时候读的榕树课文成为 Yanwei 对公司未来的想象:榕树有非常大的主干,长大后叶子往外伸展、气根落下来。做很多垂直领域,首先是为了 diversified dataset——只有在不同垂直领域有这些数据,模型才能“见多识广”,base model 才会越来越强。至于最终是 license 模型还是给 capability,还在探索;“只给一个模型、不考虑用户怎么从中拿到价值”对训练模型来说也不是好事。
我们会做很多的这种垂直,是因为我们需要 diversified dataset……我的想象是你只有在不同的垂直领域有这些数据,我们才能够让模型变得更见多识广。 [09:26]
硬件不造硬件:成熟机械臂还有大量未开发的潜力
现有机械臂很多很好用、已是产品、通过了各类测试与认证——尽量使用这些经过 testing 的成熟硬件,可以把精力节省下来做模型开发与更感兴趣的 intelligence 问题。这是小团队的取舍:没有时间解决所有问题;但若哪天硬件成为瓶颈、影响解决 intelligence 问题,会认真考虑自己做。
如果哪一天这件事情导致我们不能去很好地应对我们想解决的 intelligence battle 的话,我觉得我们会去认真地考虑做硬件这件事情。 [10:46]
择业逻辑“主要就是跟人”:从论文读出 taste,从 debate 读出胆识
MIT 毕业的 Yanwei 放弃了教职、大厂(Google / Gemini Robotics / OpenAI)与其他创业公司(Figure、1X)的选项。他的选择逻辑:从一篇论文就能读出作者的态度与 research taste——Pete Florence 的 Dense Object Nets 非常 practical minded 又能问 the right question;Andy Zeng 的 TossingBot 是一套极好的系统,simplicity bias 让他“非常喜欢”;两人后来的 Transporter Nets 他一遍遍读。此外,Pete 在一次 workshop 提出的“争议问题”——全世界的机器人学家要不要都放下手中的活、一起采一年数据,对机器人贡献更大?——让 Yanwei 看到创始团队 bold enough、crazy enough 的基因。对“CEO 是非研究者”的团队,他会看下面的 researcher:职业早期想学的是技术问题,不是怎么管理人。
你可以从一篇文章里读出这个人的态度和他的 research taste……ok these are the people I really want to work with。 [23:30]
组织文化温暖不是福利,是速度:超过 996 的效率来源
面对“硅谷也在卷生卷死、特斯拉 / xAI 做得也很好”的质疑,Yanwei 给出组织层面的论证:温暖氛围让人不想离开、很 loyal、不用花精力考虑 politics,把全部时间投入研究——少内耗、更高效;开诚布公的讨论减少了沟通带来的决策成本,“带来的速度可能会比 996 或者 247 带来的速度更快,因为你不会不停地换方向”。团队每个人都与已有成员是 one-hop connection,彼此了解、非常 nice。
它带来的速度可能会比 996 或者 247 带来的速度更快,因为你不会不停地换方向,不停地左边试试右边试试。 [27:00]
尖叫时刻拼积木、修吸尘器、从钱包里拿钱
GEN-1 研发过程中最难忘的时刻:给拼积木一个新的 configuration,机器人跟着模仿——“对于我来说是一个尖叫的时刻,我们大家都在那里尖叫”;最新发布的修吸尘器 demo 里的 recover behavior,团队“可以看一天”;还有从钱包里拿钱、放钱的 dexterity。每天就是尖叫声,大家围着机器人看。
这对于我来说是一个尖叫的时刻,我们大家都在那里尖叫……每天就是尖叫声。 [11:42]
06人机关系与人生哲学:解放而非取代,慢下来才能快
许华哲挖了一个“坑”:你在乎人与人之间的 connection,但通用机器人大脑带来的巨大社会变化,可能让“蓝领版的你”失去和工友一起装手机盒的快乐生活。
核心结论
Yanwei 的回答将人机关系与人生哲学收束为一条主线:机器人做“人不想做的事”而非取代任何人,人始终在场(发指令、监督意图),并会像 social media 催生 influencer 一样催生新就业;帮助他人的幸福感正是“让机器人有用”这一初心的来源。而他对所有人的建议是一句徒步教给他的话:if you wanna go fast, you have to slow down——具身是一场马拉松。
人机分工人做人擅长的事,机器人做人不擅长也不想做的事
面对“取代蓝领工作”的追问,Yanwei 明确:想做的机器人是帮助人们做“他们不想做的事情”,而不是取代任何一个人。过程中人还是需要在那里——机器人需要指令、需要知道我们想做什么,人在这场人机协作中有 big role。机器人进入生活也会像 mobile device + Facebook 催生 influencer 一样带来新就业,并把工厂小伙伴从繁琐、甚至对身体有害的重复劳动中解放出来,去做真正想做的事。
我设想的未来,人去做人擅长的事情,机器人去做人不擅长、人也不想做的事情。 [30:03]
初心帮助他人时的幸福感 = 让机器人有用的动机
为什么“人”在他所有的决策里都如此重要?因为一路走来有很多人帮他,后来他也帮过别人,而“在帮别人的时候能拿到最多的幸福感”——这正是他想让机器人有用、去帮助需要帮助的人的原因。至于最终的产出:“我们所有的这些技术产出、我们所有的这些论文可能 doesn't matter,what matters 就是我们自己一路相伴一起走过来的这种陪伴。”毕业答辩时,整个团队专程从西雅图飞到 Boston 出现在现场——那一刻确认了“these are the people I want to spend some time with”。
我发现我在帮别人的时候,我能拿到最多的幸福感,这可能就是为什么我想让机器人有用,可以去帮助到那些需要帮助的人。 [28:09]
人生建议If you wanna go fast, you have to slow down
给更年轻的人的建议:想快,先得慢下来。当下生活速度很快、噪音很多——这家公司有什么进展、那家公司有什么进展——不慢下来就听不到内心的渴望;内心的渴望会告诉你这个人生阶段想体验什么,哪怕看似是 research 道路上的 detour,体验之后你会发现它是宝贵的财富。佐证是他自己的徒步经历:赶着开学、拼命赶路反而受了伤、更晚回到学校;保持匀速慢慢走,身体恰好恢复、不受伤,反而更快结束旅程。不要怕落后,慢下来才知道自己真正想做什么,eventually 你都能 catch up。
如果我们能够保持比较匀速或者是慢慢地走,慢慢地去静下来去体验,反而你的身体可能恢复得刚好,你不会受伤,反而你能更快地结束你的旅程。 [32:19]
生活切面话剧、徒步、滑雪与“人生每个阶段的 adventure”
话剧是本科时代的热爱(太耗时,现在没时间),徒步是博士期间的爱好(有时间就多走一点)。这些爱好像人生的不同 phase:经历之后就去找下一个 adventure——而现在最大的 adventure 就是研究的机器人 capability,它带来的幸福感和乐趣,“就像当时话剧在本科对我一样、徒步在博士期间对我一样,甚至更多”。工作之外仍会跑步、滑雪、hiking:工作让他意识到这是一个马拉松,得劳逸结合。
现在对于我来说最大的 adventure 就是我在研究的机器人的 capability……给我带来的幸福感和乐趣是非常类似的,甚至更多的。 [31:19]