核心结论

训练时代大家赌的是「最强的模型未来能在推理场景收回成本」，成本不可量化，所以只追求极致性能；推理时代用户按每百万 token 付钱，我产出这些 token 的成本可以清楚地算出来，芯片的目标随之从「更快」变成「更划算」。技术上的分水岭则是：decode 阶段每产一个 token，都要把整个模型权重从存储读进计算单元，瓶颈由此从算力转向内存带宽。

底层逻辑训练算不清账，推理能算清账

训练本身没有直接商业回报，所以在计算训练成本的时候，这件事是不可量化的——大家的期望是「我赌一个最强大的训练集群，让我拥有最强大的模型，未来在推理场景把之前投入的成本都收回来」。推理则相反：用户愿意为每百万个 token 付多少钱、我推理出这 100 万 token 要花多少成本（买 GPU 的钱加推理时消耗的电），是一笔能清楚算明白的账。因此推理系统追求的是性价比，而不是极致的性能。

「训练的时代，大家是没有办法依靠训练来获得任何商业上的回报的……所以当大家开始计算训练的成本的时候，这个东西是不可量化的。」 [04:56]

「推理是一个追求性价比，而不是追求极致的性能（的过程），它会更多的把成本考虑进来。」 [05:42]

技术分水岭Prefill 看算力，Decode 看带宽

推理分两个阶段。Prefill 阶段所有 token 都是已知的，有充足的并行度，把模型从 HBM 读到计算单元一次就能处理一整段输入，是计算密集型的——这正踩在 GPU 的甜点上。Decode 阶段是严格自回归的：必须知道当前 token 的输出，才能算出下一个 token，而每产一个 token 的代价，都是把整个模型的权重重新读一遍。

「每次产生一个 token 的代价，其实是把你所有这么大的一个模型——1.6T 的模型——都从你的存储介质里面，读到计算单元里面。」 [06:51]

GPU 的解法Batching：GPU 的聪明之处，也是体验的天花板

GPU 不可能为了某一个用户的某一个 token 就把整个模型读一遍，于是它做 batching：收集上万个用户的推理任务，把所有人的第 n 个词一起算出来。对单个用户来说，等待时间里有一部分其实是在等同批次的其它 9999 个用户。这也是为什么在 agent 与 reasoning 场景下，大家对推理速度的感受会有比较强的限制。

「你不光是在等 GPU 推理完你自己这一个 token，你还在等 GPU 算完和你同一批里面其他 9999 个用户的这一个 token。」 [09:44]

定义「推理芯片」是一个很泛的词，终局是「系统」而不是「一颗芯片」

推理本身足够复杂：分 prefill 与 decode，decode 里面还分 Attention 与 FFN。两位嘉宾对未来的判断是——理想的推理系统里会包含很多种不同的芯片，去为对应部分做针对性更强的新架构，而不是用一颗通用芯片包揽所有工作。

「我们希望的推理系统，它里面可能包含了很多种不同的芯片，能够做到把实际 decode token 这个过程做得足够便宜，而且足够快。」 [10:22]

核心结论

三种介质的取舍本质是「容量与距离」的取舍：DRAM 便宜但远，HBM 快但贵且缺货，SRAM 最快可它 6 个晶体管才存 1 bit，容量比 HBM 低约两个数量级。真正的第一性原理是：HBM 之所以带宽高，是因为把存储搬进了同一个封装；再往上一层，就是把存储直接放进计算芯片内部，让线从「封装的走线」变成「光刻的线」——这是数量级的差别。所以全行业都在往 SRAM 收敛，SRAM 只是当下最成熟可靠的那个载体。

直观理解DRAM 便宜但远、HBM 快但贵、SRAM 最快但装不下

DRAM 就是你电脑里的内存条：能装很多，但离得远，来回取数据要花时间，而且需要不断刷新。HBM 的本质是 3D 堆叠的 DRAM，被搬到计算芯片旁边并开出很多条通道实现高带宽，容量较大、速度也快，代价是贵，而且全球产能非常紧张、极度缺货。SRAM 不一样，它可以直接坐在计算芯片里面，是最快的方案，但用 6 个晶体管才能存 1 个 bit——存同样多的数据，需要的芯片面积是 DRAM 的几十倍上百倍。

「DRAM 它的方向是便宜但是慢，HBM 快但是贵而且抢不到货，SRAM 最快但是它装不下。」 [15:06]

第一性原理把「封装的线」换成「光刻的线」

带宽的核心是你连线的密度以及频率。HBM 之所以能把带宽做得高，是因为它把存储和计算放到了同一个封装里，线从主板缩短到了封装内。再往上一层，就是把存储直接放到计算芯片里面去：这条线从「封装的走线」变成了「计算芯片内部光刻的线」，而这两种线在密度、成本和能耗上都是本质的差别。所以 SRAM 路线并不是在赌某个具体介质，而是在赌「局部性可以再往上抬一个层级」——这也正是后面第五章里 Bill Dally 那句话的技术落点。

「当你把这个线从封装的走线，变成了计算芯片内部光刻的线，这两种线的本质，在线的密度、线的成本、包括能耗上面都是有本质的差别的。」 [12:10]

行业收敛不只是 Groq 和 Cerebras：全行业都在往 SRAM 走

美国的 AI 推理芯片创业公司，包括 d-Matrix、MatX，都在往 SRAM 方向走；大厂方面，TPU、Trainium 每一代的 SRAM 都变得越来越大。各家使用 SRAM 的具体方式不同——谷歌更偏向用 SRAM 来存 KV cache——但本质一致：用好一个大带宽的介质，让整个系统的访存更快、更廉价。

「整个 SRAM 和现有的其他提供存储的介质来比，从带宽这个角度，无论是绝对的数量，还是它每块钱能买到的性价比，都是非常高的。所以其实我们能看到，大家都在往这个方向去收敛。」 [16:24]

核心结论

两家公司的分歧点不在介质上，而在「如何解决大集群的通信调度」。Groq 把调度前移到编译期，用静态排布与确定性消掉运行时开销，代价是扛不住 MoE 的运行时动态性，只能让部分芯片空转；Cerebras 用一整片晶圆的物理近距离替代芯片间通信，代价是良率——不是一次性的「开模」费用，而是「每造 10 个有 9 个不能用」。两笔账最后都记在 token 成本上。

共同起点先牺牲容量，再把瓶颈从「容量」换成「通信」

单芯片 SRAM 容量比 HBM 低约两个数量级，装不下整个模型。最直接的解法是把系统做得很大——几百颗、几千颗芯片，只为了让模型权重全部待在 6 个晶体管的 SRAM 里。放是都能放下，但光放下不能产生 token，你还要能有效地把它读出来并做计算。而系统一旦做得足够大，效率瓶颈就卡在了怎么做通信上。

「放是都能放下，就只要我系统做的够大就能放下。但是这问题在于你光放下了，它如果就在里面存着，其实不能产生 token。」 [17:55]

Groq 路线把调度放进编译期，把确定性做到极致

Groq 的判断是：运行时去调度，开销往往很大。所以它希望在编译期就把整个系统未来所有的计算与通信都想明白——哪个时钟周期做什么计算、哪个时钟周期开始做通信；排布好之后，实际运行时就没有调度问题了。与之配套的是 determinism（确定性）：从存储介质读数出来是 100 纳秒还是 3 纳秒是会有抖动的，用 SRAM 加上专门的芯片设计，可以把确定性和静态时钟同步都做到极致。这条思路与创始人背景高度一致——乔纳森·罗斯出身谷歌 TPU 的编译器方向，整个 Groq 就是「围绕编译器去做硬件」。

「整个 Groq 的思路其实围绕着编译器发生的……把一个确定性的编译，然后围绕编译去做硬件，所以就从静态的编译和静态的调度这里，重新设计了硬件。」 [23:27]

Groq 的软肋MoE 是运行时的，静态编译预测不了

MoE 网络有非常多的专家，每个 token 在推理时只激活其中一小部分——比如 128 个专家里选 8 个，而选哪 8 个是运行时才决定的，编译期无法预测。同时单芯片 SRAM 又放不下整个网络，一定有专家分布在不同芯片上，于是就需要在运行时把 token 送到对应的芯片——这恰好是静态调度最难处理的部分。两种保守应对各有代价：要么把 token 都送过去、让部分芯片空转；要么换一种方式切模型，但推演下来，不用专家维度切分，现在的模型很难切得干净高效。

「比如说在 128 个专家里头去选 8 个，这件事情你没有办法在编译的时候去预测，它是不同的 token，会选不同的专家。」 [20:11]

为什么还能接受空转只影响性价比，不影响「做得快」

Groq 是在做出「完全静态编译调度」这个技术选择之后，才遇到 MoE 这么大的动态性的——2016 年创业时，Transformer 还没有出来。好消息是这笔账算得过来：SRAM 相对 HBM 在带宽性价比上有两到三个数量级的优势，浪费掉一个数量级之后仍然更优；而且芯片空转并不妨碍它做到「快」。商业上还有一层：当你做出一个比别人更快、而且成本其实更低的东西时，你不会主动告诉别人你的成本更低——因为有人愿意为「快」付溢价。

「它首先有三个数量级的优势，我牺牲掉一个数量级，我还是可以比它更好。」 [22:41]

「当你做出一个比别人更快而且更便宜的东西的时候，你不会告诉别人你的成本其实更便宜的。」 [23:04]

Cerebras 路线把整个机柜塞进一片晶圆，用物理距离换通信开销

Cerebras 的思路更直接：集群通信之所以有代价，是因为几百颗芯片之间总有物理距离——那就把一柜子的事情塞到一整片大晶圆上，物理距离缩短了，能出的线的带宽也会更好。但代价落在良率上：按常规设计，单芯片尺寸极限大约 800 平方毫米，一张晶圆能切出三四十到五十颗，良率 50% 就还剩二十来颗好的；而当整个产品就是一张晶圆时，只要片上的缺陷超过一定比例，整张晶圆就作废。Cerebras 真正的工程壁垒就在「怎么接受良率」——做 partial good 设计，接受 30% 的点是坏的仍然让产品可用，还要在软件上用几十万个单元的逻辑去绕开坏块，并让这套完全不同的系统能插进机柜。

「它的坏是一旦你整个晶圆达不到它对于良率的需求，整个晶圆其实就作废了。」 [27:11]

「你每造 10 个，可能里边 9 个都不能用，这时候其实影响的是你实际生产时候的成本。」 [28:02]

成本折算一个为确定性打折扣，一个为良率打折扣

大家最终关心的是 token 的成本，而数据中心的成本分两块：一次性采购系统的成本，以及运行中的电费与能耗。做一个数量感受：如果没有良率问题，像 Groq 这种形态的单芯片成本可以做到英伟达的十分之一、带宽做到它的十倍；但 Cerebras 因为制造端成本太高，很可能是「十倍于英伟达的带宽、三倍于 HBM 的成本」。所以 Cerebras 在为良率成本打折、Groq 在为确定性打折，两个折扣最终都落到 token 的成本上。这也解释了为什么 Cerebras 比 Groq 更贵——而「快」本身能收溢价：如果别人是 100 token/s，它能做到 750 甚至 2000 token/s，用户愿意为此付很多溢价。

「Cerebras 要为它的复杂的良率成本打一个折扣，其实最终这个折扣是要打到 token 的成本上面的。」 [30:10]

英伟达的选择为什么花 200 亿美元 acqui-hire Groq

理由很直接：推理带来的大带宽需求，是 GPU 这个架构没有办法很好解决的。CUDA 对英伟达既是护城河，某种意义上也是创新的包袱；而黄仁勋清楚地意识到，在推理里算力不一定是唯一的，还需要补上带宽这部分能力。那为什么不在内部做？Mark 有 NVIDIA Research 的视角：他们很早就做架构层面的创新、CGRA 之类的论文发了很多，但在一个成熟公司里，把一个研究想法颠覆式地推给产品团队难度非常大——不如干脆 acqui-hire 一个和原团队没有关系的新技术团队。

「Jensen 很清楚地意识到了，未来推理里面算力不一定是唯一的，它需要补充带宽的这一部分技术能力。」 [33:01]

「不如我干脆 acqui-hire 一个和之前团队没有什么关系的新技术团队。」 [33:50]

背景校准这笔交易后来发生了什么

据公开报道（本期节目之外的信息）：2025 年 12 月 24 日，英伟达以约 200 亿美元、通过非独占 IP 授权加人才吸收的方式，获得 Groq 的核心芯片技术与创始团队，创始人乔纳森·罗斯等人加入英伟达；Groq 的云业务被剥离并独立融资继续运营。2026 年 GTC 上，英伟达发布 Groq 3 LPU，作为 Vera Rubin 平台中专做 decode 的协处理器——Rubin GPU 负责计算密集的 prefill，LPU 负责低延迟地产出 token。这正是本期节目里两位嘉宾描述的「理想分工」：GPU 做哪一部分、Groq 做哪一部分。

「像 Groq 现在和英伟达配合的关系，确实是我们设想中比较理想的——比如 GPU 处理哪一部分任务，然后由 Groq 处理哪一部分任务。」 [11:07]

软件栈「推理时代，CUDA 一定会被绕过」

这个判断是百分之百会发生的：去看几家大厂的推理芯片，TPU、亚马逊的 Trainium，都没有一丁点说要兼容 CUDA。TPU 的软件之所以被说难用，根因不是「很多个难问题」，而是「一个难问题」——只要把 Transformer 里所有的算子在这颗芯片上写出来，Transformer 就能跑了，商业逻辑就通了。Anthropic 之所以能大量采购 TPU，是因为它有很多工程师来自谷歌、知道 JAX 怎么用；换一个从没做过编译器的工程师，仍然会觉得难——TPU 在软件层还是一个黑盒。真正的变化在于：训练时代大家愿意为「软件好不好用」买单，推理时代天平会往绝对 token 成本与性价比倾斜（DeepSeek 用的是 GPU 芯片，但愿意去写很底层的 PTX 汇编做深度优化），再加上 AI 编码能力提升，算子与运行时的开发被大幅加速。

「从推理芯片这个角度，我觉得绕过 CUDA 是百分百会发生的。」 [34:13]

「它只要不是非常多个难的问题，是一个难的问题，我解完这个问题，这事就解决了。我只要把 Transformer 里的所有算子都在这个新的芯片上写出来，那我 Transformer 就能跑了。」 [34:55]

核心结论

评价一颗云端推理芯片，必须在系统层次看三个数：per token 成本、单用户 tokens/s、耗电量（利用率只是影响成本的中间变量）。而「快」的价值最常被误解——它不是为了让你更快看到同一份答案，而是让模型在同样的时间预算内做更多内部思考，因此变得更聪明。技术路线上，他们选择系统级异构：上千颗 SRAM 芯片组网装下整个模型，把 Attention 与 Prefill 留给 GPU。

方案上千颗芯片组网，让芯片间的连接不成为瓶颈

目标不是把芯片层两三个数量级的带宽性价比优势原封不动搬到系统层，而是让系统层依然保留约 10 倍性价比和一到两个数量级的速度提升。算术很直白：单颗芯片上能放的 SRAM 数量是公开的，几百 MB 的量级；而现在的模型大约 1T 参数，FP8 量化后也差不多是 1TB——两者一除，大概需要上千颗芯片才能在容量上放下整个模型。他们的核心工作，就是用某种拓扑把这上千颗芯片连起来，让芯片之间的连接不成为推理时的瓶颈，同时让每一颗芯片的 SRAM 带宽都能被充分利用（一定会有损失）。数据流上，hidden state 一点一点穿过芯片网络，从一边走到另一边，出最后的结果。

「我们就是在做如何把这上千个芯片，用某一种拓扑把它连接起来，使得中间的每颗芯片和芯片之间的连接，不成为我推理时候的瓶颈。」 [37:56]

系统级异构模型切成两半，只做最擅长的那一半

他们的芯片和系统不会去做整个模型的所有事情，因为相信「应该用最合适的硬件去做对应部分的应用」。整个模型会被区分成注意力（Attention）的一边与非注意力的 FFN 一边，他们做后半段——比较类似 Groq 但不完全一致。这里也有一个对 Amdahl 定律的诚实表述：因为是异构系统，解决了 90% 的问题、留下 10% 给 GPU，所以哪怕这 90% 用 1000 倍的效率去解决，整个系统最多也只能提升 10 倍。

「我们解决 90% 的问题，但是我们留了那 10% 的问题给 GPU 来解决，所以最多我们的系统就能提升 10 倍。」 [39:10]

评价框架云端只看三个数：成本、速度、耗电量

在推理时代，前三个指标是重要的——每个 token 产出的成本、推理速度、每个 token 的耗电量；第四个（利用率）会影响第一个，但最终大家关心的肯定是成本。而且因为未来的系统是异构的，一颗芯片不能只凭算力、带宽、容量就让人对系统产生综合认知——衡量芯片好坏一定要在系统层次去做。端侧则完全是另一套逻辑：一个盒子或手机上的芯片，每个 token 的成本并不是最重要的事，重要的是「我最多花 100 美元，这 100 美元能达到某一个速度的推理」，这个东西就能卖得出去。

「未来衡量芯片的好坏，一定要在系统层次去衡量。」 [41:45]

「对于这种端侧的 AI 芯片，它考虑的是完全另外一个事情。」 [42:10]

中美差异老黄讲 token per watt，国内客户更关心 token per dollar

云端用电量在今天的总持有成本里是比较小的一端，但中美有比较大的区别：美国缺电、缺能源，因此更关心每瓦能产出多少 token；国内客户对耗电的敏感度更低，更关心每美元能产出多少 token。这个差异在后面解释 OpenAI 的存储选择时，会成为一个关键变量。

「这个其实会导致大家有多关心，比如老黄天天讲 token per watt，还是大家关心 token per dollar。」 [42:53]

口径提醒：节目中关于「电费占总成本的比例」出现过两组不完全一致的说法（一处为约 1% 与 2%，另一处为中国约三分之一、美国约三分之二）。此处只保留定性的结论——美国的硬约束是电力供给，而不只是电价，因此对 token per watt 更敏感。

反直觉速度越快，AI 越聪明

自从 agent 大规模爆发之后，大量语言模型产生的 token 其实并没有被人来读：思维链是模型给自己产生的，agent 产出的 token 是给别的 agent 读的。人本身阅读 token 的速度有限——做到 100 token/s 人就已经读不完了——所以今天很多系统是往 100 token/s（甚至 50 token/s）去反推设计的；但对 agent 系统而言，这个速度一定程度上没有上限，越快越好。对于「现在推理速度已经够用」这个感受，嘉宾的回应是：它一定会让你觉得够用，但它会在别的地方实现这一点——用户不能接受一个问题想两天，甚至想一个小时都不太能接受，这一个小时就是硬约束。所以推得更快并不等于交互更快，而是在同样的交互时间之内，模型可以用 10 倍更多的 token 去做内部自我思考、或用 agent 的方式做很多实验，从而更智能。黄仁勋演讲里那张图的横轴写的就是 smarter AI；而 Bill Dally 更愿意把这个维度叫 interactivity。

「在都是一分钟交互速度的情况下，你这个模型可以用 10 倍更多的 token 做更多内部自我的思考，来提升它的智能水平。」 [46:23]

「我们希望在一个确定的时间卡点里获得更多智能，这个就翻译成快。」 [48:28]

前瞻方法面对模型迭代，去抓「不变量」

芯片是长周期的事（传统上一年半到两年），所以必须往前看两三年，去找那些本质的、会影响芯片设计的不变量。要做的判断有两层：一是芯片做不做某类模型（异构的选择），二是如果做，在自己的芯片上怎么做。他们观察到的结构性事实是：Transformer 里注意力机制这一边，在算法上还有非常多的革新，每个新 lab 出来都会发一些新思路；但后面的 FFN 自从变成 MoE 之后，已经变成一个相对的不变量。因此优先服务已经收敛的那部分。另外，图像与视频生成里的 Diffusion 模型和 Transformer 的计算方式不一样、计算非常密集，适合另一种范式；但如果未来它变成自回归式、或者两种结合，那就天然适配他们的方案。

「后面这一段 FFN，自从变成 MoE 以后，其实变成了一个相对不变量。」 [50:49]

「我们希望找到最贴近于当前带宽需求的、从芯片到系统的解决方案，这个未来我觉得不绑定在具体的模型上面。」 [51:29]

核心结论

芯片创业的门槛不在某一个技术点，而在「全链条都要自己走通」——从需求分析到交付组网，中间还有良率、供应链与资金。而国内的优势不只是供应链和基础设施：一个常被忽视的变量是「开源生态」——美国最主流的模型不开源，让 Groq 与 Cerebras 在商业化上很难找到可以自己跑通的参照物；国内恰好相反，最强的模型在架构层面更开放。

消失的算力为什么纸面算力跑不满：卡在带宽，也卡在细碎

两个原因。第一，很多 workload 的计算与访存比例没有踩在英伟达 GPU 的甜点上——按 Roofline 模型的基本结构，一旦卡在带宽上，算力必然用不起来。第二，推理由大量细碎的算子组成（每秒要出两三百个 token，每个 token 对应的计算任务都非常细碎），比起训练时清一色的大矩阵相乘，会产生更多调度上的损失。这件事三个层面都有责任：使用者、芯片设计、软件层。相关的两个指标是 MFU（模型算力利用率，基本只在算矩阵乘法那一块起算）与 MBU（访存带宽利用率）——带宽吃满 100% 并不代表芯片 100% 用起来了，因为它至少有两个单位：访存带宽和算力。所谓「芯片在等数据」，本质就是互联卡住了。

「如果你是带宽瓶颈，显然你的算力就用不起来。」 [52:47]

「你的 MFU，我们基本上只在算矩阵乘法的这一块。所以一旦我们发现矩阵乘法在空转，最后会得到一个比较低的 MFU。」 [54:01]

全流程一颗芯片的一生：从需求到交付

Mark 把整个流程完整讲了一遍：需求分析（这颗芯片的定位是什么、要解决什么问题、哪些是技术问题、哪些是客户的问题比如安全性）→ 高层架构设计（未来实际交付的可能是一个服务器甚至一个集群，所以要把系统、服务器、单芯片的需求逐层拆解）→ 微架构定义（计算单元怎么设计、矩阵单元与向量单元、用什么指令集、存储放在哪）→ 一份非常详细的特性列表 → RTL 编码（真正写代码的时间可能也就两三个月，大部分时间花在前期的需求与架构上）→ 验证（大规模测试用例，或者形式化验证、从数学上做证明）→ 后端（布局布线、线怎么绕、存储单元长宽高的比例，并依据 Fab 的信息做设计规则检查）→ 流片（由晶圆厂制作光罩，首次流片才有）→ 封装测试（英伟达的芯片看起来快半个手机大，其中真正光刻出来的那部分占比很小，大部分封装是为了解决「怎么把那么细的光刻线引到实际的板子上」；测试则需要一套体系化的方法，让你知道一批芯片里哪些是好、哪些是坏）→ 交付（PCB 设计、上面的控制芯片与交换芯片、网口与接口，再到整个集群的供电、散热与组网）。他强调这不是一个人在战斗，后面有非常多与供应商互相配合的阶段。

「大家说做一个大芯片，流片的成本是相当高的，所以大家希望在流片的时候保证芯片不需要有一些功能上的问题。」 [56:51]

▸可选的三条创业切口：做服务器与集群、做芯片、做芯片软硬件一体的解决方案

▸真正的时间分布：前期需求与架构占大头，RTL 编码本身只要两三个月

▸门槛所在：技术挑战无数、流片数百万美元级成本、良率控制、供应链

▸嘉宾转述：很多英伟达的科学家不出来创业，是因为「要撬动的产业链太大了」——但赔率足够大

国内优势供应链、基础设施，以及「开源生态」这个被忽视的变量

供应链会是一个非常关键的问题：国内整个芯片市场在未来两三年可能长期处在供小于求的状态，所以成败的关键不一定在于芯片设计得多好，很可能在于能不能造出足够多的芯片。反而是架构创新在这里带来了反向红利——因为设计上做了比较大的创新，放松了对最先进制程的要求，于是有机会把别人用不起来、甚至已经认为淘汰的成熟制程用得非常好，用成熟工艺做出在 tokens per second 与 tokens per dollar 上比先进工艺系统更好的方案。Mark 回国也不完全是因为创业：毕业时国内就有比较好的工作机会，而且国内供应链完善、供应商多，搭推理基础设施的能力（数据中心建在哪、用水用电）中国有非常强的优势，本身又是一个能完全转起来的大市场。还有一个更被忽视的点：Groq 与 Cerebras 商业化比较艰难，部分原因是美国最主流的模型不开源——你做出一个新芯片，既不能让不懂你芯片的人来适配，也很难自己去适配一个自己不开放的模型；而当时的开源模型（千问、Llama）并不是美国最主流的那批。国内是反过来的：最强的那批模型（以 DeepSeek 为代表、智谱）在架构层面更开放，而且国内能够稳定获取的最好的模型 API，本身就是这些开源模型。

「当时 Groq、Cerebras 做得比较艰难的点，在于美国最主流的模型不是开源的。」 [01:02:25]

竞争格局创业者做芯片，怎么和模型厂商竞争

如果模型是开源的话，模型厂商做自己的芯片和我们做芯片，并没有本质优势——因为做这个系统要把系统的其他部分想清楚，而这不是模型厂商在做的事情。模型厂商的真优势有两条：更先进的模型没有完成开源；以及软硬件团队可以协同（比如谷歌 TPU 可以在模型往前发展的时候，就把芯片应该怎么设计考虑进去）。嘉宾把模型厂商分成两类：一类是传统互联网大厂，自己既有训练需求、模型又五花八门（对话、图像生成都有），所以更希望芯片不要太有针对性，实际做的更多是去替代已有的通用 AI 芯片，训练或通用性偏多；另一类是纯粹的模型厂商（DeepSeek、智谱、Kimi），而「设计一个好的模型」与「设计一个好的芯片」需要的能力完全不同——把两种完全不同的能力整合进同一家公司，不一定是个好事，这件事本身也是需要异构的。

「氛围上面更适合算法设计的公司来做模型的事情，氛围上面更适合芯片设计相关的公司来做芯片的事情。」 [01:05:08]

核心结论

Bill Dally 的两条心法构成了本期所有技术路线的底层解释：第一，「一切都围绕局部性展开」——时间与空间局部性在 AI 的 decode 过程里被算法抹平了，所以必须在架构上人为制造局部性，这就是 SRAM 路线的真正理由；第二，「要跳出 local minimum，必须先想清楚牺牲什么」——做微创新可以保全大局，但要做数量级提升，就必须明确哪些可以牺牲。而亚马逊的两条哲学（从系统反推硬件、customer obsession）给出了同一件事的工程化版本：以终为始，为「芯片做出来的那两年」而不是「今天」设计。

师承Bill Dally 怎么找「值得做的问题」

Mark 2017 年去 Stanford 读 PhD，导师是 Bill Dally。Bill 在英伟达从早期 GPU 显卡芯片转型到 AI 芯片的过程中，参与了很多技术方向与决策；他 2000 年之前做的流处理研究，后来被英伟达商业化成了今天的 GPU。Mark 在大四时被韩松拉去做 research assistant，方向是模型的剪枝与量化（pruning and quantization）、让模型更高效地跑在硬件上；韩松负责每周 mentor，但每周也跟 Bill 开例会。Bill 给他的第一印象是：非常聪明，而且看的问题很本质、不摘 low-hanging fruit——作为资深教授，他没有短期发论文的压力，所以挑的是那些很难做、但一旦做出来对学界业界影响非常大的问题。

「他不会去尝试解一些 low hanging fruit……他看到的一些更本质的，是他实际上感兴趣的技术上面的一些点。」 [01:06:29]

押注方向为未来的 AI 补齐「强逻辑」那一半

AI 的发展有两条分支：偏深度学习、神经网络的「感知」分支，和「强逻辑」分支（构建知识图谱、建立非常严谨的逻辑，比如用 AI 证明数学定理）。2017 年时 Bill 的判断是：未来的 AI 是「强逻辑加 强感知」，但强逻辑那一边在硬件层面几乎没人在关心——大家可能更多停留在软件层面。于是他们从头设计了一个全新的芯片架构，一个和 CPU、GPU、以及后来大家做的那些都完全不同的专用加速器，来加速这件事情。今天这个判断的落点是：如何把解逻辑问题的算法（SAT 问题）与 Transformer 更好地结合，让 Transformer 把实际复杂的数学与物理问题拆解成这种强逻辑的问题——这是很多做 AI for Science 的公司正在尝试的，算法层面还没有收敛；但如果未来发现这条路真的很有效、科学探索的瓶颈真的落在「更快地解一个很复杂的逻辑问题」上，那么对芯片和硬件的需求是确定的。

「在 Bill 看来其实未来的 AI 是强逻辑加强感知，但强逻辑那一部分其实当时的角度基本没有人在关心，因为之前几乎没有人做过针对性的硬件去做这件事情。」 [01:08:14]

第一性原理「一切围绕局部性展开」

Bill 给 Mark 最大震撼的一句话是：计算机体系结构就像房地产，一切都在于位置。时间局部性是「我用了一段数据，那么未来一段时间里大概率会重复使用它」；空间局部性是「我用了一段数据，那么大概率马上会用到它周围的一部分数据」。CPU 里 cache 的设计本身就是这两种局部性的应用。关键洞察在于：在 AI、尤其是 decode 的过程里，时间局部性和空间局部性在算法上「都被抹平了」——所以必须反过来，在架构层面做更多实际硬件层面的局部性来弥补。这才是他们要用 SRAM 来放模型权重的真正理由：SRAM 提供最好的局部性。

「整个芯片设计，一切都是围绕局部性去展开的。」 [01:10:43]

「计算机体系结构就像房地产，一切都在于位置、位置、位置。」（Bill Dally 原话的转述，节目现场以英文引用） [01:10:51]

「我们要在架构上做更多实际硬件上面的局部性，来弥补这一点。」 [01:11:42]

决策原则跳出 local minimum：先想清楚牺牲什么

Bill 的逻辑是：找到最难的事情，找到对整个系统影响最大的点，然后尝试去解决它。这里有一个关键区分——当你只做微小的提升时，你是可以保全大局的，不需要颠覆式的修改；但如果你要做数量级的提升，你就一定要非常清楚地想明白，哪些东西是可以牺牲掉的、哪些东西是真正关键的。只有想明白这些问题，你才能在整个系统层面做出更关键的选择，才能跳得出 local minimum，找到一个更大的全局自由解。这个原则在本期节目里被反复验证：Groq 牺牲单芯片容量换取确定性、Cerebras 牺牲良率换取物理距离、OpenAI 牺牲 per dollar 换取 per watt——全都是「想清楚牺牲什么」的实例。代价是失败概率很高。

「当你只做微小的提升的时候，其实你是可以保全大局的……但如果你要做很难的、数量级的提升的时候，你一定要很清楚的想明白，哪些东西是你可以牺牲掉的，哪些东西是你真正关键的。」 [01:12:01]

失败观失败不否定问题本身是否正确

Mark 说这样的失败非常多，但这和成功失败没有关系——它是你做事情的逻辑，是什么样的事情值得做。失败只是你可能没有找到正确的解法，甚至这个解法可能根本不存在；它不会否定你要解决的这个问题本身不是正确的问题。

「它不会否定你要解决的这个问题不是正确的问题，它只是你可能没有找到正确的解法，甚至这个解法可能是没有的。」 [01:12:55]

创业建议Bill 只给了一条硬建议，以及一个反差

硬建议只有一条：一定不要用 PhD 写的代码——这是 Bill 自己上一个创业里的惨痛教训。更有意思的是那个反差：Bill 的底色更接近一位科学家，他眼中「研究的本质是用最小的代价获得最多的知识」，所以当年会劝学生不要为了流片而流片——因为流片之前你已经拿到了 99% 的知识，流片并不能带来工程实现之外的额外东西。但创业恰恰是要去解决剩下那 1% 工程上的事情，而且可能要花掉 99% 的精力：它对「这件事能不能做成」的贡献没有那么大，但你必须投入大量的时间去做散热、供电这些实际设计问题。

「Bill 给我的建议就是，一定不要用 PhD 写的代码，因为这是 Bill 上一个创业里面的惨痛教训。」 [01:13:32]

「你可以在不做工程之前，就从设计的角度知道这件事情的技术瓶颈在哪、能不能做。」 [01:14:37]

工程哲学亚马逊：customer obsession 与「以终为始」

子扬在亚马逊的 Annapurna Labs 做 Trainium 芯片上的软件栈。软件在系统的最上方、用户是从软件入手的，所以亚马逊有两条哲学：一是从系统反推硬件；二是 customer obsession——想清楚用户最后想要的是什么，再用软件栈去反推前面所有的层级。换一个说法就是以终为始：要很明确地想清楚要加速的 workload 是什么样的、是哪一类模型、是训练还是推理、还是两者都做，这会直接影响从高层系统一路反推到芯片上具体设计的每一层。其中一个关键参数是「计算带宽与访存带宽的比值」——它决定你读一份数据之后要做多少次计算，才能把计算和访存都用起来，也直接决定哪一类模型或应用在这颗芯片上最好用。实际做法是：先明确最终 workload 是什么、系统会是多少个节点、多少个节点在物理上装得下模型、能不能被接纳，再倒推这个比值定在多少。硬件一旦确定，它又会反过来决定你要怎么对不同软件做优化。最本质的一条是：你要知道的不一定是用户「今天」在用什么，而是「芯片做出来的时候」用户想要什么——那是两三年之后。

「首先要知道用户想要的是什么，这个有可能不一定是用户今天在用的，有可能是用户在芯片制作出来的那个时候会想要的是什么。」 [01:17:12]

「因为本身芯片是一个长周期的一个事情。」 [01:17:22]

核心结论

Jalapeño 没有走 SRAM，而是把 HBM4 带宽堆到单封装 15.4 TB/s。但这个背离不是矛盾，而是一个更强的结论：存储路线的选择不是技术优劣之争，而是「你的第一约束是钱还是电」。同一颗芯片内部做异构、并用「暗硅」关掉不用的单元来省电，是两位嘉宾第一次见到的解法。终局不会是单一路线——不同市场条件会收敛到不同的点位，这正是「异构」的两层含义。

定性一颗通用推理芯片，而不是一颗专用加速器

OpenAI 这颗芯片是与博通联合开发的，2026 年 6 月 24 日发布——正好是本期的录制当天，所以节目在发出前做了一次补录。定性上它是一颗通用的 AI 推理芯片，和 GPU 比较接近：通用性体现在它可以跑各种模型，甚至 demo 里连游戏都能跑出来。它把 prefill 与 decode、Attention 与 FFN 这些之前被认为需要系统级异构的部分，用一颗芯片全包了；设计上还加入了对小维度矩阵乘的支持，所以在 batch size 比较小的情况下性能也能做到比较好。公开信息甚至说它下一代要去支持训练。另一个小特点是它对 AI 的使用：它的 kernel 语言写出来的 kernel，很多优化在很大程度上交给了 Codex；芯片设计本身的性能优化与上市速度（项目启动到流片）相比之前的芯片项目也有很大提升——号称 9 个月完成流片。

「它的通用性体现在它可以跑各种模型，甚至一些游戏它都 demo 可以跑出来。」 [01:18:22]

「它的说是启动到流片用了 9 个月，对这个速度是相当快了。」 [01:20:08]

为什么选最贵的路因为它的第一约束是电，不是钱

美国的数据中心现在缺的并不是资本和空间，而是电的供给。所以 OpenAI 非常需要同样的电产能产出更多的 token——产出更多的智能也意味着更多的收入，因此它对电的效率极度敏感，而对资本开销、对造芯片的成本相对不那么敏感。这就解释了一个看起来很反直觉的选择：SRAM 路线最本质的优势是「每一块钱能买到的带宽比 HBM 高好几个数量级」，这直接换算成「同样的价格或同样的芯片产能能产更多 token」；但 OpenAI 更关心的不是 per dollar，而是「每瓦或每兆瓦能产出多少 token」，而这颗芯片在这项指标上是高于英伟达 Rubin 架构的。所以「贵」未必是劣势——取决于你把哪一项当作约束。

「OpenAI 看到的是它对电的效率非常非常的敏感……同样的电的产能能产出更多的 token，产出更多的智能也意味着更多的收入。」 [01:18:33]

「目前来看 OpenAI 更关心的是另外一个指标，就是从电的角度。」 [01:21:54]

SRAM 的不舒适区KV cache：容量需求是动态的，而且在快速变化

长上下文加上缓存命中，会让 KV cache 的容量需求变得很大，而且它是动态的：随着使用人数和上下文长度不断增长。这对容量的性价比是有要求的，而这一点恰好落在 SRAM 不太舒适的区间里——所以两位嘉宾自己的方案、以及 Groq 与 GPU 结合的方案，都把 Attention 那部分的 KV cache 放在另一块芯片上，而不是放在大 SRAM 的芯片上。另一个变量是 KV cache 的需求本身就在快速变化：DeepSeek 新模型发布后的第一张图，就是每个 token 的 KV cache 在逐代下降。SRAM 最大的缺点因此被明确为「容量的性价比」——6 个晶体管存 1 bit，而且一般来说为了达到带宽要放在同一个 die 上，堆叠反而会降低它出来的带宽。但需求要分两类看：模型权重这种「固定的量」，可以用很多颗芯片组成集群来做，仍在 SRAM 可以接受的空间内；而 KV cache 这种「变化很多且可能持续增长的量」，容量受限这个缺点就会使它不适合这个场景。

「如果你的要存的数据它是一个变化很多，并且可能未来持续增长，比如说我们刚刚说到这个 KV cache，那我们就认为它在容量上受限这个缺点，就会使得它不适合这个场景。」 [01:26:29]

窗口期SRAM 的优势窗口会不会在两三年内关上？

一个合理的担心是：HBM 每一代的带宽提升比 SRAM 的密度提升要快，而芯片的周期只有一年半到两年（Jalapeño 甚至 9 个月）。嘉宾的判断是：HBM 带宽的增长其实也没有大家想的那么乐观，连「这一代之后的带宽增长从哪里来」都不很确定。第一性的思考还是回到「线」——HBM 的连线仍然是封装内的某种线、不是光刻出来的线，所以它的密度有天然的瓶颈。一个被反复提到的方向是 3D DRAM，把「边上走线」变成「面上走线」。结论是：在「带宽的绝对值和性价比」这个点位上，HBM、HBF 仍很难达到 SRAM 的水平；而这些方向都只是落在同一个 trade-off 空间里的不同点位。

「第一性的去思考，就是你的连线还是通过某一种线……但它不是光刻出来的线去走，所以它的密度是有些天然的瓶颈。」 [01:24:57]

暗硅把异构收进一颗芯片，用关掉单元来省电

嘉宾对「业界在向 SRAM 收敛」的判断做了一点修正，但方向不变：在大系统级异构中，为了提高 token 的性价比，还是会有很多公司向 SRAM 收敛。而 Jalapeño 真正有意思的地方在于：它把异构这件事从系统级搬进了一颗芯片的内部——芯片里的很多部分之间是异构的；同时提出了 Dark Silicon（暗硅）的概念：用这一颗芯片去做不同的事，做某些事的时候可以把其中一些部分关掉、或者降低它的功耗，以提高电效率。代价是用更多的成本去买这颗芯片，所以从 per dollar 的角度看，它并不是一个很好的方案。作为对照：Groq、Cerebras、两位嘉宾自己、以及 PD 分离、训练与推理分离，都是「异构发生在系统级」——多颗芯片各司其职；英伟达的 GPU 也可以理解为芯片内异构，但它更强调通用性，并没有像 OpenAI 这样把不同需求放在一起、再通过各种方式关闭一些东西来提高电效率。嘉宾说，这是他第一次看到这样的解决方案。

「它其实是把异构的这一点给做进了一个芯片。」 [01:27:06]

「这个是我第一次看到这样一个解决方案。」 [01:29:21]

终局会不会还是英伟达的天下？

嘉宾的回答很坦率：这个问题很难回答，但「我们当然不希望它是英伟达的天下」——如果真是那样，意味着这么多在做新架构探索的公司不会存活，包括他们自己。他们的依据是：以 GPU 为核心的英伟达，在做其他方向的探索时，会在迭代速度和方案选择上受到一定的限制；所以很多新方案其实不是从英伟达出发的——这也正是它要花 200 亿美元去 acqui-hire Groq 的原因。他们的期望是让整个 AI 芯片变得更多彩一些、方案更多一些，这也符合他们对异构的认知。

「我们当然不希望它是英伟达的天下，这样这么多在做（新）探索的公司……那这句话就意味着这些公司就不会存活，包括我们。」 [01:29:51]

「我们希望整个 AI 芯片变得更多彩一些，这个方案变得更多一些，这个也符合我们对于整个异构的一个认知。」 [01:30:26]

核心结论

本报告正文已按正确写法呈现；下表仅作查证与延伸背景之用。其中标注「背景校准」的条目来自公开报道，用于补全节目中提到的公司后续动作。

名词校准转写误识 → 正确写法

背景校准本期节目之外，可以补上的几条时间线

需要说明的是：上述条目用于补全上下文，本期节目的核心判断与引用均来自音频原文，不依赖这些外部信息。录制时间为 2026 年 6 月 24 日，Jalapeño 部分为节目发出前的补录。

▸2025-12-24｜英伟达以约 200 亿美元、通过非独占 IP 授权加人才吸收的方式获得 Groq 核心芯片技术与创始团队；Groq 云业务剥离独立运营。

▸2026-01｜Cerebras 与 OpenAI 签署数十亿美元级的多年度算力采购协议。

▸2026-05-14｜Cerebras 于纳斯达克 IPO（代码 CBRS），首日收盘市值突破 670 亿美元。

▸2026-06-24｜OpenAI 与博通发布首款自研推理芯片 Jalapeño；启动到流片 9 个月。

▸2026 Hot Chips｜Jalapeño 公开架构细节：216 GB HBM4、15.4 TB/s 带宽、700 W、TSMC 3nm 级工艺、64 个 core slice 各配一块 HBM 切片（NUMA 式）。

阅读提示两份版本与使用方式

本报告提供两个版本：PC 阅读版（本文件，JavaScript 渲染，本地打开即可）与微信公众号粘贴版（纯内联样式，可在浏览器中全选复制后粘贴进公众号编辑器并保留格式）。正文中所有引用均标注了音频原片的时间戳，方便回溯核对。封面提示词文件可直接粘贴给图像模型，生成白底线条风的公众号首图。