
近日,谷歌正式发布第八代TPU的两款新系统:TPU 8i Max和TPU 8tx。这是谷歌首次在一年内将TPU系统配置扩展到四款。两款新品是基于已有的TPU 8i和TPU 8t硅片,通过重新配置系统架构而成。
谷歌AI与基础设施高级副总裁Amin Vahdat对此的定位十分明确,即与其打造一颗试图覆盖所有场景的通用芯片,不如为具体的应用场景做深度的系统级优化。 两款新品分别瞄准内存墙和机密计算,恰好落在英伟达通用GPU当前最不占优的两个方向上。
在当前的智能体时代,AI面临一个突出的核心矛盾。当AI需要同时处理整个代码库、数小时视频或极长对话历史时,海量的上下文数据会把显存瞬间塞满,导致内存带宽往往比算力更早成为瓶颈。
为了解决单芯片HBM容量的物理上限,谷歌采用了多芯片模块(MCM)封装技术,将两颗低延迟的TPU 8i芯片封装在一起。单颗TPU 8i配备288GB HBM3e、8.6TB/s带宽和384MB SRAM;双芯封装后,系统总HBM容量扩大了一倍,达到384GB,HBM带宽翻倍至17.2TB/s,片上SRAM达到768MB,算力和SRAM容量同样翻倍。
然而,双芯封装也带来了新的工程挑战,即如何高效管理跨芯片的内存空间。为此,谷歌同步开源了TPU Sync,将芯片HBM、主机DRAM、共享存储和数据中心网络编排为统一的存储层级,官方数据显示可将特定数据传输延迟和响应启动时间降低90%以上。
因此,TPU 8i Max真正的竞争力,来源于封装级硬件与内存调度软件的系统级组合。
TPU 8tx切入的是另一条被通用GPU相对忽视的战线,即数据在使用过程中的安全。传统加密覆盖存储和传输,但数据在内存中被处理时必须解密,这成为了政府、金融、医疗等受监管行业客户部署大模型时的核心障碍。
要解决“使用中”的加密,不能只靠加速卡,必须从整台服务器的主机层面入手。为此,谷歌选择第五代AMD EPYC Turin作为主机CPU,主要是出于对机密计算硬件信任根和I/O带宽的严格要求。
谷歌将TPU 8t的硅片与双路EPYC Turin组合,通过AMD的SEV(安全加密虚拟化)能力,把机密计算的保护范围从CPU内存延伸到相连的TPU加速器。这一保护覆盖了从CPU经PCIe到TPU芯片的整段路径,模型权重、提示词和中间数据在传输与执行期间全程保持加密和硬件隔离,甚至能够防止系统操作人员访问敏感数据。
在系统连接层面,TPU 8t使用PCIe Gen5 x16接口,双路EPYC Turin提供128条Gen5通道,确保四颗TPU与高速网卡之间没有I/O超售。AMD在官方新闻稿中的表述是,第五代EPYC正在为首款具备硬件强制机密计算的云端TPU系统提供主机基础设施。若换用下一代Gen6主机,在2027年硬件认证窗口前也只会以Gen5速率运行,无法为加速器带来额外带宽,这从反面印证了当前Gen5通道配置的工程合理性。
在网络层面,TPU 8tx采用了原本为推理型TPU 8i设计的Boardfly拓扑,芯片间最大网络跳数从训练型架构的16跳压缩到7跳。谷歌给出的数据是,延迟相比TPU 8t降低最高一半,而加密保护几乎不带来性能损失。
谷歌TPU长期主要服务内部,如今对外销售和云租赁的权重正在快速上升。谷歌云TPU客户已接近100家,覆盖AI实验室、大学和企业。从目前公开确认的商业合作来看,Anthropic已达成协议,将在2028年至2031年间购买最多1500亿美元的TPU算力,甲骨文也计划从明年起向云客户提供TPU选项,客户名单还包括苹果、Meta等巨头。
性价比是TPU撬动市场的核心因素。分析师Mandeep Singh的测算显示,TPU价格比英伟达GPU低约30%,吞吐量却有竞争力。
单颗TPU 8i的288GB HBM本身已经超过了英伟达Blackwell B200的192GB,双芯封装后的384GB进一步拉大了这一差距,而英伟达的通用GPU需要在单芯片内平衡训练和推理两类负载,难以像谷歌这样为单一场景单独堆叠内存密度。
TPU 8i Max和8tx的策略,是在性价比基础之上实施精准的场景化定制。通过双芯封装匹配长上下文的内存带宽需求,利用AMD EPYC的硬件隔离匹配受监管行业的机密计算需求。
面对谷歌的贴身肉搏,英伟达的回应也在向专用化靠拢,包括自研CPU和面向推理环节的专用芯片。这意味着AI芯片市场正在从“一家独大”走向“多极化”的定制化竞争。
当两家最大的AI芯片供应方同时从通用向专用移动,竞争的重心就不再只是制程和峰值算力,而是谁能在具体负载上把封装、内存、主机CPU和网络组合出更高的有效吞吐。
谷歌这次用两款重新配置的系统证明了,在AI芯片的下一阶段,为特定任务把系统做对,可能比单纯追求通用芯片的规模扩张,更能切中客户的实际付费意愿。
本文转自媒体报道或网络平台,系作者个人立场或观点。我方转载仅为分享,不代表我方赞成或认同。若来源标注错误或侵犯了您的合法权益,请及时联系客服,我们作为中立的平台服务者将及时更正、删除或依法处理。
