很多人只听过英伟达的 GPU，却不知道它还有一款专门服务 AI 推理的 LPU 芯片。
2025 年年底，业内传出英伟达用 200 亿美元收购了 Grok 公司的核心资产 —— 注意，这可不是马斯克旗下的 ChatGPT 相关团队。
这支队伍 2016 年就已成立，创始人来自谷歌 TPU 部门，堪称 AI 硬件领域的黄埔军校。Grok 当年推出的张量流处理器（TSP）架构，最初的定位是打出独立于 GPU 的专精推理硬件。
毕竟 GPU 并非 AI 原生硬件，何况谷歌当年 Transformer 论文发布还是在一年之后，当时还没有如今火爆的大语言模型。
但生成式 AI 爆发后，这套架构的优势忽然显现，远胜 GPU 乃至 TPU，英伟达将其重新包装为 LPU 概念推出。
这两年多家公司自研推理芯片，给英伟达带来不小压力，公司快速完成对 Grok 的收购，仅用三个月就推出了英伟达 Grack3 LPU 芯片，以及配套的 LPX 机架级产品。
打破缓存逻辑，150TB/s 带宽碾压 HBM4
LPU 的硬件设计到底有啥不一样？先看芯片结构：两侧是高速互联接口 CtoC，核心区域以中间的 VXM 为中轴上下对称分布。
VXM 是向量计算单元，负责标量运算等核心任务；MXM 是张量单元，承担 90% 以上的矩阵运算 —— 这两者对应 GPU 的 CUDA 核心和 TensorCore。
还有 SSM 数据移动引擎，以及重头的 MEM 存储单元。和普通芯片不同，LPU 根本没有缓存设计，MEM 直接用 SRAM 充当主内存。
单颗芯片的 SRAM 容量就达 500 兆，整套机架产品的 SRAM 总量更是达到 128G，这种配置相当可观。
运行时，LPU 直接把权重等数据加载到 MEM 中，最大程度降低内存调用开销，大幅提升能耗优势。
外加 SRAM 读写延迟极低，单芯片带宽可达 150TB/s，对比英伟达最新 HBM4 的 22TB/s，差距十分明显。
软件才是核心，和 GPU 的本质区别在哪？
硬件只是基础，真正让 LPU 拉开和其他芯片差距的，是它的软件哲学。
LPU 运行前，会通过编辑器把所有计算任务整理为静态调度，形成固定的计算图。芯片运行时，每条指令、每个数据流的路径和到达时间都提前确定，不存在临时调度。
如果把 GPU 比作灵活调整流水线的汽车产线，那 LPU 就是提前固定好每一个螺丝的安装节点，全程一气呵成。这种设计的核心目的是降低推理延迟。
对比 GPU 的推理流程：GPU 本身不会主动计算，需要 CPU 下发内核指令，且会反复下发，带来巨大开销。
同时 GPU 内部存在动态调度，任务分给 SM 时会出现分支发散惩罚，外加 HBM 加多缓存的设计，容易出现缓存未命中，数据读取等待拉低效率。
LPU 则完全没有这些问题：硬件搭载大容量 SRAM 驻留数据，软件采用静态映射策略，计算过程延迟极低且确定性极强。
不仅提升了 Token 生成速度，还消除了速度波动，没有复杂缓存层级、分支发散惩罚和运行时征用，整个流程完全可预测。多颗 LPU 互联时，还可通过同步协议对齐施工节奏。
不是替代 GPU，而是绝佳搭档
不少人会好奇，LPU 是不是要取代 GPU？答案是否定的，二者是互补关系。
GPU 的优势是高度并行计算能力和大容量 HBM，适合处理 Prefill 预处理和 Decode 阶段的注意力计算，这些任务需要大内存存储 KV Cache。
而 LPU 的优势是极低延迟和极致带宽，专注承担 Decode 阶段的前向传播过程，通过存储权重循环生成 Token，直到全部完成。
根据英伟达公开数据，这种异构协同设计下，单 GPU 对应 Token 生成量提升至少 35 倍，收益十分显著。如果搭配推测解码技术，LPU 还可承担小模型草稿生成环节，进一步提升整体效率。
如今多家厂商都推出了自研推理芯片，比如 OpenAI、谷歌、微软、Meta、亚马逊等。
和英伟达的 AFD 策略（解耦注意力和前向传播）不同，其他厂商大多采用平替策略，直接用自研芯片替代英伟达产品。
这类芯片的技术门槛并不高，OpenAI 仅用 9 个月就完成了 AI 服务芯片的流片。
谷歌、微软、亚马逊等云服务厂商的专用推理芯片还在持续进化，承担的负载越来越大，市场对英伟达的依赖度正在降低。英伟达收购 Grok 只是填补了自身的短板，并未真正守住 AI 算力的江山。
总的来说，英伟达的 LPU 补齐了推理赛道的业务空白，但想要保住 AI 算力龙头的地位，依旧要直面众多玩家的冲击，未来的 AI 硬件赛道依旧充满变数。
长宏网提示：文章来自网络，不代表本站观点。
