AI热榜 当地时间 8 月 24 日，在 Hot Chips 大会期间，英伟达集中披露了新一代 AI 基础设施的多项进展。
面向低延迟推理的 NVIDIA Groq 3 LPX 已经进入全面量产，Nebius 将成为首家采用者； Spectrum-X 以太网引入多平面架构，目标是在不增加第三层网络的情况下扩展至 51.2 万颗 GPU；由 BlueField-4 和 DOCA 支持的 Scale-In，则开始接管 AI 工厂的安全、存储访问和运维任务；NVLink Fusion 进一步把云厂商自研的 XPU 和 CPU 接入英伟达机架体系。
这些并非彼此独立的产品。
英伟达正在围绕 Vera Rubin 构建一套更完整的“AI 工厂”：GPU 负责训练和通用推理，Groq 3 LPX 提高 Token 生成速度，NVLink 完成机架内互连，Spectrum-X 连接大规模集群，Scale-In 处理基础设施服务。
Groq 3 LPX 量产，专门加速 Token 生成 Groq 3 LPX 被英伟达定义为“交互式 AI 推理加速器”。
它并非用于替代 Vera Rubin GPU，而是作为 Vera Rubin 平台的扩展，专门提高推理生成阶段的 Token 输出速度。
代码智能体等应用不会在一次推理后结束任务，而是需要反复读取文件、编写和测试代码、调用工具、检查结果。
在数百甚至数千个执行步骤中，单次生成延迟会不断累积，最终影响一个任务需要几分钟还是几小时完成。
英伟达称，Groq 3 LPX 在 Artificial Analysis 使用 Gemma 4 31B 开放模型进行的测试中，在 10 万 Token 上下文条件下达到每秒 3400 个输出 Token，并将其描述为该模型目前有记录以来的最快成绩。
据介绍，在智能体和其他延迟敏感型负载上，其响应速度可达到最接近替代平台的 4 倍。
首批部署将来自 AI 云服务商。
🔗 原始来源
如果你要核对细节，可以再看原文： InfoQ AI原文链接