OpenAI的Jalapeño芯片在每瓦AI工作量上表现更优，同时在三个大型公开模型上降低了延迟。

OpenAI表示，其首款定制推理芯片Jalapeño能够在每瓦功耗下完成更多AI工作，同时缩短响应时间，这指向了一种旨在更高效处理日益繁重的模型工作负载的硬件设计。

该公司在三个公开模型上测试了Jalapeño：GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T。在这些测试中，该芯片在峰值吞吐量下每瓦AI工作量比对比系统高出1.5至1.9倍，端到端延迟降低1.7至3.6倍。

对于高交互性工作负载，OpenAI表示Jalapeño实现了2.1至4.1倍的性能提升。该公司认为，将高吞吐量和低延迟结合在同一架构中，有助于减少服务AI模型所需的硬件和功耗。

该芯片额定功率为700瓦，不过OpenAI表示，在测试工作负载期间，实测持续功耗保持在550瓦或以下。该公司使用SemiAnalysis的公开InferenceX基准，将Jalapeño与市面上可获得的加速器系统进行了对比。

一块芯片解决两大瓶颈

该设计的一个核心关注点是避免吞吐量与延迟之间通常存在的权衡取舍。AI推理根据系统所执行的任务不同，有着不同的需求。处理用户提示词（即“预填充”阶段）通常是计算密集型的，而逐token生成响应（即“解码”阶段）则更依赖内存带宽。

Jalapeño的设计目标是在同一架构内同时处理这两个阶段。OpenAI表示，该芯片将模型状态——包括生成过程中使用的键值缓存——保存在更靠近所需处理资源的位置。

其网络系统也集成在架构中，以减少芯片之间需要传输的数据量。这样做的目的是限制可能导致计算资源空等数据的通信延迟。

这种方法对于AI智能体尤为重要，因为智能体可能需要按顺序执行许多推理步骤。每一步的微小延迟累加起来，可能导致整体任务耗时大幅增加。

AI助力Jalapeño研发

OpenAI在芯片开发过程中也使用了自家模型。该公司表示，AI帮助工程师探索实现方案、缩短设计与验证周期，并优化算术电路。

团队从初始设计到流片仅用了九个月。随后，OpenAI利用Codex和GPT-Astra，在两个月内将三个不在原生产计划中的开源权重模型在Jalapeño上优化至高性能。

在选定的GPT-OSS注意力模块和专家混合模块上，AI生成的实现比人类专家编写的现有实现快1.5至1.8倍。OpenAI强调，这些结果适用于单个模块，而非完整模型。

该公司还在Kimi K2.5 1T等大型模型上测试了Jalapeño。在该模型上，其报告的每瓦峰值性能比对比系统高出约1.5倍，端到端延迟降低3.4倍。

OpenAI计划于2026年底前开始将Jalapeño部署到其计算基础设施中。该公司表示，该芯片是多代路线图中的第一代产品，第二代和第三代设计已经在开发中。

更广泛的目标是在OpenAI扩展计算基础设施并服务能力日益增强的模型的过程中，使推理更快、更节能。

如果朋友们喜欢，敬请关注“知新了了”！