OpenAI 公布首款自研推論晶片Jalapeño 實測數據

OpenAI 8 月 25 日公布首款自研推論晶片「Jalapeño」的第一批實測數據。這顆與博通（Broadcom）合作設計的 ASIC，今年 6 月首次亮相，專做大型語言模型推論，不做訓練。對照系統是輝達 GB200／GB300 機架等級，測試平台用 SemiAnalysis 的公開 InferenceX，模型包括 OpenAI 的 GPT-OSS 120B、DeepSeek R1 670B，以及月之暗面的 Kimi K2.5 1T。

官方數字顯示，在回應速度要求相同的前提下，峰值吞吐時每一瓦能完成的 AI 工作量比對照系統多 1.5 到 1.9 倍；端到端延遲縮到對照系統的約三成到六成（也就是低 1.7 到 3.6 倍）。在高互動、講究即時回應的測試點上，效能高出 2.1 到 4.1 倍。晶片額定功耗 700 瓦，實際持續負載多半落在 550 瓦以下。OpenAI 硬體副總裁 Richard Ho 說，這架構同時做到高吞吐與低延遲，不必像常見系統那樣二選一。

硬體規格也公開一部分。單一封裝搭配六組 HBM4，容量約 216 GiB，頻寬 15.4 TB/s。一個機櫃裝 128 顆，完整 pod 到 2048 顆。製程方面，外媒與供應鏈消息指向台積電 N3P。OpenAI 強調這是通用推論加速器，不只跑自家模型，DeepSeek 與 Kimi 也過關，且部分結果經 SemiAnalysis 工程師到實驗室複核。

時程上，今年底先小量部署，2027 年才擴大。第二代已接近流片，第三代在概念階段。Ho 同時強調，Jalapeño 只是整體算力策略的一部分，輝達、Cerebras 等合作仍會繼續，不會一次換成全自研。

對產業的意義比較直接。推論占日常服務成本的大頭，每瓦多做一點、延遲少一點，長期能壓低 token 成本。對輝達來說，這是又一家大客戶自己做 ASIC 的實例，雖然目前還不構成全面取代。對台灣供應鏈，台積電先進製程與 HBM 封測仍是關鍵節點；HBM4 產能本就緊，OpenAI 若依先前與博通談的規模往上衝，會再多一個大口買家，和輝達、其他雲端業者搶貨。

目前這些數字是 OpenAI 用公開基準跑出來的結果，對照組是現有 GB200／GB300，還沒直接對上輝達更新一代的 Vera Rubin。實機大規模上線後的穩定度、軟體棧成熟度、以及真實機房電力與散熱表現，都還要再觀察。

• OpenAI 官方：Jalapeño 首批結果
  https://openai.com/index/jalapeno-first-results/

• OpenAI 官方：與博通發表 Jalapeño
  https://openai.com/index/openai-broadcom-jalapeno-inference-chip/