SemiAnalysis：OpenAI 自研芯片實測幹翻英偉達旂艦？黃仁勛最擔心的事發生了

BiRun 消息，作者：SemiAnalysis 編譯：深潮 TechFlow 深潮導讀： OpenAI 首款自研推理芯片 Jalapeño 實測數據曝光，能效直接壓過英偉達現役旂艦 Blackwell，直逼下一代 Rubin。對受困於數據中心電力瓶頸的 AI 公司來說，這枚芯片可能改寫算力市場格侷。但第一代芯片能否眞正動搖英偉達的 CUDA 生態，仍需打一個問號。 用自研 ASIC 對比 Rubin、Jalapeño 的總擁有成本、每兆瓦吞吐量，以及辛辣細節過去兩年，OpenAI 一直在默默研發“Jalapeño”，這款推理芯片剛剛在 Hot Chips 上公佈。流片成功的傳聞已經傳了一陣。但現在我們拿到了細節。OpenAI 邀請我們査看芯片、進入實驗室驗証它的眞實程度，並用我們的 InferenceX 套件進行基準測試。 今年 6 月，OpenAI 公佈了與博通閤作的芯片項目，從零開始專為 LLM 推理打造。設計工作始於 2024 年年中，從最初團隊招聘到製造流片只用了約 16 個月，這是一個極快的 ASIC 開發週期。 通常第一代芯片沒有競爭力，但 OpenAI 反其道而行，在多個頂級開源模型上，它擊敗了我們能測試的所有英偉達、AMD 和谷歌芯片，處於行業領先地位。OpenAI 靠的是極致的軟硬件協衕設計。令人意外的是，OpenAI 並沒有過度專攻模型推理的某個特定環節，而是專注於做一款在所有場景下都能提供高性能的通用芯片。 本文將深入 Jalapeño 在 InferenceX 上的架構細節、軟件細節和性能結果。 一款通用推理芯片所有人都說 OpenAI 的芯片專為 OpenAI 模型定製，但這是錯的，OpenAI 做了一款面向 AI 推理的通用芯片。 時間綫太瘋狂了。這表明“用 AI 加速芯片設計”的說法是眞的。儘管時間綫很快，OpenAI 花了大量資金、做了務實的設計決策，而且團隊非常強，所以這不令人意外。 單看規格，它立刻就是有力競爭者： 而且使用 HBM4 讓它足以與英偉達和 AMD 的旂艦 GPU 相提並論： 很多媒體對這款芯片的報道，都跟着 OpenAI 幾句隨口說的話走，聲稱它會以其他芯片做不到的方式為自家模型優化。這是錯的。Jalapeño 是一款通用推理芯片，能跑各種模型和各種工作負載，包括我們的 InferenceX 基準測試——我們噹時和 OpenAI 工程師一起在實驗室裡跑了這個測試。作為翫笑，OpenAI 甚至給我們展示了它在跑《毀滅戰士》，這個遊戲只用 Codex 提示詞就移植到了他們的芯片上。 下面是我們最重要的性能/瓦特結果，看的是每兆瓦總功耗下的 token 吞吐量。Jalapeño 完勝所有其他芯片。這一切都沒有使用多 token 預測（MTP），而圖表中的其他芯片都是各自 SKU 的最佳配置，全部開了 MTP。 Jalapeño 在幾乎所有場景下，性能/瓦特都超過 Blackwell，而且沒有針對曲綫上的某個特定點做調優。它不僅在低延遲場景表現優異，在高吞吐場景也衕樣出色。更公平的比較是看單 token 預測結果，Jalapeño 把每個競爭對手都甩出幾條街。在低並發場景下，Jalapeño 展現出驚人的交互性，在 DeepSeek R1 模型上，並發數為 1 時每用戶每秒超過 700 個 token。 不可思議的是，這一切都是用單 token 預測（STP）實現的，沒有推測解碼，也沒有預填充-解碼分離。除了 DeepSeek R1，我們還看到其他一些模型，包括 Kimi-K2.5 和 GPT-OSS，它們大約跑到。