美光發布 AI 運算第二代 8 層堆疊 HBM 高頻寬記憶體

分類: PC零組件 新品報導   7/27/2023   Micron


美光科技宣布推出業界首款第二代 8 層堆疊(8-High)24GB HBM3,並於今日開始送樣。此產品頻寬達 1.2TB/s 以上,每腳位傳輸速率超過 9.2Gb/s,較目前市面上的 HBM3 解決方案高出 50%。此外,美光第二代 HBM3 的每瓦效能較前幾代產品提升 2.5 倍,刷新 AI 數據中心的關鍵性能、容量及功耗指標。這些改進縮短了業界訓練 GPT-4 等大型語言模型及其更高階版本所需時間,幫助 AI 推論所需的基礎硬體架構發揮最佳功效,並提供卓越的總體擁有成本(TCO)。

奠基於先進的 1β DRAM 製程節點,美光領先業界的 HBM 解決方案能在業界標準封裝尺寸中,將24GB的晶粒組裝為8層高度的立方體。美光 12 層堆疊(12-High)36GB HBM3 亦將於 2024 年第一季開始送樣。透過此堆疊高度,美光可提供較競品解決方案高出 50% 的容量。美光第二代 HBM3 性能功耗比和每腳位傳輸速率的改善,對因應當前 AI 資料中心的高功耗需求而言至關重要。美光提供較現行 HBM3 解決方案多出一倍的直通矽晶穿孔(TSV)數量,又以五倍金屬密度減少熱阻抗,並採用高能效資料路徑設計,實現功耗的改善。

身為 2.5D/3D 堆疊和先進封裝技術的領導者,美光很榮幸能成為台積電 3DFabric 聯盟的合作夥伴,攜手塑造半導體和系統創新的未來。在第二代 HBM3 產品的研發中,我們與台積電的合作為順利導入和整合 AI 及高效能運算設計應用的運算系統奠定了堅實基礎。台積電已收到美光第二代 HBM3 樣品,並正與我們密切合作,以進行進一步的評估和測試,從而助力客戶的次世代高效能運算應用創新。

在生成式AI方面,美光第二代 HBM3 亦能符合多模態數兆參數AI模型所需。每組堆疊24GB的容量、大於9.2Gbps的每腳位傳輸速率除了能減少大型語言模型 30% 以上的訓練時間,進而降低總體擁有成本外,也能大幅提升每日查詢次數,讓訓練完成的模型在使用時更有效率。不僅如此,美光第二代 HBM3 傲視業界的每瓦效能也替現代 AI 資料中心扎實省下營運費用:若以裝設1000萬個GPU計算,每組堆疊節能5瓦,預計將能在五年內省下多達 5.5 億美元的營運成本。

美光副總裁暨運算產品事業群總經理 Praveen Vaidyanathan表示:「美光第二代 HBM3 的研發重點,在於為客戶及業界提供卓越的 AI 及高效能運算解決方案。我們所考慮的一項重要標準,就是第二代 HBM3 產品能否輕鬆與客戶平臺整合。對此,記憶體內建的自我測試(MBIST)不僅可徹底程式化,還能以規格中的最高每腳位傳輸速率進行測試,有助於改善與客戶的測試能力,提升協作效率,並縮短上市時間。」

NVIDIA 超大規模與高效能運算副總裁 Ian Buck 表示:「生成式 AI 的核心是加速運算,而這種運算則受益於具有高頻寬及能源效率的 HBM。我們與美光在廣泛產品領域的合作已行之有年,也渴望能在第二代 HBM3 上持續合作,以推動 AI 創新。」

美光運用其全球工程組織開發這項突破性的產品,包含於美國進行設計和製程研發、於日本進行記憶體製造,及於台灣進行先進封裝。繼採用 1α 製程節點 24Gb 單體式 DRAM 晶粒的 96GB DDR5 模組問世,以支援高容量需求的伺服器解決方案後,美光今日又宣布推出基於 1β 製程節點 24Gb 晶粒的 24Gb HBM3 產品,為美光業界技術領先地位立下新的里程碑。美光也計劃於 2024 上半年推出採用 1β 製程節點 32Gb 單體式 DRAM 晶粒的 128GB DDR5 模組。這些產品展示了美光在 AI 伺服器領域的領先技術創新。


相關文章:

美光推出 Gen5 Micron 4600 NVMe, 讀取達 14.5GB/s  [2/20/2025]
美光正式送樣 DDR7 繪圖記憶體,系統頻寬達 1.5 TB/s  [6/5/2024]
美光宣布全球最先進的 DRAM 技術 1-Beta 節點正式量產出貨  [11/1/2022]
美光 1α 製程 DRAM 技術正式量產供貨  [1/25/2021]
美光「技術應用支援計畫」 加速 DDR5 進展  [7/16/2020]
[「擇法善思林之蘭室藏津」的緣起]
大學分科測驗》物理考題創新 頂標和前標預估提升
高齡科技計畫啟動18月 吳誠文:要推動組國家隊讓更多服務落地
大罷免決戰中台灣!護國大遶境行腳 台中10多名綠議員冒雨陪行
大學分科測驗》化學藏大魔王 高雄考生:圖表有點複雜
2025新竹瘋影展8/1開跑 邀市民尋找床底小夥伴
藍白普發現金 吳思瑤斥向子孫借錢為救罷免
朱立倫批大罷免是民進黨「選輸翻桌」 每到選舉只會抹紅
林岱樺初選爭議升溫 支持者勸退黨參選引關注
蔡允潔懷二胎胃酸逆流 堅決「不當三寶媽」原因曝光
溫網》每次都奪冠熱門卻提前掰掰 莎巴蓮卡:「只剩美網,要相信自己」
挨批放任支持者攻擊志工 藍委張智倫回應了
羅東藝穗節12日登場 明華園「蓬萊仙島」打頭陣
世界警消運動會「TEAM TAIWAN」創佳績 金門林匯耀穿金戴銀
漢光41》徵用物流3噸半貨卡一字排開 柏鴻輝:平戰結合打造社會韌性
嘉縣東石、朴子停電幼兒缺照顧 民代招待到樂園玩整天
[擇法善思林之蘭室藏津]