文|半導(dǎo)體產(chǎn)業(yè)縱橫

ChatGPT已經(jīng)從下游AI應(yīng)用火到了上游芯片領(lǐng)域，在將GPU等AI芯片推向高峰的同時，也極大帶動了市場對新一代內(nèi)存芯片HBM（高帶寬內(nèi)存）的需求。據(jù)悉，2023年開年以來，三星、SK海力士的HBM訂單就快速增加，價格也水漲船高。有市場人士透露，近期HBM3規(guī)格DRAM價格上漲了5倍。

HBM（High Bandwidth Memory，高帶寬內(nèi)存）是一款新型的CPU/GPU 內(nèi)存芯片，其實就是將很多個DDR芯片堆疊在一起后和GPU封裝在一起，實現(xiàn)大容量，高位寬的DDR組合陣列。

內(nèi)存市場自去年下半年已經(jīng)開始進(jìn)入寒冬，HBM為何依舊火熱呢？

01、需求所致

長期以來，內(nèi)存行業(yè)的價值主張在很大程度上始終以系統(tǒng)級需求為導(dǎo)向，已經(jīng)突破了系統(tǒng)性能的當(dāng)前極限。很明顯的一點是，內(nèi)存性能的提升將出現(xiàn)拐點，因為越來越多人開始質(zhì)疑是否能一直通過內(nèi)存級的取舍（如功耗、散熱、占板空間等）來提高系統(tǒng)性能。相較于傳統(tǒng) DRAM，HBM 在數(shù)據(jù)處理速度和性能方面都具有顯著優(yōu)勢，有望獲得業(yè)界廣泛關(guān)注并被越來越多地采用。

隨著集成電路工藝技術(shù)的發(fā)展，3D和2.5D系統(tǒng)級封裝（SiP）和硅通孔（TSV）技術(shù)日益成熟，為研制高帶寬、大容量的存儲器產(chǎn)品提供了基礎(chǔ)。針對內(nèi)存高帶寬、大容量、低功耗的需求，從2013年開始，國際電子元件工業(yè)聯(lián)合會（JEDEC）先后制定了3代、多個系列版本的高帶寬存儲器（HBM、HBM2、HBM2E、HBM3）標(biāo)準(zhǔn)。2022年1月28日，JEDEC正式發(fā)布了JESD238 HBM DRAM（HBM3）標(biāo)準(zhǔn)，技術(shù)指標(biāo)較現(xiàn)有的HBM2和HBM2E標(biāo)準(zhǔn)有巨大的提升，芯片單個引腳速率達(dá)到6.4Gbit/s，實現(xiàn)了超過1TB/s的總帶寬，支持16-Hi堆棧，堆棧容量達(dá)到64GB，為新一代高帶寬內(nèi)存確定了發(fā)展方向[9]。HBM通過TSV和微凸塊技術(shù)將3D垂直堆疊的DRAM芯片相互連接，突破了現(xiàn)有的性能限制，大大提高了存儲容量，同時可提供很高的訪存帶寬。

HBM的優(yōu)點

HBM堆疊結(jié)構(gòu) 來源：電子與封裝

高速、高帶寬HBM堆棧沒有以外部互連線的方式與信號處理器芯片連接，而是通過中間介質(zhì)層緊湊而快速地連接，同時HBM內(nèi)部的不同DRAM采用TSV實現(xiàn)信號縱向連接，HBM具備的特性幾乎與片內(nèi)集成的RAM存儲器一樣。

可擴(kuò)展更大容量

HBM具有可擴(kuò)展更大容量的特性。HBM的單層DRAM芯片容量可擴(kuò)展；HBM通過4層、8層以至12層堆疊的DRAM芯片，可實現(xiàn)更大的存儲容量；HBM可以通過SiP集成多個HBM疊層DRAM芯片，從而實現(xiàn)更大的內(nèi)存容量。SK Hynix最新的HBM3堆棧容量可達(dá)24 GB。

更低功耗

由于采用了TSV和微凸塊技術(shù)，DRAM裸片與處理器間實現(xiàn)了較短的信號傳輸路徑以及較低的單引腳I/O速度和I/O電壓，使HBM具備更好的內(nèi)存功耗能效特性。以DDR3存儲器歸一化單引腳I/O帶寬功耗比為基準(zhǔn)，HBM2的I/O功耗比明顯低于DDR3、DDR4和GDDR5存儲器，相對于GDDR5存儲器，HBM2的單引腳I/O帶寬功耗比數(shù)值降低42%。

更小體積

在系統(tǒng)集成方面，HBM將原本在PCB板上的DDR內(nèi)存顆粒和CPU芯片一起全部集成到SiP里，因此HBM在節(jié)省產(chǎn)品空間方面也更具優(yōu)勢。相對于GDDR5存儲器，HBM2節(jié)省了94%的芯片面積。

02、HBM新時代，巨頭布局

HBM每一次更新迭代都會伴隨著處理速度的提高。引腳（Pin）數(shù)據(jù)傳輸速率為1Gbps的第一代HBM，發(fā)展到其第四代產(chǎn)品HBM3，速率則提高到了6.4Gbps，即每秒可以處理819GB的數(shù)據(jù)。也就是說，下載一部片長達(dá)163分鐘的全高清（Full-HD）電影（5GB）只需1秒鐘。這與上一代HBM2E（3.6Gbps）相比，速率翻了一番。

當(dāng)然，存儲器的容量也在不斷加大：HBM2E的最大容量為16GB，HBM3的最大容量則增加到了24GB（業(yè)界最大容量）。SK海力士將同時推出16GB和24GB兩種容量的HBM3產(chǎn)品。此外，HBM3還搭載了ECC校檢（On Die-ErrorCorrection Code），可以自動更正DRAM單元（cell）傳輸數(shù)據(jù)的錯誤，從而提升了產(chǎn)品的可靠性。

硅穿孔（TSV，Through Silicon Via）可以說是使存儲器的上述高性能得以實現(xiàn)的核心技術(shù)。TSV技術(shù)通過電極連接DRAM芯片上的數(shù)千個微細(xì)小孔，從而連接芯片，傳送數(shù)據(jù)。比起通過在芯片上連接引線的方式傳送數(shù)據(jù)的傳統(tǒng)技術(shù)，TSV技術(shù)不僅可以實現(xiàn)速度翻倍，還有助于提升密度（density）。

HBM3與HBM2E最根本的區(qū)別在于產(chǎn)品規(guī)格（spec）本身得到了升級。在HBM2的產(chǎn)品規(guī)格下，其速度和容量已經(jīng)達(dá)到了極限，無法再進(jìn)一步提高。因此，SK海力士研發(fā)團(tuán)隊定義了一種全新的產(chǎn)品規(guī)格——HBM3。

美光公司（Micron）高性能存儲器和網(wǎng)絡(luò)業(yè)務(wù)副總裁兼總經(jīng)理Mark Montierth表示：“美光致力于為世界最先進(jìn)的計算系統(tǒng)提供業(yè)界性能最佳的解決方案。HBM3所提供的內(nèi)存帶寬對實現(xiàn)下一代高性能計算、人工智能和百萬兆級系統(tǒng)至關(guān)重要。我們與新思科技的合作將加速HBM3產(chǎn)品生態(tài)系統(tǒng)的發(fā)展，以實現(xiàn)前所未有的超高帶寬、功耗和性能。”

三星電子內(nèi)存產(chǎn)品規(guī)劃高級副總裁Kwangil Park表示：“在數(shù)據(jù)驅(qū)動的計算時代，人工智能、高性能計算、圖形和其他應(yīng)用程序的發(fā)展極大提高了對內(nèi)存帶寬的需求。作為世界領(lǐng)先的內(nèi)存芯片制造商，三星一直致力于支持生態(tài)系統(tǒng)的形成，并開發(fā)HBM以滿足不斷增長的帶寬需求。新思科技是HBM行業(yè)的生態(tài)系統(tǒng)先驅(qū)，也是三星的重要合作伙伴，我們期待與新思攜手繼續(xù)為客戶提供更好的HBM性能。” 三星布局高帶寬存儲器（HBM）市場較為積極，并憑借深厚的積累在高帶寬存儲器（HBM）市場具備一定的影響力。2021年三星宣布了一項新的突破，面向AI人工智能市場首次推出了HBM-PIM技術(shù)。在此前，行業(yè)內(nèi)性能最強運用最廣泛的是HBM和HBM2內(nèi)存技術(shù)，而這次的HBM-PIM則是在HBM芯片上集成了AI處理器的功能。PIM直接在存儲芯片上集成了計算功能，而不是CPU、內(nèi)存數(shù)據(jù)分離，這一突破促使了三星首發(fā)的HBM-PIM技術(shù)實現(xiàn)了2倍的性能，同時功耗還降低了70%。

在2022年技術(shù)發(fā)布會上發(fā)布的內(nèi)存技術(shù)發(fā)展路線圖中，三星展示了涵蓋不同領(lǐng)域的內(nèi)存接口演進(jìn)的速度。在云端高性能服務(wù)器領(lǐng)域，HBM已經(jīng)成為了高端GPU的標(biāo)配，這也是三星在重點投資的領(lǐng)域之一。HBM的特點是使用高級封裝技術(shù)，使用多層堆疊實現(xiàn)超高IO接口寬度，同時配合較高速的接口傳輸速率，從而實現(xiàn)高能效比的超高帶寬。

在三星發(fā)布的路線圖中，2022年HBM3技術(shù)已經(jīng)量產(chǎn)，其單芯片接口寬度可達(dá)1024bit，接口傳輸速率可達(dá)6.4Gbps，相比上一代提升1.8倍，從而實現(xiàn)單芯片接口帶寬819GB/s，如果使用6層堆疊可以實現(xiàn)4.8TB/s的總帶寬。

2024年預(yù)計將實現(xiàn)接口速度高達(dá)7.2Gbps的HBM3p，從而將數(shù)據(jù)傳輸率相比這一代進(jìn)一步提升10%，從而將堆疊的總帶寬提升到5TB/s以上。另外，這里的計算還沒有考慮到高級封裝技術(shù)帶來的高多層堆疊和內(nèi)存寬度提升，預(yù)計2024年HBM3p單芯片和堆疊芯片都將實現(xiàn)更多的總帶寬提升。而這也將會成為人工智能應(yīng)用的重要推動力，預(yù)計在2025年之后的新一代云端旗艦GPU中看到HBM3p的使用，從而進(jìn)一步加強云端人工智能的算力。

海士力（SKhynix）公司副總裁、HBM產(chǎn)品負(fù)責(zé)人兼DRAM設(shè)計主管Cheol Kyu Park Hyun表示：“作為全球領(lǐng)先的半導(dǎo)體制造商，海士力不斷投資開發(fā)包括HBM3 DRAM在內(nèi)的下一代內(nèi)存技術(shù)，以滿足AI和圖形應(yīng)用工作負(fù)載的指數(shù)式增長所帶來的需求。與新思科技建立長期合作關(guān)系，有助于我們?yōu)楣餐蛻籼峁┙?jīng)過全面測試和可互操作的HBM3解決方案，以提高內(nèi)存性能、容量和吞吐量?！?/p>

SK海力士在新一代高帶寬內(nèi)存(HBM，High Bandwidth Memory)市場上，正展開乘勝追擊。其秘訣正是得益于MR-MUF(Mass Reflow Molded Underfill)技術(shù)。通過自主研發(fā)的這項技術(shù)，SK海力士不僅擊敗了競爭對手美光半導(dǎo)體（Micron），還擊敗了DRAM市場排名第一的三星電子，主導(dǎo)了處于起步階段的HBM內(nèi)存市場。曾位居DRAM萬年老二的SK海力士在最前沿的內(nèi)存市場技術(shù)上領(lǐng)先競爭對手，另業(yè)界矚目。

03、ChatGPT推動

ChatGPT等新興AI產(chǎn)品對高性能存儲芯片的需求與日俱增。據(jù)韓國經(jīng)濟(jì)日報報道，受惠于ChatGPT，三星、SK海力士高帶寬內(nèi)存（high bandwidth memory，HBM）接單量大增。

與 HBM 相關(guān)的上下游企業(yè)也在紛紛發(fā)力，以期搶占先機(jī)。AMD 在 HBM 的誕生與發(fā)展過程中功不可沒。最早是 AMD 意識到 DDR 的局限性并產(chǎn)生開發(fā)堆疊內(nèi)存的想法，其后與 SK 海力士聯(lián)手研發(fā)了 HBM，并在其 Fury 顯卡采用全球首款 HBM。據(jù) ISSCC 2023 國際固態(tài)電路大會上的 消息，AMD 考慮在 Instinct 系列加速卡已經(jīng)整合封裝 HBM 高帶寬內(nèi)存的基礎(chǔ)上，在后者之上繼 續(xù)堆疊 DRAM 內(nèi)存，在一些關(guān)鍵算法內(nèi)核可以直接在整合內(nèi)存內(nèi)執(zhí)行，而不必在 CPU 和獨立內(nèi) 存之間往復(fù)進(jìn)行通信傳輸，從而提升 AI 處理的性能，并降低功耗。

英偉達(dá)同樣重視處理器與內(nèi)存間的協(xié)同，一直在要求 SK 海力士提供最新的 HBM3 內(nèi)存芯片。據(jù)悉，目前已經(jīng)有超過 2.5 萬塊英偉達(dá)計算卡加入到了深度學(xué)習(xí)的訓(xùn)練中。如果所有的互聯(lián)網(wǎng)企 業(yè)都在搜索引擎中加入 ChatGPT 這樣的機(jī)器人，那么計算卡以及相應(yīng)的服務(wù)器的需求量將達(dá)到 50 萬塊，也將連同帶動 HBM 的需求量大幅增長。

IP廠商亦已先行布局HBM 3。去年，Synopsys推出首個完整的HBM3 IP解決方案，包括用于2.5D多芯片封裝系統(tǒng)的控制器、PHY（物理層芯片）和驗證IP。HBM 3 PHYIP基于5nm制程打造，每個引腳的速率可達(dá)7200Mbps，內(nèi)存帶寬最高可提升至921GB/s。Rambus也推出支持HBM3的內(nèi)存接口子系統(tǒng)，內(nèi)含完全集成的PHY和數(shù)字控制器，數(shù)據(jù)傳輸速率達(dá)8.4Gbps，可提供超過1TB/s的帶寬。