文｜半導(dǎo)體產(chǎn)業(yè)縱橫

存儲器，包括DRAM（動態(tài)隨機(jī)存取存儲器）和NAND（閃存），一直是半導(dǎo)體行業(yè)的重要組成部分，存儲器市場的增長為半導(dǎo)體產(chǎn)業(yè)帶來了新的增長點，推動了半導(dǎo)體產(chǎn)業(yè)的進(jìn)一步發(fā)展。特別是近年來隨著以ChatGPT為代表的生成式人工智能（AI）技術(shù)的不斷發(fā)展和普及，也推動了存儲器市場的發(fā)展，尤其是新型存儲技術(shù)，如HBM、QLC SSD等。

眾所周知，計算能力是AI時代至關(guān)重要的一環(huán)，但實際上很多人都會忽略存儲在AI生命周期中發(fā)揮的重要作用，特別是隨著生成式AI的爆火，包括圖像、視頻、音頻在內(nèi)的非結(jié)構(gòu)化數(shù)據(jù)都會呈現(xiàn)出指數(shù)級增長的態(tài)勢，也自然會激發(fā)出新的存儲需求。根據(jù)IDC的調(diào)研結(jié)果，預(yù)計到2028年，全球?qū)a(chǎn)出394ZB的數(shù)據(jù)，其中AIGC領(lǐng)域的數(shù)據(jù)產(chǎn)出尤為突出，屆時，AI圖像和視頻生成將增長167倍。

在此基礎(chǔ)上，存儲逐漸成為了AI發(fā)展的瓶頸。近年來，存內(nèi)計算被業(yè)界廣為關(guān)注，但卻始終卡在商業(yè)化上。而就在近日，三星電子和 SK 海力士正在合作標(biāo)準(zhǔn)化 LPDDR6-PIM 內(nèi)存產(chǎn)品。該合作伙伴關(guān)系旨在加快專門用于人工智能（AI）的低功耗存儲器標(biāo)準(zhǔn)化。而這也有望推動存內(nèi)計算的商業(yè)化。

01、存算一體加速AI運算

眾所周知，算法、數(shù)據(jù)和算力（芯片）是人工智能發(fā)展的三大核心要素，其中芯片是決定人工智能是否能夠最終落地的根基。隨著ChatGPT，GPT-4等大模型研究的不斷深入，模型結(jié)構(gòu)日趨復(fù)雜，數(shù)據(jù)量與計算量大幅增長。與此同時，隨著摩爾定律的逐漸失效，芯片制造工藝演進(jìn)相對放緩。算法發(fā)展與硬件發(fā)展之間存在矛盾，如何高效地利用復(fù)雜算法處理海量數(shù)據(jù)成為當(dāng)前人工智能領(lǐng)域的重要挑戰(zhàn)。

究其原因，芯片作為人工智能的基石，正遭遇著嚴(yán)重的“馮·諾依曼架構(gòu)瓶頸”。在馮·諾伊曼架構(gòu)中，計算與內(nèi)存是分離的，計算單元從內(nèi)存中讀取數(shù)據(jù)，計算完成后再存回內(nèi)存。特別是隨著人工智能等對性能要求極高的場景爆發(fā)，傳統(tǒng)的馮·諾依曼架構(gòu)的短板開始凸顯，例如功耗墻、性能墻、內(nèi)存墻的問題。同時，由于器件尺寸微縮逐漸逼近物理極限，單純通過工藝來進(jìn)一步提升芯片性能的技術(shù)路徑逐漸受阻，芯片發(fā)展面臨著“工藝墻”問題。

為了解決上述問題，國內(nèi)外學(xué)術(shù)界和產(chǎn)業(yè)界從架構(gòu)、工藝、集成等多個維度展開了諸多研究，探索后摩爾時代新一代芯片技術(shù)。例如，數(shù)據(jù)流架構(gòu)芯片實現(xiàn)流式計算，在處理AI類大規(guī)模數(shù)據(jù)時可以實現(xiàn)遠(yuǎn)高于馮·諾依曼架構(gòu)的吞吐率；可重構(gòu)芯片技術(shù)通過軟件定義硬件電路結(jié)構(gòu)，從而實現(xiàn)高靈活性與高能效計算；晶圓級芯片通過先進(jìn)工藝技術(shù)擴(kuò)展芯片面積來提高算力；三維芯片通過3D集成封裝技術(shù)，將多個芯片在垂直方向上進(jìn)行堆疊來實現(xiàn)高帶寬與高算力；存算一體芯片則通過器件–架構(gòu)–電路–工藝的協(xié)同創(chuàng)新，實現(xiàn)存儲與計算的融合一體化，從根源上突破馮·諾依曼架構(gòu)瓶頸。

基于存算一體芯片的架構(gòu)特點，一方面可以大幅降低數(shù)據(jù)搬運開銷，突破“存儲墻”與“功耗墻”；另一方面，基于其大規(guī)模并行運算特點，可以在相對落后的工藝節(jié)點下實現(xiàn)比肩先進(jìn)工藝的性能，從而在一定程度上緩解工藝微縮壓力。此外，存算一體技術(shù)也可以方便地與其他技術(shù)進(jìn)行結(jié)合，如可重構(gòu)芯片技術(shù)、晶圓級芯片技術(shù)、三維集成技術(shù)等。因此，存算一體芯片被認(rèn)為是后摩爾時代最重要的芯片技術(shù)方向之一。

存算一體有三種主流技術(shù)路徑：近存計算（PNM）、存內(nèi)處理（PIM）、存內(nèi)計算（CIM）。

近存計算的優(yōu)勢在于減少數(shù)據(jù)移動和提高緩存效率，適合于需要大規(guī)模并行處理和優(yōu)化內(nèi)存帶寬的應(yīng)用。存內(nèi)處理的優(yōu)勢在于數(shù)據(jù)密集型應(yīng)用和能效優(yōu)化，適合于需要快速數(shù)據(jù)處理和減少能耗的應(yīng)用。存內(nèi)計算的優(yōu)勢在于特定領(lǐng)域的高并行性計算和定制硬件優(yōu)化，適合于需要高度專業(yè)化和定制化解決方案的應(yīng)用。

02、巨頭的存內(nèi)計算布局

存算一體的概念最早可以追溯到1969年，斯坦福研究所的Kautz等人首次將存儲和邏輯整合，提出“l(fā)ogic-in-memory”方案。后續(xù)研究人員在芯片電路結(jié)構(gòu)、計算架構(gòu)與系統(tǒng)應(yīng)用等方面開展了一系列研究。但受限于電路設(shè)計復(fù)雜度與工藝難度，后續(xù)的大部分研究本質(zhì)上實現(xiàn)的是“近存計算”，仍然需要把數(shù)據(jù)從內(nèi)存中讀取出來之后再就近進(jìn)行計算。

目前業(yè)界比較典型的方案是通過3D封裝和高帶寬內(nèi)存等技術(shù)來縮短存儲器和處理器之前的距離，并提高數(shù)據(jù)帶寬。目前，近存計算技術(shù)相對比較成熟，已經(jīng)實現(xiàn)了規(guī)?；慨a(chǎn)。以AMD、Intel、三星、海力士等企業(yè)為代表的半導(dǎo)體龍頭企業(yè)均已發(fā)布基于高帶寬內(nèi)存技術(shù)(HBM)和2.5D/3D封裝技術(shù)的近存計算芯片。

例如，三星最新發(fā)布的HBM3 Icebolt 技術(shù)采用近存計算架構(gòu)， 通過 12層10 nm級DRAM堆疊，實現(xiàn)了高達(dá)6.4 Gbps處理速度和高達(dá)819 GB/s的帶寬。但本質(zhì)上，近存計算技術(shù)仍然是存算分離的馮·諾依曼架構(gòu)。

近年來，大數(shù)據(jù)驅(qū)動應(yīng)用發(fā)展迅猛，數(shù)據(jù)量呈現(xiàn)指數(shù)級暴增。研究者們考慮賦予內(nèi)存一定的計算能力，從而減少數(shù)據(jù)移動，降低計算機(jī)系統(tǒng)運行能耗，實現(xiàn)存儲和計算融合一體化的“存內(nèi)計算”架構(gòu)成為了產(chǎn)業(yè)界的研究熱點。2021年開始，存內(nèi)計算相關(guān)產(chǎn)品逐步落地，包括三星、海力士、TSMC在內(nèi)的國際巨頭以及Mythic等公司經(jīng)過技術(shù)沉淀，已經(jīng)開始試產(chǎn)存內(nèi)計算芯片。

2021年12月，阿里巴巴旗下達(dá)摩院計算技術(shù)實驗室成功研發(fā)全球首款基于DRAM的3D鍵合堆疊存算一體AI芯片，號稱在特定AI場景中，該芯片性能提升10倍以上，能效比提升高達(dá)300倍。

2021年，三星展示了基于HBM2-PIM技術(shù)的存內(nèi)計算芯片，該處理器可以提供最高達(dá)1.2 TFLOPS的嵌入式計算能力，從而使內(nèi)存芯片本身能夠執(zhí)行通常由CPU，GPU，ASIC，或FPGA處理的工作。2022年，三星更是對AMD Instinct MI100計算卡進(jìn)行了改造，加入了HBM-PIM芯片，構(gòu)建了一個大型計算系統(tǒng)。該系統(tǒng)在使用訓(xùn)練語言模型算法T5時，性能提高了2.5倍，功耗降低至原來的2.67分之一，充分展示了PIM技術(shù)的巨大潛力。此外，為了驗證MoE（混合專家系統(tǒng)）模型，三星使用96個配備了HBM-PIM的MI-100 GPU來構(gòu)建HBM-PIM集群。在MoE模型中，與HBM相比，HBM-PIM GPU的性能提高了一倍，能效提高了三倍。

2023年，在Hot Chips 2023會議上，三星電子公布了HBM（高帶寬存儲器）-PIM（存內(nèi)計算）和LPDDR（低功耗雙倍速率動態(tài)隨機(jī)存取存儲器）-PIM最新的的研究成果。其中，LPDDR-PIM將移動DRAM與PIM相結(jié)合，可在移動設(shè)備中直接進(jìn)行數(shù)據(jù)的處理和計算。由于它是針對移動設(shè)備開發(fā)的產(chǎn)品，因此它的帶寬（102.4GB/s）也較低。但功耗卻節(jié)省了72%。三星重注PIM技術(shù)，力圖在AI應(yīng)用中超越SK海力士。

另一個存儲大廠SK海力士也不甘落后。2022年，SK 海力士宣布，開發(fā)出了公司首款基于PIM技術(shù)的產(chǎn)品 – GDDR6-AiM的樣本。GDDR6-AiM是將計算功能添加到數(shù)據(jù)傳輸速度為16Gbps的GDDR6內(nèi)存的產(chǎn)品。與傳統(tǒng)DRAM相比，將GDDR6-AiM 與 CPU、GPU 相結(jié)合的系統(tǒng)可在特定計算環(huán)境中將演算速度提高至最高16倍。在性能大幅提升的同時，采用PIM技術(shù)的GDDR6-AiM的工作電壓為1.25V，與GDDR6的1.35V相比降低明顯。此外，PIM技術(shù)的應(yīng)用減少了內(nèi)芯片與CPU、GPU的數(shù)據(jù)傳輸往來，從而降低了CPU及GPU的能耗，借此GDDR6-AiM成功使功耗降低80%。

此外，TSMC也展示了其在SRAM、ReRAM、PCM、STT-MRAM等多種器件上實現(xiàn)存內(nèi)計算的探索成果。美國處理器公司Mythic推出M1076處理器，采用模擬存內(nèi)計算方案，存儲介質(zhì)為Flash，在40nm制程工藝下實現(xiàn)25TOPS的算力與3W的功耗；2022年國內(nèi)知存科技推出首款量產(chǎn)存內(nèi)計算SOC芯片WTM2101，采用模擬存算計算范式，以Flash為介質(zhì)，在40nm成熟工藝下以2.6x3.2mm2極小封裝實現(xiàn)了50Gops的高算力，功耗低至5uA。已商用至智能可穿戴設(shè)備中2023年后摩智能推出鴻途H30芯片，采用數(shù)字存算計算范式，以SRAM為介質(zhì)，實現(xiàn)256TOPS的算力與35W的功耗。WTM2101也是全球首顆也是實現(xiàn)百萬級量產(chǎn)商用的存內(nèi)計算芯片。存內(nèi)計算產(chǎn)業(yè)化初見成果，越來越多的存內(nèi)計算產(chǎn)品落地。

03、PIM技術(shù)需要標(biāo)準(zhǔn)化推動

雖然各家都早已布局PIM技術(shù)，但卻始終徘徊在商業(yè)化門口，其中的重要原因之一便是各家企業(yè)根據(jù)各自的標(biāo)準(zhǔn)開發(fā)產(chǎn)品，導(dǎo)致概念和規(guī)范存在差異，行業(yè)難以采用通用標(biāo)準(zhǔn)。

三星電子和SK海力士正在合作推動LPDDR6-PIM內(nèi)存的標(biāo)準(zhǔn)化。這種合作旨在加快專門用于人工智能的低功耗存儲器標(biāo)準(zhǔn)化進(jìn)程。兩家公司已經(jīng)確定建立聯(lián)盟，以使下一代存儲器符合這一趨勢。他們正在與聯(lián)合電子設(shè)備工程委員會（JEDEC）進(jìn)行標(biāo)準(zhǔn)化工作，討論確定每項標(biāo)準(zhǔn)的具體規(guī)格。

首先，標(biāo)準(zhǔn)化可以提升兼容性和互操作性。通過標(biāo)準(zhǔn)化，不同廠商生產(chǎn)的PIM設(shè)備可以在同一系統(tǒng)中無縫協(xié)作，減少因兼容性問題導(dǎo)致的系統(tǒng)故障或性能下降。這有助于促進(jìn)技術(shù)的廣泛應(yīng)用和普及。

其次，標(biāo)準(zhǔn)化有助于降低成本。標(biāo)準(zhǔn)化可以減少研發(fā)成本和時間，因為不同的設(shè)備制造商可以共享和利用已有的標(biāo)準(zhǔn)，避免重復(fù)開發(fā)。此外，標(biāo)準(zhǔn)化還能促進(jìn)規(guī)模經(jīng)濟(jì)，降低生產(chǎn)成本，從而使得PIM技術(shù)更加普及和實惠

PIM芯片大規(guī)模落地的時刻尚未明確，但這一天的到來值得我們期待。技術(shù)的演進(jìn)從不停止，市場的需求也在不斷變化，當(dāng)各種條件成熟之際，或許就是存算一體芯片大放異彩之時。如今標(biāo)準(zhǔn)化迫在眉睫，也意味著條件即將成熟。