文|量子位 金磊 夢(mèng)晨
是真沒(méi)想到啊,網(wǎng)盤(pán)圈還能熱鬧起來(lái)。
阿里云盤(pán)開(kāi)始會(huì)員收費(fèi)了,單位容量?jī)r(jià)格還是主要競(jìng)品的1/4。
消息一出,便立刻成為了一則用戶(hù)和行業(yè)熱議的話(huà)題。
各個(gè)社區(qū)也一下子出現(xiàn)了各種算賬黨:
△ 圖源:微博達(dá)人@午后狂睡
△ 圖源:B站達(dá)人@格物時(shí)間
不過(guò)在這熱議的背后,一個(gè)關(guān)鍵的問(wèn)題便隨之浮現(xiàn):在百度網(wǎng)盤(pán)占據(jù)超過(guò)2/3市場(chǎng)的情況下,如果在網(wǎng)盤(pán)市場(chǎng)繼續(xù)價(jià)格戰(zhàn),真的還有意義嗎?
量子位雖然未能獲得各家詳細(xì)成本資料,但通過(guò)另一種方式,獨(dú)家采訪(fǎng)到全球存儲(chǔ)技術(shù)大佬,了解到數(shù)據(jù)中心存儲(chǔ)技術(shù)的前沿儲(chǔ)備。
這也許才是未來(lái)個(gè)人云存儲(chǔ)的科技勝負(fù)手吧。
“存儲(chǔ)領(lǐng)域的5G標(biāo)準(zhǔn)”
去年5月,就有海龜存儲(chǔ)專(zhuān)家告訴量子位,未來(lái)數(shù)據(jù)中心硬盤(pán)的全球新標(biāo)準(zhǔn)協(xié)議已經(jīng)通過(guò)。
總結(jié)一句話(huà)來(lái)說(shuō)就是——
數(shù)據(jù)中心硬盤(pán)和存儲(chǔ)系統(tǒng)溝通的協(xié)議,正在發(fā)生像移動(dòng)通信從4G到5G的那種變化。
具體來(lái)說(shuō),這種NVMe2.0指令集中,關(guān)于固態(tài)閃存盤(pán)(SSD)和疊瓦磁盤(pán)(SMR)都可用的新標(biāo)準(zhǔn)ZNS(Zoned Namespace)
當(dāng)時(shí)的一份指令集版本里,可以看到ZNS協(xié)議的核心作者(Technical Proposal Author)們經(jīng)過(guò)了四年多時(shí)間,才最終與會(huì)員達(dá)成了最終標(biāo)準(zhǔn)設(shè)定。
這時(shí)很多友友們又會(huì)問(wèn)了,所以呢?
別急,接下來(lái)我們就來(lái)講講,這個(gè)ZNS標(biāo)準(zhǔn)和存儲(chǔ)性能的關(guān)系。
對(duì)NVMe這個(gè)詞,凡是買(mǎi)過(guò)SSD(固態(tài)硬盤(pán))的人一定不會(huì)陌生。
NVMe代表“非易失性存儲(chǔ)器規(guī)范”,最大的特點(diǎn)就是不必實(shí)時(shí)供電、數(shù)據(jù)傳輸快。
2011年首次問(wèn)世以來(lái),NVMe迅速占領(lǐng)市場(chǎng),成為高端SSD的代名詞。
從手機(jī)(蘋(píng)果手機(jī)內(nèi)存使用NVMe規(guī)范)、家用硬盤(pán)到企業(yè)云存儲(chǔ)都有廣泛應(yīng)用。
而ZNS指令集標(biāo)準(zhǔn)正是新一代NVMe2.0中針對(duì)進(jìn)一步改善SSD性能和壽命的一種新嘗試。
SSD的速度和使用壽命,都受到一種“寫(xiě)放大效應(yīng)”的影響。
在操作系統(tǒng)的視角看來(lái),SSD內(nèi)部會(huì)分成一個(gè)個(gè)塊(Block),塊里面再分成頁(yè)(Page)。
基于SSD的硬件特點(diǎn),寫(xiě)入時(shí)可以按頁(yè)為單位,刪除時(shí)卻只能整塊刪除。
如果一個(gè)塊里有需要保留的數(shù)據(jù),也有需要?jiǎng)h除的數(shù)據(jù)怎么辦?
傳統(tǒng)做法,是先把需要保留的數(shù)據(jù)挪到另一個(gè)塊里,再對(duì)原來(lái)的塊整體刪除。
對(duì)于一次寫(xiě)入操作,比如寫(xiě)入1個(gè)G數(shù)據(jù),實(shí)際執(zhí)行的寫(xiě)入量還要再乘上一個(gè)寫(xiě)放大系數(shù)(WAF)。
可以看出,寫(xiě)放大系數(shù)越大,對(duì)寫(xiě)入速度的影響也就越大。
并且,SSD的閃存單元有固定的壽命,現(xiàn)在主流的三層單元(TLC)大概在1000次擦寫(xiě)循環(huán),成本更低但結(jié)構(gòu)更復(fù)雜的四層單元(QLC)只有300-500次。
對(duì)于QLC單元的SSD來(lái)說(shuō),寫(xiě)放大效應(yīng)更為致命。
除了影響速度和使用壽命,寫(xiě)放大效應(yīng)也是導(dǎo)致SSD需要一定預(yù)留空間的“罪魁禍?zhǔn)住薄?/p>
如果整塊盤(pán)存滿(mǎn),就沒(méi)有空間可以去挪動(dòng)要保留的數(shù)據(jù)了,所以一塊SSD里至少有7%左右空間是不能用的,多的時(shí)候這種預(yù)留空間(over-provisioning)甚至?xí)_(dá)到28%。
7%對(duì)于家用硬盤(pán)一塊兩塊來(lái)說(shuō)倒也不是不可以接受,但如果存儲(chǔ)引擎在軟件層不給力,20%以上可就太浪費(fèi)了,尤其對(duì)于大規(guī)模使用的云存儲(chǔ)行業(yè)來(lái)說(shuō),還是挺肉疼的。
為解決以上問(wèn)題,需要一個(gè)全新的存儲(chǔ)技術(shù)標(biāo)準(zhǔn),就好像通訊技術(shù)里的5G標(biāo)準(zhǔn)一樣。
ZNS指令集標(biāo)準(zhǔn)應(yīng)運(yùn)而生。
其發(fā)起者,是NVMe協(xié)會(huì)的Matias Bj rling,一位從20多歲起就死磕存儲(chǔ)技術(shù)的工程師老哥。
為了能把這項(xiàng)技術(shù)講明白,我們發(fā)郵件向他詢(xún)問(wèn)了ZNS標(biāo)準(zhǔn)制定過(guò)程中的一些細(xì)節(jié)。
他認(rèn)為整個(gè)想法的來(lái)源很簡(jiǎn)單,就是ZNS把SSD的管理層一分為二。
其中管理硬件的事留在硬件內(nèi)部,把數(shù)據(jù)應(yīng)該存放到哪這種工作剝離出去,交給軟件和操作系統(tǒng)來(lái)做。
最終實(shí)現(xiàn)方法是把SSD內(nèi)部空間劃分成不同區(qū)域(Zone),不同應(yīng)用的數(shù)據(jù)存儲(chǔ)至特定分區(qū)。
對(duì)于長(zhǎng)期存放的數(shù)據(jù),盡量完整的集中放在一些塊里,便可以減少臨時(shí)挪動(dòng)。
雖然是很小的改動(dòng),收益卻很大。
理想情況下,使用ZNS標(biāo)準(zhǔn)的SSD可以把寫(xiě)放大系數(shù)做到接近于1,寫(xiě)入速度提高的同時(shí)大大延長(zhǎng)了使用壽命,也解放了不少預(yù)留空間。
Matias告訴量子位,這種做法的好處顯而易見(jiàn),不過(guò)也需要付出一定代價(jià)。
從軟件、數(shù)據(jù)庫(kù)方案到操作系統(tǒng),都需要針對(duì)性的做出適配,才能最大程度發(fā)揮ZNS的價(jià)值。
于是,整個(gè)標(biāo)準(zhǔn)的制定,就需要硬盤(pán)生產(chǎn)方、云計(jì)算系統(tǒng)開(kāi)發(fā)方、應(yīng)用方共同參與才能完成。
誰(shuí)在布局ZNS?
若是搜索一下與ZNS相關(guān)的消息,其實(shí)不難發(fā)現(xiàn),全球已經(jīng)有許多硬盤(pán)制造商布局于此。
例如西部數(shù)據(jù)早在2020年10月便推出了全球首個(gè)ZNS SSD——Ultrastar DC ZN540。
據(jù)悉,與傳統(tǒng)SSD相比,西部數(shù)據(jù)的這款ZNS SSD吞吐量提高4倍,QoS改善2.5倍。
僅時(shí)隔半年,另一個(gè)“硬盤(pán)大玩家”三星,緊隨其后推出了基于ZNS企業(yè)服務(wù)器的SSD——PM731a系列。
據(jù)三星方面表示,這款ZNS SSD在容量方面提供2TB和4TB兩種規(guī)格,最大的亮點(diǎn),便是能夠“延長(zhǎng)4倍的數(shù)據(jù)壽命”。
但除了上述這兩家廠(chǎng)商之外,若是查看NVMe的規(guī)范文檔,我們可以發(fā)現(xiàn)全球有許多大玩家也在追隨著ZNS SSD的腳步,并為推動(dòng)它的發(fā)展發(fā)揮著各自的作用:
NAND制造商:出了剛才提到的三星,還包括Intel、Micron、SK Hynix、Kioxia。
控制器廠(chǎng)商:Microchip。
超標(biāo)量云計(jì)算提供商:微軟、阿里巴巴。
還有一些知名公司包括Seagate、Oracle和NetApp等。
從受到全球產(chǎn)業(yè)鏈巨頭們的熱捧這一層面來(lái)看,也可以一定程度上反映出ZNS SSD發(fā)展的正確性。
而在眾多貢獻(xiàn)者之中,云計(jì)算廠(chǎng)商的位置非常關(guān)鍵,就像前面所說(shuō),ZNS硬盤(pán)要真的發(fā)揮高性能,需要在存儲(chǔ)系統(tǒng)層面進(jìn)行聯(lián)動(dòng)。
目前主流云計(jì)算廠(chǎng)商的分布式存儲(chǔ)系統(tǒng),也確實(shí)是不同介質(zhì)、不同協(xié)議的存儲(chǔ)硬件,都要進(jìn)行接入適配的自主架構(gòu)。
如果能深入到硬件層面去影響全球標(biāo)準(zhǔn),這無(wú)疑是所有軟件系統(tǒng)商核心能力的呈現(xiàn)。
為此,我們特意向Matias做了求證——云計(jì)算廠(chǎng)商為NVMe社區(qū)和ZNS相關(guān)工作做了哪些貢獻(xiàn)?
他在郵件中的回復(fù)如下:
在ZNS前一代探索性的協(xié)議OpenChannel中,云廠(chǎng)商是首個(gè)大規(guī)模的數(shù)據(jù)中心集成應(yīng)用實(shí)踐者,推動(dòng)了整個(gè)Open-Channel標(biāo)準(zhǔn)最終可用,這些實(shí)踐支撐了ZNS標(biāo)準(zhǔn)的確立。
他們的工作對(duì)整體軟件和部署復(fù)雜性有重大影響,他們降低了軟件開(kāi)銷(xiāo),提出了同時(shí)保證存儲(chǔ)介質(zhì)可靠、損耗均衡的關(guān)鍵意見(jiàn),現(xiàn)在在采用ZNS時(shí),可以顯著簡(jiǎn)化一系列復(fù)雜性,能讓ZNS更容易被使用。
……
不過(guò)就目前來(lái)看,雖說(shuō)ZNS SSD是一種大勢(shì)所趨不假,但其主要應(yīng)用的場(chǎng)景還是聚焦在可以高度訂制、更新?lián)Q代較快的數(shù)據(jù)中心硬盤(pán)。正如Matias告訴量子位:
“如果希望將(ZNS)這種新的存儲(chǔ)標(biāo)準(zhǔn)接口(Interface)在業(yè)界推廣,人們一定會(huì)問(wèn),為什么要暴露這么多接口,或者會(huì)說(shuō),我們不愿意這樣改變。這個(gè)過(guò)程經(jīng)過(guò)了非常多的爭(zhēng)論,隨著獲得的反饋越來(lái)越多,標(biāo)準(zhǔn)也逐漸成熟。當(dāng)云計(jì)算廠(chǎng)商開(kāi)始部署這項(xiàng)技術(shù),它就將會(huì)有非常高速的發(fā)展?!?/p>
目前業(yè)內(nèi)的研究顯示,無(wú)論是高性能塊存儲(chǔ)EBS,還是通過(guò)SMR磁盤(pán)支持的如對(duì)象存儲(chǔ)OSS(網(wǎng)盤(pán)的主要存儲(chǔ)類(lèi)型),都有可能在未來(lái)受益于ZNS協(xié)議體系。
Matias甚至認(rèn)為,由于ZNS本身也能很好支持SMR HDD硬盤(pán),所以此前的存儲(chǔ)開(kāi)源軟件體系也幾乎可以很快復(fù)用,無(wú)論是標(biāo)準(zhǔn)的文件系統(tǒng)(f2fs,btrfs),或者是開(kāi)源數(shù)據(jù)庫(kù)軟件(RocksDB, Percona MySQL等),都已經(jīng)發(fā)布了支持ZNS版本。
Matias還告訴我們:“ZNS目前還加速獲得手機(jī)廠(chǎng)商的興趣,新的閃存盤(pán)可能會(huì)讓平板和智能手機(jī)的電池續(xù)航更久、單元存儲(chǔ)的價(jià)格更低?!?/p>
或許在不久的將來(lái),ZNS就會(huì)應(yīng)用到個(gè)人存儲(chǔ)的方方面面。
參考鏈接:
[1]https://nvmexpress.org/everything-you-need-to-know-about-the-nvme-2-0-specifications-and-new-technical-proposals/
[2]http://118.31.189.123/2021/05/06/the-next-step-in-ssd-nvme-zns/
[3]https://hardware.slashdot.org/story/20/11/11/2155246/western-digitals-ultrastar-dc-zn540-is-the-worlds-first-zns-ssd?utm_source=rss1.0mainlinkanon&utm_medium=feed
[4]https://news.samsung.com/global/samsung-introduces-its-first-zns-ssd-with-maximized-user-capacity-and-enhanced-lifespan?utm_source=nr_twitter&utm_medium=social
*量子位 | 公眾號(hào) QbitAI