Rambus推9.6 Gbps HBM3內(nèi)存控制器IP，直擊AI訓(xùn)練內(nèi)存墻痛點(diǎn)

自2012年以來(lái)，大規(guī)模的AI訓(xùn)練所使用的數(shù)據(jù)集的計(jì)算量正以每年10倍的速度在增長(zhǎng)。以ChatGPT為例，其在2022年11月的版本使用的參數(shù)是1750億個(gè)，而到了今年3月的版本使用的參數(shù)則達(dá)到了1.5萬(wàn)億個(gè)。

為什么訓(xùn)練參數(shù)量越來(lái)越多，其背后的原因主要有三點(diǎn)：1、日益復(fù)雜的AI模型；2、大量可以被用于訓(xùn)練的在線生成數(shù)據(jù)；3、人工智能應(yīng)用對(duì)準(zhǔn)確性和穩(wěn)健性期望的持續(xù)提升。當(dāng)我們把這些需求轉(zhuǎn)化為對(duì)內(nèi)存的需求時(shí)，就意味著需要更高的帶寬，以及更高的容量。

事實(shí)上，當(dāng)前算力向前演進(jìn)可能不會(huì)有太多的挑戰(zhàn)，擺在業(yè)界面前更多的是存儲(chǔ)墻的問題，也就是內(nèi)存、帶寬發(fā)展太慢了。這也就是為什么英偉達(dá)在GPU架構(gòu)無(wú)需調(diào)整的情況下，能讓H200推理速度達(dá)到了前代產(chǎn)品H100的兩倍主要原因。據(jù)悉，得益于HBM3e的搭載，H200顯卡擁有141GB的內(nèi)存和4.8TB/秒的帶寬。

圖 | 內(nèi)存接口和互聯(lián)IP，圖源：Rambus

需求最終的表現(xiàn)會(huì)在市場(chǎng)，根據(jù)TrendForce發(fā)布的數(shù)據(jù)顯示，2023年，AI行業(yè)主流需求已經(jīng)從HBM2E轉(zhuǎn)向HBM3，HBM3需求占比提升至39%，預(yù)計(jì)2024年市場(chǎng)需求占比將達(dá)60%。而與非網(wǎng)記者也在Rambus接口IP產(chǎn)品管理和營(yíng)銷副總裁Joe Salvador處證實(shí)了這一點(diǎn)。

說(shuō)到內(nèi)存、接口，我們不得不提到一家把存儲(chǔ)基因刻在名字中的企業(yè)——Rambus（Ram和bus分別代表存儲(chǔ)和安全快速傳輸）。

這家企業(yè)成立于上個(gè)世紀(jì)的九十年代，總部位于硅谷的圣何塞，其主要業(yè)務(wù)包括：基礎(chǔ)專業(yè)授權(quán)、半導(dǎo)體IP授權(quán)和芯片業(yè)務(wù)。其中半導(dǎo)體IP又主要分為接口IP和安全I(xiàn)P。Rambus的技術(shù)和產(chǎn)品面向數(shù)據(jù)中心和邊緣計(jì)算市場(chǎng)，以及汽車物聯(lián)網(wǎng)等細(xì)分市場(chǎng)。

根據(jù)Rambus發(fā)布的財(cái)報(bào)顯示，2022年公司來(lái)自于芯片和IP的業(yè)務(wù)收入再創(chuàng)新高，其中來(lái)自產(chǎn)品的業(yè)務(wù)收入同比實(shí)現(xiàn)了58%的增長(zhǎng)，同時(shí)經(jīng)營(yíng)現(xiàn)金流達(dá)到了2.3億美金。

圖 | Rambus數(shù)據(jù)中心解決方案，圖源：Rambus

Rambus能在2022年擁有如此亮眼成績(jī)的背后，是因?yàn)閿?shù)據(jù)中心是其主要聚焦的市場(chǎng)，75%以上的芯片和IP業(yè)務(wù)收入都來(lái)自于數(shù)據(jù)中心。而近年來(lái)，數(shù)據(jù)中心賽道在大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等行業(yè)需求的共同驅(qū)動(dòng)下，發(fā)展迅速，且表現(xiàn)出持續(xù)性的增長(zhǎng)趨勢(shì)。

在這樣的大背景下，Rambus于近日推出了HBM3內(nèi)存控制器IP，可提供高達(dá)9.6 Gbps的性能，可支持HBM3標(biāo)準(zhǔn)的持續(xù)演進(jìn)。相比HBM3 Gen1 6.4 Gbps 的數(shù)據(jù)速率，Rambus HBM3內(nèi)存控制器的數(shù)據(jù)速率提高了50%，總內(nèi)存吞吐量超過1.2 TB/s，適用于推薦系統(tǒng)的訓(xùn)練、生成式AI以及其他要求苛刻的數(shù)據(jù)中心工作負(fù)載。

圖 | Rambus HBM3控制器模塊圖

據(jù)悉，Rambus HBM3內(nèi)存控制器從即日起便可提供許可證。

而對(duì)于Rambus HBM3內(nèi)存控制器是否能夠滿足市場(chǎng)上新推出的HBM3e需求，Joe Salvador認(rèn)為：“確實(shí)，當(dāng)前市場(chǎng)上幾家主流的內(nèi)存廠商都宣稱有HBM3e內(nèi)存，但從規(guī)格的角度上來(lái)講，目前所說(shuō)的HBM3e還不是正式的行業(yè)標(biāo)準(zhǔn)，它是在HBM3基礎(chǔ)上的拓展，比較HBM3E和HBM3，可以發(fā)現(xiàn)其實(shí)堆棧的厚度沒有變化，支持的DRAM容量也沒有變化，變化的知識(shí)總帶寬。”

圖 | HBM內(nèi)存的演變，圖源：Rambus

值得一提的是，Rambus前段時(shí)間將自己發(fā)展得非常好的PHY業(yè)務(wù)出售給了自己曾經(jīng)的客戶Cadence，針對(duì)這一戰(zhàn)略性變化，Joe Salvador表示：“這一動(dòng)作可以幫助Rambus更好地去跟其他的PHY合作伙伴合作，因?yàn)橐呀?jīng)不構(gòu)成跟他們直接的競(jìng)爭(zhēng)關(guān)系了，而是成為很好的上下游的合作伙伴關(guān)系?！?/p>

此外，針對(duì)中國(guó)市場(chǎng)，Rambus大中華區(qū)總經(jīng)理蘇雷表示：“今年以ChatGPT為代表的AIGC的發(fā)展，徹底帶火了AI芯片。我們看到在中國(guó)市場(chǎng)上也有一些新興公司，開始聚焦在AI訓(xùn)練芯片上，當(dāng)前我們正在跟這些云廠商、AI芯片公司進(jìn)行緊密地合作，今年主要是面向HBM3的項(xiàng)目。”