IBM為啥要買FPGA芯片？

前天有個新聞上了頭條，講AMD最近拿到幾個大單，包括Oracle、IBM。Oracle計劃在云服務(wù)中采用AMD Instinct MI300X AI芯片，以及HPC用GPU；IBM預(yù)計將采用AMD的Xilinx FPGA解決方案，用于人工智能工作負載。

英偉達GPU供不應(yīng)求，導(dǎo)致了大量需求溢出，以至于Oracle成為了首批部署MI300X的公司之一。這就像是我們?nèi)コ燥?，想去的網(wǎng)紅餐廳排隊人山人海，但吃飯總得要吃，不行就另找一家好吃的。

MI300X尚處于“襁褓之中”，將于第四季度推出，目前還在提供樣品階段。AMD的軟件生態(tài)也沒有英偉達那么完善。訓(xùn)練和運行AI大模型不僅僅取決于GPU性能，系統(tǒng)設(shè)計也尤為重要。

IBM卻不太一樣，IBM的AI推理平臺使用了NeuReality的NR1芯片，而AMD（Xilinx）的FPGA加速產(chǎn)品在其中發(fā)揮了關(guān)鍵作用。

NeuReality 是一家于 2019 年在以色列成立的初創(chuàng)公司，2021年2月，NeuReality推出了 NR1-P，這是一個以AI為中心的推理平臺。2021年11月，NeuReality 宣布與IBM建立合作伙伴關(guān)系，其中包括許可IBM的低精度AI內(nèi)核來構(gòu)建 NR1。

NR1是NeuReality NAPU系列中基于FPGA的芯片，這是一種具有嵌入式AI推理加速器以及網(wǎng)絡(luò)和虛擬化功能的SoC。據(jù)NeuReality透露，與其他深度學(xué)習(xí)芯片供應(yīng)商的GPU和ASIC方案相比，NR1的每美元性能將提高15倍。

按照我的理解，NeuReality可以算是Xilinx FPGA在AI領(lǐng)域的方案商，在其基礎(chǔ)上提供基于FPGA的AI推理加速平臺。

在芯片或者人工智能領(lǐng)域，新聞傳播討論最多的是臺積電，英特爾，英偉達，AMD等著名公司，大家好像已經(jīng)聽不到IBM的聲音了，低調(diào)的藍色巨人似乎已經(jīng)退居幕后。

然而，IBM仍然是大佬中的大佬，在芯片和人工智能領(lǐng)域無法忽視的存在。10月25日IBM發(fā)布了第三季度財報，季度收入達到147.5億美元，營業(yè)利潤率從11.4%擴大至14.8%。

在IBM的歷史上，在芯片和人工智能非常輝煌。

1960年，IBM開發(fā)出倒裝芯片封裝技術(shù)，提高組件可靠性。

1966年，IBM提出了單晶體管DRAM的想法。

1974年，IBM研究院設(shè)計了采用精簡指令集計算機 (RISC) 架構(gòu)計算機原型，該架構(gòu)沿用至今。

在芯片領(lǐng)域的貢獻，IBM還包括CMP、SiGe stress、ArF光刻、計算機化光刻技術(shù)、化學(xué)增量光刻及絕緣層上硅(SOI)技術(shù)、Power處理器、AI芯片、量子芯片等。

2020年，IBM研發(fā)出一種基于相變存儲器(PCM)的非·馮諾依曼架構(gòu)芯片技術(shù)，能像人腦一樣在存儲中執(zhí)行計算任務(wù)，以超低功耗實現(xiàn)復(fù)雜且準確的深度神經(jīng)網(wǎng)絡(luò)推理。

2022年10月，IBM發(fā)布首款人工智能計算單元（Artificial Intelligent Unit，AIU）片上系統(tǒng)，AIU專為加速深度學(xué)習(xí)模型使用的矩陣和向量計算而設(shè)計和優(yōu)化，不僅可以解決計算復(fù)雜的問題，并以遠遠超過CPU能力的速度執(zhí)行數(shù)據(jù)分析。

在量子計算領(lǐng)域，2020年，IBM發(fā)布了65量子位的Quantum Hummingbird。2022年11月10日，IBM發(fā)布433個量子比特的Osprey芯片。2023年，IBM將發(fā)布1123比特的IBM Quantum Condor。IBM也計劃在2025年推出一個超過4000個量子比特的系統(tǒng)。

在芯片制程研發(fā)方面，IBM 每次都能搶在傳統(tǒng)芯片制造商之前，設(shè)計出新制程的原型芯片來。比如說10nm芯片是由他們在2014年研發(fā)出來的，到了2017年才量產(chǎn)，5nm 芯片在 2015年提出，到2018年量產(chǎn)。

而在2021年，IBM率先推出了全球首個2nm芯片，采用納米片堆疊的晶體管，也被稱為GAA晶體管。

IBM的基礎(chǔ)研究實力，是整個世界IT科技樹的樹根之一，完全不受現(xiàn)有框框的束縛，方向激進而前瞻。

IBM和Xilinx的合作關(guān)系，早在AMD進來之前，兩家的策略聯(lián)盟已經(jīng)持續(xù)多年了。

早期Xilinx發(fā)布V5系列的FPGA時，就已經(jīng)將IBM公司的PowerPC硬核集成在其芯片中。

2015年，當微軟成功引入Altera FPGA對其Bing搜索引擎數(shù)據(jù)中心進行加速改造后，IBM當即啟動與Xilinx的合作，共同研發(fā)FPGA加速平臺。

2017年IBM打造的新服務(wù)器架構(gòu)方案，將FPGA和服務(wù)器的CPU分離，直接將FPGA連接到數(shù)據(jù)中心的網(wǎng)絡(luò)之中。這種解決方案將會使FPGA作為一種單獨的計算單元，將多個FPGA單元形成的集群用于新興的超大規(guī)模數(shù)據(jù)中心中使用的服務(wù)器。

IBM的研究室里，科研人員將64個Xilinx公司的Kintex UltraScale XCKU060 型號的FPGA集成到一起形成一個服務(wù)器插片單元，能夠達到最大帶寬640Gb/s。將16個基本的插片單元集成在一個服務(wù)器的柜子上，便形成了一個有著1024個FPGA和16TB的2400Mb/s的DDR4內(nèi)存的服務(wù)器。這個平臺充分考慮了成本效率，使用水冷的方式實現(xiàn)了最優(yōu)的能量效率。

將FPGA從傳統(tǒng)的通過總線鏈接到CPU的方法中解放出來，使FPGA在數(shù)據(jù)中心的大規(guī)模部署成為可能。將傳統(tǒng)的機架式服務(wù)器和刀片式服務(wù)器變成了許多微服務(wù)器節(jié)點的集合體，通過共享例如電源供給、PCB背板、網(wǎng)絡(luò)鏈接等服務(wù)器資源來提高服務(wù)器的集成度，從而大大提高服務(wù)器的單位價格的性能參數(shù)（performance-per-dollar）。詳細內(nèi)容見IBM的論文，“An FPGA Platform for Hyperscalers,”發(fā)表在2017年8月的IEEE Hot Interconnects Conference上。

今年，IBM又宣布其協(xié)同加速處理器接口（CAPI）全面支持Xilinx FPGA和Power處理器，IBM將開發(fā)并驗證裝置于IBM Power Systems服務(wù)器的賽靈思加速板，賽靈思正著手開發(fā)并將推出軟件定義SDAccel開發(fā)環(huán)境POWER專屬版本，以及專為OpenPOWER開發(fā)者社群提供的的函數(shù)庫。

對比GPU，F(xiàn)PGA的優(yōu)勢在于更低的功耗和時延。GPU無法很好地利用片上內(nèi)存，需要頻繁讀取片外的DRAM，因此功耗非常高。FPGA可以靈活運用片上存儲，因此功耗遠低于GPU。另外，F(xiàn)PGA的架構(gòu)，使其在AI推理中相比GPU具有非常強的時延優(yōu)勢。

FPGA加速板卡在2018年只有10億美元的市場規(guī)模，Semicon研究報告預(yù)計今年將超過50億美元。

數(shù)據(jù)中心的AI算力市場上，目前英偉達的GPU是如日中天，在AI芯片市場中占比最高，達91.9%。NPU、ASIC、FPGA市場占比分別為6.3%、1.5%、0.3%。

英偉達成功的主要原因，我認為還是CuDA的生態(tài)比較好，程序員覆蓋面廣，開源資源和成熟方案應(yīng)有盡有，國內(nèi)大模型技術(shù)大多由海外開源搬運而來，因此絕大多數(shù)都會采用現(xiàn)成的英偉達方案。

但是僅就AI算力前沿技術(shù)的高速發(fā)展來看，國外仍然會呈現(xiàn)百花齊放互相追趕的態(tài)勢，無論是谷歌的TPU，還是IBM的Power架構(gòu)，抑或是Intel/AMD的異構(gòu)加速芯片，都將長期角逐市場。這么大的一塊肉，沒有大佬會放棄。

AI算力的中場戰(zhàn)事才剛剛開始。