芯耀
662
自從Intel在2018年初推出其首個(gè)用于神經(jīng)形態(tài)計(jì)算的專用14nm芯片Loihi以來(lái)，人們一直保持著對(duì)Intel在神經(jīng)形態(tài)方面工作的關(guān)注。2021年3月，在Intel實(shí)驗(yàn)室主任Richard Uhlig博士的訪談中，有人詢問了硬件的發(fā)展情況，以及何時(shí)可能看到第二代產(chǎn)品。就在前幾天，Intel便宣布了Loihi 2，這是對(duì)一代產(chǎn)品的大幅升級(jí)，解決了第一代設(shè)計(jì)中的很多問題。也許同樣有趣的是工藝節(jié)點(diǎn)。Intel表示，Loihi 2正在開發(fā)階段，目前的芯片使用了Intel的第一個(gè)EUV工藝節(jié)點(diǎn)Intel 4的預(yù)生產(chǎn)版本。
Intel的神經(jīng)形態(tài)計(jì)算
創(chuàng)建一個(gè)像大腦一樣的內(nèi)核架構(gòu)，其想法是，擁有數(shù)百萬(wàn)計(jì)的神經(jīng)元和突觸將使計(jì)算任務(wù)在特定任務(wù)中具有獨(dú)特的功耗/性能優(yōu)勢(shì)，而大腦就是被設(shè)計(jì)來(lái)做這些任務(wù)的。對(duì)Intel來(lái)說，這是一個(gè)長(zhǎng)期的潛在商業(yè)產(chǎn)品，然而該團(tuán)隊(duì)的任務(wù)是開發(fā)技術(shù)和軟件，以發(fā)現(xiàn)和加速適合神經(jīng)元類型計(jì)算的任務(wù)。
Intel的神經(jīng)形態(tài)實(shí)驗(yàn)室實(shí)際上是在2011年對(duì)Fulcrum Microsystems的收購(gòu)后誕生的。當(dāng)時(shí)，F(xiàn)ulcrum團(tuán)隊(duì)是一個(gè)從事網(wǎng)絡(luò)交換機(jī)的異步計(jì)算公司。這項(xiàng)技術(shù)被提升到Intel內(nèi)部的網(wǎng)絡(luò)部門，而研究部門則將注意力轉(zhuǎn)向異步計(jì)算的其他應(yīng)用，并將目光投向了神經(jīng)形態(tài)。
當(dāng)時(shí)，對(duì)這種用于實(shí)際工作負(fù)載的神經(jīng)形態(tài)計(jì)算架構(gòu)的研究還相當(dāng)初級(jí)，雖然該領(lǐng)域自20世紀(jì)80年代末就開始了，但直到2010年代初才真正出現(xiàn)了專門用于研究的硬件。人腦項(xiàng)目（Human Brain Project），一個(gè)由歐盟資助的在該領(lǐng)域已進(jìn)行10年的研究項(xiàng)目，在2013年才成立，并在2019年推出了SpiNNaker系統(tǒng)，有100萬(wàn)個(gè)芯片，10億個(gè)神經(jīng)元，100千瓦的有效功率。
相比之下，Intel的第一代Loihi每60平方毫米芯片支持131000個(gè)神經(jīng)元，768個(gè)芯片可以放在一個(gè)Pohoiki Springs系統(tǒng)中，只需300瓦的功率就可以有1億個(gè)神經(jīng)元。在Intel自己的營(yíng)銷中，他們把這描述為相當(dāng)于一只倉(cāng)鼠。新的Loihi 2芯片，每個(gè)芯片使用31平方毫米，用于一百萬(wàn)個(gè)神經(jīng)元，有效地將密度提高了15倍，然而發(fā)展超越了原始數(shù)字。
Loihi 2Loihi 2芯片在高層次上可能看起來(lái)類似：128個(gè)神經(jīng)形態(tài)核，但現(xiàn)每核有8倍的神經(jīng)元和突觸。這128個(gè)核中的每一個(gè)都有192KB的靈活內(nèi)存，而以前在運(yùn)行時(shí)每核的內(nèi)存是固定的，每個(gè)神經(jīng)元可以根據(jù)模型最多分配4096個(gè)狀態(tài)，而以前的限制是只有24個(gè)。神經(jīng)元模型現(xiàn)在可以完全可編程，類似于FPGA，允許更大的靈活性。
傳統(tǒng)上，神經(jīng)元和峰值網(wǎng)絡(luò)以二進(jìn)制事件的形式傳遞數(shù)據(jù)，Loihi v1就是如此。有了Loihi 2，這些事件可以用32位有效載荷進(jìn)行分級(jí)，為片上計(jì)算提供更深的靈活性?，F(xiàn)在可以利用芯片上新的開發(fā)/調(diào)試功能實(shí)時(shí)監(jiān)控這些事件，而不是暫停/讀取/播放。結(jié)合起來(lái)，這也允許在動(dòng)態(tài)改變計(jì)算工作負(fù)載時(shí)進(jìn)行更好的控制，如扇出壓縮、權(quán)重縮放、卷積和廣播。
也許最大的改進(jìn)之一是在連接性方面。第一代產(chǎn)品使用定制的異步協(xié)議來(lái)創(chuàng)建一個(gè)大型的二維神經(jīng)元網(wǎng)絡(luò)，而Loihi 2可以根據(jù)需要配置使用各種協(xié)議，而且還是三維網(wǎng)絡(luò)。另外，Loihi 2不僅僅是單一的芯片，它將是一個(gè)芯片系列，具有相同的神經(jīng)元架構(gòu)，但根據(jù)具體的使用情況，有各種不同的連接選項(xiàng)。這可以與板載信息壓縮加速器結(jié)合使用，以獲得芯片間帶寬的10倍增長(zhǎng)。
這也延伸到了Loihi與更多傳統(tǒng)計(jì)算的外部連接，以前是以FPGA為媒介，現(xiàn)在Loihi 2支持10G以太網(wǎng)、GPIO和SPI。這應(yīng)該會(huì)讓集成變得更容易，而不需要定制系統(tǒng)，如創(chuàng)建分解的Loihi 2計(jì)算集群。
基于Intel 4
我們驚訝地聽說Loihi 2是基于Intel 4工藝的預(yù)生產(chǎn)版本。Loihi 2要盈利還有一段時(shí)間，神經(jīng)形態(tài)團(tuán)隊(duì)也知道這一點(diǎn)，但事實(shí)證明，該芯片也許是幫助推動(dòng)新工藝的理想候選。
31平方毫米的尺寸意味著，即使產(chǎn)量需要提高，單個(gè)晶圓也能產(chǎn)出更多的芯片，而不是用更大的芯片尺寸進(jìn)行測(cè)試。由于該團(tuán)隊(duì)進(jìn)行后硅電壓/頻率/功能測(cè)試，他們可以更快地循環(huán)到Intel的技術(shù)開發(fā)團(tuán)隊(duì)。Intel的實(shí)驗(yàn)室里有實(shí)際的芯片，事實(shí)上，硬件已通過Intel的DevCloud提供。
通常情況下，對(duì)于新的工藝節(jié)點(diǎn)，都需要一個(gè)小尺寸芯片的客戶幫助迭代通過潛在的障礙，推動(dòng)一個(gè)工藝的全面升級(jí)和生產(chǎn)。Intel的代工競(jìng)爭(zhēng)者通常與智能手機(jī)芯片客戶一起做這件事，而客戶通常會(huì)首先獲得硬件或某種初始折扣（盡管在今天的環(huán)境下也許不是）。Intel此前在這方面一直舉步維艱，因?yàn)樗挥凶约旱男酒梢宰鳛闇y(cè)試工具。
神經(jīng)形態(tài)團(tuán)隊(duì)表示，鑒于神經(jīng)形態(tài)硬件需要前沿工藝節(jié)點(diǎn)所提供的高密度和低靜態(tài)功率，這實(shí)際上是一個(gè)很好的選擇。128核的設(shè)計(jì)也意味著它有一個(gè)一致的重復(fù)單元，讓工藝團(tuán)隊(duì)在生產(chǎn)中關(guān)注規(guī)律性和一致性。另外，鑒于Loihi目前仍然是一個(gè)研究項(xiàng)目，沒有認(rèn)真期待在特定的窗口期將該產(chǎn)品推向市場(chǎng)，這也許是大客戶可能需要的。
這是否意味著Intel 4已經(jīng)準(zhǔn)備好投入生產(chǎn)？不完全是，但它確實(shí)表明正在取得進(jìn)展。Loihi 2列出的一些基準(zhǔn)測(cè)試確實(shí)有“鑒于模擬硬件結(jié)果的預(yù)期”的警告，盡管其他一些是在真正的硅上完成的，而且該公司說它現(xiàn)在有真正的芯片可以部署在云端。Intel 4是Intel第一個(gè)采用極紫外光刻技術(shù)（EUV）的工藝節(jié)點(diǎn)，Intel將是最后一個(gè)采用EUV工藝的主要半導(dǎo)體制造商。但還有一段路要走，早在Intel's Accelerated的活動(dòng)中，EUV和Intel 4并不是真的預(yù)計(jì)到2022年下半年才會(huì)放量生產(chǎn)。
最后，從Intel的公告中，我們能夠看到晶體管密度。在31平方毫米內(nèi)有23億個(gè)晶體管，這將使密度達(dá)到每平方毫米7120萬(wàn)個(gè)，這只是我們所預(yù)期的三分之一。根據(jù)Intel以前的公告估計(jì)，Intel 4的密度約為每平方毫米200MTr。那么，為什么Loihi 2與這個(gè)數(shù)字相比如此低？
首先，也許它是一個(gè)神經(jīng)形態(tài)芯片，而不是一個(gè)傳統(tǒng)的邏輯設(shè)計(jì)。內(nèi)核有大約25MB的SRAM和所有的邏輯，對(duì)于一個(gè)31平方毫米的芯片來(lái)說，這可能是芯片面積的一大塊。另外，Intel對(duì)神經(jīng)形態(tài)芯片的主要想法是功能第一，性能第二，功率第三。所以讓它正常工作比讓它快速工作更重要，所以并不總是需要最高密度。然后還有一個(gè)事實(shí)是，它仍然是一個(gè)開發(fā)芯片，它允許Intel完善其EUV工藝和精密光刻測(cè)試，而不必像以前那樣擔(dān)心密集的晶體管庫(kù)造成的缺陷。相信還會(huì)有更多的消息。
最后補(bǔ)充一點(diǎn)，神經(jīng)形態(tài)IP有可能未來(lái)會(huì)通過Intel的代工服務(wù)IP產(chǎn)品來(lái)提供。
新的Lava軟件框架
無(wú)論處理能力如何，神經(jīng)形態(tài)系統(tǒng)的主要構(gòu)件之一是計(jì)算的類型，以及編寫軟件來(lái)利用這樣的架構(gòu)是多么困難。在與Intel神經(jīng)形態(tài)實(shí)驗(yàn)室主任Mike Davies的討論中，我們最好的描述是，現(xiàn)代計(jì)算類似于一個(gè)投票架構(gòu)，每個(gè)周期它都會(huì)獲取數(shù)據(jù)并加以處理。相比之下，神經(jīng)形態(tài)計(jì)算是一個(gè)基于中斷的架構(gòu)，它在數(shù)據(jù)準(zhǔn)備好時(shí)采取行動(dòng)。與現(xiàn)代計(jì)算相比，神經(jīng)形態(tài)計(jì)算更依賴于時(shí)域，因此計(jì)算的概念及其應(yīng)用都幾乎與傳統(tǒng)計(jì)算技術(shù)正交。例如，雖然機(jī)器學(xué)習(xí)可以以Spiking Neural Networks（SNN）的形式應(yīng)用于神經(jīng)形態(tài)計(jì)算，但傳統(tǒng)的PyTorch和TensorFlow庫(kù)并不是為了實(shí)現(xiàn)SNN而建立的。
作為公告的一部分，Intel為神經(jīng)形態(tài)社區(qū)推出了一個(gè)新的底層軟件框架，名為L(zhǎng)ava。這是一個(gè)開源的框架，不在Intel的控制之下，而是由社區(qū)管理。Intel已將其早期的一些工具作為框架的一部分，其想法是，隨著時(shí)間的推移，可以開發(fā)出一個(gè)完整的軟件棧，供參與神經(jīng)形態(tài)計(jì)算的每個(gè)人使用，無(wú)論硬件是什么（CPU、GPU、神經(jīng)形態(tài)芯片）。Lava的設(shè)計(jì)是模塊化、可組合、可擴(kuò)展、分層和開源的。這包括一個(gè)用于將神經(jīng)網(wǎng)絡(luò)映射到神經(jīng)形態(tài)硬件上的底層接口，基于通道的異步消息傳遞，所有的庫(kù)和功能都通過Python公開。該軟件將在BSD-3和LGPL-2.1下在GitHub上供免費(fèi)使用。
初始系統(tǒng)
部署在英特爾云服務(wù)中的Loihi 2的第一個(gè)版本是Oheo Gulch，它看起來(lái)像一個(gè)PCIe外接卡，使用FPGA來(lái)管理大量的IO，如果需要的話還有一個(gè)背板連接器。31平方毫米的芯片是BGA，這里我們看到Intel的一個(gè)內(nèi)部連接器，用于將BGA芯片固定在開發(fā)板上。
在未來(lái)的某一天，Intel將生產(chǎn)一個(gè)4英寸乘4英寸的版本，名為Kapoho Point，搭載八個(gè)芯片，旨在堆疊和集成到一個(gè)更大的機(jī)器中。
有了這么小的芯片，想知道是否值得在芯片上安裝一個(gè)USB控制器，或者有一個(gè)USB到以太網(wǎng)接口，并在U盤上提供硬件，類似于Intel的Movidius。然而，由于這仍然是Intel實(shí)驗(yàn)室的一個(gè)項(xiàng)目，該團(tuán)隊(duì)的一個(gè)關(guān)鍵因素是他們與合作伙伴的專門合作，以推動(dòng)該領(lǐng)域的發(fā)展。因此，我們將不得不至少再等上一代或更長(zhǎng)時(shí)間，看看未來(lái)的Loihi系統(tǒng)最終是否會(huì)在電商平臺(tái)上買到。
Loihi 2作為Intel DevCloud的一部分，應(yīng)該已經(jīng)可以供研究伙伴使用了。預(yù)計(jì)在未來(lái)12-24個(gè)月內(nèi)會(huì)有企業(yè)內(nèi)部的研究/協(xié)作部署。
[參考文章]
Intel Rolls Out New Loihi 2 Neuromorphic Chips: Built on Early Intel 4 Process — Dr. Ian Cutress
