加速計(jì)算如何應(yīng)對(duì)算力“高地”新挑戰(zhàn)?

如果說(shuō)AI賦予了各行各業(yè)更為廣闊的想象空間，則加速計(jì)算正在強(qiáng)力支撐著這些想象的實(shí)現(xiàn)。

英偉達(dá)CEO黃仁勛在今年4月的GTC大會(huì)上曾談到，AI 正在各個(gè)領(lǐng)域“全面開(kāi)花”，包括新的架構(gòu)、新的學(xué)習(xí)策略、規(guī)模更大、性能更強(qiáng)的模型、新的科學(xué)領(lǐng)域、新的應(yīng)用、新的行業(yè)等，所有這些領(lǐng)域都在發(fā)展。他指出，正是得益于加速計(jì)算，AI領(lǐng)域才不斷出現(xiàn)這些“驚人的進(jìn)展”。

日前，在超級(jí)計(jì)算專家齊聚的年度盛會(huì)ISC上，就展示了加速計(jì)算幫助研究者應(yīng)對(duì)重大挑戰(zhàn)的繁榮景象。研究者們致力于構(gòu)建模擬新能源的數(shù)字孿生，或者通過(guò)使用AI和高性能計(jì)算（HPC）深入探索人類的大腦。

英偉達(dá)加速計(jì)算業(yè)務(wù)副總裁Ian Buck在演講中表示，一些公司甚至正在使用高敏感度儀器將HPC推向邊緣或在混合量子系統(tǒng)上加速模擬。

先進(jìn)芯片助推超算邁入百億億次AI運(yùn)算時(shí)代

在超級(jí)計(jì)算機(jī)邁入百億億次AI運(yùn)算時(shí)代的過(guò)程中，先進(jìn)的處理器芯片也在向更先進(jìn)架構(gòu)、更高性能沖刺，異構(gòu)芯片和異構(gòu)系統(tǒng)架構(gòu)將越來(lái)越成為主流方向，為計(jì)算密集型工作負(fù)載提速。

英偉達(dá)的Grace CPU 超級(jí)芯片搭載了兩個(gè)基于Arm的CPU，它們通過(guò)高帶寬、低延遲、低功耗的 NVIDIA NVLink-C2C 互連技術(shù)連接。這項(xiàng)開(kāi)創(chuàng)性的設(shè)計(jì)內(nèi)置多達(dá)144個(gè)高性能 Arm Neoverse 核心，并且?guī)в锌缮炜s矢量擴(kuò)展和 1 TB/s 的內(nèi)存子系統(tǒng)。

Grace CPU 超級(jí)芯片支持最新的PCIe Gen5協(xié)議，可實(shí)現(xiàn)與GPU之間的高性能連接，同時(shí)還能連接 NVIDIA ConnectX-7智能網(wǎng)卡以及NVIDIA BlueField-3 DPU，以保障 HPC 及 AI 工作負(fù)載安全。

Grace Hopper超級(jí)芯片則在一個(gè)集成模塊中通過(guò) NVLink-C2C連接NVIDIA Hopper GPU 與 NVIDIA Grace CPU，滿足HPC和超大規(guī)模 AI 應(yīng)用需求。

盡管這兩款芯片在2023年上半年才正式上市，但美國(guó)和歐洲領(lǐng)先的超級(jí)計(jì)算中心都率先宣布將采用這兩款超級(jí)芯片。

洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室（LANL）的新一代系統(tǒng) Venado 將成為美國(guó)首個(gè)采用 NVIDIA Grace CPU 技術(shù)的系統(tǒng)。Venado 是使用 HPE Cray EX 超級(jí)計(jì)算機(jī)構(gòu)建而成的異構(gòu)系統(tǒng)，同時(shí)將配備Grace CPU超級(jí)芯片節(jié)點(diǎn)和Grace Hopper超級(jí)芯片節(jié)點(diǎn)，滿足各類新興應(yīng)用需求。該系統(tǒng)建成后的AI性能預(yù)計(jì)將超過(guò) 10 ExaFlops。

瑞士國(guó)家計(jì)算中心的新系統(tǒng) Alps由慧與基于HPE Cray EX超級(jí)計(jì)算機(jī)而構(gòu)建。該系統(tǒng)將使用 Grace CPU 超級(jí)芯片，以支持眾多領(lǐng)域的開(kāi)創(chuàng)性研究。Alps 將作為一個(gè)通用系統(tǒng)，向瑞士及其他國(guó)家的研究者開(kāi)放。

在歐洲，英偉達(dá)和 SiPearl 正在一起擴(kuò)大在Arm上構(gòu)建百億億次級(jí)計(jì)算的開(kāi)發(fā)者生態(tài)系統(tǒng)。這項(xiàng)工作將幫助該地區(qū)的用戶將應(yīng)用移植到使用SiPearl的Rhea，以及未來(lái)基于Arm的CPU和英偉達(dá)加速計(jì)算和網(wǎng)絡(luò)技術(shù)的系統(tǒng)上。
日本筑波大學(xué)的計(jì)算科學(xué)中心正在英偉達(dá)的Quantum-2 InfiniBand平臺(tái)上將H100 Tensor Core GPU 和 x86 CPU 搭配使用。這臺(tái)新的超級(jí)計(jì)算機(jī)將處理氣候?qū)W、天體物理學(xué)、大數(shù)據(jù)、AI 等方面的工作。

DPU為未來(lái)龐大網(wǎng)絡(luò)計(jì)算規(guī)模夯實(shí)基礎(chǔ)

應(yīng)對(duì)未來(lái)海量數(shù)據(jù)爆發(fā)和復(fù)雜計(jì)算難題的指數(shù)級(jí)增長(zhǎng)，需要將計(jì)算移動(dòng)到接近數(shù)據(jù)的位置，這是業(yè)界公認(rèn)的以數(shù)據(jù)為中心的體系結(jié)構(gòu)下的創(chuàng)新，也是英偉達(dá)數(shù)據(jù)處理器（DPU）的提出背景。

為了在現(xiàn)有x86體系中CPU內(nèi)存和PCIe帶寬基礎(chǔ)上，進(jìn)一步提升整體系統(tǒng)性能。英偉達(dá)推出了專為TB級(jí)加速計(jì)算而設(shè)計(jì)的Grace CPU，以及專為現(xiàn)代超大規(guī)模云技術(shù)基礎(chǔ)架構(gòu)而生的DPU。至此，英偉達(dá)的數(shù)據(jù)中心路線圖煥然新生，由CPU、GPU、DPU形成三大算力支柱。

目前，DPU在網(wǎng)絡(luò)性能提升方面的價(jià)值已經(jīng)被許多前沿研究領(lǐng)域所認(rèn)可。洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室（LANL）的杰出高級(jí)科學(xué)家Steve Poole預(yù)計(jì)，使用在英偉達(dá)Quantum InfiniBand 網(wǎng)絡(luò)上運(yùn)行的DPU等加速計(jì)算可取得巨大的性能提升。

LANL的加速閃存盒（ABoF）將固態(tài)存儲(chǔ)與DPU和InfiniBand加速器相結(jié)合，可為Linux文件系統(tǒng)的關(guān)鍵性能部分提供加速。它的性能高達(dá)同類存儲(chǔ)系統(tǒng)的30倍，并將成為L(zhǎng)ANL基礎(chǔ)架構(gòu)中的關(guān)鍵組件。ABoF 使“取得更多科學(xué)發(fā)現(xiàn)成為可能。讓計(jì)算靠近存儲(chǔ)可更大限度減少數(shù)據(jù)移動(dòng)，提高仿真和數(shù)據(jù)分析工作流程的效率”，LANL 研究人員 Dominic Manno 在最近的LANL博客中這樣表示。

在歐洲和美國(guó)，一些 HPC 開(kāi)發(fā)者正在開(kāi)發(fā)將通信和計(jì)算作業(yè)卸載到 DPU 的方法，通過(guò)借助BlueField-2 DPU內(nèi)的Arm核和加速器的強(qiáng)大功能為超級(jí)計(jì)算機(jī)提供強(qiáng)力支持。

德克薩斯高級(jí)計(jì)算中心（TACC）近期也開(kāi)始在 Dell PowerEdge 服務(wù)器中采用 BlueField-2 DPU。它將在 InfiniBand 網(wǎng)絡(luò)上，使其Lonestar6系統(tǒng)成為云原生超級(jí)計(jì)算的開(kāi)發(fā)平臺(tái)。

在距 TACC 東北部 1200 英里的地方， 俄亥俄州立大學(xué)的研究人員展示了 DPU 如何將一個(gè) HPC 熱門編程模型的運(yùn)行速度提高 21%。他們通過(guò)卸載消息傳遞接口（MPI）的關(guān)鍵部分，加速了P3DFFT，這是一個(gè)用于眾多大規(guī)模HPC仿真的數(shù)學(xué)庫(kù)。

此外，在劍橋大學(xué)、倫敦大學(xué)學(xué)院、慕尼黑工業(yè)大學(xué)、達(dá)勒姆大學(xué)、佐治亞理工學(xué)院等，都在使用BlueField DPU加速相關(guān)研究。

混合量子/HPC數(shù)據(jù)中心之路開(kāi)啟

量子計(jì)算一直被寄予厚望，用以解決當(dāng)今面臨的一些嚴(yán)峻挑戰(zhàn)，通過(guò)在HPC中發(fā)揮巨大作用，推動(dòng)從藥物研發(fā)到天氣預(yù)報(bào)等各項(xiàng)工作的發(fā)展。隨著量子系統(tǒng)的發(fā)展，下一個(gè)重大飛躍是朝混合系統(tǒng)邁進(jìn)：量子計(jì)算機(jī)和經(jīng)典計(jì)算機(jī)協(xié)同工作。

研究人員都希望這些系統(tǒng)級(jí)量子處理器（即QPU）成為功能強(qiáng)大的新型加速器。因此，擺在面前的一個(gè)重要任務(wù)就是將傳統(tǒng)系統(tǒng)和量子系統(tǒng)橋接到混合量子計(jì)算機(jī)中。這項(xiàng)任務(wù)主要包括兩部分:

首先，需要在GPU和QPU之間建立快速、低延遲的連接。這樣一來(lái)，混合系統(tǒng)可使用 GPU 完成其擅長(zhǎng)的傳統(tǒng)作業(yè)，例如電路優(yōu)化、校正和糾錯(cuò)。

GPU 可以縮短這些步驟的執(zhí)行時(shí)間，并大幅降低經(jīng)典計(jì)算機(jī)和量子計(jì)算機(jī)之間的通信延遲，而這是當(dāng)今混合量子作業(yè)面臨的主要瓶頸。

其次，該行業(yè)需要一個(gè)統(tǒng)一的編程模型，其中包含高效易用的工具，目前在 HPC 和 AI 方面的進(jìn)展，已經(jīng)展示了固態(tài)軟件棧的價(jià)值。

為了對(duì)QPU進(jìn)行編程，研究人員只能使用相當(dāng)于低級(jí)組裝代碼的量子，非量子計(jì)算專家的科學(xué)家無(wú)法使用這種代碼。此外，開(kāi)發(fā)者缺乏統(tǒng)一的編程模型和編譯器工具鏈，因此無(wú)法在任何 QPU 上運(yùn)行工作。

為了高效地找到量子計(jì)算機(jī)加速工作的方法，科學(xué)家需要輕松地將其 HPC 應(yīng)用的一部分先移植到模擬版 QPU，然后再移植到真正的 QPU。這個(gè)過(guò)程需要一個(gè)編譯器，使科學(xué)家們能夠以熟悉的方式高效工作。

英偉達(dá)的cuQuantum軟件開(kāi)發(fā)套件可以在GPU上加速量子電路模擬，目前已獲得數(shù)十家量子組織的采用。最近，AWS 也宣布在其 Braket 服務(wù)中提供 cuQuantum。它還在 Braket 上展示了cuQuantum 如何在量子機(jī)器學(xué)習(xí)工作負(fù)載上實(shí)現(xiàn)高達(dá) 900 倍的加速。

目前，cuQuantum 已經(jīng)能夠在主要的量子軟件框架上實(shí)現(xiàn)加速計(jì)算，包括 Google 的 qsim、IBM的Qiskit Aer、Xanadu的PennyLane 和 Classiq 的 Quantum Algorithm Design 平臺(tái)。這意味著這些框架的用戶可以訪問(wèn)GPU加速，而無(wú)需再進(jìn)行任何編碼。

未來(lái)的混合量子計(jì)算之路任重而道遠(yuǎn)，雖然能夠運(yùn)行先進(jìn)算法的量子計(jì)算硬件仍處于開(kāi)發(fā)階段，但 NVIDIA cuQuantum 等經(jīng)典計(jì)算工具對(duì)推進(jìn)量子算法的開(kāi)發(fā)至關(guān)重要。通過(guò)將 GPU加速的模擬工具、編程模型和編譯器工具鏈結(jié)合，可以幫助HPC 研究人員進(jìn)一步向混合量子數(shù)據(jù)中心的構(gòu)建進(jìn)發(fā)。

加速 AI 在醫(yī)療健康領(lǐng)域的應(yīng)用

在前沿醫(yī)學(xué)領(lǐng)域，AI+HPC也正在為科學(xué)和研究界做出更大貢獻(xiàn)。醫(yī)療健康領(lǐng)域的數(shù)據(jù)匱乏一直是制約行業(yè)進(jìn)一步提升的瓶頸之一，將AI引入該領(lǐng)域，正在從一定程度上紓解這些難題。

基于英偉達(dá)的Cambridge-1 超級(jí)計(jì)算機(jī)和 MONAI（一種用于醫(yī)學(xué)影像的 AI 框架），倫敦國(guó)王學(xué)院的研究人員打造了全球最大的開(kāi)源合成大腦圖像集。這位倫敦國(guó)王學(xué)院的研究人員兼?zhèn)惗?AI 中心的 CTO 為醫(yī)療健康研究人員免費(fèi)提供了 10 萬(wàn)張合成大腦圖像。這是一個(gè)寶庫(kù)，可以加速人類對(duì)癡呆癥、帕金森癥或各類腦部疾病的認(rèn)知。

這些圖像代表了合成數(shù)據(jù)在醫(yī)療健康領(lǐng)域的一個(gè)新興分支。合成圖像此前已經(jīng)廣泛應(yīng)用于消費(fèi)者和商業(yè)應(yīng)用的計(jì)算機(jī)視覺(jué)領(lǐng)域，而實(shí)際上這些領(lǐng)域本身已有包含數(shù)百萬(wàn)張真實(shí)圖像的開(kāi)放數(shù)據(jù)集可供使用。

相比之下，醫(yī)學(xué)領(lǐng)域可供使用的真實(shí)影像反而稀缺。出于保護(hù)患者隱私的需要，醫(yī)學(xué)影像通常僅供與大型醫(yī)院相關(guān)的研究人員使用。即便如此，這些影像往往也只能反映醫(yī)院所服務(wù)的人群，而非范圍更廣的人群。

Cardoso 的 AI 方法的重要特征是，它可以根據(jù)需要制作圖像。女性大腦、男性大腦、老年人的大腦、年輕人的大腦等等，只需插入所需內(nèi)容，系統(tǒng)就會(huì)進(jìn)行創(chuàng)建。

雖然這些圖像是模擬生成的，但非常實(shí)用，因?yàn)樗鼈兓诮?jīng)過(guò)良好測(cè)試的算法，所以外觀和運(yùn)作方式與真實(shí)大腦高度相似。

這一重大突破表明，HPC+AI的組合正在為科學(xué)和研究界做出真正的貢獻(xiàn)。

寫在最后

數(shù)字經(jīng)濟(jì)時(shí)代，算力已成為支撐各領(lǐng)域發(fā)展與轉(zhuǎn)型的重要基石，在許多科研應(yīng)用以及商業(yè)場(chǎng)景中已不可或缺。以往在氣候科學(xué)、能源研究、太空探索、數(shù)字生物學(xué)、量子計(jì)算等領(lǐng)域遙不可及的巨大挑戰(zhàn)，如今有了先進(jìn)超算平臺(tái)和AI平臺(tái)提供的強(qiáng)大基礎(chǔ)架構(gòu)，正在解決這些重大的時(shí)代挑戰(zhàn)。

同時(shí)，高性能計(jì)算的飛速發(fā)展與應(yīng)用普及，正在為更多領(lǐng)域帶來(lái)了巨大的動(dòng)能。值得關(guān)注的是，HPC工作也在越來(lái)越多地延伸到超級(jí)計(jì)算機(jī)中心之外的范疇。為了將超級(jí)計(jì)算帶到邊緣，英偉達(dá)在開(kāi)發(fā)用于HPC的Holoscan，它是圖像軟件的高度可擴(kuò)展版本，將在Jetson AGX模塊和設(shè)備、四路 A100 服務(wù)器等各種加速平臺(tái)上運(yùn)行。

隨著高性能計(jì)算向各個(gè)方向的擴(kuò)展，不論是超級(jí)計(jì)算中心、云端還是邊緣等，一切正在發(fā)生巨變。而英偉達(dá)圍繞加速計(jì)算展開(kāi)的一系列軟硬件創(chuàng)新和生態(tài)合作，也展現(xiàn)了它在高性能計(jì)算領(lǐng)域深耕的實(shí)力與決心。