芯基建狂魔英偉達(dá)，為超大規(guī)模生成式AI數(shù)據(jù)中心而戰(zhàn)

英偉達(dá)在COMPUTEX上再次展現(xiàn)了“芯基建狂魔”的硬核實力。

集成了256 個 GH200 芯片的 DGX GH200 、提供1 exaflop性能的超級計算機(jī)把基建實力拉滿。作為AI超算，DGX GH200的技術(shù)亮點主要體現(xiàn)在大內(nèi)存技術(shù)、互連技術(shù)NVLink、以及針對Transformer大模型的加速優(yōu)化。英偉達(dá)這款產(chǎn)品，也讓業(yè)界看到了AI大算力系統(tǒng)的升級方向。

首先要說的是144TB共享內(nèi)存空間的AI超級計算機(jī)，這個內(nèi)存空間由256個Grace Hopper超級芯片提供，相比于單個NVIDIA DGX A100 320 GB系統(tǒng)，NVIDIA DGX GH200提供了近500倍的內(nèi)存，形成了一個巨大的數(shù)據(jù)中心級GPU。超大的內(nèi)容容量，顯然是為了支持更大模型的訓(xùn)練。

這種通過GPU內(nèi)存的代際躍進(jìn)，顯著提高了AI和HPC應(yīng)用的性能。許多主流的AI和HPC工作負(fù)載可以完全駐留在單個NVIDIA DGX H100的聚合GPU內(nèi)存中。根據(jù)官方給出的對比結(jié)果，對于這些工作負(fù)載，DGX H100是最高效的解決方案。其他工作負(fù)載，如深度學(xué)習(xí)推薦模型（DLRM）和大數(shù)據(jù)分析工作負(fù)載，使用DGX GH200可以實現(xiàn)4倍到7倍的加速。

其次是超算系統(tǒng)的“黏合劑”，也就是用于互連的NVLink技術(shù)。對于大規(guī)模的AI擴(kuò)展，NVLink技術(shù)必不可少的。GH200超級芯片使用了NVIDIA NVLink-C2C芯片進(jìn)行互連，將Grace CPU與H100 Tensor Core GPU整合在一起，從而不再需要傳統(tǒng)的CPU至GPU PCIe連接。與最新的PCIe技術(shù)相比，這將GPU和CPU之間的帶寬提高了7倍，將互連功耗減少了5倍以上，并為DGX GH200超級計算機(jī)提供了一個600GB的Hopper架構(gòu)GPU構(gòu)建模塊。

DGX GH200也是第一款將Grace Hopper超級芯片與NVIDIA NVLink Switch System配對使用的超級計算機(jī)，這種新的互連方式，能夠使DGX GH200系統(tǒng)中的所有GPU作為一個整體協(xié)同運(yùn)行。

在不影響性能的前提下，上一代系統(tǒng)只能通過NVLink把8個GPU整合成一個GPU。DGX GH200架構(gòu)相比上一代將NVLink帶寬提升了48倍以上，實現(xiàn)在單個GPU上通過簡單編程即可提供大型AI超級計算機(jī)的能力，由此也體現(xiàn)出了互連技術(shù)對于未來超大算力的AI的重要性。

正是通過NVLink互連技術(shù)、NVLink Switch System，才能使256個GH200超級芯片相連，使它們能夠作為單個GPU運(yùn)行。

第三是針對Transformer計算的優(yōu)化，GH200新的 Transformer 引擎與Hopper FP8 張量核心相結(jié)合，在大型NLP模型上提供比A100服務(wù)器高達(dá)9倍的AI訓(xùn)練速度和30倍的AI推理速度。

此外在軟件方面，DGX GH200超級計算機(jī)包含的NVIDIA軟件，可為最大的AI和數(shù)據(jù)分析工作負(fù)載提供一個交鑰匙式全棧解決方案。NVIDIA Base Command軟件提供AI工作流程管理、企業(yè)級集群管理和多個加速計算、存儲和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的庫，以及為運(yùn)行AI工作負(fù)載而優(yōu)化的系統(tǒng)軟件。

還有NVIDIA AI Enterprise，即NVIDIA AI平臺的軟件層。它提供100多個框架、預(yù)訓(xùn)練模型和開發(fā)工具，以簡化生成式AI、計算機(jī)視覺、語音AI等生產(chǎn)AI的開發(fā)和部署。

從核心的超級芯片芯片、到互連技術(shù)再到算法引擎的優(yōu)化、以及配套軟件的升級，英偉達(dá)此次推出的E級AI超算系統(tǒng)再次帶給業(yè)界驚喜，也清晰展現(xiàn)了軟硬件全新升級的優(yōu)化方向。目前，谷歌云、Meta和微軟是首批有望接入DGX GH200來探索其用于生成式AI工作負(fù)載的能力的公司。NVIDIA還打算將DGX GH200設(shè)計作為藍(lán)圖提供給云服務(wù)提供商和其他超大規(guī)模企業(yè)，以便他們能夠進(jìn)一步根據(jù)他們自己的基礎(chǔ)設(shè)施進(jìn)行定制。

另據(jù)透露，基于DGX GH200，英偉達(dá)正在打造自己的AI超級計算機(jī)NVIDIA Helios，以支持研發(fā)團(tuán)隊的工作。NVIDIA Helios超級計算機(jī)將配備四個DGX GH200系統(tǒng)，每個都將通過NVIDIA Quantum-2 InfiniBand網(wǎng)絡(luò)互連，以提高訓(xùn)練大型AI模型的數(shù)據(jù)吞吐量。Helios將包含1024個Grace Hopper超級芯片，預(yù)計將于今年年底上線。

網(wǎng)絡(luò)定義數(shù)據(jù)中心的時代到來

黃仁勛指出，目前主要有兩種類型的數(shù)據(jù)中心。一種是用于超規(guī)模的，有各種不同類型的應(yīng)用程序、工作負(fù)載、租戶數(shù)量非常多，工作量非常異構(gòu)、工作負(fù)載是松散耦合的；另一種則像是超級計算數(shù)據(jù)中心/AI超算計算機(jī)，工作負(fù)載緊密耦合，租戶數(shù)量少，但需要在非常大的計算問題上實現(xiàn)高吞吐量，在整個超級計算機(jī)上運(yùn)行一個工作負(fù)載的成本非常昂貴，以至于無法承受網(wǎng)絡(luò)中的任何損失。

而以太網(wǎng)是基于TCP的通信協(xié)議，它很有彈性，每當(dāng)出現(xiàn)丟失數(shù)據(jù)包丟失時，它都會重新傳輸。這也正是當(dāng)今互聯(lián)網(wǎng)誕生的原因，它幾乎可以從任何地方互連組件，如果它需要太多的協(xié)調(diào)，這個龐大的網(wǎng)絡(luò)是不可能實現(xiàn)的。他表示，隨著AI的普及，要使世界上任何數(shù)據(jù)中心都能承載AI工作負(fù)載，就必須端到端地了解數(shù)據(jù)中心，從交換機(jī)到軟件到任何可能的瓶頸，必須通過自適應(yīng)路由來協(xié)調(diào)流量，這樣才能處理擁塞控制，避免某個區(qū)域的流量過于飽和，從而導(dǎo)致數(shù)據(jù)包丟失，而這是高吞吐量工作負(fù)載所根本負(fù)擔(dān)不起的丟包問題。

基于上述判斷，黃仁勛認(rèn)為，現(xiàn)在的數(shù)據(jù)中心實則是由計算機(jī)網(wǎng)絡(luò)定義了數(shù)據(jù)中心的功能。英偉達(dá)推出的NVIDIA Spectrum-X 加速網(wǎng)絡(luò)平臺，可以說為新一代AI工作負(fù)載掃清障礙?？梢蕴岣呋谝蕴W(wǎng) AI 云的性能與效率，助力數(shù)據(jù)中心滿足超大規(guī)模生成式AI工作負(fù)載需求。

NVIDIA Spectrum-X是基于網(wǎng)絡(luò)創(chuàng)新的新成果而構(gòu)建的，將 NVIDIA Spectrum-4以太網(wǎng)交換機(jī)與 NVIDIA BlueField-3 DPU緊密結(jié)合，取得了1.7倍的整體AI性能和能效提升，同時可在多租戶環(huán)境中提供一致、可預(yù)測的性能。Spectrum-X 還提供 NVIDIA 加速軟件和軟件開發(fā)套件（SDK），使開發(fā)人員能夠構(gòu)建軟件定義的云原生AI應(yīng)用。

首次將高性能計算能力引入以太網(wǎng)市場，英偉達(dá)將帶來這兩大改變：第一，自適應(yīng)路由基本上是根據(jù)通過數(shù)據(jù)中心的流量來判斷，根據(jù)交換機(jī)的哪個端口過度擁塞，由BlueField-3 DPU發(fā)送到另一個端口，另一個端口的BlueField-3 DPU再將數(shù)據(jù)發(fā)送給CPU，這期間無需任何的CPU干預(yù)。第二，擁塞控制。某些端口可能會變得嚴(yán)重?fù)砣?，在這種情況下，交換機(jī)會根據(jù)看到的網(wǎng)絡(luò)的執(zhí)行情況，與發(fā)送器進(jìn)行通信（比如提示：不要立即發(fā)送更多數(shù)據(jù)，因為正在擁塞），實際上，擁塞控制的網(wǎng)絡(luò)基本上需要一個系統(tǒng)來實現(xiàn)，該系統(tǒng)包括軟件、與所有端點一起工作的交換機(jī)，以全面管理數(shù)據(jù)中心的擁塞或流量和吞吐量。

這種端到端的功能交付，可以減少基于Transformer的大規(guī)模生成式AI模型的運(yùn)行時間，助力網(wǎng)絡(luò)工程師、AI數(shù)據(jù)科學(xué)家和云服務(wù)商及時取得更好的結(jié)果，并更快做出明智的決策。全球頭部超大規(guī)模云服務(wù)商、領(lǐng)先的云創(chuàng)新企業(yè)正在采用 NVIDIA Spectrum-X。

據(jù)介紹，NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺具有高度的通用性，可用于各種 AI 應(yīng)用，它采用完全標(biāo)準(zhǔn)的以太網(wǎng)，能夠與現(xiàn)有的以太網(wǎng)堆棧實現(xiàn)互通。

作為 NVIDIA Spectrum-X 參考設(shè)計的藍(lán)圖和測試平臺，NVIDIA 正在構(gòu)建一臺超大規(guī)模生成式 AI 超級計算機(jī)，命名為 Israel-1。它將被部署在 NVIDIA 以色列數(shù)據(jù)中心，由基于 NVIDIA HGX平臺的戴爾 PowerEdge XE9680 服務(wù)器， BlueField-3 DPU 和 Spectrum-4 交換機(jī)等打造而成。

為系統(tǒng)制造商提供模塊化架構(gòu)，滿足多樣化加速需求

為了滿足全球數(shù)據(jù)中心多樣化的加速計算需求，英偉達(dá)還發(fā)布了NVIDIA MGX服務(wù)器規(guī)范，意在為系統(tǒng)制造商提供了一個模塊化參考架構(gòu)，快速、經(jīng)濟(jì)高效地制造100多種服務(wù)器機(jī)型，適配廣泛的AI、高性能計算和元宇宙應(yīng)用。

基于MGX，制造商以一個為加速計算優(yōu)化的服務(wù)器機(jī)箱作為基礎(chǔ)系統(tǒng)架構(gòu)入手，然后選擇適合自己的GPU、DPU和CPU。不同的設(shè)計可以滿足特定的工作負(fù)載，如HPC、數(shù)據(jù)科學(xué)、大型語言模型、邊緣計算、圖形和視頻、企業(yè)AI以及設(shè)計與模擬。AI訓(xùn)練和5G等多種任務(wù)可以在一臺機(jī)器上處理，而且可以升級到未來多代硬件。MGX還可以集成到云和企業(yè)數(shù)據(jù)中心。

MGX提供不同的規(guī)格尺寸，并兼容當(dāng)前和未來多代NVIDIA硬件，包括：

機(jī)箱：1U、2U、4U（風(fēng)冷或液冷）
GPU： 完整的NVIDIA GPU產(chǎn)品組合，包括最新的H100、L40、L4
CPU：NVIDIA Grace CPU超級芯片、GH200 Grace Hopper超級芯片、X86 CPU
網(wǎng)絡(luò)產(chǎn)品：NVIDIA BlueField-3 DPU、ConnectX?-7網(wǎng)卡

據(jù)了解，ASRock Rack、ASUS、GIGABYTE、Pegatron、QCT和Supermicro將采用MGX，它可將開發(fā)成本削減四分之三，并將開發(fā)時間縮短三分之二至僅6個月。

寫在最后

在當(dāng)天的主題演講中，黃仁勛回溯了從上世紀(jì)六十年代到如今的計算變遷。他提到，1964年，IBM推出了360系統(tǒng)，AT&T向世界展示了第一款通過銅線和雙絞線編碼、壓縮流傳輸圖片的手機(jī)，時至今日，視頻流大約占據(jù)了互聯(lián)網(wǎng)每天65%的流量。

工作負(fù)載已經(jīng)發(fā)生了深刻的變化，“每一個數(shù)據(jù)中心、每一臺服務(wù)器，都要具備生成式AI負(fù)載的能力”，黃仁勛表示。