Arm超預期業(yè)績之后，AI驅動下一個大時代

作為半導體領域最受關注的芯片設計公司之一，Arm在2月初披露了2024財年第三季度財報，營收8.24億美元，同比增長14%，高于分析師預期的7.6億美元；調整后運營利潤3.38億美元，高于分析師預期的2.744億美元。這份超出市場預期的財報直接推動Arm股價暴漲，一度超過40%，市值突破千億美元。

對于下一季度的展望，Arm也給出了強勁數(shù)據，預計截至3月底的季度營收將在8.5億美元至9億美元，超過分析師預估的7.78億美元均值。

“來到了公司歷程中最令人振奮的時刻”

距離這份超預期的財報不到一個月，Arm近期更新了Neoverse 產品路線圖，進一步推進基于Arm平臺的人工智能基礎設施。其中包括，通過性能效率更優(yōu)異的 N 系列新 IP 擴展 Arm Neoverse 計算子系統(tǒng) (CSS) 產品路線圖。與 Neoverse CSS N2 相比，Neoverse CSS N3 的每瓦性能可提高 20%。此外，Arm 還首次將計算子系統(tǒng)引入性能優(yōu)先的 V 系列產品線，新的 Neoverse CSS V3 基于全新的 Neoverse V3 IP 打造，與此前的 Neoverse CSS 產品相比，其單芯片性能可提高 50%。

“我們此刻來到了公司歷程中最令人振奮的時刻”，Arm 高級副總裁兼基礎設施事業(yè)部總經理 Mohamed Awad如此形容當下所處的情形，“2023 年，我們見證了加速轉型，全球開始擁抱生成式人工智能 (GenAI)。2024 年及未來，預計將出現(xiàn)大規(guī)模的創(chuàng)新應用。隨著AI滲透到教育、就業(yè)、制造、醫(yī)療和交通等領域，AI正在改變經濟發(fā)展和日常生活，而Arm是這一切變革的基石。

他表示，從小型傳感器到大型數(shù)據中心，創(chuàng)新和技術轉型遍布科技領域。計算越來越專用化，通用CPU已不再能滿足需求。特別是在基礎設施領域，持續(xù)向更復雜的計算轉型，它不再只關乎芯片、服務器或機架，而是關乎整個數(shù)據中心。

也就是說，系統(tǒng)級創(chuàng)新正在成為基礎設施領域的新趨勢。

NVIDIA 就是很好的例子，其Grace Hopper 從根本上重新設計了系統(tǒng)架構，從單個CPU管理多個 GPU，轉變?yōu)镃PU與GPU一對一的映射。而更多的 CPU 意味著內存一致性，這最終會大大提高 GPU 的利用率。通過將72顆Arm Neoverse核心與NVIDIA GPU進行組合，Grace Hopper的AI性能較基于x86架構的系統(tǒng)提升了10倍。

亞馬遜云科技 (AWS) 和微軟等行業(yè)巨頭也采取了類似方法。他們正從頭開始設計系統(tǒng)，并從定制系統(tǒng)級芯片 (SoC) 開始。AWS第四代基于Arm Neoverse平臺的處理器Graviton4相比上一代產品，處理速度提高了30%，核心數(shù)量增加了50%，內存帶寬增加了75%；微軟首款專為計算中心打造的定制芯片Azure Cobalt 100 CPU也基于Arm Neoverse計算子系統(tǒng)(CSS)打造，該芯片具有128顆 Neoverse內核。

為什么這些巨頭紛紛選擇Arm Neoverse和Neoverse CSS？Mohamed Awad認為原因很簡單，因為Arm獨特的定位能賦予合作伙伴快速創(chuàng)建定制解決方案的能力，并充分利用到強大的生態(tài)系統(tǒng)，正是這些特性使 Arm Neoverse 夯實了全球 AI 愿景的根基。

他將Arm在基礎設施領域收獲累累碩果的原因歸結為三點：首先是卓越性能，工程團隊堅持不懈地實現(xiàn)迭代提升；其次是靈活性，賦能技術合作伙伴定制芯片，以支持其專用的工作負載和系統(tǒng)，而非采用一體適用的方案；最后是生態(tài)系統(tǒng)，Arm在軟件、IP和芯片生態(tài)系統(tǒng)中提供出色性能和靈活性，從而降低配置的總成本并加速產品上市。

而Arm Neoverse 計算子系統(tǒng) (CSS) 則充分演繹了這些優(yōu)勢，并在過去一年取得了顯著進展。

據Mohamed Awad透露，一家合作伙伴使用Neoverse CSS節(jié)省了長達80人/年的工程師時間，另有一家合作伙伴，從項目啟動到流片僅耗時九個月。而這背后的關鍵是——計算子系統(tǒng)是經過集成和驗證的平臺，匯集了構成 SoC 核心的各類重要部件。

為了幫助合作伙伴快速交付基于Neoverse CSS的定制SoC，Arm打造了全面設計 (Arm Total Design) 生態(tài)項目，核心目的是希望能夠幫助合作伙伴快速交付基于Neoverse CSS的定制SoC，幫助降低合作伙伴的創(chuàng)新成本，并將其想要構建的定制數(shù)據中心計算系統(tǒng)更快推向市場。

據介紹，Arm 全面設計生態(tài)項目已吸引超過 20 家來自各方技術合作伙伴的加入，他們均致力于確保高性能、高效率解決方案的廣泛可觸及性，助力滿足 AI 加速未來的計算需求。

Arm Neoverse 開啟新篇章

Arm Neoverse分為V/N/E三大平臺：V系列旨在提供最佳性能，N系列強調每瓦性能優(yōu)化，E系列則主要關注數(shù)據吞吐量優(yōu)化。此次，Neoverse N 系列和 V 系列在推出新品的基礎上，還推出新的 CSS 產品，即 Neoverse CSS V3 和 Neoverse CSS N3。Neoverse E 系列也不斷迭代更新，采用了新的 CPU 和 新的 Neoverse S3 系統(tǒng) IP。

據Arm基礎設施事業(yè)部產品解決方案副總裁Dermot O’Driscoll介紹，CSS V3在單芯片上最多可擴展至128核，并支持最新的高速內存和I/O標準，CSS V3 基于新的 Neoverse V3 核心打造，是Arm目前單線程性能最高的Neoverse核心，專為Arm機密計算架構(CCA)提供硬件支持。

CSS N3則聚焦能效，與 CSS N2 相比，其每核心的每瓦性能提升 20%?！拔覀儗?CSS N3 進行了調優(yōu)，以填補我們發(fā)現(xiàn)的市場空缺，提供滿足基礎設施性能要求的高效計算”， Dermot O’Driscoll表示。

CSS N3 的首個實例可提供32核，熱設計功耗(TDP)低至40W，可覆蓋電信、網絡和DPU等一系列應用。同時，考慮到橫向擴展云配置需要，Arm為新的N系列產品引入了Armv9.2功能，能為每個核心提供2MB的專用L2緩存，并支持最新的PCIe、CXL I/O標準以及UCIe芯粒標準。

下圖可以看出新CPU核心的性能提升，從視頻處理到 SQL 數(shù)據庫的性能均有所躍進。如今，人們常常忽視的一點是，有多少計算周期最終被用于壓縮和協(xié)議轉換等后臺任務。N 系列在壓縮方面取得了性能優(yōu)勢，可降低云服務運營商的成本，并最終降低云服務客戶的成本。同樣地，V 系列顯著提高了協(xié)議緩沖區(qū)的性能，這是在數(shù)據中心內傳輸數(shù)據的一項關鍵功能。

“CPU 推理將是生成式AI計算應用的關鍵組成，這些工作負載已從ML專用的Neoverse 功能（如Bfloat16、MatMul、SVE和SVE2），以及Arm微架構優(yōu)化中受益，而且這一趨勢還將繼續(xù)”， Dermot O’Driscoll認為。

緊耦合芯粒方式有利于AI大模型應用

未來一個顯而易見的事實是，并非所有 AI 處理都將在 CPU 上進行，因此打造 AI 加速器的公司迅速涌現(xiàn)出來。據最近統(tǒng)計，這一領域的公司已接近 80 家。

例如NVIDIA的Grace Hopper，就是使用了基于Neoverse V2 平臺的緊耦合計算芯粒。Grace Hopper的一大關鍵創(chuàng)新就在于內存容量和共享內存模式，這種緊耦合的 CPU 加上加速器配置，對大參數(shù) LLM 非常有益，對檢索-增強-生成 (RAG) 等新興方法也很有幫助。

當前，芯粒已成為管理良率的常用機制，企業(yè)也在努力復用芯粒，不過，尤其是面臨不同團隊的設計組合時，還是會在系統(tǒng)架構層面臨挑戰(zhàn)。例如：怎樣在設計時對芯粒進行邏輯分區(qū)？如何設置直接內存訪問 (DMA) 和中斷、電源和安全等管理功能？要建立可互操作的生態(tài)系統(tǒng)，就需要在生態(tài)系統(tǒng)層面一致地解決這些問題。

Dermot O’Driscoll表示，Neoverse CSS 是專為幫助客戶快速打造通用計算芯粒而推出的產品。它能提供所需接口，以便選擇耦合自身的加速器。這種方法既可以在需要 CPU 時提供 CPU，又可以在需要 AI 加速器時提供 AI 加速器，做到兩全其美。

近期，Arm發(fā)布了芯粒系統(tǒng)架構 (Chiplet System Architecture, CSA) ，目的是構建一個功能強大、支持通用的芯粒生態(tài)系統(tǒng)。Arm預計很多應用都需要將計算芯粒與AI加速器并行使用，而CSA 有助于簡化這一聯(lián)合設計的過程。Arm正與 20 多家合作伙伴，推動整個Arm生態(tài)系統(tǒng)釋放芯粒技術的潛力。

生態(tài)伙伴共同加速基于 Neoverse CSS 系統(tǒng)開發(fā)

去年十月，Arm借由Arm全面設計生態(tài)項目，圍繞 Arm計算子系統(tǒng)開展創(chuàng)新設計。該生態(tài)項目匯集了半導體領域領先企業(yè)，囊括了芯片設計合作伙伴、IP 供應商、EDA 工具提供商、代工廠和固件開發(fā)商等，共同加快并簡化基于 Neoverse CSS 的系統(tǒng)開發(fā)。

如今，Arm全面設計已經有20多家成員加入。其中包括新的EDA和配套 IP 提供商，以及來自包括韓國、中國臺灣、中國大陸和印度等戰(zhàn)略市場的芯片設計合作伙伴，這些市場存在巨大的發(fā)展?jié)摿Α?/p>

據Arm基礎設施事業(yè)部營銷副總裁 Eddie Ramirez透露，Arm正在與三家主要代工廠合作，以確保CSS 產品能在其先進工藝節(jié)點上進行優(yōu)化。

同時，Arm 全面設計合作伙伴正在努力將基于 Neoverse CSS 的設計推向市場。去年十月，Socionext 成為首家宣布計劃在臺積公司領先的2nm工藝上開發(fā)基于CSS芯粒的合作伙伴。智原科技也在構建基于芯粒的服務器芯片，該芯片將搭載64顆N系列核心，并基于英特爾代工服務的18A工藝節(jié)點進行生產制造。此外，ADTechnology將提供高性價比的16 核 CSS N 系列邊緣服務器平臺，他們將與三星代工廠合作，為邊緣計算釋放更強大的算力。

據了解，面向不斷增長的AI計算需求，Arm Neoverse的創(chuàng)新方向主要聚焦于：第一，通過諸如 Bfloat16、MatMul、SVE 和 SVE2 等架構功能，以及微架構的優(yōu)化，持續(xù)提升運行在 CPU 上的機器學習 (ML) 計算的表現(xiàn)。第二，通過支持最新的行業(yè)標準接口，以及提供用于一致性高帶寬連接的 CHI 協(xié)議，為定制 AI 加速器與Arm Neoverse 平臺和 Arm Neoverse CSS 的緊耦合提供更好的靈活性。第三，為自研定制 AI 加速器的合作伙伴提供行業(yè)領先的系統(tǒng)互連技術，以實現(xiàn)與主機計算的緊密耦合鏈接，并提供 CPU 來處理 AI 工作的編排，同時支持利用 Arm 基礎設施軟件生態(tài)系統(tǒng)的云原生軟件。

“大型科技企業(yè)對基于 Arm Neoverse 平臺的系統(tǒng)、軟件和芯片等方面的投入，凸顯了對AI時代的共同愿景。新一代 Arm Neoverse 將成為合作伙伴打造新一代產品和服務的基礎”，Mohamed Awad表示。