芯耀
1343
AI革新浪潮席卷而至，眾多行業(yè)正經(jīng)歷深刻變革。傳統(tǒng)云端AI受限于帶寬、延遲和隱私問題，難以滿足實時性要求，使得邊緣AI需求呈爆炸增長之勢。
“推理是AI釋放價值的關(guān)鍵，AI推理將從云端下沉至我們身邊，無處不在。對于芯片硬件玩家來說，邊緣側(cè)形態(tài)各異的設(shè)備與豐富用例，將帶來更多激動人心的機會”，Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健表示。
日前，Arm正式發(fā)布了全球首個Armv9邊緣AI計算平臺，該平臺以基于Armv9架構(gòu)的超高能效CPU Arm Cortex-A320和Arm Ethos-U85 AI加速器為核心，可支持運行超10億參數(shù)的端側(cè)AI模型。這一平臺的推出標志著邊緣計算發(fā)展的重要里程碑，為物聯(lián)網(wǎng)帶來了先進的AI功能和開發(fā)者優(yōu)勢，該平臺同時獲得了包括亞馬遜云科技 (AWS)、西門子、瑞薩電子、研華科技和 Eurotech在內(nèi)的多家生態(tài)合作伙伴支持。
為何要將Armv9引入邊緣AI？
此次發(fā)布的Armv9邊緣AI計算平臺，相較于去年推出的基于Cortex-M85搭配Ethos-U85的平臺提升了八倍的ML計算性能，帶來了顯著的AI計算能力突破。
在推出這款最新的邊緣AI計算平臺之前，Arm已有多款處理器在為多樣化的邊緣側(cè)設(shè)備提供支持，為何還要將Armv9引入相同目標設(shè)備的處理器技術(shù)中？
事實上，在IoT環(huán)境中，邊緣設(shè)備需求更勝以往，例如：智能攝像頭需要在本地運行復(fù)雜的計算機視覺算法；工業(yè)傳感器須處理復(fù)雜的機器學(xué)習(xí)模型以進行預(yù)測性維護；即使是端側(cè)設(shè)備，也越來越離不開增強的安全性和虛擬化功能。此外，OEM廠商迫切需要快速推出解決方案，以應(yīng)對不斷攀升的計算需求，例如：自動駕駛車輛在工廠環(huán)境中的精準導(dǎo)航，以及構(gòu)建能夠提供更自然AI交互體驗的人機界面……
正因如此，不論是設(shè)備本身，還是相關(guān)企業(yè)，這些不斷變化的需求使得Armv9的先進功能不再只是錦上添花，而是新一代物聯(lián)網(wǎng)創(chuàng)新的必備條件。
全新Cortex-A320為下一代AIoT設(shè)備奠定安全基礎(chǔ)
作為Armv9邊緣AI計算平臺的核心組件，Cortex-A320作為基于Armv9架構(gòu)的全新超高能效CPU，將Armv9架構(gòu)的功能擴展到了IoT領(lǐng)域的高能效設(shè)備。
在ML性能方面，相較于前代產(chǎn)品Cortex-A35，Cortex-A320的ML性能提升了十倍，標量性能提升了30%。此外，其能效比較Cortex-A520提升了 50%，進一步降低了功耗。
Cortex-A320充分利用了Armv9增強的計算特性和安全性。計算特性方面，增強的Neon和可伸縮向量擴展(SVE2)技術(shù)，能夠提供更高效的ML計算能力；對包括BFloat16等新數(shù)據(jù)類型的支持提高了AI計算的精度和能效；新增的矩陣乘法指令則優(yōu)化了AI和ML計算性能，加速神經(jīng)網(wǎng)絡(luò)推理和訓(xùn)練任務(wù)。
此外，Cortex-A320還引入了多項Armv9高級安全功能，包括指針驗證(PAC)、分支目標識別(BTI)和內(nèi)存標記擴展(MTE)。
其中，由于大部分軟件漏洞仍與內(nèi)存安全問題相關(guān)，通過MTE功能有助于檢測和減少 C/C++ 程序中常見的內(nèi)存安全漏洞。通過對內(nèi)存分配進行標記，并在訪問時檢查這些標記，MTE可以識別并防范潛在的安全漏洞。PAC通過確保函數(shù)指針和返回地址的完整性，為系統(tǒng)增加了一層額外的安全保護，以減少攻擊者利用軟件漏洞的機會。而BTI則是通過確保間接分支僅指向有效位置，來保護系統(tǒng)免受控制流攻擊。
此外，由于虛擬化技術(shù)可高效利用資源并改善不同工作負載間的隔離性，Cortex-A320支持的Secure EL2 (S-EL2)虛擬化，增強了TrustZone內(nèi)部的隔離性，支持更安全地運行軟件容器，這對多用戶環(huán)境及云計算、邊緣計算場景中維護數(shù)據(jù)完整性與機密性很重要。
這些改進使Cortex-A320成為IoT設(shè)備的理想計算平臺，能夠高效執(zhí)行復(fù)雜的邊緣AI任務(wù)，同時保證系統(tǒng)的安全性、可靠性和數(shù)據(jù)完整性。
Cortex-A320 +Ethos-U85：邊緣AI的理想組合
隨著邊緣AI負載變得越來越復(fù)雜，對支持更大規(guī)模、多模態(tài)AI模型的硬件需求不斷增長，系統(tǒng)的內(nèi)存需求也在迅速提升。因此，為了滿足更復(fù)雜的應(yīng)用場景，具備更高內(nèi)存訪問性能的系統(tǒng)變得尤為必要。
馬健指出，Cortex-A 處理器正是為此而設(shè)計，相比 Cortex-M，它支持更大的可尋址內(nèi)存空間，并能夠更靈活地管理多層次內(nèi)存訪問延遲。此外，傳統(tǒng)的Cortex-M一般只能支持實時操作系統(tǒng)，而Cortex-A320 具備支持多種操作系統(tǒng)的能力，無論是如 FreeRTOS 和 Zephyr 的實時操作系統(tǒng) (RTOS)，還是如 Linux 和 Android 的功能豐富的操作系統(tǒng)，都能提供高效支持。Cortex-A320與Ethos-U85這一組合，成為了運行大模型及需要更高軟件靈活性的邊緣AI任務(wù)的理想選擇。
其中，作為邊緣AI計算平臺的另一核心，Ethos-U85是Arm Ethos-U產(chǎn)品線中的第三代NPU，也是迄今為止性能和能效最強的Ethos NPU。最新的Ethos-U85可支持 Transformer 架構(gòu)網(wǎng)絡(luò)，在1GHz時，算力可支持從256 GOPS到4 TOPS，滿足多種設(shè)備需求。目前，驅(qū)動程序更新后的Ethos-U85可由Cortex-A320直接驅(qū)動，無需額外搭載Cortex-M。這一更新降低了延遲，并降低了系統(tǒng)復(fù)雜性和成本。
此外，在可預(yù)見的未來，多模態(tài)AI模型正在成為AI發(fā)展的必然趨勢，因為它使AI能以更貼近人類感知世界的方式為我們服務(wù)。
對此，馬健認為，多模態(tài)AI模型的發(fā)展將推動AI助手等應(yīng)用更加自然和便捷，例如通過語音和視覺模態(tài)的結(jié)合，用戶可以更自由地與設(shè)備交互。在產(chǎn)品布局方面，此次發(fā)布的以Cortex-A320+Ethos-U85為核心的邊緣AI計算平臺已在智能視覺方面有很多的應(yīng)用。此外，Arm在整個視覺方面已有比較成熟的解決方案，比如通過GPU和ISP（圖像信號處理）進行圖像處理，具備很強的優(yōu)勢。
將Arm Kleidi擴展到物聯(lián)網(wǎng)
“真正的邊緣AI計算平臺需要靈活性，使工作負載既可以運行在CPU，也可以運行在AI加速器上。例如，在連續(xù)圖像檢測任務(wù)中，通常會優(yōu)先在AI加速器上運行，以提高能效；而單張圖像的處理，在CPU上執(zhí)行可能更高效”，馬健在談及提升邊緣AI開發(fā)效率時表示，“對于在CPU上運行的AI任務(wù)，開發(fā)者希望能夠獲得最優(yōu)的性能，這正是Arm Kleidi發(fā)揮作用的地方”。
為了簡化邊緣AI開發(fā)流程，Arm現(xiàn)已將Kleidi擴展到物聯(lián)網(wǎng)領(lǐng)域。Arm Kleidi是一套面向AI框架開發(fā)者的計算庫，旨在優(yōu)化基于Arm CPU的AI和ML工作負載，無需開發(fā)者額外操作。KleidiAI已集成到多個主流AI框架中，如Llama.cpp和 ExecuTorch或LiteRT（通過XNNPACK），加速了Meta Llama 3和Phi-3等關(guān)鍵模型的性能。例如，在Llama.cpp上運行微軟的Tiny Stories數(shù)據(jù)集時，KleidiAI為新的Cortex-A320帶來了70%的性能提升。
在當今快速迭代的技術(shù)浪潮中，產(chǎn)品的上市速度已成為決定其市場成敗的關(guān)鍵因素。Arm此次推出的邊緣AI計算平臺確保了與更高性能Cortex-A處理器在軟件層面的無縫兼容。這種高度的可擴展性讓開發(fā)者能夠根據(jù)不斷變化的需求靈活調(diào)整解決方案。借助龐大的Armv9生態(tài)系統(tǒng)，以及與Linux等功能豐富的操作系統(tǒng)和Zephyr等實時操作系統(tǒng)的兼容性，開發(fā)者擁有了前所未有的靈活性。
寫在最后
Arm此次發(fā)布的全新邊緣AI計算平臺有望成為新一輪物聯(lián)網(wǎng)創(chuàng)新的催化劑。在Armv9架構(gòu)、先進的AI功能和全面軟件支持的加持下，OEM廠商和開發(fā)者正在獲得更多AIoT領(lǐng)域技術(shù)創(chuàng)新的可能性。
Arm認為，這不僅僅是一次漸進式的進步，而是代表著行業(yè)對邊緣計算和AI處理方式的根本性革新。這也是行業(yè)首次迎來專為物聯(lián)網(wǎng)應(yīng)用優(yōu)化的Armv9 CPU，通過將超高能效與先進AI能力結(jié)合，Armv9邊緣AI計算平臺將會實現(xiàn)前所未有的技術(shù)突破，進而助力物聯(lián)網(wǎng)領(lǐng)域未來的創(chuàng)新與轉(zhuǎn)型。
