芯耀
116
根據(jù)發(fā)布的基準測試結(jié)果，NVIDIA在使用x86及Arm CPU進行AI推理時取得了最佳成績。
這是NVIDIA連續(xù)第三次在MLCommons推理測試中創(chuàng)造性能和能效紀錄。MLCommons是一家成立于2018年5月的行業(yè)基準測試組織。?
這場測試是第一次在Arm系統(tǒng)上進行數(shù)據(jù)中心類別的測試，這使用戶在部署AI這一目前最具變革性的技術(shù)時有了更多的選擇。
無與倫比的性能
在最新一輪測試中，由NVIDIA AI平臺驅(qū)動的系統(tǒng)在所有七項推理性能測試中都名列前茅，這些系統(tǒng)來自NVIDIA和其九家生態(tài)系統(tǒng)合作伙伴，包括阿里巴巴、戴爾科技、富士通、技嘉、慧與、浪潮、聯(lián)想、寧暢和超微。
NVIDIA是唯一一家在本輪和迄今為止每一輪測試中取得所有MLPerf測試結(jié)果的公司。
推理（Inference）指計算機通過運行AI軟件來識別對象或進行預(yù)測。在這個過程中，計算機使用深度學習模型來過濾數(shù)據(jù)，進而發(fā)現(xiàn)人類所無法捕捉的結(jié)果。
MLPerf推理基準測試基于當今最常用的AI工作負載和場景，涵蓋計算機視覺、醫(yī)學影像、自然語言處理、推薦系統(tǒng)、強化學習等。
因此，無論用戶部署何種AI應(yīng)用，都可以通過NVIDIA創(chuàng)造自己的紀錄。
為什么性能十分重要
隨著AI用例從數(shù)據(jù)中心擴展到邊緣和其他領(lǐng)域，AI模型和數(shù)據(jù)集將不斷增加。就是為什么用戶需要既可靠又能靈活部署的性能。
MLPerf讓用戶有信心做出明智的購買決定。該組織得到了幾十家行業(yè)領(lǐng)導者的支持，包括阿里巴巴、Arm、百度、谷歌、英特爾和NVIDIA，因此這些測試是透明的和客觀的。
將Arm靈活應(yīng)用于企業(yè)AI
憑借在能效性能上的不斷增長和不斷擴展的軟件生態(tài)系統(tǒng)，Arm架構(gòu)正在向全球各地的數(shù)據(jù)中心進軍。
最新基準測試表明，作為GPU加速的平臺，在AI推理工作中，使用Ampere Altra CPU的Arm服務(wù)器與具有類似配置的X86服務(wù)器提供的性能幾乎相同。事實上，在其中的一項測試中，Arm服務(wù)器的性能甚至超過了類似配置的x86系統(tǒng)。
NVIDIA一直以來支持所有類型的CPU架構(gòu)，十分高興地看到Arm在同行評審的行業(yè)基準測試中能夠證明其AI性能。
Arm高性能計算和工具高級總監(jiān)David Lecomber表示：“作為MLCommons的創(chuàng)始成員，Arm致力于通過創(chuàng)建標準和基準來更好地應(yīng)對挑戰(zhàn)并激發(fā)加速計算行業(yè)的創(chuàng)新。”
“最新推理結(jié)果表明，Arm CPU和NVIDIA GPU驅(qū)動的Arm系統(tǒng)已能夠應(yīng)對數(shù)據(jù)中心中的各種AI工作負載?！?/p>
NVIDIA合作伙伴展示其AI性能
NVIDIA AI技術(shù)得到了廣大和日益擴展的生態(tài)系統(tǒng)的支持。
在最新基準測試中，七家OEM廠商共提交了22個GPU加速的平臺。
這些服務(wù)器中的大多數(shù)型號都是NVIDIA認證系統(tǒng)，經(jīng)驗證可以運行多種加速工作負載，而且其中很多型號都支持上個月正式發(fā)布的NVIDIA AI Enterprise軟件。
參與本輪測試的合作伙伴包括戴爾科技、富士通、慧與、浪潮、聯(lián)想、寧暢、超微以及云服務(wù)提供商阿里巴巴。
軟件的力量
NVIDIA能夠在所有AI用例中取得成功的一個關(guān)鍵因素是其完整的軟件棧。
在推理方面，這包括針對各種用例的預(yù)訓練AI模型。NVIDIA TAO Toolkit運用遷移學習為特定應(yīng)用定制這些模型。
NVIDIA TensorRT軟件對AI模型進行了優(yōu)化，使其能夠最有效地運用內(nèi)存并且實現(xiàn)更快的運行速度。NVIDIA經(jīng)常使用該軟件進行MLPerf測試，該軟件可用于X86和Arm的系統(tǒng)。
在這些基準測試中，NVIDIA還采用了NVIDIA Triton 推理服務(wù)器軟件和多實例GPU（MIG）功能。它們?yōu)樗虚_發(fā)者提供了通常需要專家級程序員才能實現(xiàn)的性能。
隨著該軟件棧的不斷改進，與四個月前的MLPerf推理基準測試相比，NVIDIA提升了高達20%的性能和15%的能效。
NVIDIA在最新測試中所使用的所有軟件都可以從MLPerf資源庫中獲得，因此任何人都可以重現(xiàn)NVIDIA的基準測試結(jié)果。NVIDIA會陸續(xù)將這些代碼添加到NVIDIA的深度學習框架和容器中，用戶可在NVIDIA的GPU應(yīng)用軟件中心NGC上獲得這些框架和容器。
其作為全棧式AI平臺的一部分，支持所有主要的處理器架構(gòu)，已在最新行業(yè)基準測試中得到了驗證，并可通過多家合作伙伴獲取，助力客戶應(yīng)對當今的實際AI工作任務(wù)。
