芯耀
352
AI算力平臺的價值是什么？
鯤云創(chuàng)始人兼CEO牛昕宇博士，在世博園的上交會演講臺上，向與會嘉賓提出了這樣一個問題。
是跑AI算法嗎？并不盡然，幾乎所有的計算芯片都能跑AI算法，只是算力大小有區(qū)別。
牛昕宇用一道數(shù)學(xué)題回答了這個問題。
假如世博園要部署一個25000路的攝像頭項目，實現(xiàn)人臉門禁、垃圾管理等各種各樣的智慧化功能。而這些功能的背后其實是對算力的需求，需要通過服務(wù)器、計算平臺來實現(xiàn)。
假設(shè)基于某國際大廠的算力平臺，一臺服務(wù)器可以支持250路視頻的分析，部署整個世博園的智慧項目，需要100臺服務(wù)器。
如果現(xiàn)在有一款算力平臺，與現(xiàn)有服務(wù)器產(chǎn)品相比，在成本不變的情況下可提升4.47倍的性能。那么，一臺服務(wù)器就從250路的分析能力，變成超過1000路的分析能力。這也意味著，落地同樣的應(yīng)用，實現(xiàn)同樣的功能，只需要22臺服務(wù)器，成本降低接近80%。
“這就是AI芯片的價值——大幅降低AI應(yīng)用的落地成本”，牛昕宇道出當(dāng)前AI的落地應(yīng)用中，算力平臺該有的價值。
4.47倍的背后
之所以說到提升4.47倍的性能，正是因為牛昕宇手中的這款星空加速卡X9，對標(biāo)英偉達(dá)的旗艦產(chǎn)品T4，在不到其一半峰值算力的情況下，實測算力最高可以達(dá)到4.47倍的性能提升。這是如何做到的？
鯤云創(chuàng)始人兼CEO牛昕宇博士展示星空X9加速卡
就像長跑一樣，制勝的關(guān)鍵不是瞬間的爆發(fā)力，而是跑下整場比賽的平均速度。AI芯片也是如此，像上文提到的智慧園區(qū)項目，用戶關(guān)注的不僅是峰值算力，更是芯片的實測性能，即能夠在實際應(yīng)用中分析多少路視頻。提供給用戶所需的算力性價比——這是鯤云對標(biāo)英偉達(dá)的底氣。
與英偉達(dá)T4相比，星空X9加速卡在運行ResNet50, YOLO v3等算法模型時的芯片利用率提升了2.76-11.05倍，最高可以實現(xiàn)94.4%的芯片利用率。在性能方面，X9在運行ResNet50網(wǎng)絡(luò)時性能可以達(dá)到6037.73FPS，相較T4性能提升1.12倍，運行YOLO v3、U-Net Industrial檢測分割網(wǎng)絡(luò)性能有1.99-4.47倍提升。在達(dá)到最優(yōu)性能時，X9處理延時最低可達(dá)到2.65ms，處理速度相比T4提升35.73倍，適用于智算中心、云計算中心、高性能計算等對低延時有要求的高性能AI計算加速場景。
?X9 vs T4 芯片利用率
?
X9 vs T4 性能（FPS）
?
?X9 vs T4 延時（ms）
?
?X9 vs T4 benchmark
AI芯片的另一條路：數(shù)據(jù)流架構(gòu)
鯤云為什么能夠在更低的峰值算力甚至更低的芯片成本下，實現(xiàn)更高的實測性能？這要從X9加速卡背后的CAISA芯片說起。X9搭載了4顆CAISA 芯片，據(jù)鯤云官方介紹，該芯片“在支持深度學(xué)習(xí)通用算法的同時可發(fā)揮最高95.4%的芯片利用率，較同類產(chǎn)品提升最高11.6倍，在同等峰值性能下，提供遠(yuǎn)超于指令集芯片的實測算力?！?/p>
據(jù)牛昕宇介紹，CAISA芯片是全球第一顆量產(chǎn)的數(shù)據(jù)流AI芯片，基于鯤云從底層創(chuàng)新的數(shù)據(jù)流架構(gòu)CAISA3.0。作為新一代AI計算平臺，CAISA3.0架構(gòu)并未延續(xù)傳統(tǒng)的指令集架構(gòu)。這是因為對于大規(guī)模計算芯片來說，馮諾依曼體系架構(gòu)中數(shù)據(jù)的搬運和計算是串行進(jìn)行的，因此造成了一個典型的問題：馮諾依曼瓶頸/內(nèi)存墻，在運算過程中存在閑置的計算單元，這些計算單元在計算中要么在等待指令，要么在等待數(shù)據(jù)，造成了芯片利用率并不高。
而數(shù)據(jù)流架構(gòu)不同于馮諾依曼體系，它依靠的是數(shù)據(jù)的流動次序來控制計算次序，可以簡單理解為數(shù)據(jù)的搬運和計算是重疊的。在這樣一個重疊的計算方式下，可以最大化地發(fā)揮出每個時鐘周期的性能，把接近芯片極限的物理性能“壓榨”出來。
“做AI芯片有兩條路。第一條路就是基于傳統(tǒng)的指令集架構(gòu)，這條路相對容易，但是在芯片利用率上很難拉開差距。英偉達(dá)T4可以做到130TOPS、12nm工藝，在每一個指標(biāo)上已經(jīng)非常領(lǐng)先了，在這種情況下，我們在這條路上比拼峰值算力和工藝，是非常難的”，牛昕宇表示。
在英國帝國理工學(xué)院定制計算實驗室時，牛昕宇就已經(jīng)將數(shù)據(jù)流底層技術(shù)作為主要的研發(fā)方向，并致力于推進(jìn)數(shù)據(jù)流架構(gòu)和各個特定應(yīng)用領(lǐng)域的融合，比如金融、機器學(xué)習(xí)、物理仿真等?！霸谂c這些特定領(lǐng)域融合時，需要支持成百上千種算法，積累了高性能情況下的架構(gòu)通用性基礎(chǔ)，這些都是數(shù)據(jù)流架構(gòu)長期研發(fā)的重點，”牛昕宇表示。
看準(zhǔn)數(shù)據(jù)流和深度學(xué)習(xí)融合的價值
AI創(chuàng)業(yè)公司在初期的技術(shù)路線選擇上至關(guān)重要，往往決定了未來的落地方向和長期的核心競爭力。
全球從事數(shù)據(jù)流芯片開發(fā)的企業(yè)屈指可數(shù)，除鯤云外，目前可追溯到的主要有：脫胎于斯坦福大學(xué)的SambaNova、前谷歌TPU核心團(tuán)隊創(chuàng)辦的Groq，以及Wave computing。這三家中，只有SambaNova據(jù)稱已經(jīng)推出了產(chǎn)品，但其AI芯片和客戶很大程度仍處于保密狀態(tài)，可考數(shù)據(jù)不多。
那么，鯤云為什么能夠成為全球首家量產(chǎn)數(shù)據(jù)流AI芯片的企業(yè)？其核心優(yōu)勢是什么？
牛昕宇表示，鯤云創(chuàng)始團(tuán)隊來自數(shù)據(jù)流技術(shù)的源頭實驗室，自90年代開始就深耕數(shù)據(jù)流架構(gòu)與不同領(lǐng)域的領(lǐng)域?qū)Ｓ眉軜?gòu)研發(fā)，具備深厚的研發(fā)和迭代積累，掌握數(shù)據(jù)流技術(shù)從0到1研發(fā)的經(jīng)驗和能力，具備原創(chuàng)基礎(chǔ)。第二，在此基礎(chǔ)上，針對人工智能領(lǐng)域開發(fā)CAISA架構(gòu)，鯤云從底層研發(fā)開始，實現(xiàn)了從0到1、一步步的突破和演化，對于架構(gòu)的優(yōu)勢和迭代的方向都了然于心，目前CAISA架構(gòu)已經(jīng)迭代了三代，并且仍處于迭代升級中；第三，鯤云始終貼近落地需求，主要針對人工智能應(yīng)用場景推進(jìn)，如智慧園區(qū)、智慧工業(yè)等垂直領(lǐng)域，注重發(fā)揮數(shù)據(jù)流架構(gòu)的算力性價比優(yōu)勢?！白鳛榈谝患伊慨a(chǎn)落地的數(shù)據(jù)流AI產(chǎn)品，客戶使用的越多，來自一線的反饋就越多，就越有利于迭代升級，能夠越來越契合市場的真正需求”，他強調(diào)。
成立以來，鯤云一直聚焦于數(shù)據(jù)流和深度學(xué)習(xí)領(lǐng)域的融合。為什么選定深度學(xué)習(xí)？核心原因有兩點，一是深度學(xué)習(xí)本身就是流式的處理方式，和數(shù)據(jù)流的特質(zhì)相符，能夠較好地發(fā)揮性能；二是深度學(xué)習(xí)的應(yīng)用領(lǐng)域非常廣泛，出貨量也足夠大，針對這個領(lǐng)域做定制化的架構(gòu)可以支持ASIC芯片的量產(chǎn)，從而能夠進(jìn)一步發(fā)揮出數(shù)據(jù)流架構(gòu)的性能優(yōu)勢。
對于定制類架構(gòu)，有人擔(dān)心深度定制會導(dǎo)致通用性不足，但這卻恰恰是數(shù)據(jù)流架構(gòu)所解決的問題，牛昕宇表示。CAISA定制數(shù)據(jù)流架構(gòu)是一個針對深度學(xué)習(xí)領(lǐng)域的通用架構(gòu)，保持高性能的同時，提供AI領(lǐng)域通用性是CAISA架構(gòu)的核心研發(fā)目標(biāo)，也是我們的核心優(yōu)勢。人工智能算法是多樣化的，其變化主要來自三方面：算子的變化、算子組合的變化、以及開發(fā)框架的變化。CAISA架構(gòu)底層算子可配置支持不同計算方式，支持不同算子組合和拓展；針對不同算子組合，CAISA 架構(gòu)內(nèi)通過本地互聯(lián)網(wǎng)絡(luò)和全局互聯(lián)網(wǎng)絡(luò)可以實現(xiàn)不同計算單元的組合，從而保證支持不同算法的同時，又可以實現(xiàn)對特定算法的高性能支持；最后，不同框架和開發(fā)方式可通過端到端的編譯器RainBuilder來支持實現(xiàn)。
目前，CAISA3.0 架構(gòu)可支持多種深度學(xué)習(xí)算法，包括目標(biāo)檢測、分割、分類等領(lǐng)域的主流算法，實現(xiàn)了在深度學(xué)習(xí)領(lǐng)域的通用性。此外，鯤云提供RainBuilder開發(fā)工具鏈，能夠?qū)崿F(xiàn)自頂層深度學(xué)習(xí)開源框架算法至底層架構(gòu)時鐘的精確映射，兼容現(xiàn)有AI開發(fā)框架、生態(tài)及軟件，在軟件的易用性方面進(jìn)一步降低了應(yīng)用門檻。
向數(shù)據(jù)中心腹地進(jìn)發(fā)，提供極致算力性價比
面向高性能AI推理市場，鯤云牢牢扣住數(shù)據(jù)流技術(shù)路線所帶來的算力性價比的優(yōu)勢。最新的星空加速卡X9與上一代X3相比，向中心端更進(jìn)一步，主要面向更高性能AI服務(wù)器，助力更高峰值算力、更高算力密度應(yīng)用在中心的聚集，如智算中心、云計算中心、高性能計算等典型場景的應(yīng)用和建設(shè)。據(jù)了解，該產(chǎn)品已經(jīng)完成了量產(chǎn)，將于近期和浪潮完成產(chǎn)品適配，推出搭載星空X9加速卡的智算中心AI服務(wù)器。
不同于傳統(tǒng)數(shù)據(jù)中心，智算中心更注重構(gòu)建先進(jìn)的AI算力基礎(chǔ)設(shè)施來承載AI創(chuàng)新，下一個十年，堪稱算力的黃金十年。高性能AI計算芯片作為核心生產(chǎn)力，從架構(gòu)升級到應(yīng)用場景的落地，都蘊含了巨大的市場空間和機遇。?
“一方面，算力基礎(chǔ)設(shè)施的更新?lián)Q代，會降低數(shù)據(jù)的傳輸成本，導(dǎo)致更多的數(shù)據(jù)被收集，產(chǎn)生更大的算力需求；另一方面，算力的密度將會越來越高，系統(tǒng)性能越來越強，部署成本也將越來越可控，這是未來算力設(shè)施升級的兩個方面”，牛昕宇表示，“而邊緣和云將會是共存的關(guān)系，邊緣側(cè)主要進(jìn)行實時處理，數(shù)據(jù)中心匯集后進(jìn)行更深入的分析，二者都在快速增長中，且都有廣闊的市場前景。”
不過，雖然市場升級是大趨勢，半導(dǎo)體產(chǎn)業(yè)也在持續(xù)成長中。但必須承認(rèn)的是，商業(yè)落地絕非易事，更何況云端市場面臨的都是英偉達(dá)、英特爾這樣的國際巨頭。AI芯片的戰(zhàn)略價值在被業(yè)界所認(rèn)同的同時，也成為兵家必爭之地。
牛昕宇認(rèn)為，不論是巨頭還是創(chuàng)企，對于AI芯片各有各的布局和優(yōu)勢，初創(chuàng)企業(yè)不一定要和巨頭正面競爭，一是要關(guān)注中短期的落地方式，二是要關(guān)注長期的核心競爭力。在垂直領(lǐng)域，把自己具有性價比的算力產(chǎn)品做好，把客戶支持做好，單點打通仍然能夠產(chǎn)生很高的價值。
最終，落地的核心點在于：算力性價比和應(yīng)用生態(tài)。回到本文開頭，計算平臺的價值究竟是什么？“因為所有的計算領(lǐng)域都有一定的性能要求，所有算法都需要附著在芯片上，完成最后部署”，牛昕宇表示，“這就是下一代AI計算平臺的價值和所承載的責(zé)任，鯤云將繼續(xù)在算力性價比、架構(gòu)通用性，軟件易用性這三方面均衡演進(jìn)，降低AI的落地門檻和成本。”
