Arm全新智能視覺參考設(shè)計，助力中國廠商搶占先機

隨著人工智能、物聯(lián)網(wǎng)等技術(shù)的不斷發(fā)展，它們所具備的功能也越來越多、越來越先進。而這些發(fā)展的基礎(chǔ)則是智能視覺。如果說眼睛是人類心靈的窗戶，那智能視覺將是未來人工智能及物聯(lián)網(wǎng)等前沿技術(shù)的“慧眼”，它也將成為未來邊緣設(shè)備等的普世能力。

尤其，隨著ChatGPT的風(fēng)靡，大模型讓原本專屬于人類的感知、思考和行動能力逐漸向機器轉(zhuǎn)移。而這一現(xiàn)象將加速科技的下一個拐點的到來，那就是以機器人和自動駕駛等技術(shù)為代表的行動無處不在的時代。而在這一新時代，智能視覺也必不可少。

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健表示：“因為機器系統(tǒng)必須通過視覺等感官理解周圍環(huán)境，做出相應(yīng)的決策和行動，視覺信息為自動駕駛和機器人提供了關(guān)鍵的安全和避障能力，這是生死攸關(guān)問題?！?/p>

智能視覺系統(tǒng)技術(shù)發(fā)展趨勢

智能視覺系統(tǒng)正在朝著以下幾個方面的技術(shù)趨勢發(fā)展。首先是云、邊、端的協(xié)同，由于視頻數(shù)據(jù)巨大的數(shù)據(jù)量以及諸如自動駕駛等應(yīng)用的實時性要求決定了智能視覺系統(tǒng)需要能夠?qū)⒂嬎愫蜎Q策任務(wù)分布在云、邊和終端設(shè)備上，并實現(xiàn)協(xié)同工作。

其次是AI加持，未來的智能視覺系統(tǒng)將繼續(xù)依賴深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)，提高圖像的分析和識別能力，并利用強化學(xué)習(xí)和自主自適應(yīng)學(xué)習(xí)，使系統(tǒng)能夠從環(huán)境中不斷學(xué)習(xí)和改進，并適應(yīng)新的場景和任務(wù)。

第三就是算力支持，由于復(fù)雜的模型和算法，大規(guī)模的圖像數(shù)據(jù)處理實時性、高精度、高并發(fā)等要求，智能視覺系統(tǒng)需要提供越來越強大的計算資源和算力支持。智能視覺系統(tǒng)的廣泛應(yīng)用也引發(fā)了對隱私和安全性的關(guān)注，未來的趨勢是采用加密、匿名化等技術(shù)手段保護用戶的隱私，同時加強系統(tǒng)的安全性，防止被惡意攻擊和濫用。

而智能視覺芯片架構(gòu)在過去幾年也經(jīng)歷了一系列的演進，從功能固定難以編程的DSP和ASK，到通用性強易編程的CPU架構(gòu)，到現(xiàn)在最先進的綜合CPU、ISP圖像處理器、NPU AI加速器，VPU視頻編解碼器、GPU圖形處理器的異構(gòu)SoC片上系統(tǒng)，已經(jīng)逐步實現(xiàn)低功耗、高性能和高度集成的特點。適用于資源受限的邊緣設(shè)備，比如智能手機、攝像頭、XR，機器人和物聯(lián)網(wǎng)設(shè)備等，為智能視覺成為一種普世的能力奠定基礎(chǔ)。

Arm+安謀科技的全新智能視覺參考設(shè)計

針對智能視覺未來的龐大需求，Arm近期攜手安謀科技推出了一款智能視覺參考設(shè)計。據(jù)馬健介紹，該方案的硬件參考設(shè)計包括了CPU、ISP、NPU和VPU處理器選項以及將這些元件粘合在一起的子系統(tǒng)IP。值得一提的是，這也是Arm的IP與安謀科技的IP首次結(jié)合在一起，并由安謀科技預(yù)先集成和預(yù)先驗證。

Arm智能視覺參考設(shè)計組成

該款參考設(shè)計中的CPU采用的是Arm Corstone-1000 和 Corstone-300。Corstone-1000是首款為Cortex-A設(shè)計的子系統(tǒng)，該方案基本配置是經(jīng)過量產(chǎn)考驗的Cortex-A35或Cortex-A53。而Corstone-300則在智能視覺參考設(shè)計中，作為低功耗待機子系統(tǒng)，降低邊緣設(shè)備的功耗，提高系統(tǒng)效率。ISP選用的是Arm在去年六月發(fā)布的Mali-C55，其也是Arm迄今為止面積最小、功耗最低、且可配置性最高的ISP產(chǎn)品。

而參考設(shè)計中的VPU和NPU則是來自于安謀科技自研的“玲瓏”VPU和“周易”NPU。

馬健表示，Arm的這款智能視覺參考設(shè)計非常與眾不同，一是因為它采用成熟的Arm CPU IP作為基礎(chǔ)，Arm CPU在智能攝像頭領(lǐng)域已占有九成以上份額，已經(jīng)應(yīng)用于諸多智能視覺品牌設(shè)備，形成了強大的軟件生態(tài)系統(tǒng)。

另外，該設(shè)計帶有低功耗待機子系統(tǒng)，可以支持電池供電的視覺設(shè)備。安謀科技的玲瓏VPU提供了緊湊、多格式和高效的視頻編解碼器，以及周易NPU的高達4個TOPS的ML加速，使該參考設(shè)計可以支持機器視覺的用例。

此外，在發(fā)布智能視覺參考設(shè)計的同時，Arm也宣布了“Arm智能視覺合作伙伴計劃”，將攜手AI視覺、芯片設(shè)計、軟件、算法、系統(tǒng)集成等合作伙伴共同打造基于Arm架構(gòu)的智能視覺應(yīng)用的強大生態(tài)。

面向中國市場

據(jù)馬健介紹，Arm的這款智能視覺參考設(shè)計目前只面向中國市場。她表示，中國作為人口大國，快速的城市化，從制造到零售等行業(yè)的自動化程度不斷提高，以及機器學(xué)習(xí)和物聯(lián)網(wǎng)的重大技術(shù)突破，使中國對視覺設(shè)備的需求以及在視覺技術(shù)方面的創(chuàng)新都穩(wěn)步增長。

另外，我們也聽到很多來自中國Arm合作伙伴的反饋，他們普遍認為中國很多的IPC視覺系統(tǒng)已經(jīng)進入紅海市場。在中國這個競爭非常激烈的市場中，視覺系統(tǒng)的設(shè)計者和制造商都必須能夠把自己最新的想法、自己的差異化盡快地達到量產(chǎn)的水平，推向市場。怎樣才能讓合作伙伴能夠聚焦于他們的差異化，而不是去做很多重復(fù)性的基礎(chǔ)IP整合工作、基礎(chǔ)軟件的開發(fā)工作，這其實就是Arm和安謀科技攜手合作推出Arm智能視覺參考設(shè)計的初衷。

最后，馬健總結(jié)道，隨著AI和大模型一日千里的發(fā)展，智能視覺技術(shù)將繼續(xù)在所有垂直行業(yè)得到更廣泛的應(yīng)用，視覺將無處不在。在視覺成為一種普世能力的趨勢下，預(yù)先集成、預(yù)先驗證的標準化子系統(tǒng)會為加速視覺產(chǎn)品設(shè)計和創(chuàng)新提供堅實的基礎(chǔ)。