邊緣智能發(fā)展進步之迅速,往往與人類智慧的不斷進步密不可分。邊緣質能的發(fā)展狀況已然非常喜人;邊緣設備能夠感知它們所處的環(huán)境,同時處理不同的輸入信息,并推測它們的操作將會帶來的結果。這似乎已經(jīng)接近十幾歲孩子的智力水平。不過目前邊緣智能技術剛開始起步,它的發(fā)展前景令人期待。利用機器學習(ML)和神經(jīng)網(wǎng)絡等方面技術的進步,開發(fā)人員創(chuàng)建了豐富多樣的應用,包括工業(yè)機器視覺、圖像分類、對象檢測、語音識別、自然語言處理、手勢和情緒檢測等,這些應用改變了我們生活、工作和學習的方式。很多創(chuàng)新的機器學習技術部署在邊緣設備上,提高了我們的住宅、辦公室、工廠、城市的安全性、智能化程度和便利性。
機器學習相當于利用計算引擎來處理復雜的人工任務,但速度更快,甚至能夠自主運行,無需人為的直接干預。運行機器學習應用時,需要執(zhí)行海量的數(shù)學運算,總計達到每秒數(shù)萬億次。以前,機器學習需要成本昂貴而又復雜的云計算,也就是“基于云的人工智能”。但現(xiàn)在,很多機器學習操作可在網(wǎng)絡邊緣進行,在這里,智能互連設備提供更快的運行時響應、更低的延遲(即數(shù)據(jù)無需在設備和云之間往返傳輸),可靠性、私密性和安全性更出色。
基于邊緣的機器學習當前采用的核心引擎通常是功能強大的多核處理器,具有豐富的特性和功能,可以進行神經(jīng)網(wǎng)絡、視覺、語音和多媒體的處理,所有這些工作都需要在單個片上系統(tǒng)(SoC)上進行。而我們現(xiàn)在可以很高興的宣布,恩智浦的i.MX 8M Plus應用處理器系列對全球各地的用戶正式實現(xiàn)量產(chǎn)。i.MX 8M Plus是恩智浦EdgeVerse™產(chǎn)品組合的新成員,也隸屬于恩智浦高性能應用處理器i.MX 8系列。
我們在i.MX 8M應用處理器中集成了開發(fā)人員所需要的異構多內(nèi)核、子系統(tǒng)和豐富的接口,并提供多種組合可供用戶選擇。i.MX 8M Plus是恩智浦首款集成了專用神經(jīng)處理單元(NPU)的應用處理器,可大大加快工業(yè)和物聯(lián)網(wǎng)(IoT)邊緣的機器學習推理。同時它還集成了雙圖像信號處理器(ISP)、四個或兩個工作頻率高達1.8 GHz的Arm® Cortex-A53內(nèi)核、配以主頻800 MHz Cortex-M7內(nèi)核作獨立的實時控制、另外還集成了用于實現(xiàn)語音和自然語言加速的800 MHz HiFi 4音頻DSP、高精度圖形處理單元(GPU)。由此,開發(fā)人員可將機器推理功能轉移到NPU上執(zhí)行,同時結合Cortex-A和Cortex M內(nèi)核、DSP和GPU的強大性能,以執(zhí)行其他復雜的系統(tǒng)級或應用任務。
i.MX 8M Plus應用處理器框圖
i.MX 8M Plus應用處理器能夠實現(xiàn)相對完善的機器學習和多媒體功能,利用雙攝像頭ISP和八個麥克風輸入,提供靈敏的機器視覺和語音識別能力。此外,雙CAN-FD和雙千兆以太網(wǎng)接口讓它擁有了穩(wěn)定的網(wǎng)絡控制能力,i.MX 8M Plus還集成了時間敏感網(wǎng)絡(TSN),以支持一系列工業(yè)自動化設計。內(nèi)存的糾錯碼(ECC)技術能夠保護內(nèi)部存儲器,對于要求苛刻的工廠車間應用,有助于確保高可靠性。
在邊緣部署機器學習
采用i.MX 8M Plus處理器,開發(fā)人員能夠將機器學習工作負載轉移到網(wǎng)絡邊緣的終端設備,無論是語音、視頻或異常檢測,網(wǎng)絡邊緣都是接收信息最近的節(jié)點。開發(fā)人員可以利用片上NPU來處理機器學習任務,其性能達到2.3萬秒次運算每秒(TOPS),處理機器學習相關任務,速度比Arm內(nèi)核快大約30倍。通過在壓縮和稀疏性方面進行優(yōu)化(即消除不必要的乘零計算),進一步增強機器學習算法的性能表現(xiàn)。數(shù)據(jù)壓縮也是非常有用的,因為它可消除系統(tǒng)存儲器瓶頸,同時存儲器和DRAM控制器都能達到4千兆每秒(GT/s)的傳輸速率。
您機器學習的解決方案
基于邊緣的機器學習應用通常包括一類與攝像頭圖像數(shù)據(jù)相關的機器視覺應用。但如果高分辨率攝像頭距邊緣設備有一定距離的話會如何?對基于i.MX 8M Plus的設備來說,這不會造成任何問題。為了最大程度減少延遲和成像質量下降,i.MX 8M Plus采用專用的ISP模塊處理圖像加速,同時兩個攝像頭輸入實現(xiàn)了立體影像,模仿人的左眼和右眼結合的視覺表現(xiàn)。
i.MX 8M Plus所集成ISP提供足夠的處理能力,以處理復雜的圖像處理任務,例如高動態(tài)范圍(HDR)的快速多重曝光、來自兩個不同攝像頭的同步廣角和縮放視圖。廣角魚眼畸變校正也是由ISP處理的另一項重要功能。采用魚眼鏡頭的低成本攝像頭可能讓圖像產(chǎn)生畸變,進而無法識別。i.MX8M Plus處理器的廣角魚眼畸變校正引擎可對圖像進行標準化,以便進行精確的機器學習識別與處理。ISP還能夠處理圖像增強,例如“圖像降噪”,這種功能在低光照環(huán)境下至關重要,因為低光照會導致圖像模糊。使用機器學習算法,ISP能夠檢測需要銳化和降噪的圖像部分,而讓其他圖像區(qū)域保持自然模糊。對于高級多媒體和顯示應用,i.MX 8M Plus包括視頻解碼器/編碼器,支持H.265壓縮算法,可以離線存儲大圖像,以便日后處理。
工業(yè)級機器學習的理想解決方案
i.MX 8M Plus應用處理器針對工業(yè)應用進行一系列優(yōu)化,包括ECC,它是用于檢測和糾正系統(tǒng)存儲器位錯誤的必備功能。例如,阿爾法粒子是在某些環(huán)境中出現(xiàn)的一種放射物,可能誘發(fā)SRAM中的軟錯誤,引起存儲器問題,導致軟件崩潰。ECC算法可以檢測和糾正這些錯誤,從而顯著降低軟錯誤率(SER)。
i.MX 8M Plus支持工業(yè)自動化的TSN以太網(wǎng)連接
很多復雜工廠流程都需要能夠精確把控時間的以太網(wǎng)數(shù)據(jù)傳輸。為此,i.MX 8M Plus支持TSN以太網(wǎng)連接,有助于保證數(shù)據(jù)在正確的時間進行傳輸,以支持工廠車間針對時間敏感型的要求。另外,兩個CAN-FD外設支持低延遲通信和網(wǎng)絡功能。與其他所有片上內(nèi)核、外設和接口組合在一起,i.MX 8M Plus可用于構建功能全面的工業(yè)系統(tǒng),為工業(yè)4.0提供一系列基于邊緣的機器學習功能。
i.MX 8M Plus處理器的強大生命力
雖然電子行業(yè)不斷演進,但我們始終需要產(chǎn)品在相對極端的環(huán)境下保持可靠性和穩(wěn)定工作,并且保證產(chǎn)品持續(xù)供應。i.MX 8M Plus應用處理器是恩智浦長期供貨保證計劃的一部分,自產(chǎn)品發(fā)布之日起,提供至少15年的生產(chǎn)供應。因此在未來的很多年內(nèi),您可以依賴i.MX 8M Plus處理器來運行機器學習應用。
恩智浦利用多種音頻板、攝像頭模塊和評估套件,以及包含合作伙伴工具和解決方案的豐富生態(tài)系統(tǒng),為i.MX 8M Plus的機器學習、視覺、多媒體和工業(yè)物聯(lián)網(wǎng)應用提供支持?,F(xiàn)在您就可以立即訂購i.MX 8M Plus評估套件開始您的設計。