ST：改變邊緣設備游戲規(guī)則，AI開發(fā)面臨哪些挑戰(zhàn)？

我們對于AI的一個憧憬就是讓它能夠更普及和更便捷，就像已經深入生活中、又不可或缺的水和電一樣，能夠觸手可及，享受到它們所帶來的便利。

日前，意法半導體（ST）亞太區(qū)人工智能技術創(chuàng)新中心和智能手機技術創(chuàng)新中心高級經理Matteo MARAVITA在接受<與非網>等媒體時指出，“AI是一項真正能改變許多事情的變革性技術，對于建設未來的互聯(lián)世界至關重要。而對于云連接的智能邊緣設備來說，它們將具有更強的自主能力，將有更多的設備連接到云端，不僅是數據量在提高，本地的數據處理能力也在提高?！?/p>

ST亞太區(qū)人工智能技術創(chuàng)新中心和智能手機技術創(chuàng)新中心高級經理 Matteo MARAVITA

如何通過邊緣AI構建未來世界？

邊緣AI具備三個基本要素：安全性、連接性、自主性，Matteo MARAVITA深入分析了第三大要素，即如何提高設備的自主性，來實現我們對于AI的未來設想。

事實上，AI已經深入到了傳感器、MCU等領域，通過虛擬化方案、模型訓練、AI算法等方式，來提升邊緣設備的智能性和自主性。

Matteo MARAVITA分享了三個案例：

在車規(guī)傳感器領域，ST與HPE集團合作，利用邊緣AI優(yōu)化電動汽車的電機運維——雙方聯(lián)合開發(fā)的虛擬傳感器方案，通過在Stellar系列車規(guī)微控制器上運行AI算法，獲取電機運行數據，進而推斷和估計電機內部無法測量到的溫度。該方案為電動汽車的預測性維護提供了新的可能，以識別減震、機械和電氣系統(tǒng)中可能存在的異常狀態(tài)。

在PC領域，ST利用六軸IMU MEMS智能傳感器，與惠普共同優(yōu)化了筆記本電腦的電源監(jiān)控。這些傳感器能夠收集機器在不同條件下的運行數據，以此為基礎，雙方工程師合作開發(fā)和訓練了基于設備和用戶動作的AI模型。這種模型能夠識別特定的使用場景，例如在關閉筆記本電腦前避免過熱和電池耗盡，從而延長筆記本電腦的待機時間并提高使用壽命。

在家電領域，通過在洗衣機電機控制的STM32微控制器上運行AI算法，ST能夠估算待洗衣物的重量。根據計算，一個洗滌周期可以節(jié)省15%-40%的能源和水。同時，AI算法還能夠檢測滾筒在旋轉時可能發(fā)生的碰撞情況，提高洗衣機的穩(wěn)定性和耐用性。

基于這些示例，Matteo MARAVITA指出，其實邊緣AI的需求非常大，許多公司非常期待在他們的產品中集成AI。

直面邊緣AI開發(fā)挑戰(zhàn)

不過，擺在邊緣AI開發(fā)者面前的有許多現實問題：比如硬件性能、安全性、能效等，軟件方面，他們需要在設備中實現機器學習模型的創(chuàng)建、訓練、部署和維護。這些挑戰(zhàn)，都需要像ST這樣的老牌半導體企業(yè)提供底層支持。

據了解，ST的AI研發(fā)計劃約始于十年前。從機器學習技術的基礎研究開始，逐步發(fā)展到專門針對硬件資源受限的邊緣設備進行AI優(yōu)化。多年來，ST推出了STM32 AI庫(Cube AI)、內置MLC機器學習核的MEMS傳感器、集成更先進硬件加速器的MEMS傳感器ISPU、STM32開發(fā)者云模型庫、更新了Stellar系列車規(guī)MCU工具等等。生態(tài)建設方面，ST也取得了諸多進展：加入TinyML聯(lián)盟、將AI布局和支持范圍擴展到汽車、Linux等領域，發(fā)布NanoEdge AI生態(tài)系統(tǒng)……

正是通過多年的布局和推進，ST率先在嵌入式AI領域獲得了重要進展：STM32成為部署嵌入式AI的事實硬件平臺。根據ML Perf Tiny benchmark基準測試數據：STM32位列第一，有73%的提交項目基于STM32開發(fā)。

“我認為這與以下三大因素有關：首先是我們在通用微控制器、工業(yè)和消費微控制器市場的優(yōu)勢地位，STM32適用于工業(yè)和消費應用；其次是我們?yōu)檫吘堿I基準測試做出的貢獻，例如ML Perf Tiny 基準測試;第三是我們的在線平臺 STM32 AI開發(fā)者云，可幫助客戶和開發(fā)人員用我們的在線工具和各種STM32板輕松測試他們的模型。我們相信，所有這些都鼓勵了圍繞STM32進行廣泛的AI創(chuàng)新”，Matteo MARAVITA表示。

先進算力+工具，賦能邊緣AI應用

正如上文所提到的“在洗衣機電機控制的STM32微控制器上運行AI算法”的應用實例，電機上運行的 STM32，其中AI模型可通過NanoEdge AI工具開發(fā)，最終通過優(yōu)化工具和庫來實現機器學習模型在硬件設備上的實現和移植，幫助客戶解決性能、安全和能效方面的挑戰(zhàn)，方便開發(fā)者把機器學習模型導入CPU算力和內存受限的硬件設備。

除此之外，AI加速器能夠進一步賦能應用。集成自研NPU的STM32N6是ST比較有代表性的硬件方案，ST與合作伙伴Lacroix合作開發(fā)的機器學習模型進行多對象識別跟蹤AI算法結果顯示，每秒18幀的行人、自行車和汽車檢測和跟蹤算法全部在NPU上執(zhí)行，基于Cortex內核的負荷不到5%。在安全性方面，產品不僅在內部集成了可信區(qū)域，還增加了安全功能外設，例如防篡改等功能，有了這些新功能，客戶和開發(fā)者不僅可以保護存儲器內的數據，還能保護機器學習模型的安全。

汽車行業(yè)對于邊緣AI來說是一個更大的機會。例如ADAS自動駕駛，AI幫助汽車避免車外發(fā)生的意外事故和危險情況，在車內檢測可能存在的危險情況、監(jiān)視駕駛員駕車狀態(tài)等?！拔覀兒芸炀蜁吹竭吘堿I在車內的應用普及，并與多個傳感器整合，可能出現不同類型的用例。一個可能的例子是監(jiān)測電池的健康狀態(tài)，或是識別系統(tǒng)中可能存在的異常，例如結合MEMS加速器來檢測系統(tǒng)中的振動等”， Matteo MARAVITA表示。

而除了硬件方面，他認為軟件帶來的挑戰(zhàn)更多。為此，需要提供強大的開發(fā)工具和支持，幫助開發(fā)人員更輕松地創(chuàng)建、訓練和部署模型。比如ST Edge AI 開發(fā)套件，整合了邊緣AI開發(fā)所需的全部工具和模塊，從模型庫創(chuàng)建用例開始，到收集數據集，再到把模型部署到特定的硬件上，涵蓋了整個開發(fā)過程，適用于包括嵌入式硬件工程師，軟件工程師以及機器學習工程師在內的所有開發(fā)者。

此外，ST致力于將AI工具集成到全面的邊緣AI開發(fā)套件中，并兼容外部的AI開發(fā)生態(tài)系統(tǒng)。比如支持廣泛使用的深度學習框架TensorFlow Lite、Keras、PyTorch 等，并實現與英偉達工具包的兼容性，以及連接到亞馬遜云科技(AWS)和微軟 Azure等云服務的可能性，同時還兼容MATLAB等仿真工具。

通過這些日趨強大的AI工具和生態(tài)上的推進，ST希望加快邊緣AI的推廣應用。Matteo MARAVITA強調，ST邊緣AI解決方案的核心是ST Edge AI，它可以幫助用戶根據自己的知識和資源找到最佳的方法和工具。目前，ST Edge AI和Nano AI Studio均免費提供給STM32的客戶，同時根據特殊許可協(xié)議，其他ARM Cortex-M的微控制器也可以免費使用。

邊緣AI設備將百花齊放

“目前邊緣AI并沒有一個統(tǒng)一通用的開發(fā)方法，因此在開發(fā)過程中，為開發(fā)者提供指引和信息是非常重要的”， Matteo MARAVITA表示，“我們的STEdgeAI 套件就考慮到了這個因素，這套工具可以幫助用戶根據自己的知識和資源找到最佳的方法和工具。我們還將考慮融合和統(tǒng)一各種工具的用戶體驗，以簡化人工智能庫的設計流程?！?/p>

而隨著邊緣AI的日益普及，許多應用需要長期供電以保證其持續(xù)在線狀態(tài)。針對這些設備開發(fā)商，Matteo MARAVITA提出了以下建議，以確保設備的高效、低功耗和智能化運行。

首先，他建議將部分AI算法的處理任務從云端遷移到邊緣設備。這是ST在邊緣AI解決方案方面所專注的核心思路。通過將處理任務本地化，不僅可以節(jié)省系統(tǒng)功耗，提高響應速度和安全性，還能有效降低解決方案的總體成本。

其次，選擇集成AI加速器和配套軟件工具的產品是關鍵。例如集成了NPU的STM32系列產品，以及在MEMS傳感器內部增加的AI加速器（ISPU）。如果AI算法能從應用處理器遷移到MCU，將會顯著節(jié)省電能。再進一步，如果模型能夠從微控制器遷移到MEMS傳感器（適用于較小模型的情況），則可以實現總功耗從毫安級降低至微安級。這不僅能確保AI算法在后臺持續(xù)在線，保證整體系統(tǒng)的有效性，還能實現按需喚醒整個系統(tǒng)，從而進一步實現節(jié)能目標。

通過這些策略，設備開發(fā)商可以確保邊緣AI設備的高效、低功耗和智能化運行，從而滿足長期供電和始終在線的需求。

“目前，ST在邊緣AI的創(chuàng)新有三大看點：首先是集成AI硬件加速器的硬件產品；第二是配套的軟件工具，比如ST Edge AI Suite、AI專用編譯器等;第三是為客戶提供參考設計和概念驗證原型，幫助他們利用人工智能進行產品創(chuàng)新”， Matteo MARAVITA總結道。

他強調，AI仍處于大規(guī)模發(fā)展初期，預計智能設備的數量即將達到數十億，加速各行各業(yè)的數字化進程。隨著研發(fā)的進一步推進，越來越多邊緣AI加持的設備會進入市場，呈現百花齊放的局面。