AI/AR眼鏡處理器的未來形態(tài)

回顧計算平臺的發(fā)展，PC互聯(lián)網(wǎng)時代以電腦為計算平臺，人機交互方式為鍵盤、鼠標、顯示器；移動互聯(lián)網(wǎng)時代計算平臺轉(zhuǎn)變?yōu)槭謾C，交互方式為五六英寸屏幕的多點觸屏；而空間計算時代，交互方式包括手動、眼動、虛實結(jié)合等。

在空間計算領(lǐng)域，早期以VR為主，通過GPU渲染虛擬圖像并借助晶圓顯示?？臻g計算中的空間主要是真實空間，需將真實內(nèi)容與虛擬內(nèi)容疊加，目前主流產(chǎn)品為MR和AR。從技術(shù)角度看，兩者主要區(qū)別在于虛實混合方法，MR通過攝像頭采集真實世界，AR則更多是依靠光學疊加。通常，MR設(shè)備體積較大，AR設(shè)備較為輕量級，形態(tài)類似墨鏡，基于波導(dǎo)技術(shù)的則類似近視眼鏡。

萬有引力是一家年輕的創(chuàng)業(yè)公司，成立于2021年，由十幾位從美國硅谷回國的工程師共同創(chuàng)立，目前公司擁有220名員工。公司的愿景是為下一代的空間計算提供完整的端到端解決方案，業(yè)務(wù)涵蓋芯片、整機、算法，其中算法不與芯片綁定，如“眼動、手動、SLM”等算法已在非公司平臺上應(yīng)用。日前，在芯原第二屆可穿戴專題技術(shù)研討會上，萬有引力（寧波）電子科技有限公司聯(lián)合創(chuàng)始人、芯片研發(fā)負責人陳一敏發(fā)表了題為“AI驅(qū)動智能視覺，AR眼鏡的未來之路”的主題演講，深入分享了公司對于AI、XR眼鏡的見解與探索。

陳一敏認為，未來MR和AR的界限可能會模糊化，基于VST的眼鏡有望做到與AR眼鏡一樣輕量級，屆時市場對其定義有待進一步明確。萬有引力成立三年多來，取得了一系列成果：去年上半年，該公司發(fā)布了反向透視芯片EB100，實現(xiàn)數(shù)字人反向透視；今年3月，推出了5nm全功能空間計算協(xié)處理器X100；同時，該公司正在研發(fā)基于AR眼鏡輕量級的處理器VX100，預(yù)計今年下半年面市，下一代XR芯片也在規(guī)劃中。

對于全功能MR芯片，陳一敏認為MR與VR最大區(qū)別在于應(yīng)用場景，VR主要用于打游戲，是帶空間定位的游戲機，而MR可替換筆記本電腦。以蘋果Vision Pro雙芯片方案為例，R1是專門為空間計算打造的處理器，雙芯片架構(gòu)體現(xiàn)了空間計算概念，一個芯片負責空間，一個芯片負責計算。MR使Vision Pro具備筆記本電腦基礎(chǔ)功能，R1將相關(guān)功能帶到空間，處理圖像、感知、Sensor、空間定位、虛實結(jié)合等。萬有引力的芯片在視覺效果、分辨率、呈現(xiàn)效果上更具優(yōu)勢，且部署了自研的“手眼圖象顯示”等算法。有了該芯片，MR設(shè)備無需再呈現(xiàn)Vision Pro或VR“大頭照”形態(tài)，也可做成墨鏡眼鏡形態(tài)。光學透視的AR眼鏡在光學域進行虛實疊加，若外部環(huán)境過亮會影響虛擬內(nèi)容顯示，而基于VST的虛實結(jié)合方式，若能做到同等重量和續(xù)航，將成為未來AR的潛在形態(tài)。

陳一敏認為，AI/AR眼鏡具備語音、拍照、顯示等基礎(chǔ)功能，更重要的是，它是目前公認的最佳多模態(tài)AI數(shù)據(jù)入口，可成為個人管家。萬有引力將在今年下半年推出AR眼鏡專用協(xié)處理器，在專業(yè)從業(yè)人員角度看，它是一顆ISP芯片，需掛載另外一顆MCU，但公司認為ISP只是其功能之一，該芯片是數(shù)據(jù)采集、數(shù)據(jù)處理全天候AI芯片。

該芯片具有小型化特點，可放置在近視眼鏡形態(tài)的鼻梁處或鏡腿側(cè)。以采用該芯片的3D打印的眼鏡為例，其單邊尺寸僅4毫米。小型化不僅美觀，還允許鏡腿與鏡框分離。同時，該芯片采用自研第二代ISP，基于5nm優(yōu)化，在低功耗環(huán)境下可提供逼近手機后攝像頭質(zhì)量的圖像畫質(zhì)，實現(xiàn)超快抓拍，且支持四路攝像頭，除兩路高清RGB外，還可支持手動、眼動等CV處理。

低功耗是該芯片聚焦的關(guān)鍵領(lǐng)域。陳一敏指出，AI眼鏡最大的技術(shù)難點不在AI，而在功耗。目前設(shè)想的AI功能在手機上均可實現(xiàn)，但要在50克的設(shè)備上運行一整天，需要專用芯片解決。全天候AI要求芯片在正確時間以正確方式抓拍用戶可能感興趣的內(nèi)容，并以正確分辨率、幀率甚至Token后的格式存儲。

以用戶看到新品詢問成分的場景為例，芯片需要具備高清攝像、CV處理管線、極低功耗專用硬件通路、眼動和ROI判斷算力等功能，CV與高清攝像并行，結(jié)合IMU進行多模態(tài)處理，實現(xiàn)智能Gating效果。更高級的場景是用戶不主動觸發(fā)交互，眼鏡作為管家全天候提供服務(wù)，如詢問鑰匙位置，這需要芯片具備毫瓦級AIWays - ON拍攝、NPU PROI算法部署等功能，以判斷用戶可能感興趣的內(nèi)容，并進行ROI的Crop/Zoom操作、智能藍牙喚醒與回傳等。

為攻克這些難題，萬有引力在芯片研發(fā)上得到了芯原的大力幫助。陳一敏表示，選擇芯原的關(guān)鍵IP有多方面考量，包括成熟的工具鏈和客戶支持，芯原可支持芯原客戶的客戶，即萬有引力的客戶；定制化IP需求得到滿足，強化了公司競爭力；可靠性高，芯原出貨量大，風險極低；在XR領(lǐng)域市場影響力大，提及芯原IP是加分項，有助于獲得客戶認可。有了芯原的支持，萬有引力對AI/AR眼鏡處理芯片的競爭力充滿信心。