Oculi的“軟件定義”視覺傳感器

在創(chuàng)立Oculi之前，Charbel Rizk是一名自動系統(tǒng)設計師，他對市場上的計算機視覺系統(tǒng)感到失望。傳統(tǒng)的傳感器通常是為人類使用而設計的，會產生大量數據，導致系統(tǒng)需要更多帶寬，延遲也會增加。Rizk能否說服其他系統(tǒng)設計者接受Oculi最初為實現自己的愿望清單而開發(fā)的新視覺架構呢？?

Baltimore的一家初創(chuàng)公司Oculi是約翰-霍普金斯大學研究團隊的分支，該公司開發(fā)出了一種視覺技術架構，其中傳感和處理都位于像素級。該公司稱之為傳感與處理單元（SPU）。

Oculi創(chuàng)始人兼CEO Charbel Rizk說：“我的主張是，我們將始終實現功耗、帶寬、延遲和最終成本最低的計算機視覺解決方案，并保護隱私?！?/p>

這是傳感與處理領域眾多玩家的大話題，他們都在廣泛的嵌入式系統(tǒng)中追求終極的AI解決方案。

SPU方法顛覆了機器視覺和成像傳感器市場數十年的慣例。

傳統(tǒng)供應商競相制造更高分辨率的傳感器，同時將更多數據傳輸到處理平臺。然后，系統(tǒng)供應商獲取輸出，并在傳感器外部的處理器上運行算法。這樣，系統(tǒng)就可以提取他們可以使用的信息。

這一過程導致了永無止境的百萬像素競爭，對從傳感器向感知模塊傳輸數據的帶寬的需求不斷增長（導致延遲），以及最后為提高運行更好或更強大算法所需的處理能力（從而帶來更大的功耗）而進行的TFLOPS處理器競賽。

而Oculi則承諾以極低的帶寬和延遲實現“實時視覺智能”。例如，Oculi的解決方案使用的帶寬僅為每秒千比特（而非千兆比特），延遲時間為微秒而非數十秒。這得益于SPU已經在像素級處理傳感和處理。

不過，Oculi的SPU更為出眾的地方在于其可編程性。

傳感器可以通過軟件定義，提供一系列感測輸出選項。

Oculi的Rizk指出：“你可以像其他圖像傳感器一樣獲得全畫幅視頻。但你也可以開始獲得越來越少的數據，包括我們所說的‘可操作信息’或‘可操作信號’?！焙喍灾?，SPU可以生成最少的數據，但有足夠的信息供系統(tǒng)根據這些數據采取行動。

可編程性可持續(xù)實時提供。因此，任何使用SPU并需要為某些檢測提供更多信息的人，都可以調整設置來增加像素數（從可操作信號到全幀），以及介于兩者之間的所有信息。

此外，Oculi的SPU還是獨立于傳感器的。Rizk介紹，它不僅可以與傳統(tǒng)的CMOS傳感器配合使用，還可以與紅外甚至深度/ToF傳感器配合使用?！拔覀冮_發(fā)的架構可以應用于RGB、紅外或深度模式。我們開發(fā)的架構可以應用于所有這些模式，我們已經在實際的硬件原型中進行了演示?！?/p>

Rizk 堅持認為，Oculi的目標是簡化機器視覺并提高其效率。

但是，在電子工業(yè)中，人們習慣于根據適合不同應用的不同模式選擇不同的傳感器，而SPU所提供的多功能性和可編程性則是既新鮮又陌生的概念。
這就是Oculi的難題所在。

顛覆是要付出代價的??

很多初創(chuàng)公司都將業(yè)務建立在“新”技術上，這些技術聲稱能在現有公司已經發(fā)揮重要作用的成熟、明確的細分市場中實現卓越性能。

一家初創(chuàng)公司的技術，其基本架構與行業(yè)已知的技術大相徑庭，理應被稱為“顛覆性”技術。

然而，顛覆是有代價的，會給初創(chuàng)公司的小型工程團隊帶來巨大壓力。他們需要時間和資源，向市場闡明新技術能給產品帶來的優(yōu)勢和變化。

更困難的是，在花費了大量精力教育市場之后，并不能保證潛在客戶會接受這種顛覆，更不用說費心想象他們如何在自己的硬件或軟件應用中利用這種顛覆了。

Rizk承認這一挑戰(zhàn)。不過，好消息是，SPU的性能改進不是漸進式的，而是實質性的。Rizk聲稱：“與市場上最好的傳感器和最好的處理器相比，我們的性能有了顯著提高（延遲-能量提高了150倍到600多倍）。

這位CEO還補充說：“對于任何需要保護隱私的應用，目前唯一的選擇就是使用雷達或激光雷達，但這兩種設備都要昂貴、復雜得多，而且提供的視覺智能也很有限。SPU可以填補這一空白。”

三十年未解決的問題??

Oculi是一家自信滿滿的公司，其基礎是Rizk及其團隊在2019年創(chuàng)立Oculi之前在約翰霍普金斯大學進行了長達十八年的研究。

在介紹Oculi時，Rizk強調了自己幾十年來在計算機視覺系統(tǒng)方面遇到的挫折。三十多年前，在設計一架完全自動的無人機時，“我無法將計算機視覺系統(tǒng)安裝在無人機上，因為盡管攝像頭相對較小，但所需的處理量和功耗卻使其不切實際”。三十年后，Rizk說：“我在約翰霍普金斯大學教我的學生如何做機器人。這些完全自動的機器人實際上相對復雜。它們能完成很多任務。然而，它們卻沒有搭載視覺技術?！彼忉屨f，問題在于，盡管機器人的攝像頭本身體積小、價格便宜，但隨后的處理過程在成本和功耗方面都很昂貴。

三十年過去了，計算機視覺的挑戰(zhàn)依然存在?！坝嬎銠C視覺沒有意識到應該聚焦在哪里，應該尋找什么，應該捕捉什么信息。因此，它捕捉了一切。這也阻礙了算法的實際發(fā)展。他們將更多的處理能力投入其中，與邊緣計算機視覺應該做的事情背道而馳?！?/p>

Rizk的專業(yè)經驗涵蓋無人機、機器學習、傳感器融合和自動感知，他一直是個“系統(tǒng)”專家。他曾在Rockwell Aerospace、McDonnell Douglas、Boeing和約翰霍普金斯大學應用物理實驗室做出過重要貢獻。

Rizk強調，SPU不是在真空中開發(fā)出來的。他解釋說，他的目標始終是開發(fā)機器視覺的最佳架構（從光子到可執(zhí)行信號或眼睛+大腦），“也是完全可編程的”。

他說：”傳感器上的智能是解決成像傳感器數據泛濫的必要條件，而數據泛濫是造成延遲、功耗和成本的罪魁禍首。”

但為什么要堅持可編程性呢？

他說，首先，他希望實現“動態(tài)優(yōu)化”。沒有一個單一的、可重復的用例需要傳感器做同樣的事情。其次，他想讓一個硬件支持多個市場和產品。

幾年前汽車行業(yè)的經歷就是一個很好的例子。Rizk說：“汽車上的所有攝像頭都開始出現LED閃爍的問題，所有圖像傳感器供應商都不得不回到繪圖板上，開發(fā)具有閃爍緩解功能的新傳感器。在這方面，SPU的靈活性和可編程性可能會有所幫助?！彼J為，LED閃爍不可能是車廠面臨的最后一個問題。

Prophesee與Oculi??

在SPU的動態(tài)數據輸出中，事件觸發(fā)數據是其中之一。與Prophesee一樣，Oculi也采用了集成神經形態(tài)傳感和處理技術。?

不過，Rizk堅持認為，將Oculi與Prophesee相提并論是一種誤導。他指出：“這是蘋果與香蕉的比較?！?/p>

也許是這樣，但分析界還是將Oculi歸入了事件傳感器公司一類。

Yole Intelligence全球半導體首席分析師Pierre Cambou稱Oculi的技術是“基于事件的傳感器，與Prophesee開發(fā)的方法類似。但IP可能有所不同。

Yole Intelligence成像部高級技術與市場分析師Florian Domengie對此表示贊同。Oculi采用的事件模式原理與其他動態(tài)視覺傳感器相同，“如果像素的光電流發(fā)生顯著變化，它就會輸出一個尖峰，整個像素可以獨立地、異步地點亮?！盌omengie補充說，“這里的不同之處在于，Oculi的架構可以部署在各種傳感器上，包括RGB、深度和類似Prophesee的基于事件的傳感器，具有像素級可編程處理功能?！?/p>

Prophesee的業(yè)務是推廣事件傳感器，而Oculi則側重于其SPU的可編程性或軟件定義方面。SPU提供一系列感測輸出，從全畫幅圖像（Prophesee沒有）和基于事件的數據，一直到Oculi的可操作信息和可操作信號。后兩種數據類型大幅減少，但仍保留了公司所需的信息系統(tǒng)，具體取決于應用情況。

Rizk承認，他一直在拉開Oculi與事件傳感器的距離。他指出，盡管市場已經意識到事件傳感器的重要性，但市場還未形成。在他看來，許多投資者和對該技術進行過評估的人或多或少已經到了幻想破滅的階段。

Rizk指出，當Oculi被誤認為是“另一家事件傳感器公司”時，它在融資和吸引客戶方面都遇到了困難。

幸運的是，在Oculi推出之前，其技術開發(fā)已經獲得了4000萬美元的支持。此后，Oculi又籌集了約450萬美元。它已經擁有了第一代SPU的真正硬件，由Global Foundries使用其55nm CMOS工藝技術制造。

Oculi的下一步

Oculi不僅展示了其SPU，還在各種應用中進行了概念驗證，使其能夠展示SPU在許多計算機/機器視覺應用中的不同之處。

這些應用包括人員檢測、AR/VR和智能交通基礎設施。這些應用甚至包括將“眼睛”（SPU）放置在目前不可能使用攝像頭的地方。Rizk解釋說：“想想目前使用接近傳感器或運動傳感器的一些傳統(tǒng)應用，比如經常不打開的水龍頭，以及對所有運動而不只是對人的接近做出反應的自動滑門。SPU可以增加情景感知功能，只提取必要的信息來觸發(fā)系統(tǒng)?！?/p>

Rizk說：“現在有很多使用案例?！弊鳛橐患倚」荆覀儸F在面臨的挑戰(zhàn)只是如何選擇我們首先要關注的用例。有鑒于此，我們不能繼續(xù)與這么多公司共舞。”

Oculi迄今走過的道路并不平坦。但由于該公司看到了SPU可以進入的大量應用領域，CEO表示，Oculi將在未來幾周內決定團隊將重點關注的最初應用領域。