芯耀
446
12月14日下午，2021年度“OPPO未來科技大會(huì)”正式在深圳召開。在本次會(huì)議上，OPPO正式發(fā)布了傳聞已久的首款自研芯片——6nm工藝的馬里亞納MariSilicon X。
△OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波展示MariSilicon X
據(jù)介紹，MariSilicon X是全球首款專為影像而生的專用NPU芯片，其AI算力高達(dá)18TOPs，超過蘋果A15，能效比也達(dá)到了11.6TOPs/W。同時(shí)還支持高達(dá)20bit Ultra HDR及實(shí)時(shí)RAW計(jì)算，能最大程度發(fā)揮OPPO定制的RGBW傳感器的能力，破解了傳統(tǒng)手機(jī)影像的諸多難題。
為了詳細(xì)地揭秘OPPO的首款自研芯片MariSilicon X，在一周之前，芯智訊對OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波進(jìn)行了專訪。
一、為什么要自研芯片？
對于全球頭部的智能手機(jī)廠商來說，自研芯片早已是一項(xiàng)不可或缺的核心競爭力。不論是在自研芯片上早已獲得成功的三星、蘋果、華為，還是正在努力當(dāng)中的小米、OPPO和vivo。特別是在人工智能時(shí)代，自研芯片不僅能夠更好地實(shí)現(xiàn)自身軟硬件的協(xié)同，解決用戶關(guān)心的痛點(diǎn)，同時(shí)也能夠?yàn)槭謾C(jī)品牌廠商帶來更多的差異化。
在OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波看來，像OPPO這種一線的終端公司，本原就是從消費(fèi)者角度出發(fā)的，對于硬件能力的認(rèn)知和需求，很多也是從用戶場景反推過來的，并不是簡單地判斷需要什么樣規(guī)格的芯片，再看可以用在哪些場景、技術(shù)的選擇更多是為了解決用戶的痛點(diǎn)。所以，當(dāng)OPPO發(fā)現(xiàn)這些痛點(diǎn)及面臨的問題難以使用通用SoC解決時(shí)，自研芯片就成為了一個(gè)必然。
“我們在最初做這顆芯片的時(shí)候，終端產(chǎn)品線的同事會(huì)問我們，額外增加這個(gè)芯片之后對電池容量有多少影響？包括對手機(jī)整個(gè)的DoU（Day of Usage）有什么影響？我們就需要去看各種場景下帶來的DoU損失是多少，以及帶來的好處是多少，這樣問題才能解決。所以這樣的好處是，任何問題都是從用戶視角出發(fā)的。”姜波表示：“我個(gè)人認(rèn)為，行業(yè)里像OPPO這樣的廠商，恰恰是因?yàn)樵谝痪€接近消費(fèi)者，有自己的算法能力、硬件設(shè)計(jì)能力，甚至是上游攝像頭、傳感器的整合能力，當(dāng)你處在一個(gè)產(chǎn)業(yè)鏈里非常重要的一環(huán)時(shí)，你有機(jī)會(huì)做到更深度的整合、更優(yōu)化的設(shè)計(jì)的時(shí)候，就一定會(huì)去做。”
至于自研芯片帶來的成本及投資回報(bào)問題，姜波表示，“只要做自研芯片，投入就會(huì)很大，如果這顆芯片可以幫我們解決一些我們在用戶側(cè)的一些痛點(diǎn)和價(jià)值點(diǎn)，那就值得去投入。”
二、為什么是影像NPU？
對于智能手機(jī)廠商來說，自研芯片并不是一個(gè)新鮮事。
不過，從小米澎湃S1手機(jī)SoC芯片的經(jīng)驗(yàn)來看，對于原本在手機(jī)芯片研發(fā)上并沒有太多積累的手機(jī)品牌廠商來說，貿(mào)然就開始研發(fā)手機(jī)SoC主芯片，則具有非常高的難度和風(fēng)險(xiǎn)。
2014年，小米就成立了松果電子研發(fā)手機(jī)SoC芯片，隨后在2017年，小米正式推出了首款自研手機(jī)SoC芯片“澎湃S1”，并由小米5C首發(fā)搭載。但是，這款歷時(shí)28個(gè)月研發(fā)制造的芯片整體表現(xiàn)并不理想，在小米5C之后就再也沒有被商用。而后續(xù)傳聞中的澎湃S2似乎也因?yàn)槎啻?a class="article-link" target="_blank" href="/tag/%E6%B5%81%E7%89%87/">流片失敗而終結(jié)。
相比之下，先從手機(jī)SoC主芯片以外的外圍芯片切入則相對簡單，也更容易獲得成功。
在目前用戶對于手機(jī)影像性能要求越來越高的背景之下，很多手機(jī)廠商也選擇了從影像相關(guān)芯片方面進(jìn)行入手。
比如，小米和vivo都紛紛選擇從關(guān)乎手機(jī)影像拍攝質(zhì)量的關(guān)鍵芯片——ISP（圖像信號(hào)處理器）芯片入手。今年3月底，小米就發(fā)布了自研的手機(jī)ISP芯片澎湃C1。9月初，vivo也發(fā)布了自研的手機(jī)ISP芯片V1。小米和vivo均表示，自研的ISP芯片結(jié)合自研的算法，可以幫助手機(jī)進(jìn)行更精細(xì)、更先進(jìn)的圖像處理。
同樣，OPPO也認(rèn)為，影像能力一直是智能手機(jī)用戶最為關(guān)心的痛點(diǎn)之一。因此，我們也可以看到，過去十年來，在OPPO不同的旗艦產(chǎn)品上，為了提升影像拍攝能力，除了配備旗艦級(jí)的SoC之外，OPPO還在不斷通過定制圖像傳感器、定制攝像頭模組、定制鏡頭來推動(dòng)影像硬件上的創(chuàng)新。
資料顯示，僅僅是為了完成將RGBW影像技術(shù)寫入傳感器硬件這一操作，OPPO就在近3年的時(shí)間內(nèi)投入了300位影像工程師以及億元級(jí)別的成本，積累了87項(xiàng)技術(shù)專利。
隨著手機(jī)影像技術(shù)的發(fā)展，由于智能手機(jī)的內(nèi)部空間的限制，單純依靠提升圖像傳感器尺寸及其他光學(xué)單元的性能，來提升拍攝的影像效果已經(jīng)遇到了瓶頸，于是通過AI算法來對拍攝效果進(jìn)行優(yōu)化的“計(jì)算影像”就成為了新的方向。
所以，OPPO并未選擇跟小米、vivo一樣自研ISP芯片，而是結(jié)合了過去在圖像傳感器定制、攝像頭模組定制、鏡頭定制方面的技術(shù)積累，更進(jìn)一步選擇了難度更高的影像NPU。因?yàn)镺PPO認(rèn)為，未來計(jì)算影像將主導(dǎo)整個(gè)影像新的技術(shù)發(fā)展，傳統(tǒng)ISP解決不了的暗光視頻等需要AI才能解決的難題，影像NPU完全有機(jī)會(huì)給出一個(gè)更好的解答。
但是，通用的手機(jī)SoC當(dāng)中的包括NPU在內(nèi)的各類計(jì)算單元通常都只是針對通用的AI影像算法進(jìn)行優(yōu)化，而手機(jī)廠商的自研AI影像算法與通用SoC芯片之間很難做到相互的完全開放、完全的緊密耦合，這也使得通用SoC芯片無法發(fā)揮出手機(jī)廠商自研AI影像算法的最大能力。
為此，姜波展示了一組實(shí)際測試數(shù)據(jù)。以O(shè)PPO目前在Find X3 Pro上商用落地的OPPO AI降噪算法為例，雖然Find X3 Pro搭載的是高通的旗艦芯片驍龍888，其內(nèi)部也擁有獨(dú)立的NPU，結(jié)合高通第六代AI引擎，整體AI算力高達(dá)26 TOPS，但是在跑OPPO自研的AI降噪算法時(shí)，最多可以跑2fps(幀/秒)，而且功耗也接近了1.7W。
這也意味著該AI降噪算法只能運(yùn)用到拍照降噪上，不能運(yùn)用到視頻降噪上。因?yàn)?，視頻最少需要30fps的幀率，要基于OPPO的自研AI降噪算法在驍龍888平臺(tái)上做到30fps的降噪，就需要將算力提升到現(xiàn)有算力的15倍，即使驍龍888的算力可以繼續(xù)提升，但是這也意味著功耗也將達(dá)到1.7W的很多倍，顯然這對于智能手機(jī)來說是難以接受的。
另一方面，比如OPPO還與索尼有合作定制圖像傳感器，而定制化的圖像傳感器也需要手機(jī)SoC的緊密配合才能發(fā)揮出最大的效果，而手機(jī)SoC的開發(fā)周期非常長，而定制圖像傳感器的開發(fā)周期則相對較短，這也使得雙方很難實(shí)現(xiàn)很好的配合。
“所以，OPPO為了能夠充分發(fā)揮定制圖像傳感器以及自研AI影像算法的能力，選擇從一顆影像專用NPU入手，希望通過AI的方式去解決一些還沒有被解決的手機(jī)影像問題。同時(shí)，也只有通過影像專用NPU，才能解決目前ISP和通用算力不足難題，這才是未來影像發(fā)展的主流方向。”姜波說道。
三、為什么采用成本高昂的6nm工藝？
作為OPPO的首款自研芯片，MariSilicon X一開始的定位就比較高端，采用的是目前領(lǐng)先的臺(tái)積電6nm制程工藝。這對于初入自研芯片領(lǐng)域的OPPO來說可謂是極具挑戰(zhàn)的。
首先，越先進(jìn)的制程工藝，往往意味著設(shè)計(jì)的難度越高，可以用到的第三方的成熟IP也就越少。
其次，越先進(jìn)的制程工藝的芯片開發(fā)，往往也需要更多的研發(fā)投入，同時(shí)在流片和制造成本上也是非常的高。
根據(jù)幾年前國外Semiengingeering網(wǎng)站曾發(fā)布過一篇工藝和芯片開發(fā)費(fèi)用的文章顯示，28nm節(jié)點(diǎn)的芯片開發(fā)成本約為5130萬美元；16nm節(jié)點(diǎn)則需要1億美元；7nm節(jié)點(diǎn)需要2.97億美元；5nm節(jié)點(diǎn)，開發(fā)芯片的費(fèi)用將達(dá)到5.42億美元；3nm的開發(fā)費(fèi)用有可能超過10億美元?？紤]到這是數(shù)年前的數(shù)據(jù)，再加上MariSilicon X并不是一款SoC芯片，在設(shè)計(jì)開發(fā)上沒有那么的復(fù)雜，其開發(fā)費(fèi)用可能并沒有那么高，但估計(jì)也需要到1億美元以上級(jí)別。
另外，對于先進(jìn)制程的芯片來說，越先進(jìn)的制程工藝，其流片和制造的成本也就越高。有消息顯示，6nm芯片的一次流片費(fèi)用就高達(dá)1500萬美元。
所以，我們也可以看到，不論是小米澎湃C1還是vivo V1都沒有選擇6nm工藝，而是采用了成熟的12nm工藝。
那么為什么OPPO 的MariSilicon X還是選擇了6nm工藝？
對此，OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波在接受芯智訊采訪時(shí)也表示，OPPO在最開始評(píng)估采用何種工藝制程時(shí)確實(shí)評(píng)估過12nm制程的可能性：如果做一顆12nm的芯片，不僅可選擇的基礎(chǔ)IP更多，資源的可獲取性（比如一些接口IP）也更好，而且整個(gè)產(chǎn)品的開發(fā)周期也要短很多。但是，12nm工藝很難達(dá)到OPPO預(yù)期的在終端層面的極致性能和功耗要求，所以最終選擇了6nm工藝，實(shí)現(xiàn)了同級(jí)最好的能效比，也得以在RAW域能夠?qū)崿F(xiàn)復(fù)雜AI算法的處理。
選擇6nm工藝，也給OPPO帶來了很多的難題。
比如，MariSilicon X需要峰值吞吐量非常高的MIPI接口。如果選擇12nm工藝，雖然很容易能夠找到第三方MIPI接口IP，但能效遠(yuǎn)超預(yù)期。雖然6nm工藝節(jié)點(diǎn)上也有一些第三方MIPI接口IP，但是可選擇范圍較小，且依然是滿足不了OPPO估算的數(shù)據(jù)量要求。因此，OPPO的芯片研發(fā)團(tuán)隊(duì)最終選自了自研MIPI IP。
“用12nm可以更容易的做出一顆商用的芯片。但是，我們發(fā)現(xiàn)用12nm做完之后在很多場景下出來的效果，可能還不如之前單純靠5nm SoC做出來的整體效果，那么增加一顆NPU芯片就沒有意義。那就喪失了我們做一顆芯片的初心和原點(diǎn)了。“姜波坦言。
四、MariSilicon X有何過人之處？
對于MariSilicon X這款芯片的優(yōu)勢，可以總結(jié)為以下幾大核心能力突破：
1、核心自研IP加持，帶來極致能效比
據(jù)介紹，MariSilicon X的AI算力可達(dá)18TOPS@int8（72TOPS@int4 equivalent），高于蘋果A15的15.8TOPS。在供強(qiáng)大AI算力的同時(shí)，MariSilicon X功耗也得到了很好的控制，其能效比達(dá)到驚人的11.6TOPS/W。
要知道，目前絕大多數(shù)NPU能效比都在10TOPS/W以內(nèi)。比如IBM今年初推出的基于7nm工藝的“全球首款”高能效AI芯片，其在int4 精度下的能效為 8.9TOPS/W；7nm NVIDIA A100 GPU在int4精度下的能效比為 3.12TOPS/W；7nm的聯(lián)發(fā)科處理器（應(yīng)該是天璣1200）在int8精度下能效比為3.42TOPS/W。
▲IBM 7nm高能效AI芯片與7nm芯片性能及能效比參數(shù)對比
姜波強(qiáng)調(diào)，：“對于手機(jī)NPU來說，AI算力的提升并不是難點(diǎn)，因?yàn)檫@是可以通過增加NPU的面積把算力堆起來的。但是，手機(jī)內(nèi)部的空間是有限的，并且有著嚴(yán)苛的功耗及熱性能的限制，所以高能效比才是關(guān)鍵。而要想實(shí)現(xiàn)11.6TOPS/W能效比則是非常難的。
“而且這個(gè)能效比是基于隨機(jī)生成圖片（人眼難以識(shí)別的）實(shí)測得到的，如果是基于現(xiàn)實(shí)世界里的人像、風(fēng)景等真實(shí)的圖片進(jìn)行處理，這個(gè)能效比將超過12TOPS/W。”
雖然，MariSilicon X 的6nm工藝所帶來的提升，也是其高能效比的一個(gè)因素，但是更為關(guān)鍵的還是MariSilicon X當(dāng)中NPU單元并沒有采用第三方的NPU IP，而是采用了OPPO自研的MariNeuro IP，以達(dá)到OPPO需要的最優(yōu)能效比。
那么，之前在驍龍888上只能跑2fps、功耗達(dá)到1.7W的OPPO自研的AI降噪算法在MariNeuro NPU上能有多大的提升呢？答案是速度提升了20倍達(dá)到了40fps，使得OPPO自研AI降噪算法可以應(yīng)用到視頻降噪當(dāng)中，同時(shí)功耗僅有800mW，能效比更是提升了40倍。顯然OPPO自研影像NPU所帶來的實(shí)際提升是非常驚人的。
△基于MariSilicon X的4K Ultra HDR視頻降噪效果
△基于MariSilicon X的4K AI夜景視頻效果
2、多級(jí)專用高速內(nèi)存系統(tǒng)
除了NPU本身的架構(gòu)使得它能夠有更高的能耗效率和更高的利用率之外，內(nèi)存子系統(tǒng)也是極為關(guān)鍵的，因?yàn)閮?nèi)存和運(yùn)算對于AI整個(gè)系統(tǒng)是相輔相成的，如果內(nèi)存變成瓶頸，形成“內(nèi)存墻”的話，即使有再高的算力也無法發(fā)揮。
所以，OPPO還為MariNeuro NPU定制了一個(gè)Tb/秒級(jí)的片上內(nèi)存子系統(tǒng)，這也使得NPU架構(gòu)設(shè)計(jì)在與算法緊密耦合的同時(shí)，內(nèi)存系統(tǒng)也是根據(jù)算法和場景要求進(jìn)行相應(yīng)定制優(yōu)化的。
姜波解釋稱：“我們根據(jù)自己的算法和網(wǎng)絡(luò)模型，我們知道它的網(wǎng)絡(luò)復(fù)雜度有多少，需要多大容量和速度的片上內(nèi)存去處理，才能達(dá)到一個(gè)最優(yōu)的目標(biāo)。其數(shù)據(jù)傳輸速度可達(dá)數(shù)萬億比特/秒（Tb/s），遠(yuǎn)高于外部的DDR內(nèi)存。”
在配備片上內(nèi)存的同時(shí)，OPPO還設(shè)計(jì)了一個(gè)多級(jí)的內(nèi)存控制系統(tǒng)，并針對MariSilicon X配備了獨(dú)立DDR帶寬，這個(gè)采用了LPDDR4X的DDR帶寬為8.5Gb/s，是與MariSilicon X的Die封裝在一起的，對于一些速度要求沒那么高的數(shù)據(jù)可以跑在專用的內(nèi)存上去做。
OPPO表示，從整個(gè)系統(tǒng)層面來看，當(dāng)MariSilicon X跟一個(gè)SoC主芯片搭載在一起使用的時(shí)候，整個(gè)系統(tǒng)的DDR吞吐率增加了17%。
3、20bit Ultra HDR
目前智能手機(jī)在繼屏幕尺寸、分辨率及材質(zhì)的持續(xù)提升之后，屏幕的高動(dòng)態(tài)范圍 (HDR)顯示效果，正在成為智能手機(jī)廠商及用戶追逐的熱點(diǎn)。同樣，對于手機(jī)影像拍攝來說，HDR效果也已經(jīng)成為了關(guān)鍵點(diǎn)。
所謂HDR（High-Dynamic Range，高動(dòng)態(tài)范圍），是一種能夠提供更大的動(dòng)態(tài)范圍以及圖像細(xì)節(jié)的顯示技術(shù)，可根據(jù)不同的曝光時(shí)間的LDR（Low-Dynamic Range，低動(dòng)態(tài)范圍圖像），并利用每個(gè)曝光時(shí)間相對應(yīng)最佳細(xì)節(jié)的LDR圖像來合成最終HDR圖像。HDR能夠更好地反映出真實(shí)環(huán)境中的視覺效果，即實(shí)現(xiàn)接近人眼所能覆蓋的色域，亮度和對比度范圍。
高通最新發(fā)布的新一代驍龍8就集成了三核18-bit ISP，且支持18bit RAW格式拍攝。同樣，聯(lián)發(fā)科發(fā)布的天璣9000的第七代的Imagiq ISP，也支持18bit HDR。
不過，OPPO此次推出的MariSilicon X則更進(jìn)一步，帶來了更為極致的支持人眼級(jí)別的20bit的計(jì)算位寬以及20bit Ultra HDR，能覆蓋100萬:1的最大亮度范圍，即一張照片當(dāng)中最暗和最亮的部分相差了100萬倍，達(dá)到了新一代驍龍8及天璣9000的4倍。
而這其中主要得益于MariSilicon X當(dāng)中另外一個(gè)非常重要的OPPO自研IP——MariLumi影像處理單元，其信噪比處理能力達(dá)到了120db。相比新一代驍龍8等能夠帶來至少有8dB信噪比的增強(qiáng)，相當(dāng)于2.6倍的提升。
4、實(shí)時(shí)RAW計(jì)算
對于經(jīng)常玩單反相機(jī)的朋友來說，RAW格式并不陌生，這是一種未經(jīng)過壓縮的無損原生照片格式，它完整地記錄了CMOS或者CCD圖像傳感器將捕捉到的光信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)的原始數(shù)據(jù)。
相對于其他的例如JPG等壓縮照片格式，RAW格式的優(yōu)勢在于，其是未經(jīng)過任何的處理和壓縮的無損原生格式，最大程度保留了照片拍攝的原始信息，這也使得其擁有更大的后期制作空間。此外，RAW還支持無損調(diào)節(jié)，同時(shí)也使得前期拍攝的環(huán)境色溫、曝光度等參數(shù)能夠有更多的容忍度（后期可以調(diào)整）。
隨著智能手機(jī)影像技術(shù)的發(fā)展，RAW計(jì)算也開始被引入到智能手機(jī)的拍照當(dāng)中。OPPO也認(rèn)為，RAW域是計(jì)算影像的黃金點(diǎn)，因?yàn)檫@給了后期的計(jì)算影像處理帶來了更大的發(fā)揮空間。
傳統(tǒng)的手機(jī)影像計(jì)算，通常是將圖像傳感器輸出的RAW信息經(jīng)過SoC當(dāng)中的ISP轉(zhuǎn)換成RGB信息，再轉(zhuǎn)換成YuV（比如MPEG、JPEG等格式），這其中每一步的轉(zhuǎn)換都是有信息損耗的?，F(xiàn)在手機(jī)做AI降噪的算法也是放在YuV階段來做的，HDR也是在YUV里合成的，而這種做法做多只能做到18bit HDR。
MariSilicon X之所以能夠支持20bit Ultra HDR，是因?yàn)槠鋵鹘y(tǒng)只能在YuV后處理階段完成的AI計(jì)算放到了最前端的RAW域計(jì)算，即圖像傳感器記錄的原始RAW影像信息直接傳輸給MariSilicon X進(jìn)行處理，之后再輸出給SoC中的ISP。
具體來說，OPPO的做法是將YUV的算法做成RAW算法，通過MariSilicon X直接在RAW域進(jìn)行AI計(jì)算，即通過在無損的原生數(shù)據(jù)基礎(chǔ)上進(jìn)行AI處理，從而得到效果更好的影像處理結(jié)果。MariSilicon X可以支持20bit RAW實(shí)時(shí)處理，并且在RAW域合成HDR Fusion。為整個(gè)影像鏈路輸出無損計(jì)算后的高質(zhì)量數(shù)據(jù)。這樣的好處，就是在4k場景下，讓圖像亮部有8dB的增強(qiáng)，暗部可以有12dB的增強(qiáng)，也就是說圖像暗部的信噪比可以達(dá)到4倍的有效提升。
雖然在RAW域計(jì)算能夠帶來更好的影像效果，但是這也使得算法復(fù)雜度大大增加，同時(shí)20bit RAW的數(shù)據(jù)量非常大，要在RAW域進(jìn)行大量的實(shí)時(shí)AI算法計(jì)算，也使得MariSilicon X的強(qiáng)大算力及高能效比特性變得尤為重要。只有比原來的SoC直接處理效果更好、速度更快、更低功耗，加入自研芯片才更意義。
5、RGBW傳感器能力全面釋放
對于智能手機(jī)來說，暗光拍攝效果的提升一直是一個(gè)難點(diǎn)，雖然可以通過采用更大光圈、更大尺寸的傳感器來有效提升進(jìn)光量，從而提升暗光拍攝表現(xiàn)，但是由于手機(jī)內(nèi)部空間及厚度的限制，使得這方面的提升也受到了限制。
于是乎，通過從底層改變傳感器排列，進(jìn)而提升進(jìn)光量的方法也成為了另外一個(gè)方向。比如RGBW傳感器的像素陣列，就是通過引入對光線更加敏感的白色子像素（W）顯著提升感光能力，從而在暗光環(huán)境下拍攝出更亮的照片。
2019年，OPPO研發(fā)團(tuán)隊(duì)受到當(dāng)時(shí)流行的像素聚合技術(shù)的啟發(fā)，又創(chuàng)造性地提出了四合一像素聚合技術(shù)與RGBW技術(shù)相結(jié)合，即全新RGBW傳感器在每組4個(gè)子像素中引入2個(gè)W像素，從而讓每個(gè)像素都能具備R（紅）、G（綠）、B（藍(lán)）和W（白）信號(hào)的識(shí)別能力。這也就是今年8月發(fā)布的新一代RGBW捕光傳感器IMX709。
但是，由于OPPO與索尼聯(lián)合定制的RGBW傳感器屬于新的傳感器，并且應(yīng)用量也相對有限，所以目前通用的手機(jī)SoC并不能很好地發(fā)揮出OPPO定制的RGBW傳感器的最大能力。
“如果想要用上RGBW傳感器，第一步要做的就是在傳感器端把RGBW做一個(gè)remosaic，變成傳統(tǒng)的RGGB信息，再傳送給SoC處理。實(shí)際上這個(gè)處理過程中，已經(jīng)丟失了一些有用的信息。雖然，我們希望讓RGBW sensor pattern（傳感器像素排列）發(fā)揮最大價(jià)值，但為了與通用的SoC配合，我們必須要做一些妥協(xié)和損耗，才能達(dá)到可以用上RGBW。”姜波解釋道。
為了更好發(fā)揮出OPPO定制的RGBW傳感器的能力，MariSilicon X在設(shè)計(jì)時(shí)就充分考慮了這一點(diǎn)，將MariSilicon X與RGBW傳感器進(jìn)行了緊密的耦合和最大限度的優(yōu)化。
比如，在設(shè)計(jì)圖像處理pipeline的時(shí)候，OPPO做了兩條鏈路，一路是做RGGB信號(hào)處理，同時(shí)有一路是做White信號(hào)處理，這兩路都是進(jìn)行RAW計(jì)算，所以對于處理能力的要求也要增加數(shù)倍。
根據(jù)OPPO公布的實(shí)測數(shù)據(jù)顯示，相比一路pipeline效果，通過MariSilicon X進(jìn)行兩路pipeline的處理，可以得到8.6dB的信噪比提升。同時(shí)，在紋理細(xì)節(jié)上，通過兩路pipeline的超采樣，可以到1.7倍的解析力的增強(qiáng)。
姜波自豪地說到：“我們通過自研芯片和定制化sensor相互的化學(xué)反應(yīng)和相互耦合，真正將sensor在最初設(shè)計(jì)時(shí)候的最大能力充分發(fā)揮。”
小結(jié)：
通過上面的介紹及官方公布的相關(guān)參數(shù)，我們不難看出，MariSilicon X這款影像NPU確實(shí)非常的強(qiáng)大。雖然，OPPO在MariSilicon X的研發(fā)當(dāng)中也是獲得了很多合作伙伴的幫助，但是核心IP基本都是OPPO自研的，這也主要得益于OPPO強(qiáng)大的芯片研發(fā)團(tuán)隊(duì)的自研能力。
據(jù)芯智訊了解，OPPO是2019年開始研發(fā)芯片的，為了開發(fā)MariSilicon X，OPPO組建的芯片研發(fā)團(tuán)隊(duì)高達(dá)2000人（不排除同時(shí)有研發(fā)其他芯片），其中很多核心人員都是來自于一線的半導(dǎo)體大廠，比如OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波就來自于高通。
作為對比，vivo自研的ISP芯片V1，300人研發(fā)團(tuán)隊(duì)，歷時(shí)2年時(shí)間研發(fā)完成。不過，這里需要補(bǔ)充的是，根據(jù)網(wǎng)上的爆料顯示，vivo V1并不是由vivo獨(dú)立完成的，而是與聯(lián)詠合作設(shè)計(jì)的，采用了很多第三方的IP。
另外，比起其他綜合型的NPU，MariSilicon X專注在影像上的設(shè)計(jì)也實(shí)現(xiàn)了更強(qiáng)的視頻性能。
不過，姜波也坦言：“雖然如語音識(shí)別等AI算法也可以在MariSilicon X的NPU上來跑，但是肯定不會(huì)像影像AI算法跑得那么好。“因?yàn)樵谠O(shè)計(jì)這款芯片時(shí)，我們就已經(jīng)有所取舍，我們在影像上，尤其是針對視頻上，要做很大的優(yōu)化和投入，所以針對視頻和照片相關(guān)的影像處理，它是擁有極佳功耗的性能的NPU。反過來，像語音這種，它就不是最佳的，所以它的靈活性也是有一定限制的。”
總結(jié)來說，MariSilicon X是一款性能強(qiáng)大且擁有極致能效比的影像專用NPU。并且MariSilicon X還首次將20bit RAW計(jì)算、Ultra HDR、4K AI HDR視頻降噪集成在一起，使得不論是拍照還是視頻錄制體驗(yàn)都能夠帶來顯著的提升。
“馬里亞納MariSilicon X是 OPPO未來十年影像的開篇之作，它的問世標(biāo)志著OPPO在計(jì)算影像領(lǐng)域首次實(shí)現(xiàn)了全鏈路垂直整合，將完全服務(wù)于OPPO定制化的計(jì)算影像需求。 隨著明年一季度搭載MariSilicon X的全新Find系列旗艦推出，將推動(dòng)安卓終端第一次實(shí)現(xiàn)計(jì)算攝影的里程碑式躍遷，這將為整個(gè)行業(yè)的計(jì)算影像提供一個(gè)新的標(biāo)桿，相信未來整個(gè)行業(yè)都會(huì)朝著這個(gè)方向發(fā)展。”姜波總結(jié)道。
作者：芯智訊-浪客劍
