智能汽車圖像及視頻處理創(chuàng)新與應(yīng)用

美攝從2021年起開始向汽車領(lǐng)域拓展，目前已有多款產(chǎn)品推向智己汽車等量產(chǎn)車型。在汽車行業(yè)，美攝深度融合人工智能與視音頻技術(shù)，提供涵蓋圖像畫質(zhì)增強(qiáng)、視頻智能創(chuàng)作、車內(nèi)娛樂互動(dòng)、AI識(shí)別與處理等在內(nèi)的全鏈路技術(shù)解決方案。

2022年12月6日，由蓋世汽車主辦，中國（上海）自由貿(mào)易試驗(yàn)區(qū)臨港新片區(qū)管理委員會(huì)指導(dǎo)，上海金橋臨港綜合區(qū)投資開發(fā)有限公司協(xié)辦的2022第四屆智能座艙與用戶體驗(yàn)大會(huì)上，北京美攝網(wǎng)絡(luò)科技有限公司產(chǎn)品總監(jiān)劉翀介紹了目前美攝在汽車領(lǐng)域主打的圖像及視頻處理方案，將視音頻技術(shù)移植到車機(jī)之上，使汽車具備視頻編輯處理能力，同時(shí)可以對(duì)車輛攝像頭采集到的畫面進(jìn)行分析識(shí)別，并與車機(jī)硬件聯(lián)動(dòng)，為用戶帶來智能語音數(shù)字人交互、車內(nèi)氛圍燈控制等更加場景化、智能化的駕乘體驗(yàn)。

劉翀 | 北京美攝網(wǎng)絡(luò)科技有限公司 產(chǎn)品總監(jiān)

以下是演講內(nèi)容整理：

我?guī)淼难葜v主題是《智能汽車圖像及視頻處理創(chuàng)新與應(yīng)用》，內(nèi)容主要是美攝在汽車圖像及視頻處理的整體方案，我會(huì)盡量以簡明扼要的方式向大家分享美攝的優(yōu)勢和特點(diǎn)。

美攝的發(fā)展歷程和業(yè)務(wù)范圍

講述整體產(chǎn)品方案前，先向大家簡單介紹一下美攝公司的情況。北京美攝網(wǎng)絡(luò)科技有限公司是一家專注于提供視音頻整體解決方案的技術(shù)公司，起家于廣電行業(yè)，長期根植于互聯(lián)網(wǎng)行業(yè)，逐漸拓展到汽車領(lǐng)域。我們長期為廣播電視領(lǐng)域提供服務(wù)，電視節(jié)目、包括電影制作中看到的很多音視頻技術(shù)都是由美攝提供的。

2017年，美攝將自己的產(chǎn)品提供給互聯(lián)網(wǎng)廠商、手機(jī)廠商使用；2021年，美攝開始把我們的技術(shù)向汽車領(lǐng)域拓展，現(xiàn)在已有多款搭載美攝產(chǎn)品的車型量產(chǎn)，比如智己L7。美攝的產(chǎn)品分為六大領(lǐng)域，1、視音頻處理SDK，2、AI智能處理產(chǎn)品，3、云端/PC端視頻處理方案，4、汽車及智能硬件方案，5、AR——數(shù)字人產(chǎn)品，6、開發(fā)及設(shè)計(jì)服務(wù)。

目前，美攝提供了傳統(tǒng)互聯(lián)網(wǎng)和手機(jī)領(lǐng)域70-80%的服務(wù)，汽車是我們新發(fā)的領(lǐng)域，已經(jīng)和國內(nèi)多個(gè)互聯(lián)網(wǎng)頭部廠商合作量產(chǎn)化方案，在不久的將來，相信大家可以在車機(jī)上看到、用到美攝的產(chǎn)品。

美攝在圖像、視頻領(lǐng)域的獨(dú)特解決方案

基于美攝在圖像、視頻的技術(shù)能力，我們可以提供全鏈路的技術(shù)解決方案，除了視頻剪輯處理，還有圖像的畫質(zhì)增強(qiáng)，視頻的智能創(chuàng)作，車內(nèi)娛樂和互動(dòng)，AI識(shí)別及處理的能力，通過以上功能模塊，我們幫助用戶完成從攝像頭采集、畫質(zhì)增強(qiáng)、視頻內(nèi)容創(chuàng)作、后期的自動(dòng)識(shí)別等工作。

首先是圖像及畫質(zhì)增強(qiáng)，關(guān)鍵點(diǎn)在于對(duì)攝像頭的拍攝和預(yù)覽進(jìn)行技術(shù)上的提升，最基礎(chǔ)的是圖像的校正算法，我們知道，很多車企攝像頭都帶有校正功能或者其他算法點(diǎn)，但是美攝提供的核心功能在于對(duì)畫面進(jìn)行二次處理，保證用戶可以在預(yù)覽時(shí)就看到非常完整的視頻效果，整套方案最大的優(yōu)勢在于算力消耗低。在我們的汽車客戶里，很多都使用美攝的校正算法對(duì)車內(nèi)攝像頭的畫面做二次修正，讓整個(gè)畫面達(dá)到可拍攝，可預(yù)覽的高質(zhì)量水準(zhǔn)。

這方面以外，我們還提供智能調(diào)色的功能，將不同終端的拍攝場景在色調(diào)上統(tǒng)一化。美攝現(xiàn)在引入了一套自動(dòng)化的處理算法，不需要進(jìn)行特殊的產(chǎn)品標(biāo)定，可以通過AI自動(dòng)檢測畫面中的問題，并動(dòng)態(tài)地對(duì)不同場景進(jìn)行處理，達(dá)到專業(yè)的校正效果，提升整個(gè)畫面的質(zhì)量。這一算法占用算力也非常少，可以在低算力的情況進(jìn)行實(shí)時(shí)化處理。

除了以上這點(diǎn)，在汽車的拍攝處理上還存在一個(gè)問題：當(dāng)前的車規(guī)級(jí)攝像頭，在夜景拍攝時(shí)往往多噪點(diǎn)，針對(duì)這點(diǎn)，我們會(huì)提供一套AI夜景增強(qiáng)的算法：結(jié)合AI識(shí)別算法和色彩校正算法，自動(dòng)判斷可能產(chǎn)生的噪點(diǎn)問題，調(diào)節(jié)畫面的色彩。

此外，目前車載攝像頭的數(shù)量越來越多，單一使用并不能發(fā)揮這些設(shè)備的全部潛力，為了形成更好的用戶觀感和體驗(yàn)，美攝會(huì)提供一套多攝拼接的算法，利用車輛上的多種攝像頭，結(jié)合美攝的校正、圖像融合、智能化拼接等處理算法，最大程度消除變形問題，獲得超廣角、360度全視野的實(shí)時(shí)預(yù)覽效果。

汽車行駛的過程中進(jìn)行拍攝和預(yù)覽，抖動(dòng)一直是很大的問題，這種情況就可以配合非光學(xué)防抖和光學(xué)防抖的設(shè)備，結(jié)合美攝的AI算法，去識(shí)別畫面中抖動(dòng)和模糊的情況，讓車輛行進(jìn)中的多場景設(shè)備達(dá)到專業(yè)級(jí)拍攝和預(yù)覽的效果。

以上這些都是基于攝像頭做的基礎(chǔ)化處理，現(xiàn)在還有一個(gè)方向：車輛上視頻的智能創(chuàng)作。很多的車廠不僅把車輛定義為行駛類工具，也將其定義為記錄風(fēng)景的載體，車輛的一次拍攝過程中會(huì)產(chǎn)生大量的視頻，把這些視頻交給用戶進(jìn)行手動(dòng)剪輯和制作，會(huì)帶來大量的創(chuàng)作難題。

那么，如何有限的提取精彩內(nèi)容，并完成藝術(shù)化的創(chuàng)作包裝，這就成為了車輛拍攝視頻智能創(chuàng)作的明顯痛點(diǎn)，針對(duì)這點(diǎn)，美攝提供一套智能剪輯的方案，包括內(nèi)容的AI檢測，視頻智能剪輯，后期配樂等，方便用戶保存和分享行車過程中比較優(yōu)質(zhì)的內(nèi)容。

用戶只需要導(dǎo)入視頻，美攝就會(huì)匹配剪輯手法和音樂，這一方案具有良好的拓展性，會(huì)根據(jù)車輛使用習(xí)慣，快速匹配場景，并隨著用戶的內(nèi)容逐漸擴(kuò)充智能剪輯的方案，形成智能化的產(chǎn)品。

如果用戶拍攝的是比較單調(diào)的行車視頻，美攝也會(huì)考慮讓視頻更娛樂化的方案，比如利用美攝的三維渲染引擎和AI天空分割技術(shù)去添加虛擬天空特效，讓普通的行車視頻產(chǎn)生更加出彩的效果。

美攝在汽車領(lǐng)域的解決方案

除了以上這些，美攝也在探索和車機(jī)結(jié)合的娛樂和互動(dòng)方案。首先，車內(nèi)的AR特效方案，現(xiàn)在車內(nèi)配備了很多攝像頭，美攝可以在結(jié)合車內(nèi)攝像頭的情況下，提供完整的AR效果，在整個(gè)方案中，我們會(huì)充分考慮到車載攝像頭廣角的問題，通過自動(dòng)化的方案進(jìn)行處理，形成優(yōu)質(zhì)的車內(nèi)拍攝效果。

除了這塊之外，美攝還會(huì)和車機(jī)語音系統(tǒng)結(jié)合，搭建車載數(shù)字人，形成語音交互系統(tǒng)的延伸。利用三維渲染引擎，結(jié)合語音交互系統(tǒng)，反饋實(shí)時(shí)音頻流、文字、動(dòng)作等內(nèi)容，實(shí)時(shí)驅(qū)動(dòng)數(shù)字人形象，升級(jí)整體的座艙交互體驗(yàn)。

除了這些之外，AI識(shí)別及處理能力是美攝非常重要的優(yōu)勢點(diǎn)，美攝可以根據(jù)車輛各個(gè)攝像頭采集的畫面進(jìn)行自動(dòng)化的圖像處理，比如場景識(shí)別、人物識(shí)別、天空云彩等景象識(shí)別、地標(biāo)屬性識(shí)別，在明確內(nèi)容屬性的情況下，可以和車機(jī)硬件進(jìn)行聯(lián)動(dòng)，使車機(jī)無需完全依附手動(dòng)控制，可以自動(dòng)幫助用戶去采集和生成內(nèi)容，以達(dá)到更好的人機(jī)交互體驗(yàn)。

去年開始，美攝還在發(fā)力車端信息的匿名化處理這一領(lǐng)域。很多車輛的數(shù)據(jù)在上云或者離車之前都需要進(jìn)行匿名化的處理，基于法規(guī)的相關(guān)要求，美攝提供的方案可以對(duì)檢測到的人臉和車牌進(jìn)行遮擋等處理，整個(gè)方案針對(duì)車機(jī)的需求做了大量適配和優(yōu)化，盡量降低了對(duì)于CPU資源的占用，可以在車規(guī)級(jí)芯片上完成這類處理任務(wù)。

除了以上這些在車機(jī)端的應(yīng)用和處理之外，我們注意到，用戶的車機(jī)和手機(jī)往往有互聯(lián)的需求，比如，用戶在車輛上拍攝的視頻內(nèi)容和照片都可以回傳到手機(jī)APP內(nèi)進(jìn)行預(yù)覽，美攝可以充分發(fā)揮在手機(jī)領(lǐng)域的傳統(tǒng)優(yōu)勢，資源同傳之外，視頻也可以直接在手機(jī)上上進(jìn)行處理和剪輯、分享和輸出。

以上就是美攝在車端產(chǎn)品方案的整體介紹，我們希望，可以同不同汽車廠商實(shí)現(xiàn)深度合作，讓汽車不僅限于行駛工具，還可以作為用戶精彩生活的記錄工具，加速高度智能化的車機(jī)時(shí)代的帶來。

（以上內(nèi)容來自北京美攝網(wǎng)絡(luò)科技有限公司產(chǎn)品總監(jiān)劉翀于2022年12月6日由蓋世汽車主辦，中國（上海）自由貿(mào)易試驗(yàn)區(qū)臨港新片區(qū)管理委員會(huì)指導(dǎo)，上海金橋臨港綜合區(qū)投資開發(fā)有限公司協(xié)辦的2022第四屆智能座艙與用戶體驗(yàn)大會(huì)發(fā)表的《智能汽車圖像及視頻處理創(chuàng)新與應(yīng)用》主題演講。）