康謀分享 | Nerf和3DGS神經(jīng)重建技術(shù)在自動(dòng)駕駛模擬中的應(yīng)用

驗(yàn)證自動(dòng)駕駛軟件需要數(shù)百萬公里的測(cè)試。這不僅意味著系統(tǒng)開發(fā)周期長(zhǎng)，而且系統(tǒng)的復(fù)雜度也會(huì)不斷增加，同時(shí)，大規(guī)模的實(shí)車測(cè)試也會(huì)耗費(fèi)巨量的資源并且可能會(huì)面臨未知的安全問題。aiSim這樣的虛擬仿真工具可以減輕真實(shí)世界測(cè)試的負(fù)擔(dān)。

AD和ADAS系統(tǒng)依靠閉環(huán)驗(yàn)證來確保安全性和性能。然而，實(shí)現(xiàn)閉環(huán)評(píng)估需要一個(gè)能夠準(zhǔn)確代表真實(shí)世界場(chǎng)景的3D環(huán)境。雖然這些3D環(huán)境可以由3D設(shè)計(jì)工程師手工構(gòu)建，但這種方案很難解決Sim2Real的差距并且在可擴(kuò)展方面存在一定的局限性。為此，本文為您介紹神經(jīng)重建如何打破限制，在自動(dòng)駕駛模擬中的具體應(yīng)用。

一、神經(jīng)渲染——彌合差距

神經(jīng)渲染可以利用深度學(xué)習(xí)技術(shù)來緩解這個(gè)問題，它可以從一個(gè)新的視角上逼真地渲染靜態(tài)（和動(dòng)態(tài)）環(huán)境。當(dāng)然這種方法也存在一定的優(yōu)劣點(diǎn)：

1、優(yōu)點(diǎn)：

（1）高保真的仿真質(zhì)量：神經(jīng)渲染可以產(chǎn)生幾乎和現(xiàn)實(shí)無異的場(chǎng)景，增強(qiáng)現(xiàn)實(shí)感。

（2）數(shù)據(jù)驅(qū)動(dòng)和可擴(kuò)展：這種方法具有可擴(kuò)展性，使其適用于實(shí)時(shí)應(yīng)用（如3D高斯?jié)姙R）。

2、缺點(diǎn)：

（1）分布外的對(duì)象：神經(jīng)渲染很難將分布外（即以前未見過的）的對(duì)象插入 3D 環(huán)境中。

（2）偽影對(duì)動(dòng)態(tài)物體的影響：偽影可能會(huì)影響動(dòng)態(tài)物體的外觀。

（3）幾何不一致：在深度預(yù)測(cè)中，可能會(huì)出現(xiàn)幾何不一致。

二、現(xiàn)有生成模型的挑戰(zhàn)

目前的生成模型能夠創(chuàng)建高度逼真的圖像和視頻，但它們?cè)趲讉€(gè)方面存在不足，例如:

（1）僅 2D 信息：這些模型不提供 3D 信息，僅在 2D 圖像空間中操作。

（2）射影幾何的空白：更多內(nèi)容請(qǐng)參見https://arxiv.org/abs/2311.17138

（3）有限的傳感器模態(tài):這些模型不能用于生成其他傳感器模態(tài)(例如，激光雷達(dá))。

總之，當(dāng)前的生成模型不適合汽車級(jí)驗(yàn)證。

三、康謀混合解決方案：集成式神經(jīng)重建

為了解決這些限制，aiSim5提供了一種混合方案。在成熟的基于物理的渲染方案中集成最前沿的神經(jīng)重建技術(shù)，使我們能夠在任意位置虛擬地插入動(dòng)態(tài)對(duì)象，調(diào)整環(huán)境條件，并渲染以前未見過的相機(jī)視角。

通過這種方式，我們能實(shí)現(xiàn)以下的功能：

1、虛擬動(dòng)態(tài)內(nèi)容插入：

（1）添加具有逼真光照和環(huán)境光遮蔽的動(dòng)態(tài)對(duì)象。

（2）模擬如雨、雪、霧等環(huán)境效果，以創(chuàng)建更多樣化的模擬場(chǎng)景。

2、多模態(tài)渲染：

（1）從任意相機(jī)視角生成精確的RGB圖像、深度圖和激光雷達(dá)強(qiáng)度圖（如下圖所示，第一行為GT）。

（2）未來的工作將包括語義分割掩碼和雷達(dá)仿真。

3、相機(jī)虛擬化:

（1）模擬各種虛擬相機(jī)設(shè)置，包括不同的相機(jī)的安裝和定向以及模型。

（2）下圖展示了模擬的前置魚眼（左）、前置廣角（中）和前置長(zhǎng)距（右）相機(jī)的渲染效果，這些圖像是通過一個(gè)沒有直接使用前置相機(jī)數(shù)據(jù)訓(xùn)練的模型生產(chǎn)的，也就是說，這些視角并沒有專門采集數(shù)據(jù)進(jìn)行訓(xùn)練。