芯耀
178
進軍“元宇宙”第一步，先造個虛擬人。
注意，虛擬數(shù)字人已經(jīng)開始“入侵”我們的生活了！
不知道你有沒有發(fā)現(xiàn)，我們的生活中出現(xiàn)了不少虛擬數(shù)字人的身影。9月22日，小紅書推出了“潮流數(shù)字時代”計劃，推廣一批虛擬數(shù)字人作為博主發(fā)布筆記；B站專門為虛擬主播開設(shè)了分區(qū)；湖南衛(wèi)視的小漾將作為首個虛擬主持人出現(xiàn)在電視屏幕上，這些信息都透露著虛擬數(shù)字人市場正在升溫。
▲虛擬數(shù)字人CELIX走秀現(xiàn)場
不僅如此，近一個月在科技圈內(nèi)不但有OPPO發(fā)布了自己的首個虛擬數(shù)字人小布，而且騰訊也推出了3D超寫實等五種數(shù)智人，國外英偉達甚至還“偷偷”造了個迷你版的黃世勛——虛擬數(shù)字人Toy-Me。
▲從左到右分別為英偉達Toy-Me；OPPO虛擬數(shù)字人小布；騰訊五款數(shù)智人；樂華娛樂旗下的虛擬偶像女團A-SOUL
這些形態(tài)各異的虛擬形象都屬于虛擬數(shù)字人嗎？事實上目前行業(yè)內(nèi)關(guān)于虛擬人、數(shù)字人又或者是虛擬數(shù)字人這些概念，還處于一個各自為戰(zhàn)的狀態(tài)。
目前，比較官方的定義來自中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟首次發(fā)布的《2020年虛擬數(shù)字人發(fā)展白皮書》報告。報告提到，虛擬數(shù)字人指具有數(shù)字化外形的虛擬人物，將依賴顯示設(shè)備存在，并且擁有人的外貌（長的像人）、人的行為（能說話、能舉手、能做鬼臉）以及人的思想（能與人交流）。
有行業(yè)報告顯示，2020年中國虛擬數(shù)字人行業(yè)市場規(guī)模約2000億元，未來隨著市場接受度拓寬，2030年中國虛擬數(shù)字人市場規(guī)模將達2700億元。
虛擬數(shù)字人不但成為科技公司角逐的藍海市場，而且也成為文娛行業(yè)“接軌”元宇宙的新方向。虛擬數(shù)字人到底指什么？它的背后有哪些技術(shù)成為支撐？虛擬數(shù)字人真的會是元宇宙賽道的新風口嗎？
帶著這些問題，智東西與國內(nèi)動捕巨頭公司諾亦騰CEO戴若犁、虛擬數(shù)字人公司創(chuàng)幻科技CEO陳堅等相關(guān)的行業(yè)人士進行了深入交流，看到了虛擬數(shù)字人背后的技術(shù)支撐和落地情況。
01.真假虛擬數(shù)字人，你分得清嗎？
談起虛擬數(shù)字人，你的腦海里會呈現(xiàn)出誰的樣子，是出現(xiàn)在春晚上的虛擬歌姬洛天依，還是清華的虛擬學生華智冰，又或者是你手機里軟萌可愛的虛擬語音助手，甚至還有可能是B站上唱跳俱佳的虛擬主播們。
▲不同類型的虛擬數(shù)字人代表
虛擬數(shù)字人系統(tǒng)一般情況下由人物形象、語音生成、動畫生成、音視頻合成顯示、交互5個模塊構(gòu)成，其中，人物形象分為卡通、擬人、寫實、超寫實等風格，像虛擬網(wǎng)紅翎Ling這類就屬于超寫實虛擬人，而交互模塊中可以分成交互型虛擬數(shù)字人和非交互型虛擬數(shù)字人。
▲智東西整理 來源：《2020年虛擬數(shù)字人發(fā)展白皮書》
根據(jù)虛擬數(shù)字人不同的核心交互方式，虛擬數(shù)字人分為智能驅(qū)動型虛擬數(shù)字人和真人驅(qū)動型虛擬數(shù)字人。
智能驅(qū)動型虛擬數(shù)字人是以深度學習技術(shù)為主，本質(zhì)上還是某種算法，但會擁有一個定制化的虛擬外表。他們主要以“數(shù)字化”為核心，像是初音未來、小布以及華智冰分別在文娛、語音助手、教學領(lǐng)域應(yīng)用的成果。
▲英偉達CEO黃世勛的虛擬形象Toy-Me正在與人交流
真人驅(qū)動型虛擬數(shù)字人是以真人為核心，用戶可以通過3D建模、動作捕捉技術(shù)、渲染等技術(shù)，在網(wǎng)絡(luò)上形成一個自己的虛擬化身。比如說，B站里的部分虛擬主播們通過動作捕捉平臺，建立自己的虛擬形象，并以虛擬形象的方式與其他用戶互動或者表演。
在創(chuàng)幻科技CEO陳堅看來，只有能完成實時互動的才能稱的上是虛擬數(shù)字人。“現(xiàn)在一些虛擬數(shù)字人的概念還是通過視頻和照片為主，這種不能算作真正的虛擬數(shù)字人。”他同時還說道，只要具有實時互動功能的數(shù)字人都有價值空間，也會成為元宇宙的重要組成部分。從短期來看，智能驅(qū)動型虛擬數(shù)字人，像虛擬客服、虛擬主持人、虛擬導游都在企業(yè)市場擁有廣泛的應(yīng)用空間，但是從長遠的爆發(fā)力來說，以真人驅(qū)動的虛擬數(shù)字人才是元宇宙的核心入口。他舉了個例子，日本Virtual Market用了三年的時間舉辦了六屆虛擬漫展，參與人數(shù)遠高于國內(nèi)的China Joy動漫展。“未來每個人都會在3D互聯(lián)網(wǎng)中擁有自己的虛擬身份，當大家可以開始虛擬逛街、虛擬逛展時，就會擁有（比智能驅(qū)動型數(shù)字人）更大的應(yīng)用空間”。
講完了虛擬數(shù)字人的基本概念，我們來看看虛擬數(shù)字人究竟是什么樣子？
在虛擬數(shù)字人剛起步的階段，由于渲染技術(shù)、網(wǎng)速等原因常常會出現(xiàn)虛擬數(shù)字人突然“死機”，又或者呈現(xiàn)表情生硬、肢體不協(xié)調(diào)等情況，導致虛擬數(shù)字人往往都走在各類“翻車”的路上。
比如說，在天氣預報的直播現(xiàn)場虛擬主持人突然360度來了個失敗的“托馬斯全旋”。
又或者是這樣，在虛擬偶像綜藝現(xiàn)場，由于計算能力和渲染能力的不足，幾個虛擬偶像突然開始表演“千手觀音”，場面一度很鬼畜。
▲國內(nèi)虛擬偶像綜藝直播現(xiàn)場
從這些事故畫面中能看到，盡管虛擬數(shù)字人已經(jīng)在不同領(lǐng)域擁有了自己的應(yīng)用場景，但是在技術(shù)上還仍未成熟。后來，隨著研發(fā)人員不斷嘗試新的技術(shù)，尤其是在動作捕捉技術(shù)上的突破，現(xiàn)在的虛擬數(shù)字人可以借助VR設(shè)備，與用戶實時互動交流，不但能唱歌聊天，還能跳舞，在互動上呈現(xiàn)了多樣的方式。
▲虛擬偶像遠程互動
比如說，用戶可以通過佩戴VR設(shè)備（左上角），直接與虛擬偶像泠鳶yousa實時互動。而上面這個二次元人物的背后，正是虛擬泠鳶yousa佩戴者相應(yīng)的動捕設(shè)備，做出相應(yīng)的舉動。我們可以看到，虛擬數(shù)字人目前可以簡單分為以真人驅(qū)動和以數(shù)字驅(qū)動的兩種形式。其中，以真人驅(qū)動的虛擬數(shù)字人逐步克服了此前的肢體語言單一，面部表情單一等特點，開始擁有更加活靈活現(xiàn)的數(shù)字形象。據(jù)目前落地的結(jié)果來看，打造一個虛擬數(shù)字人，不僅在創(chuàng)建準備環(huán)節(jié)有所難度，而且如何在多個虛擬人演出的時候?qū)崿F(xiàn)實時渲染、以及及時調(diào)整人物渲染的細節(jié)等方面同樣面臨著一定的挑戰(zhàn)。
02.打破兩大技術(shù)壁壘虛擬數(shù)字人如何更像“人”？
倒退十年，你如果想給自己打造一個虛擬形象，可能需要花費數(shù)十萬元去買專門的設(shè)備，聘請專門的拍攝團隊才能擁有一個活靈活現(xiàn)的虛擬形象，但現(xiàn)在你可能通過一臺電腦就能為自己打造一個簡易的虛擬化身。
B站CEO陳睿在嗶哩嗶哩周年演講時提到，在過去的一年里共有超過32000名虛擬主播在B站開播，同比增長40％，虛擬主播已經(jīng)成為B站直播領(lǐng)域增長最快的品類。
這一切都要歸功于研發(fā)人員在制造虛擬數(shù)字人的兩大重要環(huán)節(jié)——動作捕捉技術(shù)和渲染技術(shù)上做出的突破。
▲B站虛擬主播分區(qū)
1、解構(gòu)四大動作捕捉方案，最高可實現(xiàn)毫米級誤差
如何讓虛擬數(shù)字人更加生動？動作捕捉方案是其中的關(guān)鍵要點。動作捕捉是指通過數(shù)字手段記錄現(xiàn)實人們的運動過程。過去的一些科幻電影和游戲中，人們常常通過基于攝像機的動作捕捉系統(tǒng)完成對于一些科幻角色的塑造。同時，動作捕捉系統(tǒng)根據(jù)實現(xiàn)原理的不同，可以分成光學動作捕捉、慣性動作捕捉、Track設(shè)備+IK算法的動作捕捉、以人工智能為主的動作捕捉方案。
光學動作捕捉方案是當動捕演員在特定的部位粘上特殊材料，攝像機通過反光來捕捉這些特殊材料的位置變化，從而完成對演員的動作捕捉。
目前，光學動作捕捉方案能通過高幀率的捕捉，實現(xiàn)毫米級誤差精度，能對人物動作還原最為精細，但這類捕捉方案對于背景環(huán)境的要求較高，技術(shù)門檻也同樣較高。
▲光學動作捕捉技術(shù)
在光學動作捕捉設(shè)備和方案上，國內(nèi)外都涌現(xiàn)出一些較為優(yōu)秀的公司代表，比如說影視動捕巨頭VICON公司以及國內(nèi)利亞德集團下的北京虛擬動點科技有限公司。
北京虛擬動點科技有限公司的成立與美國光學巨頭公司NaturalPoint離不開關(guān)系。利亞德集團在2016年11月4日宣布，計劃通過旗下的子公司平達公司，以8.44億元人民幣全資收購了美國光學巨頭公司NaturalPoint，同時也收下了其旗下OptiTrack產(chǎn)品系列，隨后成立了北京虛擬動點科技有限公司。
OptiTrack的光學動作捕捉方案可以通過兩個以上的高速智能攝像頭對于移動目標進行定位，并記錄相應(yīng)數(shù)據(jù)，從而“復現(xiàn)”人物的動作和表情。
據(jù)利亞德集團COO、虛擬動點董事長姜毅介紹，當兩個人戴上VR眼鏡進行傳球動作，OptiTrack運動捕捉系統(tǒng)可以及時抓取一人動作，并傳送到另一個人的VR眼中，整個傳輸過程中，OptiTrack實現(xiàn)了高精度、低延遲、以及穩(wěn)定可靠的傳輸過程。
而慣性動作捕捉方案，主要是通過人物在各個關(guān)鍵佩戴的慣性傳感器，并且對一些主要的部分進行實時測量，是比較主流的動作捕捉方案之一。
我們常見的動作捕捉服、手套等設(shè)備都是屬于這類慣性動作捕捉范圍內(nèi)。
▲《指環(huán)王》動作捕捉演員Andy Serkis
甚至現(xiàn)在也出現(xiàn)了人們通過慣性動作捕捉技術(shù)打造一個虛擬數(shù)字人來直播帶貨。
▲卡通形象的虛擬數(shù)字人直播帶貨現(xiàn)場
在慣性動作捕捉技術(shù)的賽道里，國內(nèi)廠商諾亦騰、國外廠商XSens都擁有比較成熟的產(chǎn)品。其中，諾亦騰通過全身17節(jié)點慣性傳感器、全身綁帶、傳感器充電盒以及EVA便攜箱等組成部分打造了入門級無線動作捕捉系統(tǒng)Perception Neuron 3。
第三種則是以Track設(shè)備+IK算法的動作捕捉方案，主要通過Track設(shè)備以及IK算法相結(jié)合，模擬出一定的動作姿態(tài)。這種動作捕捉方案在一些消費級的產(chǎn)品上運用較多，也頗受硬核技術(shù)流玩家們的喜愛，他們可以搭建自己的動作捕捉設(shè)備方案。此前，英國實時動作捕捉技術(shù)開發(fā)商IKinem也基于這樣的模式推出了Orion 2.0產(chǎn)品，該產(chǎn)品通過與不同的硬件設(shè)備兼容，實現(xiàn)跟蹤數(shù)字化身的全身運動軌跡，后來該公司以及其產(chǎn)品線被蘋果收購。最后一種則是近期大火的以人工智能為核心的動作捕捉方案，借助設(shè)備上自帶的攝像頭，如iPhone里搭載的深感攝像頭實現(xiàn)面部捕捉功能，并且通過深度學習，訓練算法將2D圖像轉(zhuǎn)換成3D圖像，從而讓一些坐著的主播可以擁有一個活靈活現(xiàn)的虛擬形象。由于這種動作捕捉方案對硬件要求較低，多數(shù)依靠軟件層的算法，因此具有較為廣泛的應(yīng)用空間和利潤空間。
▲以人工智能為核心的面部捕捉技術(shù)方案
“如果對自由度和視角的要求不高的話，這類基于計算機視覺關(guān)鍵點識別的動捕方案，會是消費者和從業(yè)者比較容易接觸到的，因為不會涉及到新的成本，好一點的手機上的攝像頭就可以實現(xiàn)基礎(chǔ)的身體與面部捕捉”，國內(nèi)動捕巨頭公司諾亦騰CEO戴若犁說道。
對于動作捕捉技術(shù)未來的發(fā)展，戴若犁提到，之前動作捕捉系統(tǒng)主要是面對科研、影視等專業(yè)領(lǐng)域，因此，在系統(tǒng)復雜度以及成本上基本上不太適用消費級市場。“在大家都過了新鮮勁之后，如果虛擬人賽道不再適用于消費者市場的話，未來的動捕技術(shù)還是會為面向?qū)I(yè)領(lǐng)域的從業(yè)者服務(wù)”。
2、主打Unreal和Unity渲染引擎，顏值和交互性成虛擬數(shù)字人渲染關(guān)鍵
除此之外，當人們通過不同的設(shè)備記錄下自己的動作方案之后，還需要通過渲染引擎，對毛發(fā)、衣物等細節(jié)盡量還原。如果單從引擎性能上來說，游戲領(lǐng)域的渲染引擎達到最好的渲染效果。目前，國內(nèi)虛擬數(shù)字人主要通過Unreal、Unity游戲引擎對人物形象進行渲染。
據(jù)陳堅介紹，渲染成果主要關(guān)注好看和好用兩個方面。其中，好看是指視覺效果上能做到什么樣的精細程度，而好用功能上，首先要考慮多個角色同臺時渲染的效果，在直播過程中能否及時調(diào)整細節(jié)。“這些才是決定你的虛擬數(shù)字人產(chǎn)品化程度的關(guān)鍵”。
同時，據(jù)國外媒體報道，Epic Games推出了云端流式應(yīng)用MetaHuman Creator，可以讓用戶在一小時時間內(nèi)，不但能實現(xiàn)實時動作捕捉，還能完成人物的渲染，讓用戶可以輕松上手創(chuàng)建虛擬數(shù)字人。
總而言之，目前的虛擬數(shù)字人主要依靠光學動作捕捉、慣性動作捕捉、Track設(shè)備+IK算法動作捕捉方案和以人工智能為核心的動作捕捉方案為主。并且，在渲染引擎上，廠商們主要通過Unreal、Unity完成人物渲染，在時間成本上也將渲染的時間縮短到一兩天左右。
03.制造難、交互難、成本高 虛擬數(shù)字人爆發(fā)還需解決三大難題
近期，元宇宙概念爆火，不少行業(yè)人士提到元宇宙的落地可能會分為幾個階段，其中用戶的數(shù)字分身可能會在第一階段率先落地，因為無論是在虛擬世界里還是在物理世界中，人都是不可缺少的組成部分。
盡管目前虛擬數(shù)字人賽道上已經(jīng)逐漸升溫，但距離虛擬數(shù)字人賽道爆發(fā)還差了一些“火候”，比說在制造門檻等問題上，虛擬數(shù)字人發(fā)展仍然面臨一些挑戰(zhàn)。
一方面，虛擬數(shù)字人的制造門檻仍是將絕大部分的用戶拒之門外，不但無法讓虛擬數(shù)字人賽道擁有更多樣的玩法，同時也無法創(chuàng)造新的價值空間。
另一方面，降低硬件的成本門檻也同樣重要。在交流的過程中，陳堅告訴智東西為什么動作捕捉設(shè)備價格這么高。他談到盡管看起來近期虛擬數(shù)字人概念比較火熱，但產(chǎn)業(yè)上并沒有太大的改變。戴若犁也同樣提到這一點。他認為，現(xiàn)在市場上并沒有成功的案例來證明虛擬數(shù)字人賽道存在一種可行的商業(yè)模式。“多數(shù)虛擬數(shù)字人還處于創(chuàng)新的階段，主要依托于現(xiàn)有真人已經(jīng)摸索出的商業(yè)模式。”
“我覺得當虛擬人市場的活躍用戶數(shù)量達到上萬，甚至是數(shù)十萬，并且有相當比例的用戶愿意為虛擬人二次復購的時候，虛擬人市場才能稱上有比較穩(wěn)定的商業(yè)模式。”
他舉了個例子，當某個虛擬數(shù)字人群體擁有上萬的用戶群體，每次某個虛擬人開播可以有百人左右的在線用戶，并且能拿下五十個左右的訂單。當這種商業(yè)模式可持續(xù)發(fā)展時，虛擬數(shù)字人的商業(yè)模式才算成功。
此外，VR/AR設(shè)備將會為虛擬數(shù)字人帶來全新的交互方式。陳堅提到，“虛擬數(shù)字人可能會成為元宇宙的入口，因為只有當人人都擁有虛擬數(shù)字人之后，元宇宙才初見雛形”。
但在這其中，VR設(shè)備將是連接虛擬數(shù)字人和元宇宙之間的重要橋梁。“當我們通過VR/AR設(shè)備把社交聊天、劇本殺這類活動移到在虛擬空間完成，并且所有的用戶都能擁有自己的虛擬分身時，元宇宙可能會迎來一輪新的爆發(fā)。”
04.結(jié)語：虛擬數(shù)字人能成為元宇宙的“入口”嗎？
根據(jù)現(xiàn)有的資料看來，虛擬數(shù)字人在概念上、商業(yè)盈利模式上以及市場規(guī)模上都處于比較早期的階段。無論是動作捕捉技術(shù)，還是渲染技術(shù)方面，如今的虛擬數(shù)字人行業(yè)仍是面對企業(yè)市場為主，但部分業(yè)務(wù)也開始嘗試在C端市場落地。
盡管虛擬數(shù)字人領(lǐng)域借著元宇宙熱潮逐漸升溫，但是目前并沒有一個真正圍繞虛擬人衍生出的新的商業(yè)模式成功運行。各路巨頭的涌入將推動虛擬數(shù)字人的商業(yè)模式更加清晰，同時，有著相關(guān)技術(shù)積累的虛擬人公司也將為元宇宙的生態(tài)發(fā)展提供技術(shù)基石。虛擬數(shù)字人能否在創(chuàng)造出自己在下一代互聯(lián)網(wǎng)的新玩法，最先為元宇宙創(chuàng)造一個“入口”？我們期待著“人人都可虛擬化”的時代，會帶來新的驚喜。本文福利：在人工智能、虛擬現(xiàn)實等新技術(shù)浪潮的帶動下，以虛擬主播、虛擬員工等為代表的數(shù)字人成功進入大眾視野，并以多元的姿態(tài)在眾多領(lǐng)域大放異彩。
作者 | 徐珊
編輯 | 云鵬
