李佳師

編者按：10月20日上午，2019世界VR產(chǎn)業(yè)大會(huì)“人工智能”分論壇召開(kāi)。本次活動(dòng)由上?？萍即髮W(xué)VR與視覺(jué)計(jì)算中心、疊境數(shù)字科技（上海）有限公司承辦，工業(yè)和信息化部電子第五研究所、江西優(yōu)聯(lián)投資發(fā)展有限公司協(xié)辦。本次活動(dòng)以“5G+AI重塑XR未來(lái)”為主題，對(duì)5G+AI將給VR/AR帶來(lái)趨勢(shì)變化進(jìn)行了深入的討論。

陳軍：

5G是驅(qū)動(dòng)力、AI是催化劑將給XR帶來(lái)顛覆性機(jī)遇

近年來(lái)，江西省委省政府高度重視VR產(chǎn)業(yè)發(fā)展，把推動(dòng)VR產(chǎn)業(yè)創(chuàng)新發(fā)展作為貫徹落實(shí)制造強(qiáng)省戰(zhàn)略的重要舉措，積極打造好世界VR大會(huì)這個(gè)世界級(jí)平臺(tái)，加強(qiáng)全球合作，構(gòu)建全新的VR格局。今年六6月，出臺(tái)了《江西省虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展規(guī)劃（2019-2023）》，明確VR產(chǎn)業(yè)發(fā)展目標(biāo)和重點(diǎn)，并列入了江西省2+6+N的行動(dòng)計(jì)劃，力爭(zhēng)到2023年左右，將VR產(chǎn)業(yè)打造成為超千億級(jí)的產(chǎn)業(yè)。江西省還出臺(tái)了加快推進(jìn)虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展的若干意見(jiàn)，涵蓋技術(shù)創(chuàng)新、推廣運(yùn)用、培養(yǎng)人才、融資扶持以及公共服務(wù)等五大領(lǐng)域，努力打造VR產(chǎn)業(yè)集群和創(chuàng)新高地。

在推進(jìn)產(chǎn)業(yè)發(fā)展方面，目前，南昌現(xiàn)已聚集VR產(chǎn)業(yè)近百家，與之相關(guān)的電子信息產(chǎn)業(yè)產(chǎn)值突破千億元，VR產(chǎn)業(yè)已成為江西省發(fā)展的強(qiáng)勁動(dòng)力。全球新一輪科技革命和產(chǎn)業(yè)變革蓬勃發(fā)展，新技術(shù)、新產(chǎn)品、新業(yè)態(tài)加速向各領(lǐng)域廣泛滲透，5G技術(shù)對(duì)經(jīng)濟(jì)社會(huì)發(fā)展乃至人類(lèi)社會(huì)帶來(lái)深刻的變革。作為引領(lǐng)未來(lái)戰(zhàn)略性技術(shù)，5G正全面賦能各行各業(yè)，并將進(jìn)一步釋放科技革命和產(chǎn)業(yè)變革積蓄的巨大能量，推動(dòng)社會(huì)生產(chǎn)力整體要素變革，將極大推動(dòng)XR產(chǎn)業(yè)的發(fā)展。同時(shí)，AI技術(shù)中的計(jì)算機(jī)視覺(jué)與追蹤，在XR領(lǐng)域的應(yīng)用已經(jīng)非常廣泛，但技術(shù)的發(fā)展不僅止于此，作為基礎(chǔ)設(shè)施的5G是驅(qū)動(dòng)力，AI是催化劑，在5G高速公路的帶動(dòng)下，XR應(yīng)用場(chǎng)景更加多樣的同時(shí)，三者互促式發(fā)展將為XR帶來(lái)顛覆性的機(jī)遇，為XR在更廣泛的應(yīng)用領(lǐng)域開(kāi)辟新天地。

王蘊(yùn)輝：

AI將在渲染、制作、交互方面促進(jìn)VR發(fā)展

隨著技術(shù)的發(fā)展，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)正加速向生產(chǎn)和各種領(lǐng)域滲透，在影視直播、游戲、教育、工業(yè)等領(lǐng)域，已經(jīng)有了應(yīng)用落地。一直以來(lái)，人工智能與虛擬現(xiàn)實(shí)兩大熱點(diǎn)領(lǐng)域融合發(fā)展，隨著計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等AI技術(shù)的不斷成熟，人工智能對(duì)于虛擬現(xiàn)實(shí)產(chǎn)業(yè)的推動(dòng)也日益顯著。主要體現(xiàn)在三個(gè)方面：一是渲染處理。深度學(xué)習(xí)的渲染成為人工智能在圖像渲染領(lǐng)域的重要?jiǎng)?chuàng)新。二是內(nèi)容制作。以真實(shí)用戶的虛擬化和三維重建為發(fā)展對(duì)象。進(jìn)一步增強(qiáng)VR內(nèi)容的交互性，以真實(shí)用戶為對(duì)象的虛擬化身成為近期的熱點(diǎn)，傳統(tǒng)方法依靠的是昂貴的設(shè)備和繁瑣的后期處理，新一代的方法是基于深度學(xué)習(xí)技術(shù)，通過(guò)學(xué)習(xí)知識(shí)可以從一個(gè)或者是多個(gè)二維頭像中，恢復(fù)物體的三維幾何和結(jié)構(gòu)，而無(wú)需復(fù)雜的過(guò)程。三是感知交互，通過(guò)結(jié)合計(jì)算機(jī)視覺(jué)與生理信號(hào)的反饋，打造虛實(shí)結(jié)合的體驗(yàn)。VR技術(shù)大大提升了VR的體驗(yàn)。

我們?nèi)绾螌?duì)VR/AR性能開(kāi)展評(píng)價(jià)？這也是我們今后需要研究的一個(gè)熱點(diǎn)方向?；谖覀儗?duì)技術(shù)、行業(yè)發(fā)展的調(diào)查和研究，我們?cè)O(shè)計(jì)了虛擬現(xiàn)實(shí)性能的評(píng)價(jià)體系，分別從交互性能評(píng)價(jià)以及用戶體驗(yàn)評(píng)價(jià)這幾個(gè)方面開(kāi)展工作?？偨Y(jié)來(lái)看，第一是AI極大地推動(dòng)了VR技術(shù)的發(fā)展，兩者的結(jié)合將會(huì)帶來(lái)更加深度、更加沉浸的體驗(yàn)。第二是VR/VR的評(píng)測(cè)技術(shù)，將為VR/VR產(chǎn)品的性能優(yōu)劣提供一個(gè)統(tǒng)一的評(píng)判標(biāo)準(zhǔn)。推進(jìn)AR/VR評(píng)測(cè)可以為行業(yè)的發(fā)展提供有力的支撐，未來(lái)，還我們還將開(kāi)展AI+VR的融合研究，優(yōu)化算法，豐富我們學(xué)習(xí)的樣本，完善VR/AR的性能評(píng)價(jià)體系。

基羅斯·庫(kù)圖拉科斯：主動(dòng)3D成像

將改善VR/AR

3D相機(jī)對(duì)于虛擬現(xiàn)實(shí)產(chǎn)業(yè)的發(fā)展有著非常重要的作用。3D相機(jī)其實(shí)和我們之前所使用的相機(jī)完全不同，這些3D相機(jī)可以測(cè)量距離，通過(guò)加工光線的強(qiáng)弱來(lái)測(cè)量照相的距離，并且可以對(duì)周邊的環(huán)境進(jìn)行一些測(cè)量。他們可以應(yīng)用到手機(jī)、耳機(jī)、眼鏡等里面，或者可以放在車(chē)上。我們所研發(fā)出的這個(gè)相機(jī)，能夠引入到很多的體系中，也就是我們稱(chēng)為主動(dòng)的3D成像，可以用在我們的經(jīng)濟(jì)體系中，使用這種主動(dòng)的3D成像技術(shù)之后，可以建立3D的成像體系。相機(jī)里面有不同的系統(tǒng)，它們?cè)谠O(shè)計(jì)的時(shí)候，就考慮可以應(yīng)用到很多復(fù)雜的應(yīng)用中。而且成本也可以有所控制。這些設(shè)備其實(shí)能夠使用不同的技術(shù)，高端的或者光速技術(shù)，以及使用商業(yè)的掃描技術(shù)，而且可以在很長(zhǎng)的距離中，實(shí)現(xiàn)3D成像。它的精度也很高，它的清晰度、分辨率都很高，能達(dá)到微米級(jí)。因?yàn)槭褂玫氖侨菧y(cè)量方式，它的準(zhǔn)確度很高，而且短距離和長(zhǎng)距離的攝影效果都非常好。這種相機(jī)目前是高端技術(shù)，它的價(jià)格可能會(huì)稍高，它可以將很多的3D的成像點(diǎn)進(jìn)行連接。

從消費(fèi)者的角度來(lái)說(shuō)，以前的相機(jī)可能比較便宜但是功能非常有限，所以以前的相機(jī)在一些高曝光率的情況下，攝像的結(jié)果并不好，尤其是太陽(yáng)很強(qiáng)烈的情況下。從消費(fèi)者的角度來(lái)說(shuō)，它也沒(méi)有辦法進(jìn)行掃描或者對(duì)于一些復(fù)雜材料進(jìn)行加工，這些加工的方式都不好。所以，為了能夠解決這些問(wèn)題，我和我的學(xué)生們希望能夠推進(jìn)3D成像，讓消費(fèi)者在使用相機(jī)的時(shí)候，解決他們所遇到的問(wèn)題，比如分辨率、拍攝的清晰度等都解決。

Jason Yang：

利用深度學(xué)習(xí)實(shí)現(xiàn)更少拍攝帶來(lái)更精準(zhǔn)重現(xiàn)

目前電影界使用AI技術(shù)已經(jīng)非常廣泛。隨著科學(xué)和技術(shù)的進(jìn)步，我們能夠從電影世界當(dāng)中感受到AI的進(jìn)步。除了電影，在現(xiàn)實(shí)生活中AI的應(yīng)用也非常多，包括生活中的機(jī)器人、虛擬現(xiàn)實(shí)的模擬等。當(dāng)我們希望將現(xiàn)實(shí)和虛擬世界重疊在一起時(shí)會(huì)有更多的挑戰(zhàn)。

而我們所做的技術(shù)，比如這個(gè)3D的游戲，游戲里面加了虛擬現(xiàn)實(shí)以后，能夠使得游戲變得更加有趣，比如臉書(shū)公司利用AI技術(shù)來(lái)更好地幫助企業(yè)發(fā)展和實(shí)現(xiàn)更多更好地人和人之間的互動(dòng)。

表情研究、表情分析在AI中的應(yīng)用以及VR中的應(yīng)用越來(lái)越廣泛。我們公司的業(yè)務(wù)之一是對(duì)表情進(jìn)行分析研究。在這個(gè)視頻中，我們看到被拍攝的人物是在動(dòng)的，所以在虛擬現(xiàn)實(shí)中對(duì)他進(jìn)行模擬重建是比較困難的，因?yàn)橛泻芏嗟膯?wèn)題。比如真人成像過(guò)程中，我們要看到頭發(fā)、皮膚、眼睛、嘴巴、脖子等，對(duì)這些真實(shí)的生物元素進(jìn)行處理很復(fù)雜，在渲染的過(guò)程中要花非常多的精力。傳統(tǒng)的3D三維的重塑，利用很多的攝像機(jī)，對(duì)準(zhǔn)要成像的真實(shí)人物進(jìn)行拍攝，然后進(jìn)行3D建模。這依然存在很多不足，因?yàn)楸M管放了足夠多的攝像機(jī)之后，依然有很多動(dòng)作、角度、肢體的信息無(wú)法精準(zhǔn)捕捉進(jìn)來(lái)，因?yàn)樯眢w有些部分是被遮擋住的。所以我們需要利用更多的數(shù)據(jù)來(lái)解決這些問(wèn)題。我們采用深度學(xué)習(xí)等技術(shù)進(jìn)行數(shù)據(jù)的分析和研究，同時(shí)與上海理工大學(xué)進(jìn)行合作，就可以使用更少的相機(jī)拍攝，捕捉到更多的畫(huà)面。我們也在和華為進(jìn)行合作，考慮是否可以使用相機(jī)，把現(xiàn)實(shí)中的人創(chuàng)造成一個(gè)虛擬的人。

馬修·德布倫：機(jī)器學(xué)習(xí)與粗?；芯?/p>

提升模擬精準(zhǔn)度

人工智能、虛擬現(xiàn)實(shí)可以在很多方面幫助我們進(jìn)行改進(jìn)，獲得提高。比如利用虛擬現(xiàn)實(shí)與人工智能結(jié)合進(jìn)行外科手術(shù)培訓(xùn)，可以幫助醫(yī)生提升以后手術(shù)的精準(zhǔn)度。比如我們通過(guò)人工智能、虛擬現(xiàn)實(shí)的方式進(jìn)行檢測(cè)、測(cè)試肝臟在進(jìn)行手術(shù)的種種情況，讓外科醫(yī)生了解在手術(shù)過(guò)程中怎么樣操作才能更好。

而要實(shí)現(xiàn)精準(zhǔn)的模擬，同樣會(huì)面臨很多困難，比如一個(gè)肝臟，我們?cè)谀M的過(guò)程中，會(huì)發(fā)現(xiàn)模擬出來(lái)的肝臟有點(diǎn)太柔軟，與實(shí)際人體肝臟的結(jié)構(gòu)不太一樣，精準(zhǔn)度受到了影響。因?yàn)槲覀冊(cè)谶M(jìn)行模擬的過(guò)程中，沒(méi)有辦法去確保所有肝臟的特性都能夠被我們收集，我們需要找到接近于肝臟組織的彈性，而平均彈性的掌控非常有挑戰(zhàn)。我們還應(yīng)用了不同的彈性材料，不同的彈性材料有不同的彈性，比如有線性彈性、同性彈性、縱向彈性、橫向彈性。通過(guò)不同的方式來(lái)實(shí)驗(yàn)來(lái)模擬，希望看清其中的變化。而從幾何學(xué)角度說(shuō)，我們必須簡(jiǎn)化，同時(shí)也要對(duì)物體進(jìn)行物理學(xué)的考量。比如說(shuō)肝臟，肝臟里面有很多的小血管，如果說(shuō)血管比較剛硬，就會(huì)導(dǎo)致我們所做的研究的結(jié)論不正確，因?yàn)槲覀冏龈闻K研究的時(shí)候，沒(méi)有將小血管考慮進(jìn)去。不管怎么說(shuō)，在做研究的過(guò)程中我們也考慮到不同類(lèi)型的參數(shù)。關(guān)于粗粒化的研究有很多方法，目前關(guān)于粗粒化的研究還遠(yuǎn)未完美，而且我也相信未來(lái)VR行業(yè)粗?；膽?yīng)用有非常廣泛的空間。通過(guò)機(jī)器學(xué)習(xí)，也可以幫助粗?；芯孔兊酶油晟?。所以，我認(rèn)為未來(lái)粗?；难芯亢蜋C(jī)器學(xué)習(xí)相結(jié)合，能夠?qū)⑦\(yùn)動(dòng)的精細(xì)化模擬做到更進(jìn)一步的提升。

赫蓮娜·派克：奧斯卡應(yīng)該有一個(gè)獎(jiǎng)項(xiàng)

頒給AR/VR

我們從出生之日起，就在尋找不同的方式展示我們是誰(shuí)，講述我們自己的故事，以一種無(wú)窮無(wú)盡的方式去講述，包括中國(guó)的京劇、好萊塢的電影，都是在尋找不同的方法來(lái)講述我們自己。在好萊塢正在創(chuàng)造一些工具來(lái)幫助我們講述自己的故事，比如讓相機(jī)變得更大更快，使之能夠捕捉我們的生活、動(dòng)作、情緒。我們從來(lái)都沒(méi)有停止繼續(xù)創(chuàng)造工具，來(lái)表達(dá)我們，比如繪畫(huà)工具，比如戴上VR眼鏡進(jìn)行繪畫(huà)，去創(chuàng)造和感受世界。

目前，一些知名導(dǎo)演或者影視創(chuàng)作人，都在使用AR技術(shù)，使用這種技術(shù)，把一個(gè)人的情緒轉(zhuǎn)化成AR智能的情緒。我們已經(jīng)可以通過(guò)人的表情，植入到不同的虛擬人物中，我們通過(guò)用CGI的方式，創(chuàng)造出人的骨架，讓他們可以移動(dòng)。通過(guò)人工智能，我們可以加入很多新的東西，推動(dòng)人建模的發(fā)展。我們希望通過(guò)數(shù)字人建模的方式，讓數(shù)字人物能夠讓像真正的人一樣有更多的話語(yǔ)和表達(dá)功能。

在虛實(shí)現(xiàn)實(shí)中，我們通過(guò)人工智能幫助我們塑造自然的環(huán)境，把人的情緒植入到虛擬世界中。比如《復(fù)仇者聯(lián)盟》，他們使用的就是渲染以及人工智能和塑造建模的方式，提升動(dòng)作上的相互匹配度、數(shù)字化人物的靈活度。目前，我們可以使用人工智能的方式把人和場(chǎng)景進(jìn)行分割，可以把人區(qū)分出來(lái)放在不同的場(chǎng)景中。還通過(guò)粒子的模擬方式，幫助我們進(jìn)行仿真，比如對(duì)火、煙、水進(jìn)行仿真，通過(guò)人工智能仿真可以看清火的特性、形狀，以人工智能的方式將其創(chuàng)造出來(lái)。我們希望縮短模擬仿真時(shí)間，也在致力于通過(guò)手機(jī)就能完成，加速我們擁有更多更好的VR方面體驗(yàn)感?；ヂ?lián)網(wǎng)已經(jīng)向我們開(kāi)放了創(chuàng)新機(jī)會(huì)，讓每一個(gè)人都能夠有機(jī)會(huì)通過(guò)使用互聯(lián)網(wǎng)以創(chuàng)新的方式來(lái)講述自己的故事，比如推特、抖音等。有AR/VR的幫助，好萊塢也會(huì)進(jìn)入到一個(gè)新的創(chuàng)新時(shí)代，所以?shī)W斯卡獎(jiǎng)也應(yīng)該頒給AR和VR。

松下康之：

3D傳感技術(shù)能夠更精準(zhǔn)地捕捉現(xiàn)實(shí)世界

3D傳感技術(shù)為什么如此重要？傳統(tǒng)的照片成像是通過(guò)光影來(lái)塑造形象和結(jié)構(gòu)。這些方法有好處，也有壞處，比如幾何圖形的方式，它可以塑造出你的整體結(jié)構(gòu)，但是它細(xì)節(jié)描述不夠，沒(méi)有辦法提供很多深入的信息。照片成像的方法可以幫助你找到很多細(xì)節(jié)的信息，但是只有細(xì)節(jié)信息，大體結(jié)構(gòu)并不是很清晰。

而表面法相技術(shù)，我們用幾何的方法設(shè)立結(jié)構(gòu)，通過(guò)表面法相傳感與幾何重塑的方法結(jié)合，能夠很好地為形狀做恢復(fù)，并且添加更加高分辨率的細(xì)節(jié)。我們通過(guò)不同的測(cè)量方式，在這個(gè)公式里，M代表測(cè)量，N代表測(cè)量的面有多少，L代表光源的方向，H代表的是表面法相的表面，B是反射率的功能，利用這樣的計(jì)算公式，最后光源成像，使用表面法相然后進(jìn)行立體渲染，會(huì)得到很好的成像效果。

深度神經(jīng)網(wǎng)絡(luò)有什么作用呢？光度學(xué)應(yīng)用在立體渲染其實(shí)是很復(fù)雜的一個(gè)技術(shù)，比如一些老圖像，要進(jìn)行重塑會(huì)要求有一些固定光源的方向，但是我們用了深度神經(jīng)網(wǎng)絡(luò)，就能夠很好地分析、提取、融合，能夠讓我們實(shí)現(xiàn)更精確的網(wǎng)絡(luò)化重建。

我們還有一些挑戰(zhàn)，尤其是進(jìn)行光學(xué)實(shí)驗(yàn)的時(shí)候。過(guò)去的方法都是在光源非常強(qiáng)勁的情況下進(jìn)行實(shí)驗(yàn)，而且光的垂直照射度非常高。事實(shí)上這是一種罕見(jiàn)光源和標(biāo)準(zhǔn)光源，但現(xiàn)實(shí)的情況卻千差萬(wàn)別，比如很多時(shí)候是近光，就像燈泡的光一樣，它照射出來(lái)的效果就不一樣，還有很多時(shí)候是無(wú)標(biāo)定光源，也很難測(cè)量，還有一些場(chǎng)景光照可能產(chǎn)生內(nèi)部的反射，也很難測(cè)量，還有的光源點(diǎn)照射到了物體上會(huì)產(chǎn)生折射和反射等，這種情況我們也無(wú)法進(jìn)行精準(zhǔn)的測(cè)量。所以我們需要新的光學(xué)測(cè)量法，需要3D傳感技術(shù)，來(lái)更精準(zhǔn)地捕捉現(xiàn)實(shí)世界，并將其數(shù)字化。