“科研的目的是要滿足現(xiàn)實的需求,不能總是關(guān)在實驗室里,要去市場摸爬滾打?!薄哿S度創(chuàng)始人趙天奇
把手機裝在VR(虛擬現(xiàn)實)頭盔上,將設(shè)備帶在頭上,眼前就出現(xiàn)了360度環(huán)狀影院,隨著視線的移動,模擬焦點落到其中一塊熒幕上,點擊側(cè)面的確認鈕,手機里的照片或視頻就能近距離地出現(xiàn)在眼前。
在被稱為“VR元年”的2016年,這樣的場景已不足為奇,但多為2D的顯示效果,離身臨其境還有很大距離,照片、視頻如此,游戲亦是如此,這正是VR發(fā)展所遇到的瓶頸之一。如何破解?趙天奇和他的聚力維度或許可以給出一些線索。
VR是最佳的3D觀影模式
在北京聚力維度科技有限公司(下文簡稱“聚力維度”)的實驗室,《小康》記者在VR頭盔中看到了一張一百多年前的日俄戰(zhàn)爭照片,與普通照片不同,這張照片是以3D方式呈現(xiàn)的,加上VR近距離的感官,照片桌子上的一根蠟燭仿佛唾手可得。
隨著虛擬焦點的確認,畫風(fēng)一轉(zhuǎn),變成了一只喘氣的小狗,起初它朝左邊看,突然轉(zhuǎn)過頭撲向了記者,記者下意識舉起了雙手,沒想?yún)s撲了個空?!斑@只小狗蹦過來的時候,我們資深的設(shè)計師也嚇了一跳。”聚力維度創(chuàng)始人兼CTO(首席技術(shù)官)趙天奇笑道。
3D VR甚至還進入了直播領(lǐng)域。畫風(fēng)又是一轉(zhuǎn),記者出現(xiàn)在2016年上海國際電影節(jié)的紅毯邊,佟大為正帶著他的萌寶在向觀眾招手,距離最近時他的手似乎也能摸到?!癡R頭盔是觀看3D視頻的天然方式,即便用360度的2D顯示方式也很難突顯出VR的特性?!壁w天奇強調(diào),“當(dāng)天我們就用這種3D的方式讓很多用戶參與了上海國際電影節(jié)?!?/p>
既然3D顯示與VR頭盔有如此高的契合度,為何市面上的產(chǎn)品卻不多呢?趙天奇的解釋是,并非是硬件技術(shù)不過關(guān),而是由于3D視頻拍攝的難度大、范圍窄、成本高而導(dǎo)致的內(nèi)容缺乏,這直接影響了用戶體驗。
“很多平臺提供的VR素材就幾百部,遠不及傳統(tǒng)影視幾十乃至上百萬的規(guī)模,有3D360度環(huán)繞的更是少之又少,因此有些平臺就通過設(shè)計家庭影院背景皮膚來彌補?!盫R資深玩家郭飛說道,“此外,3D視頻的數(shù)據(jù)量大,如果想體驗高畫質(zhì),網(wǎng)速跟不上,體驗就又打折扣了?!?/p>
盡管如此,市場對VR卻有著非常高的預(yù)期。根據(jù)中國電子信息產(chǎn)業(yè)發(fā)展研究院旗下賽迪智庫在9月7日發(fā)布的《虛擬現(xiàn)實產(chǎn)業(yè)與應(yīng)用發(fā)展白皮書》稱,2015年中國VR行業(yè)市場規(guī)模為15.4億元人民幣,預(yù)測2016年將達到56.5億元人民幣。
在如此利好形勢下,關(guān)鍵是盡可能多地增加觀眾與VR的黏合度,因此,相較于硬件設(shè)備,VR內(nèi)容被國內(nèi)企業(yè)寄予厚望,其中3D顯示是重要組成部分,這也是聚力維度的主攻方向?!斑@些年來我們都專注做一件事,即用人工智能的方式實現(xiàn)2D轉(zhuǎn)3D。”趙天奇補充道,“你之前在VR頭盔中看到的畫面都是用這種方式實現(xiàn)的?!?/p>
深度學(xué)習(xí)的“黑匣子”
其實,趙天奇最早想做的就是人工智能領(lǐng)域,然而,當(dāng)深入了解當(dāng)時的發(fā)展動態(tài)后,他發(fā)現(xiàn)人工智能延續(xù)的是腦科學(xué)純生物的研究路線,短時間內(nèi)很難應(yīng)用于實際生產(chǎn)中,而他最想做的是能把科研成果快速應(yīng)用于產(chǎn)業(yè)中,滿足人類發(fā)展的需求。因此,他把注意力轉(zhuǎn)到了人類獲取信息的最主要方式——視覺成像。2008年,他選擇了全息圖像作為其研究生主攻方向。
很快,他就發(fā)現(xiàn)全息圖像雖然能把真實目光還原,但并不如3D顯示的效果,在經(jīng)過一番斟酌后,他把方向定為了3D顯示與3D處理?!斑@個領(lǐng)域還有一點吸引我的是它的活躍度,古人說‘眼見為實’,只要能把真東西拿出來給大家看,大家就服,發(fā)展非???。”趙天奇笑道。
2009年電影《阿凡達》的火爆讓全球影迷感受到了3D成像的魅力,這給了趙天奇極大的鼓舞,觸動了他內(nèi)心的一根弦?!拔易隹蒲械哪康氖且獫M足現(xiàn)實的需求,不能總是關(guān)在實驗室里,要去市場摸爬滾打?!壁w天奇回憶道,“3D技術(shù)包括顯示、傳輸、處理、交互,是一個巨大的產(chǎn)業(yè)?!蓖?,他創(chuàng)立了自己的工作室,次年成立了公司。
進入市場后,趙天奇發(fā)現(xiàn)一方面由于3D顯示是新興技術(shù),很多鏡頭拍攝不了,另一方面,已有的2D拍攝產(chǎn)業(yè)鏈已經(jīng)非常成熟,攝影師、調(diào)色師、剪輯師等各環(huán)節(jié)的角色轉(zhuǎn)換需要很長時間,再加上成本高、投人大,導(dǎo)致市場上70、8%的3D顯示都是由2D轉(zhuǎn)換而來的。
“不同于人臉識別,3D顯示要求對每個畫面的每個像素值都要給出答案,就是對全圖的反饋。”趙天奇強調(diào),傳統(tǒng)的2D轉(zhuǎn)3D技術(shù)主要分為4步,即圖像分割、深度繪制、補圖以及合成,如果每一道工序都是人工操作,那合在一起的人工成本將非常高,如果讓其自動完成,哪怕僅僅是一道工序,也能大大降低成本。
于是,趙天奇帶領(lǐng)他的團隊開始絞盡腦汁研發(fā)相關(guān)技術(shù),2011年,他們發(fā)現(xiàn)補圖這一步可以通過圖像技術(shù)自動完成,隨著這項技術(shù)的攻克,他們也注冊了自主知識產(chǎn)權(quán)。
機會是留給有準備的人,當(dāng)年正好有一部動畫片《鄭和魔海尋蹤》需要大量的補圖,他們就帶著自己的技術(shù)參與投標(biāo)。當(dāng)時,一同競爭的還有日本白組動畫制作公司,白組公司為了進入中國市場,它的報價甚至比本國還要低。然而,由于他們主要依靠人工進行補圖,最終的報價依然比趙天奇團隊報價高很多。再加之本土的優(yōu)勢,趙天奇團隊順利拿下了標(biāo)的。
一時的成功更促使趙天奇他們砥礪前行,“我們的基因決定我們要不斷研發(fā),核心競爭力不能受制于人?!壁w天奇強調(diào),“既然我們能寫代碼,就要走自己的路,不能讓我們天馬行空的想法被條條框框給束縛住?!彪S后,他們將更多力量投入到了研發(fā)上。
自動補圖僅僅解決了一個環(huán)節(jié)的問題,還有三個環(huán)節(jié)怎么辦?其實第一步的圖像分割是最耗人工的,而且立體程度越高意味著分割越細。“我們也找過很多圖像方面的技術(shù),但都是看起來很美,卻解決不了生產(chǎn)力的問題?!壁w天奇皺眉道,比如一片樹葉,在實驗室里用前沿技術(shù)很容易實現(xiàn)景深分割,而且效果非常炫麗,但關(guān)鍵問題是影視作品內(nèi)容的無規(guī)律性可能讓整部電影都沒有一片樹葉?!斑@樣的例子還有很多,這是傳統(tǒng)圖形圖像學(xué)的一個死門?!壁w天奇苦笑道,“還不如一個讓人工操作不需等待的實時顯示算法實用?!?/p>
難道就沒有自動轉(zhuǎn)換的方法了嗎?彼時,趙天奇回憶起了2008年的一篇論文,文章通過統(tǒng)計的方法,在數(shù)學(xué)建模上已經(jīng)實現(xiàn)了圖像的自動轉(zhuǎn)換。然而,當(dāng)他把這篇文章翻出來應(yīng)用于實踐時,對于某一個小類別圖像成像確實3d效果很好,但當(dāng)圖像元素過多,這種基于概率的方式再次進入了死門。
到處碰壁并沒有讓他們喪失信心,他們想到了最初的興趣點:人工智能。“深度學(xué)習(xí)”的概念隨之進入了視野。早在2006年,有關(guān)深度學(xué)習(xí)的論文就已經(jīng)發(fā)表,但到2009年才逐漸形成了影響力,2012年深度學(xué)習(xí)在計算機圖像處理競賽中的應(yīng)用更讓其備受關(guān)注?!吧疃葘W(xué)習(xí)底層算法的趨勢就是為了解決未知的、沒有設(shè)定好的元素,這不正好破了那道死門嗎?”趙天奇興奮地說道。
如同發(fā)現(xiàn)獵物的獵人,趙天奇帶領(lǐng)他的團隊立即著手對深度學(xué)習(xí)進行跟進學(xué)習(xí)和研發(fā),經(jīng)過一年多時間,終于在2014年底實現(xiàn)了第一張全圖的自動轉(zhuǎn)換。2015年初,第一個有生產(chǎn)價值的模型研發(fā)成功,他們親切地稱它為“機器立體設(shè)計師”,并將其命名為“崢嶸一號”?!皪槑V一號”第一次的視頻轉(zhuǎn)制測試大大超出了他們的預(yù)期,但在細節(jié)部分還滿足不了消費者的要求。于是,聚力維度進一步深挖,2015年年終,“崢嶸—號”最終成型。
“深度學(xué)習(xí)就像一個黑匣子,我們也不知道最終會出現(xiàn)什么效果?!壁w天奇說道。有一次,“崢嶸一號”在轉(zhuǎn)換圖像時,在一幀畫面中突然蹦出一個人影,技術(shù)人員都認為這是計算錯誤,因為在原畫面中并沒有看到這個人,后來通過調(diào)高對比度才發(fā)現(xiàn),原來他藏在原畫中的陰影里。
“深度學(xué)習(xí)的效果大家有目共睹,目前已經(jīng)達到了準商業(yè)的門檻?!壁w天奇笑道,如今,“崢嶸二號”已經(jīng)誕生,“崢嶸三號”也在研發(fā)中,隨著“崢嶸”系列的發(fā)展,聚力維度已完成了第一部2D轉(zhuǎn)3D的電視劇,并將投放人VR平臺的內(nèi)容庫中。未來,聚力維度還將進一步用深度學(xué)習(xí)技術(shù)精耕2D轉(zhuǎn)3D產(chǎn)業(yè)鏈。
產(chǎn)學(xué)研注入勃勃生機
學(xué)習(xí)創(chuàng)業(yè)兩不誤。在創(chuàng)業(yè)過程中,趙天奇還順利地拿到了北京郵電大學(xué)博士學(xué)位并進入清華大學(xué)做博士后。“別看我開公司好像不務(wù)正業(yè),實際上,無論是在高校,還是在企業(yè),我都是在做同一件事,技術(shù)研發(fā)?!壁w天奇笑道。
如今,聚力維度依然保持著與北郵、清華以及澳大利亞阿德萊德大學(xué)等高校的緊密合作?!霸缭?009年我創(chuàng)業(yè)的時候,就寫下了一個簽名:做而不學(xué)則淺,學(xué)而不做則浮。”趙天奇回憶道。為了接地氣,趙天奇經(jīng)常與產(chǎn)業(yè)界的同人交流挖掘用戶需求,為了掌握最前沿的技術(shù)和動態(tài),他不斷閱讀最新的論文成果并與高??蒲袌F隊探討?!罢怯羞@樣的信念讓我時刻牢記自己的核心競爭力?!?/p>
清華大學(xué)自動化系戴瓊海教授帶領(lǐng)的團隊是聚力維度的重要合作伙伴,他們非常認可這種合作?!爱a(chǎn)學(xué)研是一種很好的高校與產(chǎn)業(yè)界合作的模式?!贝鳝偤F隊的核心成員徐楓博士說道,“對于工程學(xué)科,研究的本質(zhì)目的是為產(chǎn)業(yè)服務(wù),如果長期不能與產(chǎn)業(yè)結(jié)合,就背離了本質(zhì)目標(biāo)。”
產(chǎn)學(xué)研的核心是對變化的快速反應(yīng),因此,聚力維度非常推崇扁平化管理,趙天奇在公司的主要辦公位就設(shè)在研發(fā)中心,他的獨立辦公室也經(jīng)常處于開放狀態(tài)。“我們的競爭力是高科技,現(xiàn)在高科技領(lǐng)域百花齊放,變化非??欤虼耍瑘?zhí)行力非常關(guān)鍵?!壁w天奇表示,“我們會選擇扁平化的制度一直走下去?!?/p>
正是有這樣的理念和制度,在與清華大學(xué)合作的過程中,雙方基本沒有磨合期。“雙方本身就有非常好的互信基礎(chǔ),就是要把清華最前沿的新媒體和人工智能技術(shù)送出象牙塔,連接最真實的需求,創(chuàng)造最大的價值?!毙鞐髡f道。
隨著產(chǎn)學(xué)研的推進,雙方都獲得了巨大的收獲,清華大學(xué)的團隊因為市場對真實場景的需求而激發(fā)出了很多靈感,釋放了更大的科研潛力,不僅實現(xiàn)了諸多人工智能和VR領(lǐng)域的科研突破,也修整了諸如圖像深度估計研究等產(chǎn)業(yè)前端的算法。
而這樣的碰撞也讓聚力維度產(chǎn)生了對VR領(lǐng)域獨到的理解和認知?!盁o論VR還是AR,從本質(zhì)上講,它們都在顛覆人和世界的關(guān)系。”趙天奇分析道,“在科幻小說中,有神經(jīng)元與電腦相連接通世界的橋段,這畢竟離我們太過遙遠。改變這種關(guān)系的主要路徑是修改現(xiàn)實世界,球幕電影、主題樂園都是如此,但成本非常高,難度非常大。相對而言,可穿戴設(shè)備則是最簡單的方式,VR就是用視覺顛覆了這種關(guān)系,這不是一個具體的行業(yè),很可能要覆蓋所有行業(yè)。學(xué)習(xí)成本非常高,怎么辦?用虛擬現(xiàn)實。去不了美國、法國,怎么辦?戴上VR頭盔就好了。這將釋放多大的生產(chǎn)力?形成多大的需求?”