10月20日,由中國電子信息產(chǎn)業(yè)發(fā)展研究院主辦的“第一屆中國人工智能技術(shù)與應(yīng)用大會暨人工智能60周年頒獎典禮”在北京舉行。
“人工智能立體設(shè)計師崢嶸”為還原視覺本真、推動產(chǎn)業(yè)革新做出重大貢獻(xiàn),評獎組委會授予“中國人工智能技術(shù)創(chuàng)新獎”。
一直以來,機器視覺都被看作人工智能領(lǐng)域的一大難點。深度學(xué)習(xí)的發(fā)展將人工智能及其在各行業(yè)的應(yīng)用,推向了一個全新的高度。
“崢嶸”便是將深度學(xué)習(xí)與產(chǎn)業(yè)需求相結(jié)合,在機器視覺領(lǐng)域的一項重大突破。
機器的藝術(shù)直覺
嚴(yán)格意義上,“崢嶸”是一位人工智能立體設(shè)計師,它基于北京聚力維度科技有限公司(以下簡稱“聚力維度”)研發(fā)的人工智能2D轉(zhuǎn)3D技術(shù),用于2D視頻向3D的轉(zhuǎn)換。
傳統(tǒng)的手工3D轉(zhuǎn)制工藝,不僅流程繁雜且難度高。轉(zhuǎn)制工序主要分為圖像分割、深度繪制、補圖及合成,四道程序。人類立體設(shè)計師不僅要看到第一只眼睛看不到的東西,也需要勾畫出每一幀的深度。不僅要圈出輪廓,當(dāng)物體離得較近時,也要細(xì)細(xì)定義出每一局部的深度值,比如鼻子、眼睛、嘴巴等,并嚴(yán)格按照深度值來擺放。由此,傳統(tǒng)的3D轉(zhuǎn)制工作會耗費大量時間和人力成本。
但是,當(dāng)機器擁有了藝術(shù)直覺,一切將會大有不同?!皪槑V”就是一位擁有藝術(shù)直覺的人工智能立體設(shè)計師。
它天生能進行完美的深度預(yù)算。研發(fā)人員曾讓人類立體設(shè)計師與“崢嶸”同時轉(zhuǎn)制同一幀鏡頭。幀鏡頭中畫面的景深很大,人眼看來,背景一片模糊。近處,只有一位滿臉溝壑的長者頭像。
一位擁有近3年3D轉(zhuǎn)制經(jīng)驗的手工立體設(shè)計師,整齊地分割出老者的面部輪廓與模糊的背景,并細(xì)致地雕琢鼻子、眼睛、皺紋等細(xì)節(jié),技藝精湛。當(dāng)“崢嶸”轉(zhuǎn)制出同一幀鏡頭的深度圖時,右上角卻出現(xiàn)了一塊高亮區(qū)。這讓研發(fā)人員大為困惑。在對原片進行對比度等調(diào)整后,在原片右上角竟有一張人臉。
“崢嶸”不僅能識別人眼不易看清的場景,在繪制顏色相近、人物遠(yuǎn)近距離微差畫面上,也遠(yuǎn)超人類立體設(shè)計師。另外,它將3D轉(zhuǎn)制時效凈提升120余倍,在時效上也優(yōu)勢明顯。
目前,聚力維度已經(jīng)用“崢嶸”完成了網(wǎng)絡(luò)劇《執(zhí)念師》的3D 轉(zhuǎn)制工作,熱播劇《幻城》的轉(zhuǎn)制任務(wù)也開始緊鑼密鼓地進行。
“深度學(xué)習(xí)+”的產(chǎn)物
人工智能立體設(shè)計師“崢嶸”的主要技術(shù)負(fù)責(zé)人趙天奇也是聚力維度的CTO。他從2009年開始研究3D顯示技術(shù),并敏銳地意識到3D內(nèi)容將是3D顯示技術(shù)中的重要部分。
2010年,趙天奇創(chuàng)立公司,并推出國內(nèi)領(lǐng)先的2D轉(zhuǎn)3D 軟件,并成功申請多項專利和軟件著作權(quán)。
只有預(yù)先埋下種子,否則再合適的土壤,也不會發(fā)芽。趙天奇和他的團隊,就是一群預(yù)先播種者。創(chuàng)業(yè)開始,他們就在研究智能2D轉(zhuǎn)3D的可行性。
“那時候經(jīng)常有人問我,2D轉(zhuǎn)3D能否由智能算法自動完成?我的回答都是不能。一方面,我們查遍了當(dāng)時相關(guān)計算機視覺領(lǐng)域的最前沿論文,能達(dá)到的效果距離現(xiàn)實需求太遠(yuǎn);另一方面,所有的算法從智能本質(zhì)上來看過于低端,僅能實現(xiàn)一定的立體效果?!?/p>
他們同時也在關(guān)注人工智能領(lǐng)域發(fā)展迅猛的深度學(xué)習(xí)技術(shù),但直到2014年后半期,出現(xiàn)可以給出圖像像素級結(jié)果的技術(shù)時,趙天奇才感覺看到了實現(xiàn)智能2D轉(zhuǎn)3D技術(shù)的曙光。
憑借多年在2D轉(zhuǎn)3D領(lǐng)域的技術(shù)積累,并結(jié)合深度學(xué)習(xí)的特點,同時,聯(lián)合清華大學(xué)、北京郵電大學(xué)和澳大利亞阿德萊德大學(xué)的幾個研發(fā)團隊,終于在2014年底實現(xiàn)第一張圖的自動轉(zhuǎn)換。
2015年初,第一個有生產(chǎn)價值模型研發(fā)成功,這是人工智能立體設(shè)計師,并將它命名為“崢嶸一號”。趙天奇表示:“目前‘崢嶸二號‘崢嶸三號和‘崢嶸四號的模型也已落地。尤其‘崢嶸四號模型的表現(xiàn)已經(jīng)達(dá)到人類立體設(shè)計師學(xué)習(xí)立體轉(zhuǎn)制九個月的水準(zhǔn)?!?/p>
“人工智能+”或者說“深度學(xué)習(xí)+”,是人工智能顛覆傳統(tǒng)行業(yè)的主要形式。他要求企業(yè)既具備強大的深度學(xué)習(xí)能力,又要精通某個行業(yè)。所以,想要實現(xiàn)“深度學(xué)習(xí)+3D轉(zhuǎn)制”的顛覆,既要在深度學(xué)習(xí)領(lǐng)域達(dá)到世界前沿水平,同時也要將傳統(tǒng)2D轉(zhuǎn)3D的技術(shù)內(nèi)核修煉的爐火純青,并對其商業(yè)應(yīng)用了如指掌。
趙天奇和他的團隊就是不斷在行業(yè)內(nèi)摸爬滾打并直擊痛點。在大量國內(nèi)外一線電影的3D轉(zhuǎn)制項目中,他們積累下豐富的實操經(jīng)驗,并逐步落實到算法和工序中。在用深度學(xué)習(xí)解決3D轉(zhuǎn)制問題時,他們幾乎沒走彎路。
經(jīng)驗與使命重疊
深度學(xué)習(xí)不是一項強人工智能技術(shù),很多有巨大市場前景的需求并不能被深度學(xué)習(xí)解決。聚力維度是幸運的,通過深度學(xué)習(xí)實現(xiàn)了2D視頻向3D的自動轉(zhuǎn)換。
趙天奇介紹,“崢嶸五號”、“崢嶸六號”模型也在研發(fā)中,“崢嶸”系列的終極目標(biāo)是讓機器在處理毫無規(guī)律可言的鏡頭畫面時從各個方面超越人類。
“據(jù)了解,僅有華盛頓大學(xué)和我們一樣也在使用深度學(xué)習(xí)來解決2D轉(zhuǎn)3D的問題??上麄?nèi)狈Ξa(chǎn)業(yè)經(jīng)驗,建立的模型效果并不好?!壁w天奇說,“我們無所謂技術(shù)壁壘,最大的敵人不是競爭對手,而是能否把人工智能2D轉(zhuǎn)3D的問題徹底解決,在這個領(lǐng)域為人類的強人工智能的未來做出貢獻(xiàn)。”