方方 張靜怡

“我們生活在一個(gè)三維世界里，對(duì)世界的觀察是三維的，與世界的交互也是三維的。我們的生產(chǎn)生活對(duì)數(shù)字化三維世界的表達(dá)與交互需求正不斷升級(jí)，未來(lái)一定是三維數(shù)據(jù)的天下?！眹?guó)防科技大學(xué)計(jì)算機(jī)學(xué)院徐凱教授肯定地說(shuō)。作為一位計(jì)算機(jī)圖形領(lǐng)域的科技從業(yè)者，他對(duì)這樣的趨勢(shì)很興奮。

“計(jì)算機(jī)圖形學(xué)研究已經(jīng)接近飽和”——自20世紀(jì)90年代起，這樣的論調(diào)就一直存在。徐凱卻不這么想，他認(rèn)為，圖形學(xué)當(dāng)前的一個(gè)主要瓶頸就是“三維內(nèi)容生成”，一旦突破，就有望令三維數(shù)據(jù)真正實(shí)現(xiàn)爆炸式增長(zhǎng)，而三維大數(shù)據(jù)反過(guò)來(lái)也會(huì)對(duì)三維內(nèi)容的生成與創(chuàng)作產(chǎn)生變革式影響。如今，三維數(shù)據(jù)的生產(chǎn)-消費(fèi)生態(tài)正在逐漸建立，圍繞三維內(nèi)容的產(chǎn)業(yè)鏈也正在形成。數(shù)據(jù)驅(qū)動(dòng)下的三維幾何建模乃至近年來(lái)熱門的人工智能的出現(xiàn)，不斷拓展著各行業(yè)的應(yīng)用邊界，伴生出層層疊疊的新問(wèn)題。“這是計(jì)算機(jī)圖形學(xué)的生機(jī)”，徐凱說(shuō)。在這份生機(jī)里，他看到了計(jì)算機(jī)圖形學(xué)更廣袤的天地，任憑馳騁。

做手持兩把利劍的奔跑者

第一次參與與圖形學(xué)相關(guān)的科研項(xiàng)目時(shí)，徐凱還在國(guó)防科技大學(xué)讀大三。這項(xiàng)名為“膝關(guān)節(jié)鏡手術(shù)仿真模擬系統(tǒng)”的工作，在幾年后獲得全軍科技進(jìn)步獎(jiǎng)二等獎(jiǎng)，其成果也被北京301醫(yī)院應(yīng)用于手術(shù)醫(yī)生的教學(xué)培訓(xùn)和術(shù)前演練。但對(duì)大三學(xué)生徐凱來(lái)說(shuō)，他無(wú)法預(yù)估這項(xiàng)工作的結(jié)局，只當(dāng)是在科研大道上邁出了“一小步”。

“一大步”要怎么邁出去？徐凱也在思考。博士期間，他有個(gè)階段甚至困惑于如何從研究過(guò)程中找到合適的切入點(diǎn)。為了找到答案，他去加拿大西蒙弗雷澤大學(xué)待了兩年。那兩年，實(shí)驗(yàn)室成了他最熟悉的地方。討論問(wèn)題、鉆研難點(diǎn)、撰寫(xiě)論文……他和導(dǎo)師張皓教授經(jīng)常工作到凌晨三四點(diǎn)，有時(shí)不知不覺(jué)就通宵了。而在張皓教授的推薦下，他得以與國(guó)際領(lǐng)域內(nèi)的大師們密切交流，學(xué)術(shù)視野也越來(lái)越開(kāi)闊。

辛苦，但成長(zhǎng)也是迅速的。徐凱成功解決了三維幾何形體局部?jī)?nèi)蘊(yùn)對(duì)稱檢測(cè)這一國(guó)際同行公認(rèn)的難題，論文被當(dāng)年的圖形學(xué)頂級(jí)會(huì)議SIGGRAPH高分錄用。崢嶸漸露，但思考卻沒(méi)有停下，因?yàn)樗l(fā)現(xiàn)視野放開(kāi)之后，圖形世界明顯有了更多可能性，尤其遇到陳寶權(quán)教授后。

那時(shí)，他在中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院做博士后研究，陳寶權(quán)教授是其導(dǎo)師?！八岢?，傳統(tǒng)的機(jī)器人視覺(jué)是基于普通相機(jī)拍出來(lái)的RGB圖像去做導(dǎo)航和抓取，但真實(shí)世界是通過(guò)三維視覺(jué)表示出來(lái)的。這意味著計(jì)算機(jī)圖形學(xué)可以和機(jī)器人方向結(jié)合在一起。”剛聽(tīng)到這種設(shè)想，徐凱覺(jué)得似乎也太跳躍了，但很快就感受到這的確是大勢(shì)所趨，并堅(jiān)決地投身進(jìn)來(lái)，成為國(guó)際較早、國(guó)內(nèi)最早走上相關(guān)方向的研究者之一。“在面向電影、游戲等有限應(yīng)用上，計(jì)算機(jī)圖形學(xué)很成熟，但當(dāng)科學(xué)家解決了三維重建、形狀分析等基本問(wèn)題后，在與機(jī)器人結(jié)合過(guò)程中要求在線建模、實(shí)時(shí)分析，就是一種顛覆。所以說(shuō)，不應(yīng)該被固化思維束縛住，要以變化的眼光看待學(xué)科及其周邊應(yīng)用的發(fā)展，研究才能被盤活。”

對(duì)徐凱而言，“結(jié)合機(jī)器人方向=為圖形學(xué)界打開(kāi)研究思路”這件事真的很酷。近年來(lái)，每年的SIGGRAPH等頂級(jí)會(huì)議上都會(huì)涌現(xiàn)出數(shù)篇相關(guān)論文，“機(jī)器人”逐漸成了國(guó)內(nèi)外圖形學(xué)界的時(shí)髦元素。他本人每年在該方向都有頂級(jí)會(huì)議文章發(fā)表，經(jīng)過(guò)深入的積累，他在2016年獲得國(guó)家自然科學(xué)基金優(yōu)秀青年科學(xué)基金的支持。

“這個(gè)年輕人成功了！”外人眼中的徐凱光環(huán)罩身，他卻在獲得一系列榮譽(yù)后，決定讓自己沉靜下來(lái)。2017年，他前往美國(guó)普林斯頓大學(xué)做訪問(wèn)學(xué)者，跟隨SIGGRAPH杰出成就獎(jiǎng)（計(jì)算機(jī)圖形領(lǐng)域最權(quán)威的獎(jiǎng)項(xiàng)）獲得者Thomas Funkhouser教授做研究。“我們討論問(wèn)題，他提到一個(gè)好點(diǎn)子，我覺(jué)得確實(shí)不錯(cuò)，散會(huì)后還跟學(xué)生交代能如何實(shí)現(xiàn)這個(gè)設(shè)想。結(jié)果第二天再討論時(shí)，他自己已經(jīng)把代碼編程寫(xiě)好了?！毙靹P忍不住自省起來(lái)，無(wú)論何時(shí)何地，都不能和一線工作脫節(jié)，而親力親為的好處是，不僅能夠在思路上給學(xué)生指導(dǎo)，還能夠及時(shí)發(fā)現(xiàn)可能會(huì)被錯(cuò)過(guò)的細(xì)節(jié)問(wèn)題。

這一年，徐凱徹底穩(wěn)了下來(lái)。用他的話說(shuō)這是一場(chǎng)“內(nèi)功的修煉”，在前沿研究上，天馬行空的思維腦洞和扎實(shí)穩(wěn)固的基礎(chǔ)步調(diào)缺一不可，這將是他潛心鍛造的兩把“利劍”，在充滿未知的科學(xué)探尋中，助他披荊斬棘，無(wú)畏無(wú)懼。

用數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)生成

數(shù)據(jù)驅(qū)動(dòng)，就是要讓數(shù)據(jù)說(shuō)話。徐凱認(rèn)為歸根結(jié)蒂就是要“讓數(shù)據(jù)幫助數(shù)據(jù)理解，用數(shù)據(jù)驅(qū)動(dòng)數(shù)據(jù)生成”，即將數(shù)據(jù)驅(qū)動(dòng)方法引入到三維幾何分析和建模中。

在SIGGRAPH Asia 2010的一篇論文中，他與合作者提出了三維模型集“聯(lián)合分析”概念，打破了以往三維幾何模型分析只針對(duì)單個(gè)模型的模式，被認(rèn)為是數(shù)據(jù)驅(qū)動(dòng)幾何處理與分析的核心概念之一，引發(fā)了數(shù)據(jù)驅(qū)動(dòng)三維形狀分析的研究熱潮。而以此為起點(diǎn)，徐凱圍繞數(shù)據(jù)驅(qū)動(dòng)的三維模型結(jié)構(gòu)分析和語(yǔ)義理解，以及數(shù)據(jù)驅(qū)動(dòng)的三維建模，開(kāi)展了大量研究工作。經(jīng)過(guò)近十年的積累，發(fā)表了30余篇頂級(jí)會(huì)議論文，相關(guān)成果獲得2014年湖南省自然科學(xué)獎(jiǎng)一等獎(jiǎng)。

“有了數(shù)據(jù)驅(qū)動(dòng)方法，我們?cè)谌S幾何建模上就有了更大的發(fā)揮空間?！毙靹P表示。目前，三維幾何建模的主要途徑仍是交互式建模，對(duì)專業(yè)技能要求很高。如何讓普通用戶方便、快速地構(gòu)建想要的三維模型，是幾何建模領(lǐng)域長(zhǎng)期追求的目標(biāo)，也是徐凱提出一系列數(shù)據(jù)驅(qū)動(dòng)三維建模方法的宗旨。

比如在基于演化的三維模型自動(dòng)生成方法中，徐凱大膽地融入了生物遺傳演化的思想?！靶氯S模型脫胎于舊模型、舊數(shù)據(jù)衍生出新數(shù)據(jù)，這與種群后代繁衍異曲同工?！蓖ㄋ椎卣f(shuō)，他將維模型看作生物個(gè)體，讓一組模型像生物種群一樣繁殖和演變，并在一定的用戶交互引導(dǎo)下，生成符合用戶要求、多種多樣且結(jié)構(gòu)合理的三維模型，大幅度提高了建模效率?！暗屵@個(gè)想法變成一個(gè)能夠?qū)嵅俚臇|西，我們花了很長(zhǎng)時(shí)間去定義?！毙靹P說(shuō)。該方法一出，得到了大量關(guān)注和引用，收獲了同行的高度評(píng)價(jià)。

不過(guò)，在2014年以前，徐凱團(tuán)隊(duì)的許多“腦洞”受限于實(shí)際性能，還無(wú)法落實(shí)到應(yīng)用上。深度學(xué)習(xí)時(shí)代的到來(lái)，讓徐凱看到了一種可能——讓圖形學(xué)與深度學(xué)習(xí)相結(jié)合，三維數(shù)據(jù)的表達(dá)能不能更加高效、實(shí)用？

“我們嘗試了一個(gè)跨學(xué)科交叉創(chuàng)新，把自然語(yǔ)言處理中的一種特殊的、能夠處理層次結(jié)構(gòu)的所謂遞歸神經(jīng)網(wǎng)絡(luò)，引入到三維模型結(jié)構(gòu)的編、解碼中?！彼忉尩溃骸耙酝姆椒ㄊ侵饌€(gè)體素地生成三維模型，而我們的方法是逐個(gè)部件地生成，且在生成中很好地保持了部件間的結(jié)構(gòu)關(guān)系?！?/p>

因此，他們提出了首個(gè)基于深度學(xué)習(xí)的結(jié)構(gòu)化三維模型生成方法GRASS，結(jié)合深度對(duì)抗學(xué)習(xí)實(shí)現(xiàn)了三維模型的多樣化、保結(jié)構(gòu)生成。該方法在SIGGRAPH 2017上發(fā)表后，被大會(huì)方選送國(guó)際多家媒體報(bào)道。

得到學(xué)術(shù)界的認(rèn)可值得自豪，但徐凱在數(shù)據(jù)驅(qū)動(dòng)分析和建模上研究多年，終極目標(biāo)還是希望讓技術(shù)可以落地，他沒(méi)想到契機(jī)竟然源自幫父親選家具的一次經(jīng)歷。

“父親喜歡中式風(fēng)格，這種家具的紋路特別精細(xì)，比如椅子扶手上雕刻的線條等，尤其能體現(xiàn)風(fēng)格?！笔艽藛l(fā)，徐凱想如果提取三維模型在不同視角下的特征線，是不是更容易區(qū)分家具風(fēng)格了呢？最終，這個(gè)靈感在他帶領(lǐng)國(guó)防科技大學(xué)和南京大學(xué)聯(lián)合研發(fā)組開(kāi)展的“數(shù)據(jù)驅(qū)動(dòng)的三維家具風(fēng)格分析和推薦方法與系統(tǒng)”研究中被“用活”了。他們提出了一種基于多視點(diǎn)投影輪廓中層特征的多視圖學(xué)習(xí)方法，能夠有效地解決三維家具風(fēng)格的精確、高效分析，以及基于風(fēng)格的家具推薦。然而，基于這項(xiàng)成果的論文投到圖形學(xué)頂會(huì)卻遭到5次退稿?！拔覀冞€真沒(méi)遇到過(guò)這么多次退稿”，徐凱說(shuō)。

短暫迷惑后，他和團(tuán)隊(duì)迅速找回了狀態(tài)，開(kāi)始對(duì)方法與系統(tǒng)不斷打磨，終于找到了更為可靠的解決方案。這項(xiàng)研究成果最終得以在SIGGRAPH 2018成功發(fā)表。由于實(shí)用性很強(qiáng)，他們的成果一經(jīng)發(fā)表，很快被阿里巴巴盯上了。正因?yàn)榍捌谕陡鍖覍掖鞌?，他們做了大量?xì)致的打磨，使得該方法性能出色、穩(wěn)定，僅僅經(jīng)過(guò)半年多的產(chǎn)品化工作，這項(xiàng)成果就被應(yīng)用于2019年阿里巴巴淘寶研發(fā)的Homestyler家居風(fēng)格處理系統(tǒng)。這套系統(tǒng)能夠?qū)崿F(xiàn)基于風(fēng)格的自動(dòng)搭配功能，不僅很好地提高了設(shè)計(jì)師的工作效率、節(jié)約了工作時(shí)間，還大大提升了用戶的體驗(yàn)和直觀感受，引發(fā)家居愛(ài)好者、設(shè)計(jì)師和消費(fèi)者的極大興趣。系統(tǒng)上線至今，中國(guó)注冊(cè)用戶人數(shù)20萬(wàn)，全球用戶1000萬(wàn)。

做機(jī)器人的最強(qiáng)“三維視力”

“三維視覺(jué)是圖形學(xué)，特別是幾何建模與處理的用武之地。2015年之后，我們考慮的就是如何把圖形學(xué)和機(jī)器人感知與交互創(chuàng)新性地結(jié)合在一起?！毙靹P說(shuō)。

相比傳統(tǒng)工業(yè)機(jī)器人僅能執(zhí)行既定動(dòng)作，現(xiàn)代機(jī)器人往往需要面對(duì)未知、復(fù)雜、變化的環(huán)境，通過(guò)與環(huán)境、甚至與人之間的交互以完成各種復(fù)雜任務(wù)，這對(duì)機(jī)器人的柔性和智能化程度提出了極高要求。此時(shí)，3D視覺(jué)對(duì)于精確引導(dǎo)和精準(zhǔn)交互尤為重要。

徐凱團(tuán)隊(duì)提出了一種基于主動(dòng)交互的機(jī)器人環(huán)境感知——機(jī)器人在環(huán)境感知過(guò)程中不應(yīng)只是通過(guò)不同角度去“看”，還應(yīng)“動(dòng)手”去“探”。例如，一件物品放在桌子上，機(jī)器人可以通過(guò)不同角度的觀察獲取其三維幾何形狀，但這件物品究竟是一個(gè)獨(dú)立的整體還是由多個(gè)部分構(gòu)成，僅用幾何數(shù)據(jù)分析很難得到100%正確的結(jié)論?？扇绻麢C(jī)器人能用“手”去觸碰它，通過(guò)檢測(cè)觸碰前后的三維幾何形狀的變化（是否分離），便立即可以得到正確結(jié)論。

“對(duì)于場(chǎng)景分割來(lái)說(shuō)，機(jī)器人上手推，對(duì)分割結(jié)果的交互式的物理確認(rèn)，是以往任何基于靜態(tài)視覺(jué)數(shù)據(jù)的分析理解都無(wú)法比擬的。物理上確認(rèn)分割結(jié)果，可以為基于學(xué)習(xí)的分割方法提供訓(xùn)練數(shù)據(jù)。”徐凱解釋道：“我們這樣一個(gè)簡(jiǎn)單的思想，隨后在一個(gè)實(shí)際工業(yè)應(yīng)用場(chǎng)景中得到了很好的運(yùn)用。”

2018年，徐凱帶領(lǐng)團(tuán)隊(duì)研發(fā)了世界上第一個(gè)多品類無(wú)序拆垛機(jī)器人ZeroPick，并于同年在國(guó)內(nèi)某知名電商的物流水飲倉(cāng)落地應(yīng)用，成功經(jīng)受住了“雙十一”的高強(qiáng)度壓力測(cè)試，得到用戶高度認(rèn)可。ZeroPick融合了當(dāng)前最先進(jìn)的三維視覺(jué)、三維深度學(xué)習(xí)和機(jī)器人規(guī)劃控制技術(shù)，具備識(shí)別精度高、抓取速度快、對(duì)復(fù)雜場(chǎng)景適應(yīng)性強(qiáng)等優(yōu)勢(shì)。其強(qiáng)大的三維視覺(jué)檢測(cè)技術(shù)能勝任尺寸、紋理差異極大且隨意、混合堆放的上千種紙箱的快速準(zhǔn)確識(shí)別和分割。特別是，他們將主動(dòng)交互的思想巧妙地運(yùn)用于紙箱分割中：“對(duì)于分割不確定的箱子，讓機(jī)器人上手試抓，根據(jù)觀察交互結(jié)果即可判斷分割正確與否。”從理論邁入實(shí)踐，ZeroPick讓徐凱的夢(mèng)想距離現(xiàn)實(shí)更近了一步。

有拆垛機(jī)器人，就有碼垛機(jī)器人。ZeroPick的“兄弟”——ZeroPlace也緊隨其后誕生?！叭嗽诖a放箱子的時(shí)候是基于直覺(jué)和經(jīng)驗(yàn)的，他不需要了解未來(lái)每一只箱子的形狀，而只需看到眼前兩三只箱子就可以立刻做出規(guī)劃反應(yīng)。對(duì)于機(jī)器人，要在碼垛過(guò)程中進(jìn)行動(dòng)態(tài)、在線規(guī)劃就非常難了?！毙靹P團(tuán)隊(duì)為ZeroPlace做的一個(gè)重要能力加持就是3D空間在線智能規(guī)劃。他們將最先進(jìn)的3D視覺(jué)感知與機(jī)器人規(guī)劃深度融合，基于深度強(qiáng)化學(xué)習(xí)，使ZeroPlace具備強(qiáng)大的三維空間動(dòng)態(tài)規(guī)劃能力，能夠在保持垛體穩(wěn)定的情況下，使托盤利用率達(dá)到80%以上，碼垛效率最高能達(dá)到600件/小時(shí)，單件節(jié)拍最快能達(dá)到6秒/件。“大量實(shí)測(cè)結(jié)果顯示，ZeroPlace比人工擺放的空間利用率還要高”，徐凱說(shuō)。

“我們選擇研究問(wèn)題的原則就是不隨波逐流”，徐凱再次強(qiáng)調(diào)。這幾年，打通了機(jī)器人與圖形學(xué)之間的路徑，他的研究如魚(yú)得水。最近，他又惦記起了“三維數(shù)字孿生”——以真實(shí)世界為藍(lán)本，借助圖形學(xué)和人工智能構(gòu)建一個(gè)三維的、動(dòng)態(tài)的虛擬鏡像世界，令很多智能學(xué)習(xí)和推演等都能在這個(gè)虛擬世界里進(jìn)行?！暗玫骄珳?zhǔn)可靠的學(xué)習(xí)和推演結(jié)果后，再用它驅(qū)動(dòng)真實(shí)世界的機(jī)器人去執(zhí)行。反過(guò)來(lái)，真實(shí)世界發(fā)生的改變也可以通過(guò)三維感知實(shí)時(shí)反饋到虛擬仿真環(huán)境中?！?/p>

這是徐凱關(guān)于未來(lái)的更大愿景：“借助虛擬與現(xiàn)實(shí)之間的平行與互動(dòng)來(lái)更好地改造真實(shí)世界”。