胡巍巍

剛剛過(guò)去的 2020 年 ECCV（歐洲計(jì)算機(jī)視覺(jué)國(guó)際會(huì)議），有一項(xiàng) AI“隱身衣”技術(shù)引人矚目。該技術(shù)來(lái)自本次會(huì)議收錄的論文《光流 - 邊緣引導(dǎo)的視頻補(bǔ)全》。ECCV 是計(jì)算機(jī)視覺(jué)三大會(huì)議之一，每?jī)赡昱e辦一次，論文錄取率僅 27%。該論文第一作者高諶是一位九零后北京小伙，目前在弗吉尼亞理工大學(xué)計(jì)算機(jī)工程專(zhuān)業(yè)就讀博士三年級(jí)，師從華人教授黃嘉斌。

該研究成果主要是開(kāi)發(fā)出一項(xiàng) AI 視頻處理算法，其能實(shí)現(xiàn)諸多 “炫彩” 成果：比如正在行駛的車(chē)輛，突然人間蒸發(fā);正在坐秋千的小孩，突然只剩下秋千架;正在騎馬的運(yùn)動(dòng)員，跨過(guò)欄桿人和馬都不見(jiàn)。這不是變魔術(shù)，而是本次 AI 視頻處理算法的功能之一，它依托一種名為光流引導(dǎo)（Optical Flow）的方法。

據(jù)了解，當(dāng)前視頻處理主要面臨幾大難題：補(bǔ)全后的光流難以做到分段光滑，難以保證時(shí)序連續(xù)型，難以在高分辨率下實(shí)現(xiàn)修復(fù)，更難以降低視頻對(duì)計(jì)算的開(kāi)銷(xiāo)?；诖?，高諶提出一種以光流邊緣為引導(dǎo)的光流補(bǔ)全技術(shù)，再利用補(bǔ)全的光流來(lái)完成視頻補(bǔ)全的算法。相比此前方法，該算法可保持運(yùn)動(dòng)邊界的清晰度。

研究起源于在 Facebook 的實(shí)習(xí)

本次研究開(kāi)始于 2019 年暑假，當(dāng)時(shí)高諶在 臉書(shū)實(shí)習(xí)，他跟導(dǎo)師黃嘉斌討論后決定了該方向。在查考相關(guān)文獻(xiàn)、并了解該領(lǐng)域的現(xiàn)有問(wèn)題后，他開(kāi)始著手算法開(kāi)發(fā)。該研究的主要原理——光流法是視域中物體運(yùn)動(dòng)檢測(cè)的概念，其用于描述運(yùn)動(dòng)所造成的觀(guān)測(cè)目標(biāo)、表面或邊緣的運(yùn)動(dòng)，主要應(yīng)用于計(jì)算機(jī)視覺(jué)和影像處理等。使用光流法，可尋到不同幀之間的關(guān)系，并通過(guò)在不同幀之間傳播信息來(lái)補(bǔ)全視頻。

本次研究主要包含3個(gè)步驟：光流完成、內(nèi)容傳播和融合。第一步是光流完成。具體操作時(shí)，要計(jì)算相鄰幀之間的正向光流和反向光流、以及一組非相鄰幀 （Non-local） 的正向光流和反向光流。由于視頻可能出現(xiàn)破損，計(jì)算出的光流也需要補(bǔ)全。另外，因?yàn)楣饬魇欠侄喂饣模欠衲艿玫揭粋€(gè)銳利光流邊緣，將直接影響最后的光流補(bǔ)全結(jié)果。最終，高諶選擇利用神經(jīng)網(wǎng)絡(luò)來(lái)補(bǔ)全光流邊緣，再以光流邊緣為引導(dǎo)補(bǔ)全光流。第二步是內(nèi)容傳播。這時(shí)要按照光流的軌跡，為每個(gè)丟失的像素找到一組候選像素。順著正向光流和反向光流，最多可找到兩個(gè)候選點(diǎn)。而在非局部光流的幫助下，通過(guò)檢查三個(gè)額外的幀，可以獲得額外的三個(gè)候選幀。高諶表示，對(duì)于每個(gè)候選幀，都要估計(jì)一個(gè)置信分?jǐn)?shù)以及一個(gè)二進(jìn)制有效性指標(biāo)。第三步是融合。使用置信加權(quán)平均值，將每個(gè)缺失像素的候選像素與至少一個(gè)有效候選像素融合。并通過(guò)梯度域的操作方式，可避免明顯的拼接裂縫，從而生成無(wú)縫的結(jié)果。假如一個(gè)像素沒(méi)有任何候選像素，就意味著它無(wú)法通過(guò)時(shí)間傳播來(lái)填充。這時(shí)，高諶選擇一個(gè)關(guān)鍵幀，并使用單個(gè)圖像補(bǔ)全技術(shù)來(lái)填充它。

可實(shí)現(xiàn)無(wú)痕補(bǔ)視頻

本次算法，相比同類(lèi)算法主要有三大優(yōu)點(diǎn)：第一，此前的補(bǔ)全視頻中，用戶(hù)可明顯看出視頻 “補(bǔ)過(guò)”，“補(bǔ)丁” 邊界處非常明顯。如下圖所示，其結(jié)果往往帶有痕跡，顯得很不自然。而使用本次算法得到的補(bǔ)全視頻，其補(bǔ)全區(qū)域是無(wú)痕的。第二，此前用算法給視頻補(bǔ)幀時(shí)，只能補(bǔ)到前一幀和后一幀，如果找不到前一幀或后一幀的信息，就會(huì)無(wú)法補(bǔ)全。而本次算法，不僅能補(bǔ)全前一幀和后一幀，還能跳著補(bǔ)幀。比如，直接跳到第一幀去借用信息，或者直接跳到最后一幀去借信息，這樣就不局限于上一幀或下一幀。另外，此前方法在處理有周期性運(yùn)動(dòng)物體出現(xiàn)的視頻時(shí)往往比較困難，針對(duì)該難題高諶通過(guò)引入非局部 （ Non-local ） 信息，來(lái)提升視頻修復(fù)的準(zhǔn)確度。第三，以前的算法補(bǔ)出來(lái)的光流不是很平滑，往往帶有明顯的接縫。而該團(tuán)隊(duì)的算法主要基于光流邊緣進(jìn)行補(bǔ)全，最終可得到分段光滑的光流。以上三個(gè)原因，讓本次研究的結(jié)果，比以前方法更好。

此外，由于此算法不局限于 GPU 內(nèi)存，所以可處理最高 2K 分辨率的視頻。這種全自動(dòng)的算法，可告別之前手動(dòng)一幀幀地刪除視頻內(nèi)容。眾所周知，機(jī)器學(xué)習(xí)算法的開(kāi)發(fā)過(guò)程費(fèi)時(shí)費(fèi)力，開(kāi)發(fā)成本高。高諶認(rèn)為，他們的新算法以完全自動(dòng)化的流程取代手工，會(huì)達(dá)到更低的成本。事實(shí)上，機(jī)器學(xué)習(xí)相當(dāng)于優(yōu)化問(wèn)題的過(guò)程，優(yōu)化過(guò)程中需要很多 CPU 和 GPU 資源，比如在本次研究中臉書(shū)就提供了大量 GPU。所以，算法開(kāi)發(fā)成本非常高，而算法一旦開(kāi)發(fā)出來(lái)，就可以一勞永逸地進(jìn)行部署，不管多少視頻都能完全自動(dòng)化處理。并且，對(duì)于一般視頻剪輯者來(lái)說(shuō)，即便沒(méi)有計(jì)算機(jī)知識(shí)，也能使用該技術(shù)。

已經(jīng)開(kāi)源，可供廠(chǎng)商和個(gè)人使用

在肉眼觀(guān)感上，依托該算法修復(fù)的視頻，已能做到無(wú)痕抹除水印、無(wú)痕補(bǔ)全畫(huà)面殘缺，在目標(biāo)識(shí)別和影視后期（視頻編輯）中，具有很大應(yīng)用前景。

除用于視頻編輯外，Vlog 創(chuàng)作者們可使用該算法，營(yíng)造一個(gè)人突然消失的場(chǎng)景;普通用戶(hù)則可完成 “美圖秀秀” 式的視頻處理，比如假期旅游拍攝視頻時(shí)，可能你本來(lái)想拍景點(diǎn)，但由于游客太多擋住了景點(diǎn)，使用該算法就能把游客刪掉，最終只保留景點(diǎn)本身的視頻。雖然這一過(guò)程和刪除圖片中的內(nèi)容很相似，但這里是刪除同一幀視頻中的內(nèi)容，這也是相比照片處理的難度所在。

再就是針對(duì)部分內(nèi)容缺失的老舊視頻，該算法能修復(fù)出丟失或破壞的地方。以幾十年前的膠片視頻為例，假如視頻左上角被水淹過(guò)，此處就是完全一片黑色，既無(wú)顏色也無(wú)信息，而使用本次算法，則可補(bǔ)全已缺失部分。具體操作時(shí)，如果某一幀有缺失，就得看能否從視頻中的其他幀借到有用信息，也就是 “補(bǔ)丁” 內(nèi)容不是憑空生成，而是本身就在視頻里。這樣補(bǔ)出來(lái)的視頻在播放時(shí)，就會(huì)非常流暢。

還有一種可能，整個(gè)視頻都找不到可借用部分，那就只能求助另一個(gè)算法，這種方法叫單幀補(bǔ)全，也就是說(shuō)從其他幀借不到信息，就只能用一個(gè)網(wǎng)絡(luò)來(lái)把這一幀缺失的信息補(bǔ)全。這一幀補(bǔ)全的信息，還可以借給其他幀，即先從其他人那借，借不過(guò)來(lái)就自己生成一些，相當(dāng)于雞生蛋蛋生雞，不斷循環(huán)借出去借回來(lái)的過(guò)程，直到最后可讓整個(gè)視頻都補(bǔ)全，且播放非常流暢。當(dāng)前的局限在于，算法無(wú)法理解視頻的內(nèi)容，它只能借助光流找到信息并把信息補(bǔ)全，這也是當(dāng)前人類(lèi) ”摳圖師”的優(yōu)勢(shì)所在。

本算法已經(jīng)在 GitHub 開(kāi)源，任何人都可以免費(fèi)使用。高諶表示，歡迎廠(chǎng)商或其他研究人員把該項(xiàng)目的源代碼合并到軟件中。由于已經(jīng)開(kāi)源，只要你對(duì)視頻編輯感興趣，就能直接用本次研究結(jié)果來(lái)做創(chuàng)造性作品。在 DAVIS 數(shù)據(jù)集上，高諶將該成果與已有成果進(jìn)行對(duì)比，在峰值信噪比（PSNR，Peak Signal to Noise Ratio，一種評(píng)價(jià)圖像的客觀(guān)標(biāo)準(zhǔn)）、結(jié)構(gòu)相似性（SSIM，Structural SIMilarity，一種衡量?jī)煞鶊D像相似度的指標(biāo)，LPIPS）上，均優(yōu)于其他成果。不過(guò)，高諶在論文中坦言：“我們的方法運(yùn)行速度為 0.12 fps，（速度）與其他基于光流的方法相當(dāng)...... 我們承認(rèn)運(yùn)行時(shí)間稍慢是個(gè)弱點(diǎn)?！睂?duì)此，他表示該成果已經(jīng)開(kāi)源，因此非常期待圈內(nèi)人士對(duì)其進(jìn)行優(yōu)化。

今年 28 歲的高諶，本科時(shí)就讀于俄勒岡州立大學(xué)，主修電子與計(jì)算機(jī)工程;碩士來(lái)到密歇根大學(xué)安娜堡分校，就讀于電氣與計(jì)算機(jī)工程專(zhuān)業(yè);博士則就讀于弗吉尼亞理工大學(xué)計(jì)算機(jī)工程專(zhuān)業(yè)，師從華人教授 Jia-Bin Huang。截止目前，已發(fā)表 7 篇被 ECCV、NeurIPS 等頂會(huì)錄用的論文。2019 年夏季，高諶在 Facebook 計(jì)算攝影組擔(dān)任研究實(shí)習(xí)生。2020 年夏季，則在谷歌安卓相機(jī)算法團(tuán)隊(duì)，擔(dān)任研究實(shí)習(xí)生。談及他未來(lái)的計(jì)劃，他表示仍然想去企業(yè)工作。

（摘自美《深科技》）（編輯/費(fèi)勒萌）