范兵兵 葛利躍 張聰炫 李 兵 馮 誠 陳 震

光流是指圖像序列中運動目標或場景表面像素點的二維運動矢量,其不僅包含了物體或場景的運動參數(shù),還攜帶了圖像中運動目標豐富的結(jié)構(gòu)信息,因此,針對圖像序列光流計算技術(shù)的研究一直是圖像處理、計算機視覺等領(lǐng)域的研究熱點.相關(guān)研究成果廣泛應(yīng)用于目標跟蹤[1]、圖像配準[2]、表情識別[3]、運動遮擋檢測[4]和機器人視覺導(dǎo)航[5]等高級視覺任務(wù).

自 Horn和 Schunck 提出變分光流計算技術(shù)以來,圖像序列光流計算技術(shù)在光流計算精度和魯棒性方面已經(jīng)取得顯著提升[6].然而,隨著圖像序列包含的場景任務(wù)日益復(fù)雜,光流計算的難度越來越大.例如,當圖像序列中包含運動遮擋、大位移以及非剛性形變等困難復(fù)雜場景時,當前光流計算方法在精度與魯棒性方面仍亟需進一步提高.特別在圖像與運動邊緣區(qū)域,現(xiàn)有光流計算方法普遍存在較為嚴重的信息丟失與模糊問題.針對該問題,傳統(tǒng)變分光流計算方法通常采用在能量泛函中附加約束項[6]或設(shè)計邊緣保護策略來改善該問題[7].例如,Zhang 等[8]提出一種基于三角網(wǎng)格的遮擋檢測約束項并將其與變分能量泛函耦合,通過補償光流計算中損失的遮擋信息,顯著提升了圖像與運動邊緣區(qū)域光流計算精度.Mei 等[9]將局部優(yōu)化策略與全局優(yōu)化策略相結(jié)合,提出一種局部與全局耦合的加權(quán)正則變分光流計算模型,提高了光照變化場景光流計算的精度與魯棒性.針對大位移運動場景光流計算準確性較低問題,Chen 等[10]將塊匹配策略與由粗到細的光流計算方案相結(jié)合,提高了大位移運動光流計算精度,但該方案易導(dǎo)致邊緣模糊和細節(jié)結(jié)構(gòu)信息丟失.為此,Deng 等[11]提出一種新穎的可微鄰域搜索上采樣模塊,并將其與由粗到細光流計算方案結(jié)合,較好地保護了圖像與邊緣結(jié)構(gòu).后續(xù),文獻[12] 在光流金字塔分層優(yōu)化過程中集成結(jié)構(gòu)引導(dǎo)濾波,利用結(jié)構(gòu)引導(dǎo)濾波具有邊緣保護的作用,實現(xiàn)光流計算運動邊緣的保護.Dong 等[13]進一步將濾波技術(shù)與非局部項相結(jié)合,提出一種非局部傳播的濾波光流優(yōu)化方案,在減少光流計算異常值的同時保留了豐富的上下文信息.

近年來,隨著人工智能與深度學(xué)習(xí)技術(shù)的飛速發(fā)展,基于深度學(xué)習(xí)的光流計算技術(shù)得到廣泛關(guān)注.Dosovitskiy 等[14]率先將卷積神經(jīng)網(wǎng)絡(luò)引入光流計算,提出 FlowNet 深度學(xué)習(xí)光流計算模型,該模型通過采用編碼-解碼結(jié)構(gòu)極大地縮短了光流計算所需的時間,同時也奠定了深度學(xué)習(xí)光流計算網(wǎng)絡(luò)的基本結(jié)構(gòu).然而,FlowNet 的網(wǎng)絡(luò)結(jié)構(gòu)比較簡單,光流計算精度較低.后續(xù),Ilg 等[15]將FlowNet 網(wǎng)絡(luò)結(jié)構(gòu)進行多次堆疊,并將堆疊后的網(wǎng)絡(luò)命名為 Flow-Net 2.0,與 FlowNet 相比,FlowNet 2.0 網(wǎng)絡(luò)深度更深,光流計算精度也更高.但多次堆疊操作使得FlowNet 2.0 網(wǎng)絡(luò)結(jié)構(gòu)過于臃腫復(fù)雜,模型訓(xùn)練不僅困難而且易陷入過擬合.為了在光流計算精度與模型尺寸之間尋求平衡,Sun 等[16]將特征金字塔、變形操作、成本體積代價集成在統(tǒng)一的光流計算網(wǎng)絡(luò)框架中,提出 PWC-Net 光流計算方法.該方法在簡化網(wǎng)絡(luò)尺寸的同時大幅提高了光流計算的精度與魯棒性.然而,上述方法均為有監(jiān)督深度學(xué)習(xí)光流計算方法,需要提供大量具有真實標簽的樣本數(shù)據(jù)用于模型訓(xùn)練,因此難以應(yīng)用于真實任務(wù)場景.受傳統(tǒng)變分光流中的能量泛函啟發(fā),Yu 等[17]通過設(shè)計基于數(shù)據(jù)項與平滑項相結(jié)合的損失函數(shù),實現(xiàn)了基于無監(jiān)督學(xué)習(xí)的光流計算.這在一定程度使深度學(xué)習(xí)光流計算模型擺脫了對標簽樣本數(shù)據(jù)的依賴,但光流計算精度大幅落后于有監(jiān)督學(xué)習(xí)方法.為此,Liu 等[18]借鑒知識蒸餾思想,提出一種基于數(shù)據(jù)驅(qū)動的蒸餾學(xué)習(xí)無監(jiān)督光流計算模型 DDFlow.該方法通過數(shù)據(jù)驅(qū)動自動學(xué)習(xí)和預(yù)測光流,在提高光流計算精度的同時實現(xiàn)了實時無監(jiān)督光流計算.

現(xiàn)階段,基于深度學(xué)習(xí)的光流計算方法雖然已取得較大進展,光流計算精度不斷提高.但是,由于大位移、運動遮擋以及非剛性運動違背了網(wǎng)絡(luò)模型設(shè)計的先驗知識,因此光流計算在圖像與運動邊緣區(qū)域存在模糊的問題仍未得到妥善解決.Hur 等[19]通過引入遮擋真實值,設(shè)計一種遮擋解碼器對遮擋區(qū)域特征學(xué)習(xí)并利用學(xué)習(xí)到的遮擋信息約束遮擋區(qū)域的光流計算,一定程度緩解了該問題.然而,包含遮擋真實值的數(shù)據(jù)集較少,難以滿足大規(guī)模使用.為了克服該問題,Zhao 等[20]提出一種不需要遮擋真實值的非對稱特征匹配模塊學(xué)習(xí)遮擋掩膜,以約束遮擋區(qū)域光流計算.Meister 等[21]借鑒變分遮擋光流計算策略,設(shè)計一種前后一致性損失函數(shù)用于指導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)遮擋特征信息,有效保護了圖像與運動邊緣.

當前,基于深度學(xué)習(xí)的光流計算網(wǎng)絡(luò)模型大多都致力于研究新的先驗知識來設(shè)計光流計算網(wǎng)絡(luò)結(jié)構(gòu).然而,相對于之前的網(wǎng)絡(luò),這些網(wǎng)絡(luò)結(jié)構(gòu)往往非常復(fù)雜且難以訓(xùn)練,不僅大幅增加了深度學(xué)習(xí)光流計算的難度,而且還進一步提高了計算成本.針對上述問題,本文從圖像特征提取網(wǎng)絡(luò)模型的設(shè)計入手,提出一種基于多尺度變形卷積的特征提取模型,并將其與特征金字塔光流計算網(wǎng)絡(luò)耦合,在少量增加原有網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度的同時提高編碼器網(wǎng)絡(luò)的特征提取能力,從而獲取更加準確的圖像特征.此外,為了保護圖像與運動邊緣,本文又設(shè)計一種結(jié)合圖像與運動邊緣約束的混合損失函數(shù),來指導(dǎo)模型學(xué)習(xí)更加精準的邊緣信息.實驗結(jié)果證明,本文方法具有更高的光流計算精度,有效解決了光流計算的邊緣模糊問題.

1 基于多尺度變形卷積的特征金字塔光流計算模型

1.1 多尺度變形卷積特征提取網(wǎng)絡(luò)

當前,深度學(xué)習(xí)光流計算網(wǎng)絡(luò)模型普遍采用標準卷積實現(xiàn)圖像特征提取.然而,標準卷積具有較為顯著的平滑作用,導(dǎo)致提取的圖像特征過于平滑.同時,標準卷積對規(guī)則區(qū)域的特征信息捕獲較為準確,在不規(guī)則區(qū)域往往無法獲取完整的圖像特征.因此,僅利用標準卷積構(gòu)建圖像特征提取網(wǎng)絡(luò)難以獲取準確的圖像特征信息.

針對該問題,本文從圖像特征提取策略出發(fā),提出一種多尺度變形卷積特征提取網(wǎng)絡(luò).通過聚合多尺度圖像特征信息,讓多尺度變形卷積感受野可以擬合不同尺寸和形狀的目標,從而更加精準地提取出圖像特征.圖1 展示了標準卷積與變形卷積在運動目標翅膀區(qū)域圖像特征提取示意圖與對應(yīng)模型光流計算結(jié)果.從圖1(a)、圖1(b) 中可以看出,標準卷積相對變形卷積捕獲了更多非目標的像素點信息,而變形卷積通過擬合翅膀區(qū)域形狀捕獲了更加準確的圖像特征,特別是邊緣區(qū)域更貼近真實圖像邊緣.圖1(c)和圖1(d) 分別展示了使用兩種卷積提取特征后的模型光流計算結(jié)果,圖中右上角為光流真實值.從圖中可以看出,在運動目標的翅膀區(qū)域,使用變形卷積提取特征的光流計算結(jié)果與真實值更加接近且未出現(xiàn)中斷.而使用標準卷積的光流計算結(jié)果在翅膀區(qū)域與真實值存在較大差異且存在明顯的中斷.說明變形卷積通過擬合翅膀區(qū)域形狀捕獲更加準確的圖像特征信息,對提高光流計算的精度具有較好的促進作用.

圖1 標準卷積與變形卷積圖像特征提取示意圖與對應(yīng)模型光流計算結(jié)果Fig.1 Schematic diagram of standard convolution and deformed convolution image feature extraction and corresponding model optical flow estimation results

圖2 展示了本文所提的多尺度變形卷積特征提取網(wǎng)絡(luò)結(jié)構(gòu)示意圖.從圖中可以看出,在輸入原始圖像序列后,首先使用標準卷積獲取稠密的初始圖像特征,該步驟一定程度起到圖像預(yù)處理作用.然后,使用不同尺度的變形卷積對稠密的初始圖像特征進行細化,以提取不同尺寸的目標特征信息.其中,變形卷積特征提取網(wǎng)絡(luò)包含3 條并行的分支,每條分支均包含1 個變形卷積層.且變形卷積核尺寸分別為 3×3、5×5和 7×7,每條分支的輸出均為12 通道的特征圖.最后,對每個變形卷積提取的特征使用 3×3 標準卷積,并通過1 個標準 3×3 卷積層將每條分支的輸出特征圖進行通道拼接,以聚合所有分支捕獲的圖像特征信息.由于在連續(xù)幀的圖像序列中,即使是相同運動目標,它的大小和形狀也有可能不同.因此,本文通過引入變形卷積使卷積層的感受野可以靈活改變,以適合運動目標不同的大小和形狀,從而獲取不同范圍內(nèi)不同尺度的圖像特征信息.

圖2 多尺度變形卷積特征提取網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Schematic diagram of multi-scale deformed convolution feature extraction network structure

在圖2 中虛線方框區(qū)域,本文先使用變形卷積再使用標準卷積的原因有兩方面:一方面,盡管變形卷積對目標有更好的適應(yīng)性,但是在多尺度特征提取網(wǎng)絡(luò)模型中,隨著圖像尺度的減小,圖像中目標的形態(tài)輪廓信息逐漸損失變得模糊.此時變形卷積難以準確地擬合不同尺寸和形狀的目標,并且隨著擬合精度的下降還會引入大量噪聲與異常值.因此,為了緩解進而改善該問題,本文在變形卷積之后對應(yīng)增加了 3×3 標準卷積操作,其作用是在提高低分辨率特征提取精度的同時進行濾波以去除提取特征中的噪聲與異常值.另一方面,變形卷積由于具有擬合不同尺寸和形狀的目標的特性,因此,變形卷積相對傳統(tǒng)卷積包含更多的參數(shù).如果單一使用變形卷積構(gòu)建多尺度特征提取模型將大幅增加模型尺寸,訓(xùn)練參數(shù)也將大幅增加,導(dǎo)致模型訓(xùn)練困難,難以收斂擬合.

將上述過程公式化:令Fin表示多尺度變形卷積特征提取網(wǎng)絡(luò)的輸入,多尺度變形卷積特征提取網(wǎng)絡(luò)的3 條平行分支的輸出計算公式可以表示為

式 (1) 中,F1,F2,F3分別代表第1、2、3 條分支的輸出,運算符號 C onv1,C onv2,C onv3代表第1、2、3條分支的標準卷積運算,運算符號 D econv1,D econv2,Deconv3代表第1、2、3 條分支對應(yīng)的變形卷積運算,運算符號 C onv 代表3 條并行分支之前的標準卷積運算.將各條分支的輸出特征拼接起來進行信息聚合,多尺度變形卷積特征提取網(wǎng)絡(luò)的最終輸出可以表示為

式(2)中,C onvf是一個 3×3 標準卷積,代表最終聚合信息的卷積操作,c oncatenate 是通道拼接操作.圖3 展示了本文方法特征提取結(jié)果與僅使用標準卷積特征提取結(jié)果的可視化對比,其中,標簽A、B、C 分別對應(yīng)運動目標不同的三個邊緣區(qū)域.從圖3(e)中可以看出,僅使用標準卷積構(gòu)建的多尺度特征提取網(wǎng)絡(luò)模型,所獲取的圖像特征在邊緣區(qū)域明顯模糊,且異常值較多.而本文所提的多尺度變形卷積特征提取網(wǎng)絡(luò)獲取的圖像特征在邊緣區(qū)域更為清晰,異常值與噪聲也較少,并且獲取的圖像特征值更大.

圖3 本文方法特征提取與標準卷積特征提取結(jié)果可視化對比Fig.3 Visual comparison of feature extraction results of the method in this paper and standard convolution feature extraction results

1.2 基于多尺度變形卷積的特征金字塔光流計算網(wǎng)絡(luò)

本文將多尺度變形卷積特征提取網(wǎng)絡(luò)與特征金字塔光流計算網(wǎng)絡(luò)耦合,構(gòu)建基于多尺度變形卷積的特征金字塔光流計算模型,以實現(xiàn)高精度的光流計算.圖4 展示了本文提出的基于多尺度變形卷積的特征金字塔光流計算網(wǎng)絡(luò)模型.從圖中可以看出,網(wǎng)絡(luò)模型主要由編碼器網(wǎng)絡(luò)與解碼器網(wǎng)絡(luò)組成.其中,編碼器網(wǎng)絡(luò)由基于多尺度變形卷積的特征提取網(wǎng)絡(luò)和編碼器組成.解碼器網(wǎng)絡(luò)由解碼器和上下文信息聚合網(wǎng)絡(luò)組成.在光流計算過程中,首先將連續(xù)兩幀圖像輸入多尺度變形卷積特征提取網(wǎng)絡(luò)進行圖像特征提取,然后將獲取的圖像特征輸入下采樣因子為0.5 的編碼器進行更加細化的特征提取.最后,從最小分辨率特征圖所在的金字塔頂層計算相關(guān)度,并將相關(guān)度輸入解碼器計算光流.

圖4 基于多尺度變形卷積的特征金字塔光流計算網(wǎng)絡(luò)模型Fig.4 Feature pyramid optical flow computing network model based on multi-scale deformed convolution

在金字塔的每一層,本文首先計算第一幀圖像特征圖與第二幀經(jīng)上一層光流變形后的特征圖的相關(guān)度,然后通過光流解碼器計算該層的光流,并使用上下文網(wǎng)絡(luò)進行優(yōu)化.該層光流經(jīng)過上采樣后作為初始光流送入金字塔下一層,進行下一層的光流計算.經(jīng)過對應(yīng)特征金字塔層數(shù)的迭代后,模型將輸出原分辨率1/4 大小的光流計算結(jié)果,最后通過插值上采樣運算,將光流計算結(jié)果恢復(fù)為輸入圖像的原始分辨率.

在實際計算過程中,本文只在分辨率最大的底部兩層使用了多尺度變形卷積特征提取網(wǎng)絡(luò).這是因為變形卷積改變感受野是通過偏置因數(shù)來實現(xiàn)的,偏置因數(shù)對運動目標的輪廓較為敏感,而下采樣操作會丟失圖像中大量的空間信息,使得運動目標輪廓會變得模糊,甚至丟失.圖5 展示了不同層數(shù)多尺度變形卷積對光流計算在運動邊緣的影響.圖中標簽區(qū)域為邊緣輪廓區(qū)域與其對應(yīng)放大圖.從圖中可以看出,使用4 層多尺度變形卷積模型與使用2 層多尺度變形卷積模型相比,其光流計算結(jié)果在標簽區(qū)域中的手部存在明顯的模糊與邊緣擴張,手指邊緣輪廓計算效果明顯低于使用2 層多尺度變形卷積模型的光流計算效果.因此,本文只在分辨率最大的底部兩層使用,以發(fā)揮多尺度變形卷積特征提取的能力,提高運動邊緣處光流計算精度.

圖5 不同層數(shù)多尺度變形卷積模型光流計算結(jié)果對比Fig.5 Comparison of optical flow calculation results of multi-scale deformed convolution models with different layers

2 混合損失函數(shù)

現(xiàn)階段,大部分深度學(xué)習(xí)光流計算網(wǎng)絡(luò)模型的損失函數(shù)由端點誤差函數(shù)構(gòu)成.由于端點誤差損失函數(shù)更關(guān)注光流計算的整體效果,難以對運動邊緣區(qū)域進行引導(dǎo)訓(xùn)練,導(dǎo)致光流計算結(jié)果易產(chǎn)生邊緣模糊現(xiàn)象.為了約束運動邊緣處光流計算,本文設(shè)計了一種結(jié)合圖像與運動邊緣約束的混合損失函數(shù),該損失函數(shù)由端點誤差損失、數(shù)據(jù)項損失以及根據(jù)圖像與運動邊緣控制光流擴散方式的正則化項共同組成.計算公式如下

式 (3) 中,Lepe代表端點誤差,Ldata代表數(shù)據(jù)項損失,Lsmooth代表正則化項 (平滑項).端點誤差的計算公式如下

式 (4) 中,Flowout(x,y)和Flowgt(x,y) 分別代表光流計算值和真實值在像素點坐標 (x,y)T處的值,|·|2代表L2范數(shù)運算.f(x,y) 是一種廣義的魯棒 Charbonnier 懲罰函數(shù),主要作用是懲罰異常值,計算公式如下

為了使懲罰函數(shù)能夠發(fā)揮最佳性能,本文依據(jù)文獻[22]的參數(shù)設(shè)置方法,將參數(shù)ε和κ分別設(shè)置為ε=0.001,κ=0.4.

數(shù)據(jù)項損失計算公式如下

式 (6) 中,X=(x,y)T表示在圖像區(qū)域 Ω 中的像素點坐標,I(X+F lowgt(X),t+1) 代表使用真實光流值變形的第二幀圖像在像素點X處的亮度值.I(X+F lowout(X),t+1)代表使用計算光流值變形的第二幀圖像在像素點X處的亮度值.真實光流與計算光流變形第二幀圖像時,通常會在錯誤的光流計算區(qū)域出現(xiàn)較大差別,因而使用數(shù)據(jù)損失的目的是對錯誤的大位移運動區(qū)域進行二次監(jiān)督,以提高模型的光流計算精度.

正則化項計算公式如下

式 (7) 中,?d表示在d方向上進行求導(dǎo),α是控制光流平滑的邊緣系數(shù),I(t) 是第一幀圖像的亮度值.正則化項通過控制光流的擴散形式保護運動邊緣,當運動邊緣處的圖像導(dǎo)數(shù)較大時使 e-α|?dI(t)|變小,以減少光流擴散,從而保護運動邊緣.當運動邊緣處的圖像導(dǎo)數(shù)較小時使 e-α|?dI(t)|變大,以增加光流擴散程度,保護背景光流.通過將該正則化項與端點誤差損失、數(shù)據(jù)項損失聯(lián)合指導(dǎo)光流計算模型訓(xùn)練,使模型學(xué)習(xí)到更加精準的邊緣信息.

圖6 展示了使用不同損失函數(shù)對模型訓(xùn)練的影響.從圖中可以看出,使用數(shù)據(jù)項與平滑項作為損失函數(shù)訓(xùn)練模型,可以引導(dǎo)模型收斂但模型收斂速度較慢,收斂效果不佳.其原因在于數(shù)據(jù)項與平滑項組成的損失函數(shù)參考了變分光流能量泛函的設(shè)計,其在最小化過程中需要一定的迭代計算且易陷入局部最優(yōu),因而收斂速度較慢,收斂效果也相對較差.使用端點誤差損失函數(shù)訓(xùn)練模型,模型收斂速度和收斂效果優(yōu)于數(shù)據(jù)項與平滑項損失函數(shù).其原因是端點誤差損失本質(zhì)上就是求解計算值與真實值之間的最小誤差,其計算過程簡單、耗時較少且又有真實值作為參考,所以收斂效果優(yōu)于前者.使用本文所提的混合損失函數(shù)訓(xùn)練模型,模型整體不僅收斂速度較快,而且收斂效果也明顯優(yōu)于前兩種損失函數(shù).因此,通過將端點誤差損失、數(shù)據(jù)項損失與平滑項損失結(jié)合,既可以加快模型收斂速度又可以提高模型訓(xùn)練效果.

圖6 不同損失函數(shù)訓(xùn)練模型Fig.6 Training models with different loss functions

為了展示混合損失函數(shù)不同組成部分對邊緣區(qū)域的保護效果,圖7 展示了不同損失函數(shù)訓(xùn)練模型后的光流計算結(jié)果可視化對比.其中,圖中第二行為第一行圖像標簽區(qū)域的局部放大圖.從圖中可以看出,使用數(shù)據(jù)項與平滑項損失函數(shù)訓(xùn)練后的模型光流計算結(jié)果可以計算出目標的完整輪廓與邊緣,但結(jié)果中包含較多異常值且存在明顯的模糊現(xiàn)象.使用端點誤差損失函數(shù)訓(xùn)練后的模型光流計算精度相對較高,但仍然存在較為明顯的邊緣模糊,例如圖7(d) 中的A 區(qū)域.而使用混合損失函數(shù)訓(xùn)練后的模型光流計算結(jié)果達到了最佳的光流估計效果,特別在標簽區(qū)域的邊緣,既消除了異常值又實現(xiàn)了高精度的邊緣保護.說明將端點誤差損失、數(shù)據(jù)項損失與平滑項損失結(jié)合用于模型訓(xùn)練,不僅可以加快模型收斂速度,還可以學(xué)習(xí)到更多邊緣信息.

圖7 不同損失函數(shù)訓(xùn)練模型后的光流計算結(jié)果可視化對比Fig.7 Visual comparison of optical flow calculation results after training models with different loss functions

3 實驗與分析

3.1 評價指標

實驗采用當前光流計算技術(shù)研究領(lǐng)域內(nèi)具有權(quán)威性的 MPI-Sintel[23]與 KITTI2015[24]測試圖像數(shù)據(jù)集進行算法性能測試.分別采用端點誤差和異常值百分比兩種量化評價指標對本文方法光流計算的準確性和魯棒性進行量化評價.其中,端點誤差是光流計算領(lǐng)域評價光流精度最常用的一種指標,表示的含義是計算光流與真實光流的幾何距離誤差.其計算公式如下

上式中,N是整張圖像中總的像素點數(shù)量,ugt是水平方向上的真實光流值,uout是水平方向上的計算光流值,vgt是垂直方向上的真實光流值,vout是垂直方向上的計算光流值.

異常值百分比指標常用于 KITTI2015 測試圖像數(shù)據(jù)集的光流計算結(jié)果評價,計算公式如下

式中,N是整張圖像中總的像素點數(shù)量,Fl表示光流異常值百分比,P(EPE ＞τ) 表示光流端點誤差大于τ的像素點,其中τ=3.

3.2 對比方法

為了驗證本文方法光流計算精度和邊緣保護效果,分別選取具有代表性的 FlowNet 2.0[15]、PWCNet[16]、IRR-PWC_RVC[19]、FastFlowNet[25]、Lite-FlowNet[26]、FlowNet3[27]、Semantic_Lattice[28]、OAS-Net[29]、LSM_RVC[30]以及 FDFlowNet[31]等深度學(xué)習(xí)光流計算方法進行綜合對比分析.其中,FlowNet 2.0 通過堆疊多個 FlowNet 結(jié)構(gòu)提高網(wǎng)絡(luò)深度,成為首個超越傳統(tǒng)變分光流計算精度的深度學(xué)習(xí)光流計算方法.PWC-Net 通過將特征金字塔、變形操作以及成本體積代價集成于統(tǒng)一框架,在簡化網(wǎng)絡(luò)結(jié)構(gòu)減少訓(xùn)練參數(shù)的同時顯著提升了光流計算精度.IRR-PWC_RVC 是首個采用遮擋真實值計算遮擋掩膜來提高遮擋區(qū)域光流計算精度的方法.FastFlowNet 采用新的增強池化金字塔特征提取器增強高分辨率金字塔特征,并引入中心密集擴張相關(guān)層構(gòu)建緊湊的代價量,在保持精度的同時極大地提升了光流計算速度.LiteFlowNet 通過使用短程匹配產(chǎn)生一個光流場對原始光流場進行優(yōu)化,提高了大位移運動區(qū)域的光流計算精度.FlowNet3 將遮擋、光流和視差進行聯(lián)合學(xué)習(xí),提出了一種有效的可學(xué)習(xí)的遮擋區(qū)域計算方法,不僅大幅提高光流計算精度也有效保護了運動邊緣.Semantic_Lattice 定義了一種廣義的卷積方式,并將這種廣義的卷積方式應(yīng)用到解碼器中減少邊緣偽影,保護光流的運動邊緣.OAS-Net 提出了一個新的遮擋感知采樣模塊,抑制噪聲對遮擋區(qū)域的影響,從而提高遮擋區(qū)域的光流計算精度,以實現(xiàn)光流運動邊緣保護.LSM_RVC 提出了學(xué)習(xí)子空間最小化框架,利用卷積神經(jīng)網(wǎng)絡(luò)生成一個子空間約束取代正則化項,增強了網(wǎng)絡(luò)模型的泛化能力.FDFlowNet 使用 U 形網(wǎng)絡(luò)融合特征代替原有的金字塔特征,并提出一種新的局部全連接結(jié)構(gòu),平衡了模型的尺寸、計算成本和網(wǎng)絡(luò)性能,顯著提升了光流計算精度與速度.

3.3 MPI-Sintel 測試圖像數(shù)據(jù)集實驗

MPI-Sintel[22]測試圖像數(shù)據(jù)集是一種開源的合成光流數(shù)據(jù)集,包含了大位移、運動遮擋以及非剛性大形變等困難場景.該測試集分為 Clean和 Final兩個數(shù)據(jù)集,其中 Final 數(shù)據(jù)集相對 Clean 數(shù)據(jù)集包含了大量的運動模糊、光照變化以及大氣效果等挑戰(zhàn)性元素,光流計算難度較大.表1 展示了本文方法與對比方法針對 MPI-Sintel 測試圖像數(shù)據(jù)集的光流計算結(jié)果.其中,All 代表所有像素點的平均端點誤差,Matched 代表圖像序列中非遮擋像素點的端點誤差,Unmatched 代表圖像序列中遮擋像素點的端點誤差.

從表1 可以看出,本文方法在 Clean和 Final子數(shù)據(jù)集的 All和 Matched 指標上均取得了最優(yōu)表現(xiàn),IRR-PWC_RVC 在 Unmatched 指標取得最佳的光流計算精度.OAS-Net 方法在 Clean 數(shù)據(jù)集的光流估計精度除低于本文方法外,整體性能優(yōu)于其他對比方法,這源于該模型的遮擋感知采樣模塊既抑制了噪聲又提高了遮擋區(qū)域的光流估計精度.在 Final 數(shù)據(jù)集上,IRR-PWC_RVC 方法的光流計算精度與本文方法接近,主要原因是 IRRPWC_RVC 方法在圖像特征提取骨干網(wǎng)絡(luò)中引入遮擋檢測模塊,通過在特征提取的過程中加入遮擋信息以補償運動遮擋產(chǎn)生的信息丟失,進而提高圖像特征提取精度.此外,該方法在端點誤差損失函數(shù)的基礎(chǔ)上設(shè)計了一種包含遮擋損失項的復(fù)合損失函數(shù),使得遮擋信息能夠引導(dǎo)模型得到充分訓(xùn)練.本文方法通過構(gòu)建多尺度變形卷積圖像特征提取模型,并設(shè)計包含邊緣結(jié)構(gòu)信息的混合損失函數(shù),使得光流估計模型的特征提取精度與邊緣保護效果得到有效改善.二者的相同點在于都遵循了相似的網(wǎng)絡(luò)模型設(shè)計思路,通過提高圖像特征提取精度和利用率的方式實現(xiàn)高精度光流估計.區(qū)別在于本文方法側(cè)重于光流邊緣結(jié)構(gòu)的保護,而 IRR-PWC_RVC方法關(guān)注于遮擋區(qū)域光流信息的獲取.因此,雖然本文方法與 IRR-PWC_RVC 方法的光流估計精度相近,但兩種方法提高光流估計性能的具體方式和側(cè)重點具有很大區(qū)別.

表1 MPI-Sintel 數(shù)據(jù)集圖像序列光流計算結(jié)果Table 1 Optical flow calculation results of image sequences in MPI-Sintel dataset

上述指標從宏觀角度對比了各方法光流計算性能,為了更加細化地對各方法光流計算效果進行對比分析,本文使用 MPI-Sintel 測試圖像數(shù)據(jù)集提供的 d0-10,d10-60,d60-140以及 s0-10,s10-40,s40+指標進行量化對比分析.其中,d0-10,d10-60,d60-140代表距離運動邊緣不同距離像素點的端點誤差,s0-10,s10-40,s40+代表不同位移速度像素點的端點誤差.實驗結(jié)果如表2 所示,從表2 可以看出,針對 Clean 子數(shù)據(jù)集,本文方法在 d0-10,d10-60,d60-140等衡量運動邊緣光流計算效果的指標上取得了最佳的光流計算精度.在挑戰(zhàn)性較大的 Final數(shù)據(jù)集,本文方法在 d0-10,d10-60,d60-140指標上的整體性能仍然優(yōu)于其他對比算法.說明本文方法在運動邊緣區(qū)域具有較高的光流計算精度與魯棒性.此外,在 Clean 數(shù)據(jù)集的 s10-40,s40+指標和Final 數(shù)據(jù)集的 s10-40指標也顯著優(yōu)于對比方法,說明本文方法針對大位移運動場景也具有較高的光流計算精度.但在 s0-10指標上,本文方法未取得最優(yōu)的光流計算精度,這說明在小位移運動光流計算方面,本文方法仍然存在一定限制.此外,在具有挑戰(zhàn)性的 Final 數(shù)據(jù)集,本文方法在 d60-140和 s40+指標存在一定性能下降,產(chǎn)生該現(xiàn)象的原因可能是圖像序列中的運動模糊效果導(dǎo)致本文方法難以捕捉更加精準的像素運動信息.

表2 MPI-Sintel 數(shù)據(jù)集運動邊緣與大位移指標對比結(jié)果Table 2 Comparison results of motion edge and large displacement index in MPI-Sintel dataset

為進一步定性對比分析本文方法光流計算效果,本文分別選取如圖8 所示的圖像序列進行光流結(jié)果可視化展示.其中方框區(qū)域為典型的運動邊緣區(qū)域,并且為了便于觀察對比,本文對該區(qū)域進行局部放大.從圖中可以看出,FlowNet 2.0 光流計算結(jié)果在運動邊緣區(qū)域呈現(xiàn)過度平滑,這是因為FlowNet 2.0 堆疊了多個包含大量標準卷積操作的FlowNet 結(jié)構(gòu)所致;PWC-Net 光流計算結(jié)果存在明顯邊緣擴張;OSA-Net 光流計算精度較高,但在Bamboo3 人物身體和 Market4 龍的尾部區(qū)域光流計算存在明顯的錯誤估計;IRR-PWC_RVC 方法在標簽區(qū)域存在明顯信息丟失.與各對比方法相比,本文方法光流計算精度最優(yōu),特別在 Ambush3 標簽區(qū)域、Bamboo3 人物的身體區(qū)域、Cave3 龍角處、Market1 人腿部區(qū)域和 Market4 龍的尾部區(qū)域,本文方法不僅更加準確地計算出上述區(qū)域光流信息,而且還有效緩解了運動邊緣模糊問題.

圖8 MPI-Sintel 數(shù)據(jù)集光流結(jié)果可視化對比圖Fig.8 Visualization comparison of optical flow results in MPI-Sintel dataset

3.4 KITTI2015 測試圖像數(shù)據(jù)集實驗

KITTI2015[23]測試圖像數(shù)據(jù)集是包含大量真實道路場景的數(shù)據(jù)集,其主要用于測試算法針對真實場景任務(wù)時光流計算的準確性與魯棒性.因此,對算法的性能要求較高,挑戰(zhàn)性更大.表3 展示了本文方法與對比方法針對 KITTI2015 數(shù)據(jù)集圖像序列光流計算異常值百分比結(jié)果對比.表中 Fl-bg代表圖像中背景光流異常值百分比,Fl-fg 代表圖像中前景光流異常值百分比,Fl-all 代表圖像中平均光流異常值百分比.從表3 可以看出,FlowNet 2.0光流計算精度最低,說明僅通過堆疊網(wǎng)絡(luò)提高模型深度方式,難以應(yīng)對真實復(fù)雜場景光流計算的需求.LSM_RVC 光流計算精度與本方法較為接近,但在Fl-fg 指標誤差明顯高于本文方法.相對于其他方法,本文方法整體光流計算精度較高,僅 Fl-fg 指標略低于對比方法,產(chǎn)生該現(xiàn)象的原因是真實場景包含較為強烈的光照變化與陰影等情況,使得運動目標輪廓信息發(fā)生一定變化,致使本文方法所使用的變形卷積在擬合目標形態(tài)時產(chǎn)生一定的偏差.為了驗證本文方法針對真實場景圖像序列光流計算在運動邊緣區(qū)域的保護效果,選取 KITTI2015 數(shù)據(jù)集中具有代表性的4 幀連續(xù)圖像序列對本文方法和對比方法進行綜合對比.

表3 KITTI2015 數(shù)據(jù)集計算結(jié)果Table 3 Calculation results in KITTI2015 dataset

圖9 展示了本文方法與各對比方法針對測試圖像序列的光流計算誤差可視化對比,標簽區(qū)域為運動邊緣區(qū)域.為了更好地觀察圖中各對比方法在運動邊緣區(qū)域光流計算效果,本文對標簽區(qū)域進行了局部放大.從圖中可以看出,在光照不足且邊緣輪廓信息缺乏的 KITTI15_000000 序列,本文方法取得了最佳的光流計算效果,在汽車邊緣輪廓區(qū)域異常值面積占比最小.在 KITTI15_000005 序列,本文方法在左側(cè)汽車頂部區(qū)域光流計算效果較好,FlowNet3 在右側(cè)白色背景區(qū)域取得了最佳的光流計算效果,說明本文方法針對缺乏紋理信息的場景光流計算存在一定限制.在包含大位移運動的KITTI15_000006和 KITTI15_000014 序列,本文方法取得了最佳的光流計算精度,特別在汽車邊緣輪廓區(qū)域包含了較少的異常值.說明在真實場景光流計算中,本文方法仍然能夠表現(xiàn)出較高的光流計算準確性,且對運動邊緣具有較好的保護效果.

圖9 KITTI2015 數(shù)據(jù)集光流誤差結(jié)果對比圖Fig.9 Comparison of optical flow error results in KITTI2015 dataset

表3 列出了本文方法與對比方法在 KITTI2015數(shù)據(jù)集的平均光流計算時間.從表3 中可以看出,FDFlowNet 方法的計算效率最高,本文方法提出的多尺度變形卷積特征提取網(wǎng)絡(luò)由于使用了較多變形卷積操作,因此時間消耗相對較長.在基于深度學(xué)習(xí)的光流計算中,隨著網(wǎng)絡(luò)復(fù)雜度和參數(shù)量的增加,光流估計模型往往犧牲計算效率換取光流計算精度的提高,而本文方法在不大幅增加時間消耗的基礎(chǔ)上顯著提升了光流計算精度,綜合性能較優(yōu).

3.5 消融實驗

為了進一步分析本文提出的多尺度變形卷積特征提取網(wǎng)絡(luò)模型和混合損失函數(shù)對光流計算性能提升的作用,本文采用消融實驗進行綜合對比分析.實驗采用 MPI-Sintel 數(shù)據(jù)集中的 Clean 子數(shù)據(jù)集對各消融實驗?zāi)Ｐ瓦M行測試對比分析,各消融實驗?zāi)Ｐ蛯嶒灁?shù)據(jù)結(jié)果如表4 所示.其中,baseline 為基準模型,baseline_loss 為基準模型加混合損失函數(shù)模型,baseline_md 為基準模型加多尺度變形卷積特征提取網(wǎng)絡(luò)模型,full model 是基準模型加上混合損失函數(shù)和多尺度變形卷積特征提取網(wǎng)絡(luò)模型.從表4 可以看出,相比于單獨去除多尺度變形卷積特征提取網(wǎng)絡(luò)的 baseline_loss 模型和單獨去除邊緣損失函數(shù)的 baseline_md 模型,全模型在Clean 數(shù)據(jù)集的所有指標上取得了最好的光流計算效果.并且從 d0-10,d10-60,d60-140運動邊緣指標可以看出,通過分別增加多尺度變形卷積特征提取網(wǎng)絡(luò)和混合損失函數(shù),可以有效提升光流運動邊緣計算精度.當多尺度變形卷積特征提取網(wǎng)絡(luò)與混合損失函數(shù)共同作用時,可以顯著提高網(wǎng)絡(luò)光流計算精度,二者的協(xié)同作用進一步提升了 d60-140指標精度.這進一步說明,本文所提方法各模塊可以有效提高網(wǎng)絡(luò)的光流計算精度,保護運動邊緣.此外,從baseline_loss 模型數(shù)據(jù)可以看出,在全模型之外,該模型得到了最高的光流計算精度.反映出本文提出的混合損失函數(shù)對模型光流計算精度的提升具有明顯的積極作用.

表4 MPI-Sintel 數(shù)據(jù)集上消融實驗結(jié)果對比Table 4 Comparison of ablation experiment results in MPI-Sintel dataset

同樣,為了更直觀地展示各模塊的工作性能,同時,定性分析本文提出的模型各組成模塊對光流計算運動邊緣的保護效果.本文將消融實驗中各模型針對 Cave3 序列光流計算結(jié)果進行可視化對比,結(jié)果如圖10 所示.其中,圖10 中標簽區(qū)域為圖像序列場景中對應(yīng)的圖像與運動邊緣區(qū)域.從圖10中可以看出,本文方法所提各模塊在去除異常值方面均具有較好的效果,相對于 baseline 模型較為準確地計算出人腿部附近區(qū)域的光流信息.同時,本文提出的各模塊對于圖像與運動邊緣區(qū)域光流計算精度均具有明顯提升.例如,圖中龍角與人物腿部的中間區(qū)域圖像邊緣模糊現(xiàn)象得到有效抑制,并且光流估計結(jié)果邊緣結(jié)構(gòu)更加清晰.這也從側(cè)面說明本文提出的多尺度變形卷積特征提取網(wǎng)絡(luò)可以捕獲更加準確的圖像特征信息,所提出的混合損失函數(shù)能夠更好地約束運動邊緣區(qū)域的光流計算.

圖10 各消融模型光流計算結(jié)果可視化對比圖,第2、4 行為標簽區(qū)域放大圖Fig.10 Visual comparison of optical flow calculation results for each ablation model,the second and fourth rows are enlarged images of the label area

4 結(jié)論

本文通過構(gòu)建多尺度變形卷積特征提取網(wǎng)絡(luò)并將其與特征金字塔光流估計網(wǎng)絡(luò)模型耦合,提出了一種基于多尺度變形卷積的圖像序列光流計算方法.該方法首先通過多尺度變形卷積特征提取網(wǎng)絡(luò)獲取準確的圖像特征信息.然后,設(shè)計了一種新的混合損失函數(shù),將圖像與運動邊緣約束正則化項、數(shù)據(jù)項損失和端點誤差結(jié)合,用以指導(dǎo)網(wǎng)絡(luò)模型學(xué)習(xí)更加精準的圖像與運動邊緣信息,使損失函數(shù)可以更好地約束圖像與運動邊緣區(qū)域光流計算.通過大量實驗對比分析,表明本文方法具有較高的光流計算精度,特別在運動邊緣區(qū)域具有較好的保護效果.