張聰炫，陳 震，黎 明

(1.南昌航空大學無損檢測技術教育部重點實驗室,江西南昌 330063;2.南昌航空大學測試與光電工程學院,江西南昌 330063)

單目圖像序列光流三維重建技術研究綜述

張聰炫1,2，陳 震1,2，黎 明1

(1.南昌航空大學無損檢測技術教育部重點實驗室,江西南昌 330063;2.南昌航空大學測試與光電工程學院,江西南昌 330063)

由單目圖像序列光流重建物體或場景的三維運動與結構是計算機視覺、圖像處理與模式識別等領域的重要研究內容，在機器人視覺、無人機導航、車輛輔助駕駛以及醫(yī)學影像分析等方面具有重要的應用.本文首先從精度與魯棒性等方面對單目圖像序列光流計算及三維重建技術近年來取得的進展進行綜述與分析.然后采用Middlebury測試圖像序列對HS、LDOF、CLG-TV、SOF、AOFSCNN和Classic+NL等典型光流算法以及Adiv、RMROF、Sekkati和DMDPOF等基于光流的間接與直接重建方法進行實驗對比分析，指出各對比方法的優(yōu)點與不足，歸納各類方法的性能特點與適用范圍.最后對利用分數(shù)階微分模型、非局部約束、立體視覺以及深度線索解決亮度突變、非剛性運動、運動遮擋與模糊情況下光流計算及重建模型的局限性與魯棒性問題進行總結與展望.

單目圖像序列；光流；運動估計；三維重建；困難場景；魯棒性

1 引言

光流是指運動物體或場景表面的光學特征部位在投影平面的瞬時速度，其不僅包含了物體或場景的運動參數(shù)，還攜帶了豐富的三維結構信息.研究基于單目圖像序列光流的三維重建技術就是研究如何利用圖像光流估計目標運動物體或場景的三維運動速度并重建其三維結構.21世紀以來，隨著圖像傳感器以及電子芯片技術的飛躍式發(fā)展，基于單目圖像序列光流的三維重建技術已在航空航天、軍事、工業(yè)、醫(yī)療等領域顯示出越來越重要的地位與作用，例如應用于工業(yè)機器人的視覺系統(tǒng)[1]、車輛行進過程中的前景及障礙物檢測[2]、紅外圖像中運動目標的檢測與跟蹤[3]、無人機導航與起降系統(tǒng)[4]、衛(wèi)星云圖分析與三維顯示[5]、醫(yī)學圖像器官的三維重建與分析、診斷[6]等等.

根據(jù)計算策略的不同，基于單目圖像序列光流的三維重建方法大致可以分為兩類：基于稠密光流的方法和基于稀疏光流(特征光流)的方法.基于稠密光流的三維重建技術是利用運動物體或場景表面稠密像素點的圖像運動估計其對應的三維運動與深度信息，因此該類方法可以較好地描述運動物體或場景的表面細節(jié)信息.根據(jù)研究階段的不同，基于稠密光流的三維重建技術主要分為圖像序列光流計算技術研究和基于稠密光流的三維重建技術研究.其中，圖像序列光流計算技術是基于稠密光流三維重建技術的重要基礎，光流計算的精度直接關系三維運動估計與結構重建的效果.基于稀疏光流的三維重建技術需要首先提取圖像序列中運動物體或場景表面的圖像特征(例如圖像中的角點、直線、曲線等特征)，然后對提取的特征跟蹤、匹配并計算出其對應的圖像坐標變化，從而根據(jù)特征光流與三維運動和空間結構的投影關系重建三維運動與結構.由于只是采用圖像序列中感興趣的圖像特征對物體或場景進行描述，基于稀疏光流的三維重建技術能夠克服亮度突變現(xiàn)象對重建結果的影響.

根據(jù)單目圖像序列光流三維重建技術的分類以及研究階段的不同，本文分別從圖像序列光流計算技術、基于稠密光流的三維重建技術和基于稀疏光流的三維重建技術等方面對單目圖像序列光流三維重建理論與方法的研究現(xiàn)狀以及現(xiàn)存的關鍵問題與后期研究方向進行扼要的介紹及分析.

2 圖像序列光流計算技術

1981年，Horn和Schunck[7]通過對光流基本約束方程添加平滑項構成全局能量函數(shù)，開創(chuàng)性地提出了光流估計模型：

(1)式中，Ω表示圖像區(qū)域，I(x,y)表示圖像像素點(x,y)T處的灰度值，(Ix,Iy,It)T表示圖像灰度沿x、y軸以及時間t方向的偏導.=(?x?y)T表示梯度算子，α是平滑項權重系數(shù).對式(1)中光流分量u、v分別求導后可以推導出對應的迭代公式進而計算光流矢量w=(u,v)T.Lucas和Kanade[8]假設在圖像中一個較小區(qū)域內各像素點的光流值相等，利用加權函數(shù)對各像素點進行約束，提出了局部光流算法，該方法充分考慮圖像像素點的局部鄰域信息，有效地提高光流計算模型的抗噪性，但由于采用鄰域光流一致的計算策略，導致光流結果并不是完全稠密的[9].

在光流計算模型中，數(shù)據(jù)項主要由基于圖像數(shù)據(jù)的守恒假設構成，是決定光流計算精度與魯棒性的主要因素.針對基本約束方程在圖像中包含光照變化時可靠性較差的問題，基于圖像梯度[10]、圖像結構張量[11]等數(shù)據(jù)的高階守恒假設逐漸成為數(shù)據(jù)項的重要組成部分.Papenberg[12]等人對不同類型守恒假設進行理論分析和實驗對比，證明了灰度守恒假設與梯度守恒假設的聯(lián)合形式總體性能較優(yōu).針對光照陰影對光流計算的影響，基于圖像紋理、結構分解的圖像數(shù)據(jù)處理方法能夠有效地降低圖像陰影區(qū)域對守恒假設造成的誤差[13].鑒于傳統(tǒng)數(shù)據(jù)項采用的平方模型易導致守恒假設誤差的非線性增大，基于Charbonnier函數(shù)的非平方模型成為現(xiàn)階段解決光流計算魯棒性的有效手段[14].針對光流模型的抗噪性能，Drulea[15]在數(shù)據(jù)項采用全局優(yōu)化與局部優(yōu)化相結合的方法，既提高了光流計算的抗噪性，又能得到稠密的光流場.鑒于彩色圖像能夠提供更多的圖像信息，項學智[16]提出了基于多通道和色彩梯度守恒的光流計算模型，進一步提高了數(shù)據(jù)項模型的準確性與可靠性.

光流計算模型的平滑項主要由各種平滑策略構成，決定了光流擴散的方向和程度.由于傳統(tǒng)的一致擴散策略造成圖像邊緣過于平滑，基于圖像梯度的自適應變化擴散策略最早被用于解決圖像邊緣區(qū)域光流過度發(fā)散的問題[17].針對各向同性擴散易導致圖像邊緣模糊的問題，Werlberger[18]提出基于圖像結構張量的各向異性擴散策略，通過控制光流在圖像邊緣不同方向的擴散程度克服由于光流擴散所導致的邊緣模糊現(xiàn)象.由于圖像邊緣與運動邊緣并不一定完全重合，基于光流驅動的平滑項擴散策略[19]能夠降低圖像中運動邊緣處溢出點對光流計算的影響，使得光流結果充分體現(xiàn)了運動細節(jié).針對圖像驅動與光流驅動兩類平滑項擴散策略各自的優(yōu)缺點，Zimmer[20]提出基于圖像與光流聯(lián)合驅動的平滑項模型，使得光流估計結果既能體現(xiàn)運動細節(jié)又盡可能地貼合圖像邊緣.

近年來，隨著圖像計算難度的增大，光流模型的計算策略及優(yōu)化方法研究逐漸成為熱點問題.針對大位移光流估計問題，Brox[21]通過將金字塔變形分層策略與區(qū)域匹配方法相結合，有效提高了大位移運動光流計算的精度與魯棒性.當圖像序列中存在運動遮擋情況時，光流估計在遮擋區(qū)域常常包含較大誤差，Ayvaci[22]在朗伯反射與光照不變的條件下提出面向稀疏遮擋的光流計算方法，部分解決了遮擋區(qū)域光流計算的可靠性問題.針對光流計算的魯棒性與時效性問題，Zhang[23]采用雙層細胞神經網(wǎng)絡對基于多守恒假設與各向異性擴散相結合的光流模型進行優(yōu)化，提高了光流計算的精度與時效性.針對困難場景光流計算的準確性問題，Sun[24]通過在金字塔分層迭代時對圖像光流進行加權中值濾波優(yōu)化，大幅提高了光流估計的精度與魯棒性.Middlebury學院的計算機視覺研究中心對不同光流算法進行了系統(tǒng)的比較與分析，提出了Middlebury評價標準[25]，并提供了不同類型的測試圖像序列，為光流計算的后續(xù)研究奠定了基礎.

針對圖像序列光流計算策略的對比問題，本文分別選取HS[7]、LDOF[21]、CLG-TV[15]、SOF[22]、AOFSCNN[23]以及Classic+NL[24]等代表性方法進行光流計算評測.測試圖像采用圖1所示的Middlebury數(shù)據(jù)庫提供的Dimetrodon、Grove3、Rubberwhale以及Urban2圖像序列.其中，Dimetrodon圖像序列包含非剛性復雜運動、Grove3圖像序列包含復雜邊緣結構與運動間斷、RubberWhale圖像序列包含多目標復雜運動以及陰影區(qū)域、Urban2圖像序列同時存在運動遮擋與小位移光流.圖2展示了各對比方法計算所得光流結果，由于HS算法是光流計算的起源方法，針對本實驗所采用的圖像序列，HS算法計算效果最差，說明HS算法已無法滿足復雜困難場景圖像序列光流計算的要求.LDOF算法針對Urban2圖像序列光流計算效果較差，說明該方法不適用于運動遮擋與小位移光流類型圖像；CLG-TV算法針對Grove3與Rubberwhale圖像序列光流計算效果較差，主要源于該方法采用局部與全局優(yōu)化相結合導致光流計算在圖像邊緣細節(jié)區(qū)域過于平滑；SOF算法針對Rubberwhale與Urban2等包含遮擋與陰影的圖像序列計算效果較好，但針對Grove3等包含復雜邊緣輪廓的圖像序列光流計算效果不理想；AOFSCNN算法與Classic+NL算法光流計算整體效果較好，說明這兩種方法針對非剛性運動、復雜邊緣、運動遮擋以及小位移光流等困難場景具有較好的適用性.

表1分別給出了各對比方法光流計算結果的平均角誤差(Average Angle Error，AAE)與平均端點誤差(Average Endpoint Error，AEE)，其中，AAE誤差指標反映的是光流計算結果的平均相對角誤差，即光流整體偏移程度；AEE誤差指標反映的是光流計算結果的平均端點誤差，即光流平均絕對誤差.由表1可以看出，Classic+NL算法在Grove3、Rubberwhale以及Urban2等三組圖像序列中AAE誤差最小，說明Classic+NL算法光流計算結果整體偏移程度較??；AOFSCNN算法針對Grove3與Urban2等兩組圖像序列AEE誤差指標表現(xiàn)最優(yōu)，說明AOFSCNN算法光流計算絕對誤差較小.

表1 Middlebury測試庫圖像序列光流計算誤差對比

3 基于稀疏光流的三維重建技術

3.1 基于稀疏點光流的三維重建技術

基于圖像序列稀疏光流的三維重建研究始于20世紀80年代，Roach[26]首先根據(jù)圖像特征點與三維空間點的幾何對應關系提出了基于圖像稀疏點光流的非線性三維重建算法.針對非線性算法無法獲得唯一解的問題，Zhuang和Huang[27]提出基于特征點光流的三維重建線性算法.由于線性算法重建模型對圖像噪聲較為敏感，以擴展卡爾曼濾波為代表的各類數(shù)字率濾波器在20世紀末被廣泛用于稀疏點光流三維重建模型的優(yōu)化[28]，但由于該類方法通常需要長序列圖像進行狀態(tài)估計，導致其重建模型的時間消耗過大.

隨著圖像特征點提取技術的快速發(fā)展，基于稀疏點光流的三維重建技術在重建精度等方面得到較大提高.針對多運動目標的三維重建問題，Ozden[29]采用概率統(tǒng)計對匹配得到的稀疏點光流進行分類，提高了多目標三維重建的可靠性.王俊[30]提出一種基于圖像匹配-特征點云融合的三維重建方法，通過匹配不同點云模型在同一幅圖像上的投影點確定特征光流對應集，提高了大場景三維重建的精度.針對復雜運動物體和場景的三維重建問題，Nachimson[31]通過分解旋轉和平移運動提出基于二次全局優(yōu)化的特征點光流三維重建方法,提高了復雜運動三維重建的精度.

近年來，隨著魯棒估計算法在計算機視覺領域的廣泛應用，稀疏點光流三維重建技術的魯棒性得到較大提高.針對場景與攝像機相對運動情況下的三維重建問題，Scaramuzza[32]提出基于RANSAC約束的稀疏點光流魯棒重建模型，并將其應用于車載攝像頭的場景重建，展現(xiàn)了該類方法的應用價值.針對室外大場景的三維重建問題，Crandall[33]利用離散馬爾科夫隨機場與連續(xù)Levenberg-Marquardt算法構造稀疏點光流三維重建模型，提高了復雜環(huán)境下三維重建模型的魯棒性.針對運動遮擋等困難類型圖像序列，Sinha[34]通過非線性插值對圖像序列中的點和消失點進行匹配，提出基于多級優(yōu)化的線性稀疏點光流三維重建模型，部分解決了遮擋、形變等情況下三維重建的可靠性問題.

3.2 基于稀疏直線光流的三維重建技術

鑒于基于稀疏點光流的三維重建技術僅僅利用圖像中像素點這一最小單位，當圖像序列中存在大位移運動、運動遮擋與模糊等困難運動類型時，稀疏點光流重建模型的魯棒性問題仍未得到較好地解決.直線是計算機視覺中最常用的一種特征信息，相對于單個像素點，直線特征的抽象層次更高，能夠提供更多的拓撲結構信息.因此，基于直線光流的三維重建方法逐漸成為稀疏光流重建技術的研究熱點.

1988年，Liu和Huang[35]首先提出利用三幀圖像直線光流計算運動物體旋轉和平移運動的非線性重建模型.由于非線性算法不能保證運動估計的唯一解，Liu和Huang[36]又提出基于直線光流的三維運動估計線性模型.陳震[37]首次定義了直線光流的概念，并提出基于直線光流的剛體運動估計與結構重建線性模型.針對重建算法的魯棒性問題，文獻[38]和[39]分別利用誤差函數(shù)和全局優(yōu)化建立直線光流三維重建非線性模型，抑制了圖像噪聲對直線重建精度的影響.

針對某些場景可供利用直線光流數(shù)量較少的問題，文獻[40]提出了基于最優(yōu)數(shù)量直線光流的三維重建線性模型，但由于模型的魯棒性與直線數(shù)量相關，當直線數(shù)量較少時，重建精度較差.Mosaddegh[41]利用直線光度守恒假設對三維重建模型進行約束，提高了直線光流數(shù)量較少時重建算法的精度.針對不規(guī)則運動物體或場景的三維重建問題，Liu[42]以多條直線段擬合曲線特征，提出適用于復雜表面剛體的直線光流重建模型.Elqursh[43]提出基于正交直線光流的運動估計模型，降低了重建模型對圖像幀數(shù)的要求.

4 基于稠密光流的三維重建技術

4.1 間接重建方法

基于稠密光流的間接重建方法是通過圖像光流與三維運動的空間幾何關系重建運動物體或場景三維運動與結構.1983年，Bruss[44]首先提出基于局部區(qū)域光流的三維運動估計模型，雖然模型簡單、重建效率較快，但由于缺少對光流誤差的懲罰導致重建效果較差.當圖像序列光流估計結果包含較大誤差時，如何減小光流誤差對重建模型的影響至關重要.Kolev[45]根據(jù)最大流-最小割原理提出基于全局約束與局部約束相結合的重建模型，有效地抑制了光流誤差的負面影響.針對局部區(qū)域內光流誤差的相互傳導問題，文獻[46]提出基于正定矩陣的稠密光流間接重建模型，通過切斷光流誤差的傳遞路徑保證了重建模型的魯棒性.針對真實場景的三維重建問題，Chessa[47]采用可調節(jié)參數(shù)濾波對線性重建模型進行優(yōu)化，既提高了重建結果的準確性，又能夠縮減時間消耗.

當圖像序列中包含多個運動物體時，如何準確區(qū)分不同物體的運動區(qū)域是間接重建方法的一個關鍵問題.Adiv[48]首先根據(jù)光流估計結果對運動目標進行動態(tài)閾值分割，再利用加權局部區(qū)域算法計算運動物體的三維運動參數(shù)和相對深度信息，但由于光流區(qū)域常常大于運動物體的真實區(qū)域，因此重建結果并不理想.針對閾值分割的缺點，Meinhardt[49]使用邊緣檢測算子對圖像光流進行分割，并利用運動物體的邊緣約束條件重建其相對深度.針對遮擋情況下間接重建模型的準確性與可靠性問題，Calway[50]提出基于改進卡爾曼濾波的遞歸重建模型，通過采用長序列圖像修正策略使得重建模型具有較好的魯棒性.針對長序列導致時間消耗過大的問題，Lee[51]提出基于圖像光流的概率統(tǒng)計的三維重建模型，既提高了運動物體遮擋情況下重建模型的準確性，又減小了重建模型的時間消耗.4.2 直接重建方法

鑒于光流計算過程常常會給間接重建算法帶來較大的時間消耗與計算誤差，Horn和Weldon[52]通過圖像像素點亮度與對應空間點的透視投影關系首先定義基于亮度恒等的三維運動估計守恒假設，然后提出基于局部鄰域約束的稠密光流三維重建直接方法.基于稠密光流的直接重建方法無須事先計算圖像光流，有效地降低了光流計算所帶來的誤差風險與時間消耗，因此迅速成為單目圖像光流三維重建技術研究的熱點.

針對直接重建方法的精度問題，Mitiche[53]提出基于最小描述長度原理約束的三維重建模型，但該方法只適合估計平移運動參數(shù).Sekkati[54]通過引入正則化因子，構建基于全局優(yōu)化的直接重建模型，解決了直接重建方法的局部最優(yōu)解問題.針對非剛性運動的重建問題，Perriollat[55]使用距離守恒假設對重建模型進行約束，并采用時空濾波對運動估計優(yōu)化，提高了非剛性運動情況下重建模型的可靠性.針對多目標三維重建問題，Mitiche[56]在重建模型中利用水平集演化搜索運動物體或場景的邊緣輪廓，準確地對圖像中不同物體或場景進行分割.

針對光照變化情況下重建模型的魯棒性問題，Zhang[57]提出基于多守恒假設與非線性擴散相結合的直接重建模型，并對特殊運動形式的三維重建問題進行分析，拓展了直接重建方法的適用范圍.Ummenhofer[58]提出基于移動背景消除的三維重建模型，能夠有效地減小移動背景和物體陰影區(qū)域對重建結果的影響.針對大位移運動時重建模型的可靠性問題，文獻[59]提出基于圖像金字塔分層的全局優(yōu)化直接重建方法，有效地克服了大位移運動所導致的邊緣溢出點問題.Cubber[60]將單目光流重建模型與雙目視覺相結合，利用極線約束估計物體或場景的絕對深度，為光流三維重建技術研究開辟了新方向.

為了驗證間接重建方法與直接重建方法的性能與特點，分別選取Adiv[48]、RMROF[46]、Sekkati[54]和DMDPOF[59]等重建方法進行對比測試與分析.其中，Adiv與RMROF算法采用AOFSCNN算法[23]作為重建模型的光流計算方法.測試圖像選取圖3(a)所示的Yosemite圖像序列，圖中既存在烏云區(qū)域的非剛性運動，又包含了山谷的大場景擴張運動，因此具有較高的挑戰(zhàn)性.由于Yosemite圖像序列沒有深度真實值，計算出各對比方法的深度重建結果后使用灰度圖表示如圖3(e)～(h)所示.圖中顏色較深的像素點表示其深度坐標較小，即該點距離攝相機鏡頭較近；顏色較淺的像素點表示其深度坐標較大，即距離攝相機鏡頭較遠.圖3中，Adiv算法重建效果較差，主要源于該方法僅采用局部鄰域約束估計三維運動與深度信息，導致其對困難場景的重建效果較差.Sekkati算法重建效果略好于Adiv算法，但由于采用非線性一致擴散策略導致其重建結果過于平滑.RMROF算法與DMDPOF算法重建結果未出現(xiàn)明顯的過度分割與不連續(xù)現(xiàn)象，整體重建效果較好.

圖3(b)～(d)分別展示了光流真實值、AOFSCNN與DMDPOF算法的光流估計結果，圖中AOFSCNN算法在烏云區(qū)域存在輕微的過度分割現(xiàn)象，而DMDPOF算法則更加平滑，未出現(xiàn)過度分割現(xiàn)象.表2展示了各對比方法的光流誤差AAE與AEE統(tǒng)計結果，其中Adiv與RMROF算法采用的是AOFSCNN算法的光流計算結果.表中AOFSCNN算法的AAE誤差最小，而DMDPOF算法的AEE誤差最小.通過各對比方法的定性分析與定量比較可以看出，精確的光流輸入并不一定能保證間接重建方法取得令人滿意的重建效果，主要源于不適當?shù)拈g接重建模型可能會將光流誤差放大.直接重建方法計算出的光流結果與重建效果是密切相關的，因此直接重建方法計算出的光流精度越高，說明其重建效果越好.

表2 各對比重建方法光流誤差結果

5 總結與展望

本文通過對圖像序列光流計算技術、基于圖像特征光流的三維重建技術以及基于稠密光流的三維重建技術等研究內容進行分類歸納，總結分析了單目圖像序列光流三維重建技術的研究熱點及重要研究成果，并對光流計算及其三維重建技術研究領域中幾類代表性方法進行了實驗對比測試，以說明各類方法的性能特點以及適用范圍.

雖然單目圖像序列光流三維重建技術研究取得了較大進展與諸多成果，但仍有許多相關工作有待進一步深入研究，例如：

(1)圖像序列光流計算的基礎是基于圖像數(shù)據(jù)的守恒假設，而光照變化、大位移運動等導致的像素點亮度突變現(xiàn)象使得現(xiàn)有的各種圖像數(shù)據(jù)整數(shù)階守恒假設常常出現(xiàn)不連續(xù)問題，使得光流計算結果較差.分數(shù)階微分模型是近年來微積分研究領域的熱點問題，其具有抗噪性、弱導數(shù)性以及記憶性等顯著優(yōu)點.在后續(xù)研究中，采用分數(shù)階微分模型代替圖像數(shù)據(jù)守恒假設中傳統(tǒng)的整數(shù)階微分模型有望解決由于像素點亮度突變所導致的光流不連續(xù)問題.

(2)近年來，基于非局部約束的光流計算模型逐漸成為光流計算的主流方法，但由于目前的非局部約束項只考慮圖像鄰域像素點的加權約束，常常導致光流估計結果出現(xiàn)“過度分割”現(xiàn)象.因此，在后續(xù)研究中應更多考慮基于圖像區(qū)域的非局部約束策略，利用圖像區(qū)域平滑抑制“過度分割”現(xiàn)象的產生，同時避免光流計算陷入局部最優(yōu).

(3)當圖像序列中存在非剛性運動或運動遮擋等現(xiàn)象時，物體或場景表面的像素點或其它特征常常出現(xiàn)“時有時無”的情況，此時基于單目圖像序列光流的三維重建技術常常無法獲取魯棒的運動估計與重建結果.在后續(xù)研究中應考慮將單目圖像序列與雙目視覺相結合，利用極線約束對重建模型進一步優(yōu)化，以提高重建模型的準確性與可靠性.

(4)基于稠密光流的三維重建技術可以重建圖像序列中運動物體或場景的稠密結構，充分體現(xiàn)其表面細節(jié)信息；而基于特征光流的三維重建技術對圖像亮度變化等噪聲不敏感，且直線、曲線等特征包含物體或場景更多的拓撲結構.但目前為止，這兩類方法基本處于相互平行狀態(tài).在后續(xù)研究中，應更多考慮將這兩類方法進行交叉融合，使得重建結果既能夠表現(xiàn)圖像細節(jié)，又可以獲取更多的拓撲信息.

(5)由于基于單目圖像序列光流的三維重建結果中通常包含與深度坐標相關的未知參數(shù)，使得重建結果的量化評價十分困難.隨著消費類深度相機的發(fā)展與普及，后續(xù)研究中應考慮采用可見光圖像與深度圖像融合的方法進行三維重建技術研究，利用深度數(shù)據(jù)對圖像中運動物體或場景分層分割，并獲取其真實的運動估計與重建結果.

[1]Roberts R,Dellaert F.Direct superpixel labeling for mobile robot navigation using learned general optical flow templates[A].International Conference on Intelligent Robots and Systems[C].Chicago:IEEE,2014.1032-1037.

[2]Nourani-Vatani N,Borges P V K,Roberts J M,et al.On the use of optical flow for scene change detection and description[J].Journal of Intelligent & Robotic Systems,2014,74(3):817-846.

[3]羅寰,王芳,陳中起,等.基于對稱差分和光流估計的紅外弱小目標檢測[J].光學學報,2010,30(6):1715-1720. Luo Huan,Wang fang,Chen Zhong-qi,et al.Infrared target detecting based on symmetrical displaced frame difference and optical flow estimation[J].Acta Optica Sinica,2010,30(6):1715-1720.(in Chinese)

[4]Rhudy M B,Chao H,Gu Y.Wide-field optical flow aided inertial navigation for unmanned aerial vehicles[A].International Conference on Intelligent Robots and Systems[C].Chicago:IEEE,2014.674-679.

[5]Zhou L,Kambhamettu C,Goldgof D B,et al.Tracking nonrigid motion and structure from 2D satellite cloud images without correspondences[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(11):1330-1336.

[6]許鴻奎,江銘炎,楊明強.基于改進光流場模型的腦部多模醫(yī)學圖像配準[J].電子學報,2012,40(3):525-529. Xu Hong-kui,Jiang Ming-yan,Yang Ming-qiang.Registration of multimodal brain medical images based on improved optical flow model[J].Acta Electronica Sinica,2012,40(3):525-529.(in Chinese)

[7]Horn B K,Schunck B G.Determining optical flow[J].Artificial Intelligence,1981,17(1):185-203.

[8]Lucas B D,Kanade T.An iterative image registration technique with an application to stereo vision[A].Proceedings of the 7th International Joint Conference on Artificial Intelligence[C].Vienna:Springer,1981.674-679.

[9]Bruhn A,Weickert J,Schn?rr C.Lucas/Kanade meets Horn/Schunck:Combining local and global optic flow methods[J].International Journal of Computer Vision,2005,61(3):211-231.

[10]Brox T,Bruhn A,Papenberg N,et al.High accuracy optical flow estimation based on a theory for warping[A].European Conference on Computer Vision[C].Prague:Springer,2004.25-36.

[11]陳震,張聰炫,晏文敬,等.基于圖像局部結構的區(qū)域匹配變分光流算法[J].電子學報,2015,43(11):2200-2209. Chen Zhen,Zhang Cong-xuan,Yan Wen-jing,et al.Region matching variational optical flow algorithm based on image local structure[J].Acta Electronica Sinica,2015,43(11):2200-2209.(in Chinese)

[12]Papenberg N,Bruhn A,Brox T,et al.Highly accurate optic flow computation with theoretically justified warping[J].International Journal of Computer Vision,2006,67(2):141-158.

[13]劉駿,祖靜,張瑜,等.光照變化條件下的光流估計[J].中國圖象圖形學報,2014,19(10):1475-1480. Liu Jun,Zu Jing,Zhang Yu,et al.Optical flow estimation method under the condition of illumination change[J].Journal of Image and Graphics,2014,19(10):1475-1480.(in Chinese)

[14]Wedel A,Pock T,Zach C,et al.An improved algorithm for TV-L1 optical flow[A].Proceedings of the Statistical and Geometrical Approaches to Visual Motion Analysis[C].Dagstuhl Castle:Springer,2009.23-45.

[15]Drulea M,Nedevschi S.Total variation regularization of local-global optical flow[A].International Conference on Intelligent Transportation Systems[C].Washington:IEEE,2011.318-323.

[16]項學智,開湘龍,張磊,等.一種變分偏微分多模型光流求解方法[J].儀器儀表學報,2014,35(1):109-116. Xiang Xue-zhi,Kai Xiang-long,Zhang Lei,et al.A method variational partial differential based multi-model optical flow calculation[J].Chinese Journal of Scientific Instrument,2014,35(1):109-116.(in Chinese)

[17]Nagel H H,Enkelmann W.An investigation of smoothness constraints for the estimation of displacement vector fields from image sequences[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(5):565-593.

[18]Werlberger M,Trobin W,Pock T,et al.Anisotropic Huber-L1 optical flow[A].Proceedings of the British machine vision conference[C].London:BMVA,2009.1-11.

[19]Xu L,Jia J,Matsushita Y.Motion detail preserving optical flow estimation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(9):1744-1757.

[20]Zimmer H,Bruhn A,Weickert J.Optic flow in harmony[J].International Journal of Computer Vision,2011,93(3):368-388.

[21]Brox T,Malik J.Large displacement optical flow:Descriptor matching in variational motion estimation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(3):500-513.

[22]Ayvaci A,Raptis M,Soatto S.Sparse occlusion detection with optical flow[J].International Journal of Computer Vision,2012,97(3):322-338.

[23]Zhang C X,Chen Z,Li M,et al.Anisotropic optical flow algorithm based on self-adaptive cellular neural network[J].Journal of Electronic Imaging,2013,22(1):013038-1-9.

[24]Sun D,Roth S,Black M J.A quantitative analysis of current practices in optical flow estimation and the principles behind them[J].International Journal of Computer Vision,2014,106(2):115-137.

[25]Baker S,Scharstein D,Lewis J P,et al.A database and evaluation methodology for optical flow[J].International Journal of Computer Vision,2011,92(1):1-31.

[26]Roach J W.Determining the movement of objects from a sequence of images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1980,2(6):554-562.

[27]Zhuang X,Huang T S,Abuja N,et al.A simplified linear optic flow-motion algorithm[J].Computer Vision,Graphics,and Image Processing,1988,42(3):334-344.

[28]Chiuso A,Favaro P,Jin H,et al.Structure from motion causally integrated over time[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(4):523-535.

[29]Ozden K E,Schindler K,Van G L.Multibody structure-from-motion in practice[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(6):1134-1141.

[30]王俊,朱利.基于圖像匹配-點云融合的建筑物立面三維重建[J].計算機學報,2012,35(10):2072-2079. Wang Jun,Zhu Li.3D building facade reconstruction based on image matching-point cloud fusing[J].Chinese Journal of Computer,2012,35(10):2072-2079.(in Chinese)

[31]Nachimson M,Kovalsky S Z,Shlizerman I,et al.Global motion estimation from point matches[A].International Conference on 3D Imaging,Modeling,Processing,Visualization and Transmission[C].Zurich:IEEE,2012.81-88.

[32]Scaramuzza D.1-point-ransac structure from motion for vehicle-mounted cameras by exploiting non-holonomic constraints[J].International Journal of Computer Vision,2011,95(1):74-85.

[33]Crandall D,Owens A,Snavely N,et al.Discrete-continuous optimization for large-scale structure from motion[A].International Conference on Computer Vision and Pattern Recognition[C].Providence:IEEE,2011.3001-3008.

[34]Sinha S N,Steedly D,Szeliski R.A multi-stage linear approach to structure from motion[A].European Conference on Computer Vision[C].Heraklion:Springer,2010.267-281.

[35]Liu Y,Huang T S.Estimation of rigid body motion using straight line correspondences[J].Computer Vision,Graphics,and Image Processing,1988,43(1):37-52.

[36]Liu Y,Huang T S.A linear algorithm for motion estimation using straight line correspondences[J].Computer Vision,Graphics,and Image Processing,1988,44(1):35-57.

[37]陳震,許強,閆軍,等.基于直線光流場的三維檢測新方法[J].儀器儀表學報,2012,33(5):1141-1147. Chen Zhen,Xu Qiang,Yan Jun,et a1.New method of 3D detection based on straight-line optical flow[J].Chinese Journal of Scientific Instrument,2012,33(5):1141-1147.(in Chinese)

[38]Taylor C J,Kriegman D J.Structure and motion from line segments in multiple images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(11):1021-1032.

[39]Mirzaei F M,Roumeliotis S I.Globally optimal pose estimation from line correspondences[A].International Conference on Robotics and Automation[C].Shanghai:IEEE,2011.5581-5588.

[40]Kollmann I R,Reichinger A.3D camera pose estimation using line correspondences and 1D homographies[J].Advances in Visual Computing,2010,64(54):41-52.

[41]Mosaddegh S,Fofi D,Vasseur P.Line based motion estimation and reconstruction of piece-wise planar scenes[A].International Workshop on Applications of Computer Vision[C].Kona:IEEE,2011.658-663.

[42]Liu J,Chen Y,Tang X.Decomposition of complex line drawings with hidden lines for 3D planar-faced manifold object reconstruction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(1):3-15.

[43]Elqursh A,Elgammal A.Line-based relative pose estimation[A].International Conference on Computer Vision and Pattern Recognition[C].Providence:IEEE,2011.3049-3056.

[44]Bruss R,Horn K P.Passive navigation[J].Computer Vision,Graphics,and Image Processing,1983,21(1):3-20.

[45]Kolev K,Klodt M,Brox T,et al.Continuous global optimization in multiview 3D reconstruction[J].International Journal of Computer Vision,2009,84(1):80-96.

[46]張聰炫,陳震,黎明.基于稠密光流的魯棒運動估計與表面結構重建[J].儀器儀表學報,2014,35(1):218-225. Zhang Cong-xuan,Chen Zhen,Li Ming.Robust motion estimation and surface structure reconstruction based on dense optical flow[J].Chinese Journal of Scientific Instrument,2014,35(1):218-225.(in Chinese)

[47]Chessa M,Solari F,Sabatini S P.Adjustable linear models for optic flow based obstacle avoidance[J].Computer Vision and Image Understanding,2013,117(6):603-619.

[48]Adiv G.Determining three-dimensional motion and structure from optical flow generated by several moving objects[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1985,7(4):384-401.

[49]Meinhardt L E,Hondt O,Facciolo G,et al.Relative depth from monocular optical flow[A].International Conference on Image Processing[C].Brussels:IEEE,2011.2085-2088.

[50]Calway A.Recursive estimation of 3D motion and surface structure from local affine flow parameters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(4):562-574.

[51]Lee D J,Merrell P,Wei Z,et al.Two-frame structure from motion using optical flow probability distributions for unmanned air vehicle obstacle avoidance[J].Machine Vision and Applications,2010,21(3):229-240.

[52]Horn B K P,Weldon J E J.Direct methods for recovering motion[J].International Journal of Computer Vision,1988,2(1):51-76.

[53]Mitiche A,Hadjres S.MDL estimation of a dense map of relative depth and 3D motion from a temporal sequence of images[J].Pattern Analysis & Applications,2003,6(1):78-87.

[54]Sekkati H,Mitiche A.A variational method for the recovery of dense 3D structure from motion[J].Robotics and Autonomous Systems,2007,55(7):597-607.

[55]Perriollat M,Hartley R,Bartoli A.Monocular template-based reconstruction of inextensible surfaces[J].International Journal of Computer Vision,2011,95(2):124-137.

[56]Mitiche A,Sekkati H.Optical flow 3d segmentation and interpretation:A variational method with active curve evolution and level sets[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(11):1818-1829.

[57]Zhang C X,Chen Z,Li M,et al.Direct method for motion estimation and structure reconstruction based on optical flow[J].Optical Engineering,2012,51(6):067004-1-14.

[58]Ummenhofer B,Brox T.Dense 3D reconstruction with a hand-held camera[A].Proceedings of the 34th Symposium of the German Association for Pattern Recognition[C].Graz:Springer,2012.103-112.

[59]張聰炫,陳震,黎明.金字塔光流三維運動估計與深度重建直接方法[J].儀器儀表學報,2015,36(5):1093-1105. Zhang Cong-xuan,Chen Zhen,Li Ming.Direct method for motion estimation and depth reconstruction based on pyramid optical flow[J].Chinese Journal of Scientific Instrument,2015,36(5):1093-1105.(in Chinese)

[60]Cubber G,Sahli H.Partial differential equation-based dense 3D structure and motion estimation from monocular image sequences[J].IET Computer Vision,2012,6(3):174-185.

張聰炫 男，1984年7月出生于河南省焦作市.分別于2007年和2014年在南昌航空大學和南京航空航天大學獲得學士和博士學位.現(xiàn)為南昌航空大學講師，碩士生導師.主要研究方向為圖像檢測與智能識別.

E-mail:zcxdsg@163.com

陳 震(通信作者) 男，1969年11月出生于江西省九江市.分別于1993、2000和2003年在西北工業(yè)大學獲得學士、碩士和博士學位.現(xiàn)為南昌航空大學教授，博士生導師.主要研究方向為計算機視覺、圖像處理與模式識別.

E-mail:dr-chenzhen@163.com

黎 明 男，1965年2月出生于江西省樟樹市.分別于1985年、1990年和1997年在上海交通大學和南京航空航天大學獲得學士、碩士和博士學位.現(xiàn)為南昌航空大學教授，博士生導師.主要研究方向為圖像處理與模式識別、智能計算.

E-mail:limingniat@hotmail.com

Review of the 3D Reconstruction Technology Based on Optical Flow of Monocular Image Sequence

ZHANG Cong-xuan1,2,CHEN Zhen1,2,LI Ming1,2

(1.KeyLaboratoryofNondestructiveTesting,MinistryofEducation,NanchangHangkongUniversity,Nanchang,Jiangxi330063,China; 2.SchoolofMeasuringandOpticalEngineering,NanchangHangkongUniversity,Nanchang,Jiangxi330063,China)

The research on 3D motion estimation and structure reconstruction of the object or scene based on the monocular image sequence optical flow is important in computer vision,image processing and pattern recognition,and the research achievements are applied in many fields.such as robot vision,unmanned aerial vehicle(UAV) navigation,driver assistance system,medical image analysis,and so on.Firstly,the research progress of the technologies of the monocular image sequence optical flow estimation and 3D reconstruction is reviewed and analyzed from the aspects of accuracy and robustness.Secondly,the test image sequences of Middlebury database are employed to make comparison among the optical flow methods of HS,LDOF,CLG-TV,SOF,AOFSCNN and Classic+NL,and the direct and indirect reconstruction methods of Adiv,RMROF,Sekkati and DMDPOF based on optical flow are compared.Through the comparison results,the advantages and disadvantages of the methods are pointed out,and the characteristics and applications of the methods are generalized.Finally,the limitations and robustness of the models of optical flow estimation and 3D reconstruction in brightness changing,non-rigid motion,motion occlusion and blur are summarized,and the solutions by the fractional order differential model,non-local constraint,stereo vision and depth cue are presented.

monocular image sequence;optical flow;motion estimation;3D reconstruction;hard scene;robustness

2015-11-24;

2016-01-19;責任編輯:覃懷銀

國家自然科學基金(No.61401190,No.U1233125,No.61462062);江西省主要學科學術帶頭人培養(yǎng)計劃項目(No.201208421);江西省自然科學基金重點項目(No.20133ACB20004);江西省科技落地計劃項目(No.201408083);航空科學基金(No.2015ZC56009);江西省優(yōu)勢學科團隊計劃項目(No.20152BCB24004);無損檢測技術教育部重點實驗室開放基金(No.ZD201529001)

TP391

A

0372-2112 (2016)12-3044-09

??學報URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.12.033