張 肖,楊學(xué)志,張 剛,臧宗迪,王金誠

1(合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,合肥 230009)

2(工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室,合肥 230009)

3(合肥工業(yè)大學(xué) 軟件學(xué)院,合肥 230009)

細(xì)心觀察會(huì)發(fā)現(xiàn)身邊的事物都存在著微小的變化,這其中蘊(yùn)含著事物本身重要的信息,準(zhǔn)確捕捉這些變化有助于把握事物的本質(zhì)[1,2]. 視頻放大技術(shù)借助復(fù)可控金字塔對(duì)幀圖像進(jìn)行運(yùn)動(dòng)分析,給予了人們掌握目標(biāo)變化情況的機(jī)會(huì),利用相機(jī)記錄下微小運(yùn)動(dòng),再對(duì)視頻信號(hào)進(jìn)行處理,可以放大振動(dòng)的幅度,觀察邊緣的形變情況,這對(duì)于醫(yī)學(xué)及工程等領(lǐng)域有重大意義. 例如,從脈搏的微弱跳動(dòng)情況中檢測心率[3],從大樓墻體的振動(dòng)中可監(jiān)測建筑健康情況[4],分析橋梁的振動(dòng)情況可避免事故的發(fā)生[5]等.

但視頻的放大倍數(shù)是有限的,并且隨著放大倍數(shù)的增加,放大視頻的畫面質(zhì)量會(huì)進(jìn)一步降低. 這是由于復(fù)可控金字塔每一尺度的相移極限不同,對(duì)于一部分尺度,放大后的相移信號(hào)會(huì)超出該尺度的相移上限,導(dǎo)致偽影及模糊[6]. 目前最先進(jìn)的改進(jìn)算法[6]通過改變部分尺度的放大因子,在一定程度上提升了畫面質(zhì)量,但也存在著參數(shù)依賴人工設(shè)定的問題. 本文提出了一種基于多尺度濾波的視頻放大算法,針對(duì)目標(biāo)存在大小運(yùn)動(dòng)混疊的情況,首先利用加速度濾波[7]去除大運(yùn)動(dòng)干擾,通過建立視頻幀圖像空間波長與振動(dòng)位移間的聯(lián)系,無須人工設(shè)定參數(shù),自適應(yīng)調(diào)整金字塔各尺度的放大因子,從而減輕放大視頻畫面中的偽影及模糊,提升畫面質(zhì)量.

1 視頻運(yùn)動(dòng)放大

按照視角不同,視頻運(yùn)動(dòng)放大技術(shù)可總結(jié)為3 類:拉格朗日法、歐拉法以及歐拉拉格朗日混合法. 目前的視頻運(yùn)動(dòng)放大方法大都基于歐拉視角. 拉格朗日法依賴于流體動(dòng)力學(xué),通過感興趣粒子的運(yùn)動(dòng)軌跡來研究相關(guān)的物理特性. Liu 等人[8]提出了第一個(gè)基于拉格朗日視角的視頻放大方法. 通過匹配幀間特征點(diǎn)及基于光流的運(yùn)動(dòng)估計(jì)方法,來區(qū)分背景運(yùn)動(dòng)和感興趣的目標(biāo)運(yùn)動(dòng),并對(duì)目標(biāo)運(yùn)動(dòng)進(jìn)行放大. 然而該方法中使用的光流估計(jì)的計(jì)算量過大.

歐拉方法不采用目標(biāo)追蹤,而是分析圖像中固定像素的位置隨時(shí)間的變化. 歐拉線性視頻放大方法[1]利用拉普拉斯金字塔實(shí)現(xiàn)視頻幀序列的空間分解,并對(duì)空間頻帶進(jìn)行時(shí)域?yàn)V波,提取目標(biāo)頻率的微小振動(dòng)信號(hào). 但該方法會(huì)放大視頻噪聲,并且對(duì)于運(yùn)動(dòng)放大來說,只支持較小的放大因子. 因此Wadhwa 等人[9]提出了基于相位的視頻放大算法,通過復(fù)可控金字塔得到各尺度各方向的相位變化,從而解決了噪聲問題,并通過擴(kuò)展復(fù)可控金字塔提升了放大因子的上限,但也增加了計(jì)算成本和時(shí)間. 對(duì)此,Wadhwa 等人[10]又提出了Risez 金字塔方法加快運(yùn)行速度. 由于無法區(qū)分微小變化信號(hào)和大運(yùn)動(dòng)信號(hào),上述視頻放大方法只適用于目標(biāo)和相機(jī)之間相對(duì)穩(wěn)定的情況,即視頻畫面中只存在目標(biāo)自身的微小運(yùn)動(dòng).

然而目標(biāo)包含大運(yùn)動(dòng)的情景也是需要研究的,如人在跑步時(shí)的心率情況. 如何去除大運(yùn)動(dòng)對(duì)微小變化的干擾成為了關(guān)鍵問題. Bai 等人[11]通過用戶指定大運(yùn)動(dòng)所在范圍,采用追蹤和圖形切割的方式去除大運(yùn)動(dòng). 采用歐拉拉格朗日混合法的DVMAG[12]通過拉格朗日方法追蹤感興趣區(qū)域來去除大運(yùn)動(dòng),并通過歐拉方法對(duì)感興趣區(qū)域的振動(dòng)進(jìn)行提取和放大. 缺點(diǎn)在于需要人工圈定感興趣區(qū)域,而且其中的拉格朗日方法需要巨大的計(jì)算量. Kooij 等人[13]引入了深度信息,通過檢測相同深度層的像素變化來確定要放大的區(qū)域.該方法在目標(biāo)的深度不連續(xù)或目標(biāo)不平穩(wěn)時(shí)將難以實(shí)現(xiàn).

Zhang 等人[7]提出了一個(gè)假設(shè),即大運(yùn)動(dòng)在小變化的時(shí)間尺度上是線性的,實(shí)現(xiàn)了放大慢速大運(yùn)動(dòng)上的微小加速度變化. 該方法通過復(fù)可控金字塔提取局部相位信息,各尺度的放大因子都是相同的,但復(fù)可控金字塔中各尺度的空間支持是不同的,由于視頻放大倍數(shù)的上限是根據(jù)最大尺度決定的,對(duì)于部分尺度,其相位信號(hào)乘以放大因子后可能會(huì)超出其空間支持,導(dǎo)致輸出視頻的偽影及模糊,這意味著部分尺度的放大因子應(yīng)該進(jìn)行相應(yīng)的調(diào)整. Xue 等人[6]針對(duì)該問題對(duì)加速度放大算法[7]進(jìn)行了改進(jìn),通過人工設(shè)定截止波長將復(fù)可控金字塔的尺度分成兩組,縮小一組的放大因子,而另一組的放大因子保持不變,以盡可能滿足所有尺度的限制條件. 該方法的不足之處在于其截止波長依賴人工設(shè)定,無法準(zhǔn)確反映各尺度的放大上限,不能在放大效果滿足需求的前提下達(dá)到較好的畫面質(zhì)量.

2 基于多尺度濾波的視頻放大算法

本文針對(duì)大小運(yùn)動(dòng)混疊的場景,提出了一種基于多尺度濾波的視頻放大算法,算法流程圖如圖1 所示,首先利用復(fù)可控金字塔對(duì)視頻幀序列進(jìn)行空間分解,得到不同尺度不同方向的子帶信號(hào),通過加速度濾波[7]去除大運(yùn)動(dòng)干擾,得到目標(biāo)頻率的微小振動(dòng)信號(hào). 然后設(shè)計(jì)一個(gè)多尺度濾波器,通過建立各尺度空間波長λn和運(yùn)動(dòng)位移 δ(t)的聯(lián)系,自適應(yīng)調(diào)整各尺度的放大因子 αn. 再利用相位展開技術(shù)對(duì)每層的相位差信號(hào)進(jìn)行相位校正,避免卷積過程中的偽影. 最后將輸出信號(hào)與對(duì)應(yīng)尺度的αn相乘,重建復(fù)可控金字塔,并輸出放大視頻.

圖1 算法流程圖

2.1 空間分解

復(fù)可控金字塔是一種能將圖像分解成一系列在位置、空間尺度以及方向上同時(shí)定位的基函數(shù)表示[14],得到圖像的局部幅度譜與局部相位譜,其中包括高通殘差、低通殘差及不同尺度n、不同方向θ,如式(1).

其中,I(x,y)為圖像原始信號(hào),ψn,θ為金字塔濾波器,An,θ(x,y)為幅度信息,?n,θ(x,y)為相位信息. 視頻放大算法主要處理中間不同尺度不同方向的相位,保證局部的微小相位處理等效于局部的運(yùn)動(dòng)處理. 而高通殘差與低通殘差在最終金字塔重建視頻合成輸出時(shí)被利用.運(yùn)動(dòng)信息包含在相位中,因此,通過處理局部相位差信號(hào)就可以實(shí)現(xiàn)對(duì)視頻局部運(yùn)動(dòng)的處理.

2.2 加速度濾波

在本文所研究問題中,由于目標(biāo)存在大小運(yùn)動(dòng)混疊的情況,提取出目標(biāo)頻率對(duì)應(yīng)的相位信號(hào)?ω(x,y)后,其中包含大運(yùn)動(dòng)和微小運(yùn)動(dòng),利用加速度濾波[9]去除其中的大運(yùn)動(dòng)干擾:

其中,G(x,y,t)是高斯濾波器,為拉普拉斯濾波器,即加速度濾波器,?ω′(x,y)為加速度濾波后得到的微小運(yùn)動(dòng)的相位信號(hào).

2.3 多尺度濾波

在視頻放大算法中,最終得到放大后的信號(hào)為:

其中,α為放大因子.

然而放大因子 α不能無限大,Wadhwa 等人[9]用高斯窗的標(biāo)準(zhǔn)差σ 作為邊界,其邊界條件為:

由于高斯窗標(biāo)準(zhǔn)差 σ與空間頻率ωn存在關(guān)系,且波長,式(5)可轉(zhuǎn)變?yōu)?

其中,δ(t)為振動(dòng)位移,λn是尺度n的空間波長,在1/4 倍頻程復(fù)可控金字塔中,np≈3,因此尺度n的放大因子αn邊界為:

從式(7)可知,對(duì)一特定視頻,δ(t)為定值,當(dāng)前尺度的放大因子的上限與空間波長 λn有關(guān),λn由式(8)可得:

其中,λN為金字塔最大尺度的空間波長,s是金字塔的尺度因子.

由此可知初始設(shè)定的放大因子不一定適用于所有尺度,當(dāng)較小空間波長的子帶使用相同的放大因子放大時(shí),可能會(huì)超過其空間支持,從而導(dǎo)致輸出視頻產(chǎn)生偽影及模糊. 因此需要調(diào)整較小空間波長的放大因子.

針對(duì)這一點(diǎn),Xue 等人[6]通過人工設(shè)定截止波長λc,將金字塔的尺度分為兩組,較大空間波長的放大因子不變,而較小空間波長的放大因子按照式(9)的方式進(jìn)行相應(yīng)縮小.

人工設(shè)定 λc所產(chǎn)生的分組是固定的,不同的初始放大因子,可能會(huì)導(dǎo)致某些尺度無謂的縮小或者某些尺度本該縮小的放大因子卻沒有縮小,以致最終放大視頻的總體放大倍數(shù)不能滿足需求或畫面質(zhì)量沒有得到較好的提升.

Xue 等人[6]只考慮到了視頻的空間特性,而視頻放大針對(duì)的是視頻中目標(biāo)的微小運(yùn)動(dòng),在多尺度濾波時(shí)應(yīng)當(dāng)考慮到目標(biāo)的運(yùn)動(dòng)特性. 本文算法提出了一種新的多尺度濾波方法,結(jié)合視頻的空間特性和目標(biāo)的小運(yùn)動(dòng)位移實(shí)現(xiàn)對(duì)各尺度放大因子的自適應(yīng)調(diào)整. 由式(7)可得,各尺度的放大因子αn的最大值為可建立起放大因子與視頻的空間波長 λn和目標(biāo)的微小位移 δ(t)之間的聯(lián)系,通過 λn和 δ(t)計(jì)算出αnmax,結(jié)合初始放大因子 α,能夠更為合適地調(diào)整 αn,可避免Xue 等人[6]人工設(shè)定 λc所產(chǎn)生的問題. 當(dāng) α小于當(dāng)前尺度的上限αnmax時(shí)無須調(diào)整,當(dāng) α大于αnmax時(shí)則縮小為αnmax,如式(10).

關(guān)于小運(yùn)動(dòng)位移 δ(t),Peng 等人[15]通過推導(dǎo)圖像強(qiáng)度I(x,y,t)轉(zhuǎn)換為頻域信號(hào)F(x,y,t)的過程,得到運(yùn)動(dòng)位移 δ(t)與相位差? ?的關(guān)系,無須計(jì)算相位梯度而直接將相位變化轉(zhuǎn)化為位移.

其中,g(x,y;λ,ψ,σ,γ)為Gabor 函數(shù),是一個(gè)高斯包絡(luò)的正弦窗函數(shù),正弦函數(shù)是調(diào)諧函數(shù),高斯包絡(luò)函數(shù)是窗函數(shù),λ為正弦的波長,ψ 是調(diào)諧函數(shù)的相位偏移量,γ是空間長寬比,σ 表示高斯函數(shù)的標(biāo)準(zhǔn)差.

以水平方向的位移為例,式(11)可以通過積分計(jì)算,得到:

由上述兩公式可得相位差 ??:

因此小運(yùn)動(dòng)位移 δ(t)可由式(15)獲得:

如圖2 所示,各尺度的放大因子便可確定.

圖2 多尺度濾波流程圖

2.4 視頻放大

利用相位展開技術(shù)對(duì)各尺度的振動(dòng)信號(hào)進(jìn)行相位校正后得到信號(hào)?n′(x,y,t),分別乘以自適應(yīng)調(diào)整后的放大因子αn,得到放大后的相位信號(hào)?magn,如式(16).

結(jié)合輸入視頻的高通殘差與低通殘差,進(jìn)行金字塔重構(gòu),并輸出放大視頻.

3 實(shí)驗(yàn)結(jié)果及分析

對(duì)于大小運(yùn)動(dòng)混疊的場景,分別采用模擬小球視頻和真實(shí)目標(biāo)視頻進(jìn)行實(shí)驗(yàn)來驗(yàn)證本算法的性能. 實(shí)驗(yàn)計(jì)算機(jī)為i7-6700 處理器,12 GB 內(nèi)存,在Matlab 2019a開發(fā)實(shí)現(xiàn),真實(shí)目標(biāo)視頻均來自加速度放大算法[7]中的公開數(shù)據(jù). 采用八方向的1/4 倍頻程帶寬復(fù)可控金字塔,與文獻(xiàn)[7]的加速度放大算法(EVAM)、文獻(xiàn)[6]提出的多尺度自適應(yīng)算法的原始代碼輸出的結(jié)果進(jìn)行對(duì)比.

與文獻(xiàn)[6]的做法保持一致,由于需要縮小金字塔部分尺度的放大因子以適應(yīng)其相移極限,導(dǎo)致整體放大效果隨之減小,因此,實(shí)驗(yàn)將適當(dāng)提高預(yù)設(shè)放大倍數(shù)以達(dá)到相近的放大效果. 實(shí)驗(yàn)參數(shù)如表1 所示.

表1 實(shí)驗(yàn)參數(shù)

3.1 實(shí)驗(yàn)結(jié)果

(1)模擬小球視頻

本文模擬了一個(gè)包含大運(yùn)動(dòng)的合成小球視頻. 小球從畫面左側(cè)向右以1 像素每幀的速度進(jìn)行水平方向的大運(yùn)動(dòng),同時(shí)在其(豎直)方向有一定頻率的微小振動(dòng),速度滿足其中A=1像素,f=4周期/幀,fr=30幀/秒. 視頻長度共200 幀. 并令A(yù)=4像素模擬其真實(shí)放大視頻GroundTruth.

如圖3 所示,相比文獻(xiàn)[6]的算法,本文算法的放大結(jié)果更接近GroundTruth.

圖3 模擬小球?qū)嶒?yàn)結(jié)果

(2)真實(shí)目標(biāo)視頻

本節(jié)實(shí)驗(yàn)所用的4 個(gè)視頻均來自加速度放大[7],拍攝的相機(jī)處于穩(wěn)定狀態(tài),視頻中的目標(biāo)存在振動(dòng)的同時(shí)還存在大運(yùn)動(dòng),均在圖中黃線位置取時(shí)空切片圖. 視頻1 如圖4 所示,該視頻中有一個(gè)玩具在向前行進(jìn),同時(shí)存在豎直方向的振動(dòng). 圖5 是一個(gè)飛行狀態(tài)的無人機(jī),水平行進(jìn)的同時(shí)存在豎直方向的振動(dòng). 圖6 所顯示的是人走近相機(jī)的同時(shí)手部在微微震顫的場景. 圖7則是人轉(zhuǎn)身時(shí)的手部震顫場景.

圖4 視頻1 實(shí)驗(yàn)結(jié)果

圖5 視頻2 實(shí)驗(yàn)結(jié)果

圖6 視頻3 實(shí)驗(yàn)結(jié)果

圖7 視頻4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)放大結(jié)果圖表明,3 種算法都能夠?qū)δ繕?biāo)的微小運(yùn)動(dòng)而非大運(yùn)動(dòng)進(jìn)行放大. 圖中紅色方框部分能夠看出,文獻(xiàn)[7]的算法所生成的放大視頻的畫面最為模糊,目標(biāo)的輪廓不甚清晰,文獻(xiàn)[6]提出的算法與本文算法所生成的放大視頻的畫面則更為清晰,證明本文算法達(dá)到了提升放大視頻畫面質(zhì)量的效果.

3.2 圖像質(zhì)量評(píng)價(jià)

本文選擇5 種通用的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)[16]對(duì)視頻放大結(jié)果進(jìn)行比較,包括SpEED[17],SSIM[18],VIF[19],IFC[20]以及PSNR[21]. 對(duì)各放大視頻的所有幀求上述5 種評(píng)價(jià)指標(biāo)的平均值,其中SpEED 的值越小表示圖像質(zhì)量越高,其余指標(biāo)則是值越大表示圖像質(zhì)量越高.

表2 記錄了對(duì)各真實(shí)目標(biāo)視頻放大結(jié)果的評(píng)價(jià),本文算法的結(jié)果均優(yōu)于文獻(xiàn)[7],其中僅無人機(jī)視頻的實(shí)驗(yàn)結(jié)果不及文獻(xiàn)[6],原因在第3.3 節(jié)進(jìn)行了說明. 其余視頻的畫面質(zhì)量均優(yōu)于文獻(xiàn)[6],從式(9)中可知,文獻(xiàn)[6]以當(dāng)前尺度的空間波長與截止波長的比值作為縮小的比例調(diào)整放大因子,因此 λc的取值會(huì)影響 αn的大小,由于人工設(shè)定 λc不能達(dá)到足夠的精確度,縮小后的結(jié)果不一定能夠滿足相移極限的要求,也就不能較好地提升畫面質(zhì)量.

表2 放大視頻圖像質(zhì)量評(píng)價(jià)

3.3 各尺度放大因子對(duì)比

以視頻2 為例,金字塔共21 層,比較文獻(xiàn)[6]與本文實(shí)驗(yàn)結(jié)果的第11 到17 層的放大因子. 如表3 所示,在初始放大因子 α不同時(shí),本文算法能夠根據(jù) α更加合理地自適應(yīng)調(diào)整各尺度的放大因子,而文獻(xiàn)[6]的算法則是通過人工設(shè)定截止波長,將金字塔的尺度劃分為兩組,15 層及以下的放大因子被縮小,16 層及以上的放大因子保持為 α.

表3 視頻2 實(shí)驗(yàn)結(jié)果各尺度放大因子對(duì)比

對(duì)放大視頻進(jìn)行圖像質(zhì)量評(píng)價(jià),結(jié)果如表4 所示,當(dāng)α=8時(shí),本文的畫面質(zhì)量雖不及文獻(xiàn)[6],但文獻(xiàn)[6]將原本無須縮小的放大因子縮小,大大降低了總體的放大效果,無法滿足觀測要求,便需要提高初始放大因子. 而當(dāng) α提升到16 時(shí),本文算法的總體放大倍數(shù)與文獻(xiàn)[6]很相近,保證了各尺度的放大因子不超過其上限,因此畫面質(zhì)量優(yōu)于文獻(xiàn)[6]. 由此可知,文獻(xiàn)[6]的算法并 不能做到合理的調(diào)整 αn,顯然,本文算法更具有優(yōu)勢(shì).

表4 視頻2 實(shí)驗(yàn)結(jié)果圖像質(zhì)量評(píng)價(jià)

4 結(jié)論

本文提出了一個(gè)基于多尺度濾波的視頻放大算法,通過建立圖像空間波長與視頻微小運(yùn)動(dòng)位移間的關(guān)系,對(duì)復(fù)可控金字塔各尺度的放大因子實(shí)現(xiàn)完全自適應(yīng)調(diào)整,以保證各尺度的放大信號(hào)都保持在相移極限內(nèi),以減輕放大視頻的偽影及模糊. 經(jīng)實(shí)驗(yàn)驗(yàn)證,本文算法與對(duì)比算法相比,無須人工設(shè)定參數(shù),并能夠有效提高放大視頻的畫面質(zhì)量,在總體放大效果和畫面質(zhì)量的平衡上有明顯的優(yōu)勢(shì).