何 濤， 柯黎明， 何嘉奇， 王少東

(1 湖北工業(yè)大學(xué)機(jī)械工程學(xué)院， 湖北 武漢 430068； 2 現(xiàn)代制造質(zhì)量工程湖北省重點(diǎn)實(shí)驗(yàn)室， 湖北 武漢 430068)

在電子后視鏡實(shí)際使用中，風(fēng)激勵(lì)及路面顛簸會(huì)使顯示的視頻出現(xiàn)抖動(dòng)[1-2]，不僅影響視頻質(zhì)量，而且會(huì)導(dǎo)致較差的顯示效果。目前，視頻防抖[3]按照系統(tǒng)構(gòu)成及實(shí)現(xiàn)原理可以分成機(jī)械穩(wěn)像，光學(xué)穩(wěn)像和電子穩(wěn)像等3類(lèi)。機(jī)械穩(wěn)像通過(guò)慣性傳感器檢測(cè)待穩(wěn)平臺(tái)的運(yùn)動(dòng)狀態(tài)變化，驅(qū)動(dòng)穩(wěn)像機(jī)構(gòu)，反向補(bǔ)償載體的運(yùn)動(dòng)，達(dá)到機(jī)械穩(wěn)像的目的；光學(xué)穩(wěn)像則通過(guò)調(diào)整鏡片的位置，反向補(bǔ)償光軸的偏移量來(lái)實(shí)現(xiàn)穩(wěn)定視軸的目的；電子穩(wěn)像運(yùn)用數(shù)字圖像處理技術(shù)，通過(guò)幀間運(yùn)動(dòng)矢量估計(jì)及圖像的運(yùn)動(dòng)濾波補(bǔ)償，達(dá)到電子穩(wěn)像的目的。電子穩(wěn)像技術(shù)成本低、輕便且穩(wěn)像精度高，常被用于解決視頻抖動(dòng)問(wèn)題。

近年來(lái)，國(guó)內(nèi)外研究者均提出了電子穩(wěn)像的不同方法。Amintoosi等(2021)在SIFT的基礎(chǔ)上進(jìn)行修改，提出了一種快速圖像匹配基準(zhǔn)的算法，在特征點(diǎn)提取的速度上有較大的提高； Li等(2015)[3]提出一種基于目標(biāo)跟蹤算法和Kalman濾波的電子穩(wěn)像算法，為運(yùn)動(dòng)濾波提供了新的研究方法；Zhang等(2019)[4]基于ORB和RANSAC算法改進(jìn)的特征點(diǎn)提取算法，降低了誤匹配率；同年，Zhou等[5]在RANSAC算法基礎(chǔ)上，提出新的優(yōu)化策略，使特征點(diǎn)匹配效率得到一定的提升；Verma等(2020)[6]提出的數(shù)字視頻穩(wěn)像算法通過(guò)改進(jìn)特征提取，采用快速的特征點(diǎn)提取，估計(jì)全局運(yùn)動(dòng)矢量，然后對(duì)運(yùn)動(dòng)進(jìn)行濾波和補(bǔ)償，在視頻穩(wěn)像后處理有較好的算法魯棒性。但在車(chē)載實(shí)時(shí)電子穩(wěn)像上表現(xiàn)出較差的算法魯棒性及實(shí)時(shí)性。針對(duì)上述問(wèn)題，本文提出了一種結(jié)合特征點(diǎn)匹配與仿射變換的電子穩(wěn)像算法。在保證計(jì)算精度的前提下，通過(guò)建立視頻提取器，對(duì)冗余信息過(guò)多的原視頻幀序列進(jìn)行變步長(zhǎng)的抽樣處理，提取高信息度幀序列。在提取后的高信息度的幀中，采用分區(qū)處理進(jìn)行固定角點(diǎn)數(shù)的SURF檢測(cè)，接著對(duì)RANSAC算法做應(yīng)用上的優(yōu)化，然后對(duì)匹配對(duì)進(jìn)行篩選，確定最終代入單應(yīng)性仿射變換矩陣的計(jì)算項(xiàng)中的匹配對(duì)，通過(guò)仿射變換模型分別計(jì)算出各區(qū)域的運(yùn)動(dòng)矩陣，再用卡爾曼濾波器對(duì)估計(jì)的各區(qū)域運(yùn)動(dòng)矩陣參數(shù)進(jìn)行平滑處理，利用異加權(quán)值的運(yùn)動(dòng)估計(jì)方法，計(jì)算出全局運(yùn)動(dòng)矩陣參數(shù)，最后用全局運(yùn)動(dòng)矩陣參數(shù)對(duì)待處理幀進(jìn)行圖像補(bǔ)償，得到穩(wěn)定的視頻幀列。

1 原視頻幀序列的抽樣處理

目前的電子后視鏡視頻獲取設(shè)備中，由于高幀率的特性，其視頻幀序列中各幀之間會(huì)產(chǎn)生很多重復(fù)信息(冗余信息)，造成計(jì)算數(shù)據(jù)量過(guò)大。為提高本文算法在實(shí)時(shí)電子穩(wěn)像技術(shù)上的應(yīng)用效率，提出建立一個(gè)視頻提取器，該視頻提取器按照一定比例的步長(zhǎng)，提取高信息度幀序列。在設(shè)置提取步長(zhǎng)時(shí)，若設(shè)置的步長(zhǎng)過(guò)小，原視頻抽樣間距過(guò)小，依然存在過(guò)多的冗余信息，后續(xù)的計(jì)算量依舊很大；若設(shè)置的步長(zhǎng)過(guò)大，幀之間的關(guān)聯(lián)性較低或者很低，將影響后續(xù)的角點(diǎn)檢測(cè)匹配對(duì)的提取，導(dǎo)致電子穩(wěn)像算法精度降低。故而在設(shè)計(jì)視頻提取器步長(zhǎng)時(shí)采用動(dòng)態(tài)步長(zhǎng)值，通過(guò)車(chē)速傳感器獲取車(chē)輛運(yùn)動(dòng)速度來(lái)動(dòng)態(tài)調(diào)整步長(zhǎng)值:0

2 運(yùn)動(dòng)估計(jì)

運(yùn)動(dòng)估計(jì)方法是電子穩(wěn)像技術(shù)中最關(guān)鍵的步驟之一。運(yùn)動(dòng)估計(jì)主要是計(jì)算出幀間的運(yùn)動(dòng)(即全局運(yùn)動(dòng))。在計(jì)算全局運(yùn)動(dòng)的過(guò)程中，現(xiàn)有的特征點(diǎn)匹配及光流跟蹤算法易受場(chǎng)景中目標(biāo)運(yùn)動(dòng)的干擾，導(dǎo)致在計(jì)算全局運(yùn)動(dòng)時(shí)，產(chǎn)生魯棒性差的問(wèn)題。針對(duì)上述問(wèn)題，在運(yùn)動(dòng)估計(jì)上，提出新的解決思路，結(jié)合車(chē)載電子視鏡顯示特點(diǎn)，首先對(duì)視頻幀進(jìn)行分塊處理，并設(shè)置每塊相應(yīng)的角點(diǎn)閾值，采用尺度不變的角點(diǎn)檢測(cè)算法SURF進(jìn)行角點(diǎn)檢測(cè)，得到圖像幀的特征點(diǎn)集，對(duì)特征點(diǎn)集采用優(yōu)化后的RANSAC算法進(jìn)行匹配對(duì)處理，去除錯(cuò)誤的匹配對(duì)，然后對(duì)匹配對(duì)進(jìn)行異加權(quán)值的仿射變換，求出全局的運(yùn)動(dòng)估計(jì)。

2.1 優(yōu)化后的誤匹配剔除算法

因受外界場(chǎng)景復(fù)雜度和光照等因素的影響，在特征點(diǎn)匹配過(guò)程中會(huì)出現(xiàn)誤匹配對(duì)的現(xiàn)象。針對(duì)現(xiàn)有的RANSAC算法在剔除誤匹配過(guò)程中存在的問(wèn)題，如在局部產(chǎn)生的最優(yōu)值時(shí)，未提前結(jié)束該方法，造成計(jì)算資源的大量浪費(fèi)。本文基于實(shí)際應(yīng)用優(yōu)化RANSAC算法，通過(guò)設(shè)置有限次的迭代K值，及縮小迭代方向角θ，來(lái)降低RANSAC算法的理論復(fù)雜度，提高算法的運(yùn)算時(shí)效性。對(duì)車(chē)載成像特點(diǎn)進(jìn)行分析，根據(jù)《公路工程技術(shù)標(biāo)準(zhǔn)》(JTG B01-2003)規(guī)定的公路最大坡度不應(yīng)大于9%。通過(guò)坡度的計(jì)算公式坡度=(高程差/水平距離)×100%，代入?yún)?shù)，得-5.143°≤θ≤5.143°，故RANSAC算法的迭代主方向?yàn)閳D1所示的角度范圍內(nèi)。

圖 1 迭代主方向

數(shù)據(jù)集內(nèi)由符合預(yù)測(cè)模型的模型上點(diǎn)及不符合預(yù)測(cè)模型的模型外點(diǎn)組成，模型外的點(diǎn)含有誤匹配點(diǎn)或者成為噪聲的干擾點(diǎn)。通過(guò)不斷迭代和更新模型的方法，尋找一個(gè)最佳的單應(yīng)性矩陣H，使?jié)M足該矩陣的模型上點(diǎn)數(shù)據(jù)個(gè)數(shù)最多，矩陣H則滿足兩幀圖像像素點(diǎn)坐標(biāo)之間的變換關(guān)系：

(1)

RANSAC算法中，

(2)

式中，p為置信度，ε為數(shù)據(jù)集中預(yù)測(cè)模型外的點(diǎn)所占的比例，m為預(yù)測(cè)模型中最小的數(shù)據(jù)集元素個(gè)數(shù)。

2.2 加權(quán)值的全局運(yùn)動(dòng)估計(jì)

根據(jù)車(chē)身占電子視鏡圖像三分之一的成像特點(diǎn)，將圖像分成車(chē)身區(qū)域及非車(chē)身區(qū)域，分別計(jì)算兩塊區(qū)域的運(yùn)動(dòng)參數(shù)，分區(qū)域之后采用具有6參數(shù)的仿射變換模型，計(jì)算全局運(yùn)動(dòng)估計(jì)。

根據(jù)仿射變換模型，xn為參考幀上的特征點(diǎn)，xn-1為匹配幀上對(duì)應(yīng)的匹配點(diǎn)，則滿足

(3)

式中:A體現(xiàn)的是圖像間的旋轉(zhuǎn)及縮放變換，B則表示的是圖像間的平移運(yùn)動(dòng)，T表示圖像間的變換關(guān)系，則可表示為：

(4)

代入3組不共線的匹配對(duì)點(diǎn)的坐標(biāo)

可得到

(5)

解上述方程即可得到運(yùn)動(dòng)參數(shù)矩陣

(6)

車(chē)身區(qū)域的運(yùn)動(dòng)參數(shù)矩陣為M1,對(duì)應(yīng)的運(yùn)動(dòng)估計(jì)參數(shù)權(quán)值為k1,非車(chē)身區(qū)域的運(yùn)動(dòng)參數(shù)矩陣為M2，其運(yùn)動(dòng)估計(jì)參數(shù)權(quán)值為k2。則實(shí)際相機(jī)運(yùn)動(dòng)參數(shù)矩陣M滿足

(7)

3 運(yùn)動(dòng)平滑與圖像補(bǔ)償

3.1 卡爾曼濾波器

運(yùn)動(dòng)濾波采用卡爾曼濾波方法，其基本原理是采用前一時(shí)刻的預(yù)測(cè)值與當(dāng)前時(shí)刻的真實(shí)值，通過(guò)處理，計(jì)算出當(dāng)前預(yù)測(cè)模型下的估計(jì)值，其狀態(tài)與測(cè)量轉(zhuǎn)移方程，滿足：

(8)

卡爾曼濾波采用預(yù)測(cè)模型的估計(jì)值來(lái)預(yù)測(cè)下一時(shí)刻狀態(tài)值，預(yù)測(cè)值和下一時(shí)刻的估計(jì)值之前關(guān)系：

(9)

(10)

x(k|k-1)是預(yù)測(cè)模型的預(yù)測(cè)值，P(k|k-1)是預(yù)測(cè)模型狀態(tài)協(xié)方差矩陣的預(yù)測(cè)值，x(k|k)是預(yù)測(cè)模型的校準(zhǔn)值，P(k|k)為預(yù)測(cè)模型前一時(shí)刻的狀態(tài)協(xié)方差矩陣預(yù)測(cè)值，K(k)為卡爾曼增益。由x(k|k)和P(k|k)求解出k+1時(shí)刻x(k+1|k+1)和P(k+1|k+1)。上述為完成一次預(yù)測(cè)值的估計(jì)和校準(zhǔn)步驟，后續(xù)的預(yù)測(cè)值也重復(fù)此過(guò)程。

3.2 圖像補(bǔ)償

Fcompen=MFsrc

(11)

4 實(shí)驗(yàn)結(jié)果與分析

為了對(duì)本文提出的電子穩(wěn)像算法進(jìn)行有效性驗(yàn)證，實(shí)驗(yàn)在同一硬件和軟件條件下進(jìn)行。在車(chē)載視頻實(shí)時(shí)電子穩(wěn)像處理，實(shí)驗(yàn)使用的是嵌入式系統(tǒng)環(huán)境。硬件運(yùn)行環(huán)境CPU為Cortex-A53 八核CPU,主頻最高1.4G Hz。軟件運(yùn)行環(huán)境：運(yùn)行系統(tǒng)為Ubuntu16.04,運(yùn)行軟件Image Stabilization V3.0，視頻分辨率為640×480。在車(chē)輛怠速情況下，采用Li[3]等提出的一種基于目標(biāo)跟蹤算法的電子穩(wěn)像算法、Verma[6]等人提出的數(shù)字視頻穩(wěn)像算法以及本文提出的電子穩(wěn)像算法，對(duì)車(chē)載視頻進(jìn)行實(shí)時(shí)電子穩(wěn)像處理，并從穩(wěn)像效果對(duì)比和穩(wěn)像圖像質(zhì)量及耗時(shí)對(duì)比兩方面對(duì)穩(wěn)像算法進(jìn)行評(píng)價(jià)。

4.1 穩(wěn)像效果對(duì)比

實(shí)驗(yàn)穩(wěn)像效果對(duì)比實(shí)驗(yàn)數(shù)據(jù)如圖2所示，圖像中的豎線是為了更直觀地比較穩(wěn)像效果。在原視頻幀序列中，隨機(jī)抽取第4、22、38、52、75幀進(jìn)行對(duì)比分析，發(fā)現(xiàn)以第4幀為基準(zhǔn)，第22幀出現(xiàn)向左的較大抖動(dòng)量，第38、52幀出現(xiàn)向左的輕微抖動(dòng)量，而第75幀則出現(xiàn)向右的較大抖動(dòng)量。實(shí)驗(yàn)結(jié)果表明原視頻幀序列有較大的抖動(dòng)量。

圖 2 電子穩(wěn)像效果實(shí)驗(yàn)對(duì)比

對(duì)比分析Li算法，以第4幀為基準(zhǔn)，第22、75幀出現(xiàn)向左的輕微抖動(dòng)量，第38幀有微小的向右抖動(dòng)量量，第52幀出現(xiàn)向右的輕微抖動(dòng)量。實(shí)驗(yàn)結(jié)果表明Li算法有良好的穩(wěn)像效果。

對(duì)比分析Verma算法，以第4幀為基準(zhǔn)，第22、52幀出現(xiàn)向左的輕微抖動(dòng)量，第38幀出現(xiàn)較大的向左抖動(dòng)量，第75幀出現(xiàn)向右的輕微抖動(dòng)量。實(shí)驗(yàn)結(jié)果表明Verma算法有一定的穩(wěn)像效果，但算法穩(wěn)像性不高，出現(xiàn)過(guò)補(bǔ)償?shù)囊曨l幀。

對(duì)比分析本文所提出的算法，以第4幀為基準(zhǔn)，第22幀出現(xiàn)向左的微小抖動(dòng)量，第38、75幀出現(xiàn)微小的向右抖動(dòng)量，第52幀出現(xiàn)向左的輕微抖動(dòng)量。實(shí)驗(yàn)結(jié)果表明，本文所提出的算法有優(yōu)良的穩(wěn)像效果，且算法穩(wěn)像性高，未出現(xiàn)過(guò)補(bǔ)償?shù)囊曨l幀。

4.2 穩(wěn)像圖像質(zhì)量及耗時(shí)對(duì)比

采用峰值信噪比PSNR值、結(jié)構(gòu)相似度指數(shù)SSIM、單幀處理時(shí)間SFPT以及每秒幀率FPS作為客觀質(zhì)量評(píng)價(jià)指標(biāo)來(lái)測(cè)試算法的有效性。其中，峰值信噪比PSNR值越大、結(jié)構(gòu)相似度指數(shù)SSIM值越接近1，表明最終的穩(wěn)定性越好；單幀處理時(shí)間SFPT越小、每秒幀率FPS越大，表明電子穩(wěn)像算法的實(shí)時(shí)性越好。穩(wěn)像圖像質(zhì)量及耗時(shí)實(shí)驗(yàn)對(duì)比數(shù)據(jù)如表1所示。

表1 車(chē)載視頻實(shí)時(shí)處理實(shí)驗(yàn)對(duì)比結(jié)果

通過(guò)表1可以看出，在分辨率為640×480的車(chē)載視頻實(shí)時(shí)電子穩(wěn)像處理實(shí)驗(yàn)中，3種算法較原視頻幀序列均有顯著的提升，并表現(xiàn)出算法的各向異性，即3種算法在不同的評(píng)價(jià)方式上具有不同的算法優(yōu)越性。

在峰值信噪比PSNR值，原視頻幀序列平均值為11.894，Verma算法PSNR值最高，為16.118，較原視頻幀序列PSNR值提升35.51%，其次是本文算法，PSNR值為15.720，較原視頻幀序列PSNR值提升32.77%，再次是Li算法，PSNR值為15.264，較原視頻幀序列PSNR值提升28.33%。

在結(jié)構(gòu)相似度指數(shù)SSIM，原視頻幀序列平均值為0.460，Verma算法SSIM值最高，為0.737，較原視頻幀序列SSIM值提升60.22%，其次是本文算法，SSIM值為0.726，較原視頻幀序列SSIM值提升57.83%，再次是Li算法，SSIM值為0.725，較原視頻幀序列SSIM值提升57.61%。

在單幀處理時(shí)間SFPT，原視頻幀序列平均值為16.67 ms，Li算法SFPT值最高，為60.20 ms，較原視頻幀序列SFPT增加261.13%，其次是Verma算法，SFPT值為55.03 ms，較原視頻幀序列SFPT增加230.11%，再次是本文算法，SFPT值為35.93 ms，較原視頻幀序列SFPT增加115.54%。

在每秒幀率FPS，原視頻幀序列平均值為60，本文算法FPS值最高，為28，較原視頻幀序列FPS減少53.33%，其次是Verma算法，F(xiàn)PS值為18.33 ms，較原視頻幀序列FPS減少69.45%，接著是Li算法，F(xiàn)PS值為16.67 ms，較原視頻幀序列FPS減少72.22%。

通過(guò)客觀評(píng)價(jià)的數(shù)據(jù)表明，本文所提出的電子穩(wěn)像算法在單幀處理時(shí)間和幀率的實(shí)時(shí)性評(píng)價(jià)指標(biāo)上有優(yōu)異表現(xiàn)，在峰值信噪比和結(jié)構(gòu)相似度指數(shù)的圖像質(zhì)量評(píng)價(jià)指標(biāo)上有良好的結(jié)果。

5 結(jié)論

本文通過(guò)對(duì)分區(qū)進(jìn)行一定閾值的SURF角點(diǎn)檢測(cè)，采用優(yōu)化后的RANSAC算法，進(jìn)行匹配對(duì)的篩選，對(duì)匹配對(duì)進(jìn)行不同的加權(quán)值，提高全局運(yùn)動(dòng)估計(jì)精度，再用卡爾曼濾波器對(duì)估計(jì)的全局運(yùn)動(dòng)參數(shù)進(jìn)行平滑處理，并用平滑后的參數(shù)對(duì)待處理幀進(jìn)行圖像補(bǔ)償，得到穩(wěn)定的視頻序列。實(shí)驗(yàn)表明：本文提出的算法對(duì)原始視頻進(jìn)行穩(wěn)像具有很好的穩(wěn)像效果，圖像的PSNR值提升32.77%，SSIM值提升57.83%。與Li等人以及Verma等人提出的穩(wěn)像算法對(duì)比，本文算法具有優(yōu)良的穩(wěn)像效果，在實(shí)時(shí)電子穩(wěn)像上具有更好的實(shí)時(shí)性，在穩(wěn)像后的圖像質(zhì)量上有不錯(cuò)的效果。