王傳勝 管來福 童磊 賈銹閎 熊煒

【摘要】? ? 數(shù)字視頻穩(wěn)像技術(shù)發(fā)展已有30多年的歷史，隨著計算機(jī)視覺、人工智能及深度學(xué)習(xí)的發(fā)展，視頻穩(wěn)像算法也在不斷的發(fā)展。從最初的傳統(tǒng)方法到近年來深度學(xué)習(xí)方法的提出，數(shù)字穩(wěn)像技術(shù)也在向前邁進(jìn)。穩(wěn)像技術(shù)算法分為傳統(tǒng)方法和深度學(xué)習(xí)的方法。按照不同方法對視頻穩(wěn)像技術(shù)進(jìn)行簡單介紹，再對穩(wěn)像評估方法進(jìn)行說明，最后對視頻穩(wěn)像技術(shù)研究的難點與發(fā)展的趨勢進(jìn)行了展望。

【關(guān)鍵詞】? ? 視頻穩(wěn)像? ? 傳統(tǒng)方法? ? 深度學(xué)習(xí)? ? 評估方法

引言

視頻穩(wěn)像技術(shù)也稱視頻去抖技術(shù)。視頻穩(wěn)像技術(shù)主要通過算法減少視頻的抖動，以生成穩(wěn)定的視頻，提高視頻的質(zhì)量。

傳統(tǒng)視頻穩(wěn)像算法通常包含2D方法、2.5D方法和3D方法。3D方法通常用于三維重建。2.5D方法適用于專業(yè)拍攝設(shè)備。2D方法由于處理速度快以及有較好的魯棒性，常被用于處理視頻穩(wěn)像問題。視頻穩(wěn)像算法一般分成3個部分：運(yùn)動估計、運(yùn)動平滑和運(yùn)動補(bǔ)償。

隨著計算機(jī)視覺、人工智能及深度學(xué)習(xí)的發(fā)展，視頻穩(wěn)像技術(shù)也在不斷的發(fā)展。深度學(xué)習(xí)方法通過不同的網(wǎng)絡(luò)對視頻數(shù)據(jù)集進(jìn)行訓(xùn)練、測試以及相應(yīng)參數(shù)的設(shè)置處理抖動視頻，以便達(dá)到穩(wěn)像的效果。

一、傳統(tǒng)方法

傳統(tǒng)視頻算法主要分為3部分：運(yùn)動估計、運(yùn)動平滑和運(yùn)動補(bǔ)償。

1.1運(yùn)動估計

運(yùn)動估計是在特定相機(jī)運(yùn)動模型下確定相機(jī)運(yùn)動向量的過程，這些運(yùn)動向量是描述連續(xù)視頻幀之間的運(yùn)動轉(zhuǎn)換的量[1]。常見的運(yùn)動估計算法有塊匹配法、灰度投影法、光流法和特征點匹配法。

塊匹配法具有較好的魯棒性，計算量小，原理簡單等特點，因此常用于實時穩(wěn)像。塊匹配是將視頻幀分成塊，再對每一幀搜索當(dāng)前幀的特定塊的位置，幀間匹配塊的運(yùn)動構(gòu)成單個運(yùn)動矢量。由所有塊運(yùn)動矢量估計出視頻序列的全局運(yùn)動矢量。

灰度投影法一般是利用圖像的灰度分布信息進(jìn)行全局運(yùn)動信息的估計。由于灰度分布不能較好的反映視頻運(yùn)動矢量的變化，所以該方法效果較差。

光流法主要是依據(jù)時域空間圖像亮度梯度來進(jìn)行光流場的估計。

特征點匹配法是一種精度高計算量大的運(yùn)動估計方法。常用的特征點檢測法有邊緣檢測、角點檢測、斑點檢測等。

1.2運(yùn)動平滑與補(bǔ)償

抖動視頻的相機(jī)運(yùn)動存在抖動的“噪聲”，運(yùn)動平滑即消除噪聲，使得運(yùn)動路徑變得平滑。運(yùn)動平滑通常采用濾波器對運(yùn)動路徑進(jìn)行平滑。常用的有卡爾曼濾波、高斯濾波、均值濾波等。

卡爾曼濾波是一種利用線性系統(tǒng)狀態(tài)方程，利用遞推估計，估計性能最優(yōu)。遞推計算形式能夠適合實時處理，因此卡爾曼濾波被稱為最優(yōu)濾波器。

高斯濾波是一種線性平滑濾波，適用于消除高斯噪聲。抖動視頻的噪聲可以建模為符合高斯分布的噪聲。高斯濾波抑制噪聲的過程即為運(yùn)動平滑的過程。

均值濾波是典型的線性濾波算法，主要采用領(lǐng)域平均法。用均值替代原圖像中各個像素值。

通過運(yùn)動平滑得到平滑路徑，接下來對視頻每一幀進(jìn)行補(bǔ)償，再得到每一幀的補(bǔ)償矩陣對每一幀進(jìn)行幾何變換，由此得到穩(wěn)定的視頻幀序列。

二、深度學(xué)習(xí)的方法

隨著計算機(jī)視覺、移動設(shè)備及深度學(xué)習(xí)的發(fā)展。深度學(xué)習(xí)在圖像和自然語言等領(lǐng)域深受追捧。利用深度學(xué)習(xí)算法解決穩(wěn)像問題從近年開始。2018年Xu等人[2]提供了一種新穎的在線深度學(xué)習(xí)框架，使用對抗網(wǎng)絡(luò)來處理抖動視頻，開創(chuàng)了深度學(xué)習(xí)算法在視頻穩(wěn)像的先河;2019年Wang等人[3]提出一種StabNet神經(jīng)網(wǎng)絡(luò)模型處理抖動視頻，但最終穩(wěn)像效果并不理想;2019年Yu等人[4]直接將幀的外觀變化建模為連續(xù)幀的密集光流場，同時提出了一種新的優(yōu)化方法，將非凸問題轉(zhuǎn)移到卷積神經(jīng)網(wǎng)絡(luò)參數(shù)域，在每個特定的輸入視頻中從頭開始訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN），并且有意地過度擬合CNN參數(shù)以在輸入視頻上產(chǎn)生最佳結(jié)果。通過解決CNN權(quán)重空間中的問題而不是直接解決圖像像素問題;其中此類方法對計算機(jī)顯卡及內(nèi)存要求較高。

三、穩(wěn)像評估方法

視頻穩(wěn)像算法通常包含主觀和客觀兩類評估指標(biāo)。

3.1主觀評估方法

主觀評估方法是通過人眼對最終生成的穩(wěn)定視頻進(jìn)行評價。由于受到人為因素的干擾，評估存在較大的不確定性，對穩(wěn)像后的視頻評價可能存有差異。

3.2客觀評估方法

1.峰值信噪比（PSNR）

峰值信噪比是基于均方差的圖像質(zhì)量描述方法。通常采用幀間的峰值信噪比評估視頻穩(wěn)像的效果，PSNR值越高說明穩(wěn)像效果越好。

2.均方差（MSE）

MSE可以表現(xiàn)視頻幀間內(nèi)容變化的快慢以及位移量改變。

3.幀間轉(zhuǎn)換精度

幀間轉(zhuǎn)換精度（ITF）是PSNR的均值表現(xiàn)形式。

4，結(jié)構(gòu)相似性

結(jié)構(gòu)相似性（SSIM）常用于視頻幀像素間的相互關(guān)系，注重視頻幀內(nèi)在規(guī)律的相似性。也是一種常用的穩(wěn)像評估方法。其中，SSIM值越接近1說明穩(wěn)像效果越好。

5.全曲率評價法

2019年Zhang等人[5]提出一種直接度量視頻運(yùn)動路徑平滑的無參考穩(wěn)定評價算法，稱為基于全曲率的穩(wěn)定評價法。由相鄰幀間的特征點計算單應(yīng)變換，再將該變換映射到李群空間，最后借助離散測地逼近方法計算路徑全曲率，由此判斷運(yùn)動路徑的平滑程度。曲率值越小，說明路徑越平滑，穩(wěn)像效果越好。

四、穩(wěn)像技術(shù)的難點與展望

4.1穩(wěn)像中的難點

1.黑邊問題，由于抖動視頻的“噪聲”，在對視頻進(jìn)行每一幀幾何變換時，會出現(xiàn)黑邊的現(xiàn)象。目前解決黑邊問題的常見方法是對視頻的黑邊進(jìn)行裁剪，但是經(jīng)過裁剪后的視頻會有一部分內(nèi)容的損失。對于一些運(yùn)動劇烈，黑邊較大的視頻需要裁剪很大的部分，這樣會導(dǎo)致保留的有用圖像信息較少。所以，穩(wěn)像中的黑邊問題是一個亟待解決的問題。

2.大前景運(yùn)動。對于某些拍攝的視頻包含大前景運(yùn)動，在運(yùn)動估計階段會估計出不合理的相機(jī)運(yùn)動，這將對后期的操作造成較大的影響，使得視頻出現(xiàn)扭曲甚至更嚴(yán)重的抖動。所以，包含大前景運(yùn)動抖動視頻也成為待解決的難題。

4.2展望

隨著科技的進(jìn)步與發(fā)展及移動智能設(shè)備的普及，市面上的大部分移動設(shè)備品牌內(nèi)部都嵌入穩(wěn)定傳感器。但是在拍攝過程中，會受到外部條件的干擾，使得視頻存有抖動。因此還是需要后期的處理來穩(wěn)定視頻。而對于現(xiàn)代人而言，更偏向?qū)崟r，比如實時微信視頻聊天，這就使得需要一個實時的運(yùn)動平滑濾波器。

在生活應(yīng)用中，車載設(shè)備也嵌入穩(wěn)定傳感器，當(dāng)行駛在顛簸的路面，行車記錄儀記錄的視頻也可能存有部分抖動，或者經(jīng)過減速帶也將引起大的抖動。

不論是學(xué)術(shù)研究還是應(yīng)用于現(xiàn)實生活，穩(wěn)像技術(shù)還需繼續(xù)發(fā)展。

參? 考? 文? 獻(xiàn)

[1]魏閃閃， 謝巍， 賀志強(qiáng). 數(shù)字視頻穩(wěn)像技術(shù)綜述 [J]. 計算機(jī)研究與發(fā)展， 2017， 54（09）： 2044-2058.

[2] Xu S， Hu J， Wang M， Mu T， Hu S. Deep video stabilization using adversarial networks [J]. Computer Graphics Forum， 2018， 37（7）： 267-276.

[3] Wang M， Yang G， Lin J， Zhang S， Shamir A， Lu S， Hu S. Deep online video stabilization with multi-grid warping transformation learning [J]. IEEE Transactions on Image Processing， 2019， 28（5）： 2283-2292.

[4] Yu J， Ramamoorthi R. Robust video stabilization by optimization in CNN weight space [C]//. Proc of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， Long Beach： IEEEPress， 2019： 3800-3808.

[5] Zhang L， Zheng Q， Huang H. Intrinsic motion stability assessment for video stabilization [J]. IEEE Transactions on Visualization and Computer Graphics， 2019， 25（4）： 1681-1692.