龍 年，劉智惠

(湖北工業(yè)大學(xué)工程技術(shù)學(xué)院，湖北 武漢 430000)

1 引言

互聯(lián)網(wǎng)和多媒體技術(shù)的迅猛發(fā)展，各種短視頻和音頻飛速發(fā)展，人類(lèi)對(duì)多媒體質(zhì)量的需求也開(kāi)始飛速增加。各種智能設(shè)備的出現(xiàn)，促使人機(jī)交互成為可能，人類(lèi)的生活也開(kāi)始越來(lái)越依賴(lài)智能終端設(shè)備。視頻的拍攝除了記錄生活[1]，同時(shí)也被應(yīng)用于執(zhí)行一些較為復(fù)雜的任務(wù)，例如追蹤以及物體識(shí)別等。但是由于受到條件和使用場(chǎng)景的限制，相機(jī)會(huì)缺乏配套的攝像設(shè)備，所以會(huì)導(dǎo)致拍攝的視頻經(jīng)常伴隨劇烈的抖動(dòng)。這些抖動(dòng)的存在會(huì)導(dǎo)致視頻質(zhì)量下降，所以對(duì)視頻異常抖動(dòng)進(jìn)行消除具有十分重要的意義[2]。

國(guó)內(nèi)外相關(guān)專(zhuān)家也取得了一些較好的研究成果，例如汪權(quán)等人[3]優(yōu)先通過(guò)預(yù)處理獲取OCT視網(wǎng)膜圖像邊界，同時(shí)采用最小二乘法曲線擬合計(jì)算各幀切片圖像的偏移量，最終實(shí)現(xiàn)視頻去抖動(dòng)。熊煒等人[4]利用光流法穩(wěn)定抖動(dòng)視頻，同時(shí)對(duì)預(yù)穩(wěn)定后的角點(diǎn)進(jìn)行檢測(cè)，對(duì)仿射變換矩陣進(jìn)行估計(jì)，獲取初始相機(jī)路徑。根據(jù)卡爾曼濾波對(duì)相機(jī)路徑進(jìn)行平滑處理，獲取平滑相機(jī)路徑。分析各個(gè)路徑之間的關(guān)聯(lián)性，計(jì)算相鄰幀間的補(bǔ)償矩陣，對(duì)其進(jìn)行幾何變換，最終輸出穩(wěn)定的視頻。由于以上兩種方法未能在實(shí)際操作過(guò)程中加入視頻異常抖動(dòng)檢測(cè)環(huán)節(jié)，導(dǎo)致視頻異常抖動(dòng)消除效果不理想，峰值信噪比大幅度下降，平均編碼時(shí)間增加。為此，提出一種基于局部特征約束的視頻異常抖動(dòng)消除方法，能夠有效減少平均編碼時(shí)間，增加峰值信噪比，有效消除視頻中的異常抖動(dòng)，獲取更加理想的視頻效果。

2 基于局部特征約束的視頻異常抖動(dòng)檢測(cè)

2.1 視頻異常抖動(dòng)檢測(cè)流程

視頻異常抖動(dòng)檢測(cè)在視頻識(shí)別領(lǐng)域中占據(jù)十分重要的地位[5-6]。以下借助聯(lián)合分布結(jié)構(gòu)性假設(shè)，分別從時(shí)間和空間兩個(gè)角度出發(fā)，對(duì)視頻中存在的異常抖動(dòng)進(jìn)行分析研究。確定局部假設(shè)后，需要結(jié)合分析結(jié)果對(duì)視頻中不重疊區(qū)域的信息進(jìn)行統(tǒng)計(jì)和整理。

優(yōu)先將視頻異常檢測(cè)描述為一個(gè)抽象問(wèn)題，同時(shí)將其和視頻設(shè)置進(jìn)行結(jié)合，共同進(jìn)行分析和研究。設(shè)定隨機(jī)向量集合為x={xν}ν∈V，相應(yīng)圖為G={V，E}。其中，集合V具有對(duì)任意節(jié)點(diǎn)進(jìn)行定義的能力。

如果從虛假設(shè)H0能夠獲取基準(zhǔn)數(shù)據(jù)x={xν}ν∈V，則需要滿足以下約束條件：

H0=x×f0(x)

(1)

上式中，H0代表虛假設(shè)；x代表基準(zhǔn)數(shù)據(jù)；f0(x)代表基準(zhǔn)數(shù)據(jù)的邊緣分布。

將異常分布設(shè)定為在具體坐標(biāo)位置ν和標(biāo)度s條件下構(gòu)成的異常似然混合模型。為了確保整個(gè)檢測(cè)過(guò)程得到有效簡(jiǎn)化，以下只考慮在固定標(biāo)度條件下的混合模型，在上述條件下獲取的先驗(yàn)概率計(jì)算式為：

(2)

上式中，Pν代表似然函數(shù)；fν代表邊緣分布。

在上述基礎(chǔ)上，需要在文本局部模型中加入一些較為特殊的符號(hào)進(jìn)行描述。設(shè)定ων，s代表以ν為圓心、s為半徑的球體，則：

{ων，ων，s}=u×d(u，ν)×s

(3)

上式中，u代表球體內(nèi)規(guī)定半徑的數(shù)量；d(u，ν)代表局部結(jié)構(gòu)；s代表球體半徑。

結(jié)合公式(2)，能夠獲取半徑為ε的球體內(nèi)全部點(diǎn)集合，即：

ων，s=u×V×d(u，ν)≤ε，ν∈ων

(4)

上式中，V代表任意常數(shù)。

當(dāng)分布f0和fν滿足設(shè)定的約束條件，則說(shuō)明異常抖動(dòng)具有局部分解特征。

設(shè)定視頻序列時(shí)隙是整個(gè)視頻中一個(gè)較小的頻段，在一個(gè)完整的視頻中共有x(1)，x(2)，…，x(n)個(gè)視頻序列時(shí)隙。為了方便后續(xù)的分析和研究，需要確保各個(gè)視頻序列時(shí)隙是獨(dú)立存在，同時(shí)還能夠?qū)⒁曨l劃分為多個(gè)長(zhǎng)短不一且互不重疊的視頻序列時(shí)隙。

針對(duì)視頻序列時(shí)隙而言，關(guān)聯(lián)一個(gè)圖G={V×T，E}。其中，集合V主要用來(lái)連接視頻序列時(shí)隙的空間位置，而集合T主要用來(lái)連接視頻序列時(shí)隙的時(shí)間。從理論角度出發(fā)，重點(diǎn)對(duì)全部像素的位置和時(shí)間進(jìn)行分析，將其劃分為多個(gè)規(guī)格一致但是長(zhǎng)短不同的區(qū)域塊。

在進(jìn)行特征提取的過(guò)程中，計(jì)算各個(gè)視頻序列時(shí)隙中像素的平均取值，同時(shí)還能夠?qū)⑾袼靥卣骷D(zhuǎn)換為有關(guān)原子的多維向量，重點(diǎn)需要結(jié)合以下幾方面特征進(jìn)行分析研究：

1)持續(xù)性特征

通過(guò)背景相減方法對(duì)視頻中存在的異常抖動(dòng)檢測(cè)分析。其中，視頻中位數(shù)估計(jì)主要是借助前景實(shí)現(xiàn)的，而背景更新則結(jié)束移動(dòng)平均算法實(shí)現(xiàn)。另外，在實(shí)際操作的過(guò)程中，需要將各個(gè)像素標(biāo)記為背景或者是前景中的一部分。

2)方向特性

需要形成一種全新的光流法，通過(guò)這種新的方法完成視頻中運(yùn)動(dòng)向量提取。對(duì)研究區(qū)域進(jìn)行分析，使運(yùn)動(dòng)向量能夠在8個(gè)不同的方向運(yùn)動(dòng)，同時(shí)將幅度取值較小的向量采用特殊的空間維度描述。

3)運(yùn)動(dòng)幅度

需要不包含空間維度的運(yùn)動(dòng)幅度向量求解原子中全部像素的平均值。

在上述分析的基礎(chǔ)上，分別計(jì)算不同視頻的局部K最近鄰距離，結(jié)合計(jì)算結(jié)果，獲取測(cè)試和訓(xùn)練視頻的總體得分，同時(shí)將得分結(jié)果進(jìn)行排列，確定視頻中的異常抖動(dòng)部分。

利用圖1給出基于局部特征約束的視頻異常抖動(dòng)檢測(cè)流程圖。優(yōu)先對(duì)視頻中存在的運(yùn)動(dòng)描述符進(jìn)行特征提取，同時(shí)對(duì)提取的全部特征進(jìn)行量化拆分處理；采用時(shí)間—空間濾波器對(duì)特征描述符進(jìn)行平滑處理[7-8]，獲取對(duì)應(yīng)的平滑估計(jì)。對(duì)訓(xùn)練和測(cè)試視頻的局部KNN距離，將獲取的距離值進(jìn)行統(tǒng)計(jì)，獲取兩者的總體分值，將其進(jìn)行排序，實(shí)現(xiàn)視頻異常抖動(dòng)檢測(cè)。

圖1 基于局部特征約束的視頻異常抖動(dòng)檢測(cè)流程圖

2.2 視頻異常抖動(dòng)消除

當(dāng)檢測(cè)到視頻中的異常部分后，需要將異常抖動(dòng)消除。進(jìn)行視頻異常抖動(dòng)消除的主要目的就是保證整個(gè)視頻序列的平穩(wěn)變換，同時(shí)確保視頻的穩(wěn)定[9-10]。

優(yōu)先對(duì)視頻進(jìn)行壓縮處理，組建含有稀疏特性的碼流，在碼流中提取編碼端對(duì)視頻進(jìn)行運(yùn)動(dòng)估計(jì)所形成的運(yùn)動(dòng)矢量，同時(shí)借助運(yùn)動(dòng)矢量對(duì)視頻進(jìn)行運(yùn)動(dòng)分析和映射變換。

映射變換是一種2—D平面變換方法，如圖2所示。

圖2 平面上點(diǎn)映射變換

主要用來(lái)描述簇內(nèi)圖像之間的關(guān)聯(lián)性，同時(shí)映射具有不變性。假設(shè)一個(gè)映射為映影映射，則需要滿足公式(4)中的約束條件：

h(x)=H×x

(5)

上式中，H代表非奇異矩陣。

在處理平面關(guān)系的過(guò)程中，主要選擇公式(5)的表達(dá)形式：

(6)

由于H是一個(gè)齊次矩陣，在矩陣中的全部元素都是相互獨(dú)立的，所以映射變換共包含8個(gè)不同的自由度。以下借助最小二乘準(zhǔn)則獲取矩陣H的最優(yōu)表達(dá)形式，即：

(7)

由于運(yùn)動(dòng)矢量具有很多參考幀，同時(shí)還具有多個(gè)不同等級(jí)的結(jié)構(gòu)，無(wú)法直接用來(lái)進(jìn)行運(yùn)動(dòng)分析。為了更好解決上述問(wèn)題，需要采用運(yùn)動(dòng)信息對(duì)相機(jī)的運(yùn)動(dòng)路徑進(jìn)行歸集。同時(shí)在全局運(yùn)動(dòng)矢量修正的過(guò)程中，需要采用F(t)對(duì)相鄰幀的運(yùn)動(dòng)矢量進(jìn)行修正，但是F(t)實(shí)際就是在相機(jī)相鄰兩幀的運(yùn)動(dòng)路徑。以下主要采用視頻編碼對(duì)視頻中的運(yùn)動(dòng)矢量F(t)進(jìn)行計(jì)算，結(jié)合映射變換的傳遞性質(zhì)，獲取相機(jī)在第t幀的運(yùn)動(dòng)路徑C(t)，如公式(8)所示：

(8)

上式中，I代表運(yùn)動(dòng)矢量。

為了更好地估計(jì)相機(jī)路徑C(t)，需要使其和相機(jī)的實(shí)際路徑P(t)盡可能接近，進(jìn)而要對(duì)P(t)進(jìn)行約束，具體的計(jì)算式為：

(9)

上式中，O{P(t)}代表相機(jī)實(shí)際路徑的約束條件；ωt，r代表高斯權(quán)重；λt代表平衡因子；P(r)代表約束估計(jì)出的噪聲路徑。

設(shè)定穩(wěn)定視頻幀是通過(guò)映射變換獲取的，則這種變換能夠表示為：

B(t)=C-1(t)P(t)

(10)

上式中，B(t)代表穩(wěn)定視頻幀變換結(jié)果。

運(yùn)動(dòng)估計(jì)是由視頻中的運(yùn)動(dòng)信息流構(gòu)成，結(jié)合圖像中各個(gè)網(wǎng)絡(luò)頂點(diǎn)獲取各個(gè)幀內(nèi)組塊對(duì)應(yīng)的運(yùn)動(dòng)信息，通過(guò)運(yùn)動(dòng)信息得到視頻的具體運(yùn)動(dòng)軌跡。

采用單一相機(jī)的運(yùn)動(dòng)路徑算法能夠精準(zhǔn)估算出各個(gè)網(wǎng)格的相機(jī)運(yùn)動(dòng)路徑，即：

ci(t)=fi(t)+fi(t-1)+…fi(0)

(11)

上式中，fi(t)代表在第t幀內(nèi)第i個(gè)網(wǎng)格的運(yùn)動(dòng)量，同時(shí)該網(wǎng)格的相機(jī)路徑ci(t)為相鄰運(yùn)動(dòng)矢量之和。其中，第i個(gè)網(wǎng)格運(yùn)動(dòng)路徑對(duì)應(yīng)的約束條件能夠表示為：

(12)

上式中，{pi(t)}代表第i個(gè)網(wǎng)格定點(diǎn)的最優(yōu)軌跡；pi(t)代表相機(jī)相鄰的運(yùn)動(dòng)路徑；pi(r)代表相鄰相機(jī)的運(yùn)動(dòng)矢量。

通過(guò)編碼提供的運(yùn)動(dòng)流信息，能夠獲取全部網(wǎng)絡(luò)的路徑約束條件：

(13)

通過(guò)上述約束條件獲取最終值，同時(shí)對(duì)各個(gè)網(wǎng)格的運(yùn)動(dòng)矢量bi(t)：

bi(t)=pi(t)-ci(t)

(14)

針對(duì)視頻中已經(jīng)完成更新的運(yùn)動(dòng)矢量，獲取圖像在網(wǎng)格中全新的坐標(biāo)位置，通過(guò)位置信息實(shí)現(xiàn)圖像的局部映射變換[11-12]，進(jìn)而組建穩(wěn)定性更強(qiáng)的視頻幀。

相機(jī)路徑估計(jì)主要借助多條不同的路徑實(shí)現(xiàn)，對(duì)全部運(yùn)動(dòng)矢量進(jìn)行修正和篩選，同時(shí)使各個(gè)運(yùn)動(dòng)矢量的初始閾值相同，自適應(yīng)進(jìn)行篩選比例調(diào)整，促使矢量在目標(biāo)比例內(nèi)，具體的計(jì)算式如下：

Hng=|dmv-dH|+Nthreshold

(15)

上式中，dmv代表運(yùn)動(dòng)矢量確定的偏移距離；dH代表映射變換確定的偏移距離；Nthreshold代表閾值。如果運(yùn)動(dòng)矢量經(jīng)過(guò)修正后，整體比例不在設(shè)定的范圍內(nèi)，需要修正閾值，同時(shí)保證運(yùn)動(dòng)矢量偏移和映射變換偏移兩者更加接近。

在上述分析的基礎(chǔ)上，加入編碼技術(shù)進(jìn)行視頻異常抖動(dòng)消除，最終獲取穩(wěn)定的視頻。

3 仿真實(shí)驗(yàn)

為了驗(yàn)證基于局部特征約束的視頻異常抖動(dòng)消除方法的有效性，通過(guò)PC機(jī)進(jìn)行實(shí)驗(yàn)測(cè)試分析。

1)視頻異常抖動(dòng)消除效果分析

優(yōu)先驗(yàn)證所提方法的視頻異常抖動(dòng)消除效果，設(shè)定圖3為未經(jīng)過(guò)處理的異常抖動(dòng)視頻，即測(cè)試圖像，圖4為經(jīng)過(guò)三種不同方法進(jìn)行抖動(dòng)消除后的視頻：

圖3 測(cè)試對(duì)象

圖4中，分析圖4中的視頻能夠看出，經(jīng)過(guò)抖動(dòng)消除后，視頻中出現(xiàn)的抖動(dòng)有了明顯的改善。相比另外兩種方法，所提方法能夠更好消除視頻中的異常抖動(dòng)，同時(shí)獲取更加清晰的視頻效果。

圖4 不同方法的視頻異常抖動(dòng)消除結(jié)果

2)峰值信噪比/dB

為了更好分析方法的性能，以下實(shí)驗(yàn)對(duì)比不同方法的峰值信噪比，通過(guò)峰值信噪比(PSNR)進(jìn)一步衡量視頻異常抖動(dòng)消除效果，具體實(shí)驗(yàn)結(jié)果如表1所示：

表1 不同方法視頻異常抖動(dòng)消除前后PSNR對(duì)比結(jié)果分析

分析表1中的實(shí)驗(yàn)數(shù)據(jù)可知，三種方法的峰值信噪比處理前有了明顯的提升，說(shuō)明經(jīng)過(guò)抖動(dòng)消除后，各個(gè)視頻的圖像質(zhì)量也得到有效改善。所提方法的峰值信噪比取值最高，主要是因?yàn)樗岱椒ㄔ谶M(jìn)行抖動(dòng)消除時(shí)，加入了視頻異常抖動(dòng)檢測(cè)環(huán)節(jié)，能夠快速準(zhǔn)確識(shí)別圖像中的異常，為抖動(dòng)消除提供依據(jù)，進(jìn)而確保視頻質(zhì)量得到改善，同時(shí)峰值信噪比也隨之增加。

3)平均編碼時(shí)間/s

為了更進(jìn)一步所提方法的優(yōu)越性，以下實(shí)驗(yàn)測(cè)試對(duì)比三種不同方法的平均編碼時(shí)間，具體實(shí)驗(yàn)結(jié)果如圖5所示：

圖5 不同方法的平均編碼時(shí)間對(duì)比結(jié)果

分析圖5中的實(shí)驗(yàn)數(shù)據(jù)可知，當(dāng)測(cè)試樣本數(shù)量持續(xù)增加，各個(gè)方法的平均編碼時(shí)間也會(huì)相應(yīng)增加。但是由于其他兩種方法未能對(duì)視頻進(jìn)行異常抖動(dòng)檢測(cè)，導(dǎo)致整體的平均編碼時(shí)間增加，而所提方法的平均編碼時(shí)間明顯更低一些。

4 結(jié)束語(yǔ)

針對(duì)目前已有視頻異常抖動(dòng)消除方法存在的問(wèn)題，提出一種基于局部特征約束的視頻異常抖動(dòng)消除。測(cè)試結(jié)果表明，所提方法能夠有效增強(qiáng)視頻質(zhì)量，降低平均編碼時(shí)間，提升峰值信噪比，獲取理想的視頻異常抖動(dòng)消除效果。

雖然現(xiàn)階段所提方法取得了較為顯著的研究成果，但是仍然存在一定的不足，后續(xù)將重點(diǎn)針對(duì)以下幾方面的內(nèi)容進(jìn)行研究：

1)在視頻異常抖動(dòng)消除后，加入效果評(píng)估方法，進(jìn)一步驗(yàn)證視頻質(zhì)量的好壞。

2)擴(kuò)大研究范圍，使其能夠被應(yīng)用于各個(gè)研究領(lǐng)域中。