林 嵩

(福建技術(shù)師范學(xué)院 文化傳媒與法律學(xué)院, 福州 350300)

0 前 言

視頻監(jiān)控錄像的崛起帶領(lǐng)人們進(jìn)入了一個(gè)數(shù)字化社會(huì)。由于每時(shí)每刻都有大量的視頻圖像生成，且涉及的事物眾多，信息紛繁復(fù)雜，為了實(shí)現(xiàn)視頻圖像的高效傳輸，分析圖像關(guān)鍵幀，提取主要特征，學(xué)者們進(jìn)行了深入研究。張航等人提出了一種面向礦山監(jiān)管的無(wú)人機(jī)視頻關(guān)鍵幀影像動(dòng)態(tài)提取方法，首先對(duì)視頻影像進(jìn)行預(yù)處理；然后，基于提出的相關(guān)信息進(jìn)行加權(quán)處理，得出關(guān)鍵幀的動(dòng)態(tài)間隔；最后，對(duì)關(guān)鍵幀的時(shí)間間隔進(jìn)行加權(quán)處理，提取關(guān)鍵幀的動(dòng)態(tài)時(shí)差[1]。王俊玲等人提出了一種基于語(yǔ)義相關(guān)的視頻關(guān)鍵幀提取算法，首先利用卷積自編碼器提取視頻幀的深度特征，并對(duì)其進(jìn)行聚類分析；然后，篩選出最清晰的視頻幀作為關(guān)鍵幀；最后，利用密度方法對(duì)初次提取的關(guān)鍵幀進(jìn)行優(yōu)化[2]。但上述方法需要處理多次才能提取到視頻圖像關(guān)鍵幀。

計(jì)算機(jī)視覺(jué)任務(wù)包括獲取、處理、分析和理解數(shù)字圖像的方法，以及從現(xiàn)實(shí)世界中提取高維數(shù)據(jù)。為了提高視頻圖像關(guān)鍵幀提取及修復(fù)效果，本次研究設(shè)計(jì)了一種基于計(jì)算機(jī)視覺(jué)的視頻圖像關(guān)鍵幀提取及修復(fù)方法。

1 基于計(jì)算機(jī)視覺(jué)的視頻圖像關(guān)鍵幀提取

1.1 視頻圖像分割

人工測(cè)量視頻圖像只能對(duì)重點(diǎn)區(qū)域進(jìn)行分割；而基于計(jì)算機(jī)視覺(jué)測(cè)量視頻圖像不僅能夠檢測(cè)物體活動(dòng)背景，而且能夠識(shí)別目標(biāo)移動(dòng)軌跡?；谟?jì)算機(jī)視覺(jué)的視頻圖像采集過(guò)程如圖1所示。

圖1 基于計(jì)算機(jī)視覺(jué)的視頻圖像采集過(guò)程

為了實(shí)現(xiàn)視頻圖像的準(zhǔn)確切割，采用閾值分割法建立灰度值模型，首先找出視頻中的關(guān)鍵幀閾值，然后計(jì)算背景與目標(biāo)的灰度差，最后完成閾值分割[3]。

設(shè)原始視頻圖像為f(x,y)，其灰度值范圍為[Qmin,Qmax]，灰度閾值為Q1。閾值分割后的視頻圖像如式(1)所示：

(1)

式中：f1(x,y)表示閾值分割后的視頻圖像。

無(wú)論灰度值如何變化，閾值分割都不會(huì)丟失原始視頻圖像的主要信息，其不僅能夠過(guò)濾掉重復(fù)數(shù)據(jù)，而且能夠使還原度達(dá)到最高[4]?；陂撝捣指畹耐蛔冃裕捎玫ㄊ够叶戎当３衷谕凰骄€上。首先，從繪制的灰度直方圖中選取合適的閾值進(jìn)行視頻圖像切割，通過(guò)不斷迭代計(jì)算得出新灰度值Q=(Qmax+Qmin)/2；然后，求出迭代n+1次的平均灰度值Qn+1=(Qb+Qm)/2，其中Qb表示背景灰度值，Qm表示目標(biāo)灰度值；最后，比較Qn和Qn+1，若相等，則Qn+1為最佳閾值，否則繼續(xù)迭代計(jì)算。

1.2 視頻圖像紋理采集

當(dāng)視頻圖像出現(xiàn)相似背景時(shí)，容易出現(xiàn)錯(cuò)誤識(shí)別的情況，從而導(dǎo)致紋理檢測(cè)失敗。為了提高紋理采集效率，利用視頻圖像中的主要特征窗口獲取像素值[5-6]。紋理圖像灰度值的計(jì)算如式(2)所示：

(2)

式中：Gpixel_A表示紋理圖像灰度值；i表示像素點(diǎn)；m表示像素點(diǎn)個(gè)數(shù)；P表示紋理圖像采集概率。

在視頻圖像紋理采集過(guò)程中，需要對(duì)關(guān)鍵像素點(diǎn)和模糊視頻圖像進(jìn)行重建與融合[7]。采用熵值法采集剩余的局部紋理圖像，以原始像素點(diǎn)作為標(biāo)準(zhǔn)求出對(duì)應(yīng)的熵。紋理圖像特征向量的計(jì)算如式(3)所示：

(3)

式中：c(t)表示紋理圖像特征向量；T表示紋理模型；t表示延后時(shí)間；K表示灰度系數(shù);t0表示初始時(shí)間。

由于像素點(diǎn)的檢測(cè)會(huì)對(duì)視頻圖像產(chǎn)生干擾，導(dǎo)致出現(xiàn)不穩(wěn)定的噪聲[8]。當(dāng)噪聲達(dá)到較高分貝時(shí)，會(huì)在一定程度上影響子區(qū)域的融合，從而使視頻幀數(shù)不穩(wěn)定，采集的紋理圖像不夠完整與清晰。為了得到色彩豐富的二維結(jié)構(gòu)[9]，使用的函數(shù)如式(4)所示：

(4)

式中：P1、P2、P3、P4表示逐漸增加的概率；x1、x2、x3、x4表示視頻幀的二維高斯核函數(shù)；?表示維度。

當(dāng)給予不同維度的數(shù)值時(shí)，紋理圖像關(guān)鍵幀的灰度差如式(5)所示：

(5)

式中：z表示紋理圖像關(guān)鍵幀的灰度差。

z的3個(gè)值代表了3種濾波，利用濾波函數(shù)θ將圖像中的混合噪聲分離出來(lái)，通過(guò)特征分量去除緣區(qū)域的噪聲干擾，以確定紋理圖像關(guān)鍵幀像素點(diǎn)的分布情況。

1.3 視頻圖像關(guān)鍵幀提取

視頻圖像關(guān)鍵幀包括初始幀和終止幀[10]。以初始背景為例，首先找出主要特征分量；然后，在特征分量中找出關(guān)鍵幀信息；最后，通過(guò)灰度值曲線圖判斷關(guān)鍵幀的具體位置[11]。關(guān)鍵幀提取流程如圖2所示。

圖2 關(guān)鍵幀提取流程

假設(shè)存在2個(gè)相似的視頻圖像Ui(x,y)和Uj(x,y)，面積均為M×N，則視頻圖像關(guān)鍵幀中的相似像素值如式(6)所示：

λ(Uj(x,y),w)

(6)

式中：F(r,w)表示像素值函數(shù)；r表示顏色特征；w表示亮度特征；λ表示因子系數(shù)。

去除所有干擾因素后，相似概率如式(7)所示：

(7)

式中：P(r，w)表示相似概率。

由式(6)、式(7)可知，根據(jù)像素點(diǎn)特征分量可以繪制關(guān)鍵幀曲線[12]，從而得到Ui(x,y)和Uj(x,y)，定義表達(dá)式如式(8)所示：

(8)

相關(guān)性越高，二者的相似程度越高。正常情況下，相關(guān)性的值為0～1，灰度閾值約為0.9。

由于視頻圖像不受時(shí)間和地點(diǎn)的限制，關(guān)鍵幀只隨著特征向量的變化而變化，并按照從模糊到清晰的順序排列[13]。以初始關(guān)鍵幀作為標(biāo)準(zhǔn)，刪除重復(fù)信息，填補(bǔ)缺失數(shù)據(jù)，比較相鄰關(guān)鍵幀的灰度差[14]，求出最后視頻圖像的關(guān)鍵幀灰度差，如式(9)所示：

(9)

式中：P(xi)表示灰度值概率。

由于灰度值受到陽(yáng)光等影響，導(dǎo)致關(guān)鍵幀提取出現(xiàn)誤差，關(guān)鍵幀序列分布不均勻。只有當(dāng)信息熵達(dá)到最大值時(shí)，才會(huì)減少關(guān)鍵幀的排列錯(cuò)誤。新的視頻圖像關(guān)鍵幀提取包括以下6個(gè)步驟：

(1) 采集視頻圖像中的主要關(guān)鍵幀，待達(dá)到一定數(shù)量后，確定該片段的初始幀和終止幀[15]；

(2) 將視頻圖像分成多個(gè)小片段，并逐一分析每個(gè)片段的關(guān)鍵幀相似度序列U′，U′=(U1,U2,U3，…,Un-1,Un)，選取序列中的閾值Q作為主要關(guān)鍵幀，即Q=U1；

(3) 求解像素點(diǎn)之間的相關(guān)性，設(shè)閾值Q=0.9，進(jìn)而選出新的關(guān)鍵幀；

(4) 重復(fù)上述步驟，直到從剩余關(guān)鍵幀的序列中檢測(cè)出終止關(guān)鍵幀；

(5) 當(dāng)|i-j|<20時(shí)，得到最大的信息熵值，將獲取的關(guān)鍵幀整合到同一個(gè)集合中；

(6) 在集合中找出初始幀和終止幀，否則轉(zhuǎn)回步驟(5)。

2 視頻圖像修復(fù)

每個(gè)關(guān)鍵幀都具有特定的信息熵，在進(jìn)行關(guān)鍵幀修復(fù)時(shí)，首先提取相同關(guān)鍵幀信息備用；然后找到目標(biāo)移動(dòng)規(guī)律，記錄移動(dòng)軌跡矩陣H=(H1,H2,…,Hn)。由于H中的每個(gè)元素都具有相同的背景和目標(biāo)，因此背景噪聲會(huì)使目標(biāo)改變方向?；谠肼暤牟淮_定性，建立降噪模型，如式(10)所示：

min‖H‖+λ,s.t.‖P-H-S‖≤ε

(10)

式中：S表示面積矩陣；P表示概率矩陣；ε表示噪聲。

經(jīng)過(guò)雙層濾波降噪處理后，關(guān)鍵幀的主要信息逐漸被修復(fù)，利用加權(quán)法還原原始矩陣，如式(11)所示：

(11)

式中：Ws表示視頻圖像關(guān)鍵幀特征修復(fù)函數(shù)。

3 實(shí)驗(yàn)結(jié)果分析

3.1 參數(shù)設(shè)計(jì)

為驗(yàn)證基于計(jì)算機(jī)視覺(jué)的視頻圖像關(guān)鍵幀提取及修復(fù)方法的有效性，將其與視頻關(guān)鍵幀影像動(dòng)態(tài)提取方法、基于語(yǔ)義相關(guān)的視頻關(guān)鍵幀提取方法進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)參數(shù)如表1所示。

表1 實(shí)驗(yàn)參數(shù)

3.2 實(shí)驗(yàn)結(jié)果分析

3.2.1 關(guān)鍵幀提取效果

分別采用3種方法提取3種不同視頻圖像的關(guān)鍵幀，提取效果如圖3-圖5所示。

圖3 視頻圖像1的關(guān)鍵幀提取效果

圖4 視頻圖像2的關(guān)鍵幀提取效果

圖5 視頻圖像3的關(guān)鍵幀提取效果

由圖3 — 圖5可知，本方法提取的圖像清晰度較高，能夠提取到圖像的顏色特征和紋理特征；其他2種方法提取的圖像清晰度較低，尤其是基于語(yǔ)義相關(guān)的視頻關(guān)鍵幀提取方法提取的圖像最模糊，不能準(zhǔn)確獲得圖像信息。

3.2.2 關(guān)鍵幀修復(fù)效果

由視頻圖像關(guān)鍵幀修復(fù)效果(見(jiàn)圖6)可知，本方法修復(fù)效果較好，其他2種方法修復(fù)的圖像存在模糊現(xiàn)象。

圖6 視頻圖像關(guān)鍵幀修復(fù)效果

3.2.3 關(guān)鍵幀提取時(shí)間

由視頻圖像關(guān)鍵幀提取時(shí)間的對(duì)比結(jié)果(見(jiàn)圖7)可知，關(guān)鍵幀提取時(shí)間隨著視頻數(shù)量的增加而增加，本方法的關(guān)鍵幀提取時(shí)間比其他2種方法少。

圖7 視頻圖像關(guān)鍵幀提取時(shí)間的對(duì)比結(jié)果

3.2.4 關(guān)鍵下幀提取誤差

不同λ的視頻圖像關(guān)鍵幀提取誤差如表2所示。當(dāng)λ為0.05時(shí)，本方法的關(guān)鍵幀提取誤差為0.01，視頻關(guān)鍵幀影像動(dòng)態(tài)提取方法的關(guān)鍵幀提取誤差為0.58，基于語(yǔ)義相關(guān)的視頻關(guān)鍵幀提取方法的關(guān)鍵幀提取誤差為0.68。當(dāng)λ為0.66時(shí)，本方法的關(guān)鍵幀提取誤差為0.16，視頻關(guān)鍵幀影像動(dòng)態(tài)提取方法的關(guān)鍵幀提取誤差為0.43，基于語(yǔ)義相關(guān)的視頻關(guān)鍵幀提取方法的關(guān)鍵幀提取誤差為0.52。由此可見(jiàn)，本方法的視頻圖像關(guān)鍵幀提取誤差比其他2種方法低。

表2 不同λ下的視頻圖像關(guān)鍵幀提取誤差

4 結(jié) 語(yǔ)

本次研究設(shè)計(jì)了一種基于計(jì)算機(jī)視覺(jué)的視頻圖像關(guān)鍵幀提取及修復(fù)方法。首先，在智能計(jì)算機(jī)的基礎(chǔ)上還原視頻圖像，提取數(shù)據(jù)信息，確定關(guān)鍵幀序列；然后，將灰度值與關(guān)鍵幀序列相結(jié)合，復(fù)制相似關(guān)鍵幀信息，修復(fù)丟失關(guān)鍵幀；最后，利用灰度值與序列之間的聯(lián)系獲取主要特征，對(duì)其進(jìn)行融合與分類，進(jìn)而完成關(guān)鍵幀修復(fù)。