張明， 司維

(1. 河南水利與環(huán)境職業(yè)學(xué)院 機(jī)電與信息工程系, 河南 鄭州 450000；2. 河南省外貿(mào)學(xué)校 信息服務(wù)辦公室, 河南 鄭州 450002)

0 引言

視頻縮放是保證在不失真顯示全部視頻的內(nèi)容前提下，對(duì)視頻的高寬比和分辨率進(jìn)行調(diào)整[1-2]。近些年，隨著各種尺寸的平板電腦、顯示器，尤其是全面屏手機(jī)的不斷更新，對(duì)顯示器要求的比例逐漸多樣化，因此為了適配不同設(shè)備，對(duì)視頻進(jìn)行縮放具有重要的意義[3]。但是傳統(tǒng)的視頻縮放方法通過(guò)裁剪或者均勻縮放的方式，往往會(huì)導(dǎo)致視頻不同程度的扭曲或失真[4]，近些年出現(xiàn)的基于內(nèi)容感知的視頻縮放方法[5-6]，可以在保留原圖像不失真的前提下改變視頻的縱橫比和大小，可以滿足不同設(shè)備的觀影體驗(yàn)[7]。目前，基于內(nèi)容感知的視頻縮放方法分為基于接縫和基于網(wǎng)格兩種[8]。文獻(xiàn)[9]提出的基于網(wǎng)格的視頻縮放方法通過(guò)彎曲和裁剪獲得空間和時(shí)間上的一致性，但往往會(huì)因?yàn)椴眉舻牟僮髟斐梢曈X(jué)信息的丟失。而基于接縫的視頻縮放方法首先保證原視頻的信息，但此方法往往較為費(fèi)時(shí)。Grundmann[10]提出了可以較高地保持空間和時(shí)間一致性的方法，其采用的方法為不連續(xù)接縫。但Grundmann方法由于使用動(dòng)態(tài)規(guī)劃，提高了計(jì)算的復(fù)雜程度，增加了視頻縮放的時(shí)間。針對(duì)此問(wèn)題，本文提出了一種利用遺傳算法的縮放方法對(duì)Grundmann方法進(jìn)行改進(jìn)，文獻(xiàn)[11]研究表明次優(yōu)接縫可以保持空間和時(shí)間的連貫性。顯著性信息對(duì)視頻縮放非常有效，本文利用文獻(xiàn)[12]提出的顯著度的方法提升視頻的縮放效果。本文的主要成果為：提出了一種新的利用遺傳算法的視頻縮放方法，并考慮了計(jì)算復(fù)雜度和視覺(jué)信息，在實(shí)現(xiàn)較好縮放效果的基礎(chǔ)上，將消耗時(shí)間縮短為Grundmann方法的30%左右。

1 基于遺傳算法的視頻縮放方法的提出

本文提出的視頻計(jì)算方法為利用移除接縫和迭代的方式對(duì)視頻的大小進(jìn)行調(diào)整，本文利用Grundmann提出的能量函數(shù)來(lái)保證空間和時(shí)間的一致性，利用該技術(shù)得到的能量圖可以生成不連續(xù)的接縫從而跳過(guò)顯著性物體，而且可以利用其動(dòng)態(tài)規(guī)劃的方法對(duì)接縫進(jìn)行識(shí)別。本文的遺傳接縫跳過(guò)了足球運(yùn)動(dòng)員在的區(qū)域從而保證了顯著性物體的完整性，如圖1所示。

(a) t幀

1.1 時(shí)間的一致性

計(jì)算時(shí)間一致性損失的過(guò)程，如圖2所示。

圖2 計(jì)算時(shí)間一致性的損失

選擇上一幀時(shí)間的接縫(圖中紅色)作為目前幀的引導(dǎo)，Rc表示最佳時(shí)間的一致性幀，把上一幀的接縫應(yīng)用至當(dāng)前幀F(xiàn)i。時(shí)間損失公式[13]Tc(x,y)，如式(1)。

(1)

1.2 空間的一致性測(cè)量

空間一致性的損失包含垂直一致性和水平一致性損失兩組[14]。損失公式，如式(2)。

Sc=Sh+Sv

(2)

對(duì)于垂直損失和水平損失的測(cè)量，本文選用梯度變化進(jìn)行測(cè)量。Sh與像素有關(guān)，而Sv不僅與當(dāng)前像素有關(guān)，還與上一行接縫所在的像素有關(guān)，如式(3)、式(4)。

Sc(E)=|D-E|+|E-F|-|D-F|

(3)

Sv(E,A)=||A-D|+|B-D||+

||B-E|-|B-D||

(4)

移除相鄰相位和酚酸接縫損失的計(jì)算，如圖3所示。

(a) 移除相鄰像素

1.3 利用遺傳算法的不連續(xù)接縫裁剪

傳統(tǒng)的接縫裁剪方法基于動(dòng)態(tài)規(guī)劃在能量圖中識(shí)別能量最低的接縫。但研究表明由于最優(yōu)和次優(yōu)的接縫效果幾乎相同，因此沒(méi)有必要限制最低的能量[15]?；诖耍疚睦玫瓿梢曨l縮放，利用遺傳算法尋找次優(yōu)接縫。在遺傳模型中，每個(gè)個(gè)體只包含一個(gè)染色體，位于染色體中的基因組可以將其編碼成一條接縫。本文初始種群為通過(guò)初始化一批個(gè)體得到的，群體經(jīng)過(guò)一定數(shù)量的代數(shù)演化后得到次優(yōu)解，從而得到次優(yōu)裂縫。

染色體的定義為，由n個(gè)基因組成的整體。n表示水平接縫幀寬和豎直接縫幀高。為了表示像素的實(shí)際位置，設(shè)計(jì)了樞紐基因ai=p。對(duì)于其它基因，其值介于-1和1之間用來(lái)表示相鄰3個(gè)像素的位置，如式(5)。

I={a1,a2,…，ai=p，…an}

(5)

為了選擇次優(yōu)接縫，本文定義了適當(dāng)度函數(shù)，如式(6)。

(6)

式中，h表示最高能量值；1表示最低能量值；x表示當(dāng)前的能量值，適應(yīng)值介于0和2之間。

2 性能試驗(yàn)及結(jié)果

本文選用了高寬比比例不同的視頻對(duì)視頻的縮放算法進(jìn)行試驗(yàn)，為了與其它縮放方法進(jìn)行對(duì)比，本文將縮放時(shí)間和縮放結(jié)果與其它縮放方法進(jìn)行了對(duì)比。另外還研究了遺傳算法的不同對(duì)縮放效果的影響。本文所有的縮放試驗(yàn)均基于某筆記本，該筆記本采用的處理器為AMD瑞龍7，內(nèi)存容量為8GB，硬盤(pán)容量為512G PCIe SSD。本文的計(jì)算結(jié)果與Grundmann和Rubinstein[16]的處理結(jié)果，如圖4所示。

圖4 不同視頻縮放方法對(duì)比

圖4中(a)、(b)、(c)、(d)分別為原始視頻、本文縮放結(jié)果、Grundmann方法縮放結(jié)果、Rubinstein方法縮放結(jié)果。

由圖4可知，本文提出的視頻縮放算法的縮放效果與Grundmann方法基本一致，未出現(xiàn)扭曲和失真等現(xiàn)象，而Rubinstein的方法在卡車(chē)邊緣出現(xiàn)了扭曲的現(xiàn)象。對(duì)于飛行在空中的飛機(jī)，Grundmann方法縮放完之后出現(xiàn)了多處幀邊緣部分為裁剪的現(xiàn)象，而Rubinstein方法使得圖中左側(cè)的飛機(jī)出現(xiàn)了扭曲，而本文提出的縮放方法保持了最好的一致性空間，消除了周?chē)吘壍膮^(qū)域，縮放效果最好。對(duì)于沖浪畫(huà)面，Grundmann方法和本文提出的方法縮放效果較好，未出現(xiàn)扭曲和變形的情況，而Rubinstein方法出現(xiàn)了運(yùn)動(dòng)員頭發(fā)的扭曲變形。因此可知，對(duì)于視頻的縮放來(lái)說(shuō)，次優(yōu)接縫完全可以滿足要求。

與Grundmann方法相比，本文提出的算法從兩方面降低了計(jì)算復(fù)雜度。首先，本文通過(guò)實(shí)驗(yàn)方法研究多種分辨率視頻的條件下3類(lèi)算法的性能，如表1所示。

表1 視頻不同分辨率情況下的耗時(shí)

對(duì)于340×280、480×260和640×256 3種不同的分辨率的視頻，Rubinstein方法耗時(shí)最多，而本文提出的方法耗時(shí)是最少的，基本上僅為Grundmann方法的30%左右。

本文通過(guò)實(shí)驗(yàn)研究不同縮放比例條件下各個(gè)方法的性能，本實(shí)驗(yàn)選用的視頻分辨率幀數(shù)為15；分辨率為480×260的視頻，如表2所示。

表2 視頻不同縮放因子情況下的耗時(shí)

由表2可知，本文提出的方法耗時(shí)最少，其次為Grundmann，而Rubinstein方法的耗時(shí)最多。

圖5不同初始群種個(gè)數(shù)所對(duì)應(yīng)的縮放結(jié)果，如圖5所示。

圖5 不同初始群種個(gè)數(shù)所對(duì)應(yīng)的縮放結(jié)果

其中，p為初始總?cè)旱臄?shù)量，圖中的空色方框?yàn)閷?duì)比不同縮放效果的顯示對(duì)象。

對(duì)于沖浪畫(huà)面來(lái)說(shuō)，當(dāng)p為30時(shí)，縮放效果最佳；對(duì)于空中的飛機(jī)來(lái)說(shuō)，當(dāng)p為10時(shí)，縮放效果最佳；對(duì)第三排的圖片來(lái)說(shuō)，當(dāng)p為10時(shí)，縮放效果最佳。

不同遺傳代數(shù)所對(duì)應(yīng)的縮放結(jié)果，如圖6所示。

圖6 不同遺傳代數(shù)所對(duì)應(yīng)的縮放結(jié)果

其中,n表示進(jìn)化代數(shù)，圖6中的紅色方框?yàn)閷?duì)比不同縮放效果的顯示對(duì)象。

對(duì)于沖浪畫(huà)面來(lái)說(shuō)，當(dāng)n為5時(shí)，縮放效果最佳；對(duì)于空中的飛機(jī)來(lái)說(shuō)，當(dāng)n為7時(shí)，縮放效果最佳；對(duì)第三排的圖片來(lái)說(shuō)，當(dāng)n為9時(shí)，縮放效果最佳。

因此可知，對(duì)于不同類(lèi)型的視頻來(lái)說(shuō)，其最好的縮放效果所對(duì)應(yīng)著不同的遺傳算法參數(shù)值。

綜上所述，證明了本文所提出的視頻縮放算法具有有效性和高效性。首先本文提出的視頻縮放方法得到的縮放結(jié)果與Grundmann方法基本相同，然后證明了使用遺傳算法可以大大降低計(jì)算的復(fù)雜程度，通過(guò)對(duì)比不同的視頻縮放比例和分辨率，本文提出的方法的耗時(shí)為Grundmann方法的30%左右。最后，本文證明了遺傳參數(shù)對(duì)于視頻的縮放效果有著重要影響。

3 總結(jié)

本文提出了一種新的不連續(xù)接縫裁剪方法和基于遺傳算法的視頻縮放方法。本算法通過(guò)允許接縫跳過(guò)顯著性物體，從而生成不連續(xù)的接縫來(lái)保證時(shí)間的一致性；通過(guò)基于不連續(xù)的接縫對(duì)損失函數(shù)進(jìn)行定義來(lái)保證空間的一致性。此外，本文基于遺傳算法得到次優(yōu)接縫，從而得到與Grundmann方法相同的縮放效果，并且通過(guò)時(shí)間對(duì)比可知，本文的耗時(shí)只有Grundmann方法的30%左右。