孫令翠，馮輝宗

(1. 重慶工程學(xué)院計(jì)算機(jī)與物聯(lián)網(wǎng)學(xué)院，重慶 400056；2. 重慶郵電大學(xué)自動(dòng)化學(xué)院，重慶 400065)

1 引言

與普通低動(dòng)態(tài)圖像相比，高動(dòng)態(tài)范圍圖像能夠直接展示出現(xiàn)實(shí)世界的動(dòng)態(tài)亮度信息，所需的存儲(chǔ)空間更大，動(dòng)態(tài)范圍也更大，光影效果也更加逼真[1]。隨著視頻技術(shù)的進(jìn)步，高動(dòng)態(tài)范圍圖像所應(yīng)用的場(chǎng)景越來(lái)越多，商業(yè)價(jià)值也更加大[2]。視頻中的動(dòng)態(tài)圖像范圍和位深逐漸增大，要求網(wǎng)絡(luò)具有更寬的傳輸帶寬與傳輸空間，但是目前視頻設(shè)備中的編碼標(biāo)準(zhǔn)只能針對(duì)普通低動(dòng)態(tài)圖像，不能處理高動(dòng)態(tài)圖像，因此進(jìn)一步加劇動(dòng)態(tài)圖像的失真情況，這種情況也給視頻編碼器帶來(lái)了一定的工作壓力，所以修正圖像的失真情況也就是提升視頻編碼傳輸?shù)墓δ躘3]?，F(xiàn)有研究中，編碼器在編碼時(shí)使用失真率優(yōu)化技術(shù)實(shí)現(xiàn)圖像的失真修正，但是這種修正方法只針對(duì)圖像參數(shù)優(yōu)化，卻忽視對(duì)于圖像特征的優(yōu)化，校正后并沒(méi)有提升圖像細(xì)節(jié)信息[4]。部分研究者使用直方圖均衡化實(shí)現(xiàn)圖像失真處理，該方法能夠提升圖像對(duì)比度，改善圖像視覺(jué)效果，但是盡管能夠?qū)崿F(xiàn)圖像細(xì)節(jié)處理，但是對(duì)于亮處的細(xì)節(jié)卻經(jīng)常忽視。

視覺(jué)感知實(shí)質(zhì)上是一種圖像增強(qiáng)技術(shù)，考慮人類視覺(jué)主觀特點(diǎn)，對(duì)圖像加工處理，實(shí)現(xiàn)圖像中某些信息突出的目的，把圖像中不需要的部分?jǐn)?shù)據(jù)去除，獲得更加清晰實(shí)用的圖像內(nèi)容，經(jīng)過(guò)視覺(jué)感知處理的圖像更加適合機(jī)器進(jìn)一步處理或者人類視覺(jué)的習(xí)慣，在視覺(jué)上提升圖像效果[5]。所以本文充分考慮視覺(jué)感知特性，實(shí)現(xiàn)圖像失真校正，并做進(jìn)一步研究。

2 圖像失真校正方法

2.1 圖像失真計(jì)算

經(jīng)過(guò)已有研究表明，對(duì)于視頻圖像中的時(shí)域運(yùn)動(dòng)性、空域活動(dòng)性、紋理等區(qū)域，人的視覺(jué)感知都較敏感，而且視覺(jué)感知能夠快速準(zhǔn)確地捕捉到圖像的亮度變化情況。本文研究過(guò)程中，從視覺(jué)敏感對(duì)因子的角度出發(fā)，校正視頻編碼過(guò)程中出現(xiàn)的圖像率失真情況[6]。針對(duì)第i個(gè)當(dāng)前編碼樹(shù)單元，通過(guò)式(1)表述視覺(jué)明暗度PSi

PSi=KLi*KAi*KTi

(1)

式中，KLi、KAi和KTi分別表示第i個(gè)當(dāng)前編碼樹(shù)單元的亮度、空域活動(dòng)性、紋理等內(nèi)容的權(quán)重因子。分析式(1)可知，視覺(jué)明暗度會(huì)隨著各權(quán)重因子的升高而變大，這些值的變化直接影響視頻圖像的亮度和紋理等內(nèi)容的視覺(jué)效果，通過(guò)計(jì)算獲得視覺(jué)明暗度的大小，該值越高則導(dǎo)致當(dāng)前編碼樹(shù)單元的視覺(jué)明暗度越低，二者呈現(xiàn)反比例關(guān)系[7]。各權(quán)重因子計(jì)算過(guò)程如下：

1)亮度權(quán)重因子計(jì)算

最直接影響視覺(jué)感知的權(quán)重因子便是亮度，無(wú)論是極高亮度還是極低亮度，都會(huì)降低視覺(jué)敏感度，但是如果視頻圖像的亮度較高，對(duì)于視覺(jué)敏感度影響較小，經(jīng)數(shù)據(jù)統(tǒng)計(jì)顯示，圖像亮度越高，人眼感知門(mén)限值越高，也就顯示視覺(jué)敏感度越高[8]。

75至125亮度值屬于視覺(jué)敏感度比較高的亮度范圍，為獲得視覺(jué)亮度權(quán)重因子，設(shè)置敏感度值為1.0，對(duì)其它范圍亮度實(shí)行縮放，使用式(2)計(jì)算亮度權(quán)重因子：

(2)

式中，第i個(gè)當(dāng)前編碼樹(shù)單元的亮度平均值使用Li表示。

2)計(jì)算空域活動(dòng)性權(quán)重因子

人類視覺(jué)更容易捕捉到視頻圖像中較小活動(dòng)區(qū)域失真的情況，也就是說(shuō)，人眼視覺(jué)對(duì)于視覺(jué)區(qū)域中比較小的活動(dòng)范圍更加敏感，反之敏感度更低[9]。已有研究表明在當(dāng)前編碼樹(shù)單元活動(dòng)性獲取方面，使用梯度計(jì)算方法能夠獲得更加良好的效果。式(3)為具體計(jì)算過(guò)程

acti=

(3)

式中，當(dāng)前編碼樹(shù)單元的寬度與高度分別使用W和H描述；假設(shè)編碼塊中某個(gè)位置使用(x，y)表示，運(yùn)用Ix，y表示該位置的亮度像素值。計(jì)算第i個(gè)當(dāng)前編碼樹(shù)單元空域活動(dòng)性

(4)

式中，第i個(gè)當(dāng)前編碼樹(shù)單元(處于當(dāng)前編碼幀內(nèi))的梯度表示為acti，actAvg代表平均梯度。

3)計(jì)算紋理權(quán)重因子

參考空間遮掩效應(yīng)，紋理復(fù)雜程度與圖像失真之間存在正比例關(guān)系，圖像紋理越平坦越不容易出現(xiàn)失真情況。圖像紋理復(fù)雜程度存在差異，導(dǎo)致圖像均方誤差和展現(xiàn)出不同的視覺(jué)感受，相比于較低視覺(jué)敏感度區(qū)域，視覺(jué)敏感度高的區(qū)域失真更嚴(yán)重[10]。

通過(guò)方差表示視頻圖像的紋理復(fù)雜度

(5)

式中，當(dāng)前編碼樹(shù)單元亮度像素平均值用avg表示；(x，y)位置的亮度值通過(guò)I(x，y)描述，當(dāng)前編碼樹(shù)單元亮度像素平均方差用sq表示，第i個(gè)當(dāng)前編碼樹(shù)單元方差值用vai表示。使用式(6)描述紋理復(fù)雜度權(quán)重因子

(6)

式中，當(dāng)前編碼幀平均方差描述為vaavg。

2.2 調(diào)節(jié)拉格朗日乘子

通過(guò)以上研究計(jì)算獲得影響圖像視覺(jué)明暗度的各權(quán)重因子，已有研究表明，盡管亮度權(quán)重因子與空域活動(dòng)性權(quán)重因子都會(huì)導(dǎo)致視頻圖像出現(xiàn)失真情況，但是這些影響圖像失真最直接的權(quán)重因子是紋理權(quán)重因子。盡管大多數(shù)情況下，圖像中平滑的區(qū)域出現(xiàn)失真不會(huì)直接被視覺(jué)感知，但是部分發(fā)生在平滑區(qū)域的失真也會(huì)被視覺(jué)感知察覺(jué)，所以無(wú)論是平滑區(qū)域還是紋理復(fù)雜區(qū)域都需要對(duì)失真情況展開(kāi)校正[11]。本文研究中，為獲取視頻高動(dòng)態(tài)范圍圖像結(jié)構(gòu)分量與紋理使用邊緣保持濾波器，同時(shí)為實(shí)現(xiàn)拉格朗日乘子調(diào)節(jié)，引入紋理特性，由此進(jìn)一步完成參數(shù)動(dòng)態(tài)調(diào)節(jié)。

視覺(jué)系統(tǒng)能夠感知視頻圖像中平滑區(qū)域的失真情況，所以對(duì)于紋理復(fù)雜區(qū)域的失真感知更加精準(zhǔn)，研究過(guò)程中需要將圖像中的紋理區(qū)域與結(jié)構(gòu)區(qū)分出來(lái)，本文所采取的方法為雙邊濾波器[12]。該濾波器屬于非線性邊緣保持濾波器。濾波系數(shù)是由位于{p，s}的濾波器系數(shù)與對(duì)應(yīng){p，s}的像素點(diǎn)Is減去近似像素點(diǎn)Ip獲得的差值系數(shù)相乘而獲得的。通過(guò)雙邊濾波器分割出視頻圖像基本層，該層主要負(fù)責(zé)圖像結(jié)構(gòu)完整保存，這種結(jié)構(gòu)主要為輪廓邊緣信息與平滑信息，雙邊濾波像素值Is后輸出Bs

(7)

式中，g(·)與h(·)分別表示空域高斯函數(shù)與在像素域中的另一個(gè)高斯函數(shù)，經(jīng)Bs與Is獲得對(duì)應(yīng)細(xì)節(jié)層的像素值：|Is-Bs|。

通常情況下，人類直接觀察圖像并不會(huì)過(guò)多關(guān)注圖像中較平滑區(qū)域，而視覺(jué)感知對(duì)于圖像非復(fù)雜紋理敏感度較高。傳統(tǒng)方法中為實(shí)現(xiàn)感知冗余去除，會(huì)采取修改失真計(jì)算的方法，但是修正拉格朗日乘子能夠使率失真代價(jià)函數(shù)優(yōu)化更加合理，所以在該部分研究中將拉格朗日縮放因子引入ηp

(8)

式中，TCU代表當(dāng)前幀編碼樹(shù)單元的灰度均值；a屬于調(diào)節(jié)參數(shù)；Tframe表示對(duì)應(yīng)圖像幀雙邊濾波后的灰度均值。編碼最終性能受到a取值影響，實(shí)驗(yàn)時(shí)從合理區(qū)間選取。

分析式(8)可知，當(dāng)前幀編碼樹(shù)單元紋理越復(fù)雜，視覺(jué)越不容易感知到圖像中的失真情況，也就導(dǎo)致經(jīng)修正的ηp越大。當(dāng)前幀編碼樹(shù)單元ηp越小，越容易感知到該區(qū)域的失真情況。通過(guò)拉格朗日乘子自適應(yīng)調(diào)節(jié)，實(shí)現(xiàn)圖像中碼率與失真的平衡，增大或縮小拉格朗日乘子以應(yīng)對(duì)紋理復(fù)雜區(qū)域和平滑區(qū)域。

2.3 修正量化參數(shù)

本文研究中使用視覺(jué)感知中的紋理掩蓋特性以及視覺(jué)注意力修正視頻率失真，消除編碼量化器冗余和視頻感。使用式(8)和修改后失真計(jì)算對(duì)率失真代價(jià)函數(shù)進(jìn)行修改，式(9)為經(jīng)過(guò)規(guī)劃的率失真代價(jià)值Jp

(9)

式中，{Para}opt與Dp分別表示最優(yōu)編碼參數(shù)集與修改后的失真計(jì)算，R代表由于編碼而被消耗的比特?cái)?shù)碼率。若要得到最優(yōu)編碼參數(shù)需要先計(jì)算率失真代價(jià)函數(shù)，使用式(10)表示量化參數(shù)QP和拉格朗日乘子之間的關(guān)系。

(10)

式中，有關(guān)編碼圖像幀類型常數(shù)表示為β。使用式(11)推導(dǎo)原始編碼量化參數(shù)

(11)

式中，拉格朗日乘子與量化參數(shù)互相影響，QP變化量為ΔQP，修正后QP值變化為QPHEVC，根據(jù)式(11)獲得量化參數(shù)變化值

(12)

在原始編碼器中，量化參數(shù)都是整數(shù)，所以為獲得最后的量化參數(shù)iQPPro取整數(shù)ΔQP。經(jīng)計(jì)算得到ΔQP值實(shí)現(xiàn)編碼器量化，簡(jiǎn)單增減修改初始量化參數(shù)，并向編碼器發(fā)送。該情況下，無(wú)需計(jì)算編碼器中的任何數(shù)，直接量化和解碼iQPPro。

3 結(jié)果分析

本文實(shí)驗(yàn)研究需要在高效視頻編碼的測(cè)試平臺(tái)中開(kāi)展，實(shí)驗(yàn)對(duì)象為實(shí)驗(yàn)資料庫(kù)中的3個(gè)視頻測(cè)試序列(分別命名為散步序列、賽車序列和籃球序列)，1920×1080分辨率，設(shè)置{23，28，33，38}為量化參數(shù)，使用視頻編碼質(zhì)量評(píng)價(jià)編碼效果，該評(píng)價(jià)標(biāo)準(zhǔn)為視頻質(zhì)量相同的情況下，碼率變化的百分比，評(píng)價(jià)圖像視覺(jué)失真差異時(shí)使用HDR-VDP-2.2，該評(píng)價(jià)方法具有主觀性。通過(guò)峰值信噪比評(píng)價(jià)視頻圖像的顏色失真情況，信噪比和失真情況呈現(xiàn)反比例關(guān)系。

為了獲得式(8)調(diào)節(jié)參數(shù)的取值范圍，先要確定下一個(gè)合理的參數(shù)區(qū)間，受到條件限制，不能遍歷全部值，因此本文研究中只隨機(jī)研究0.2、0.4、0.6、0.8四個(gè)取值的編碼情況，結(jié)果見(jiàn)圖1。

圖1 調(diào)節(jié)參數(shù)不同時(shí)視頻編碼質(zhì)量評(píng)價(jià)

通過(guò)圖1可知，無(wú)論何種運(yùn)動(dòng)速度的視頻序列，如果調(diào)節(jié)參數(shù)低于0.4，使得拉格朗日乘子增大，塊效應(yīng)明顯，造成圖像失真惡化；如果調(diào)節(jié)參數(shù)較大的情況下，對(duì)結(jié)果影響不大，同時(shí)編碼性能也不會(huì)出現(xiàn)明顯變化。從圖中能夠看出，當(dāng)調(diào)節(jié)參數(shù)為0.6時(shí)，3個(gè)視頻序列均能實(shí)現(xiàn)編碼最低節(jié)省，由此證明，調(diào)節(jié)參數(shù)選取0.6能夠獲得較好的編碼與失真平衡效果，并且獲得較好的圖像失真校正效果。

以運(yùn)動(dòng)區(qū)域動(dòng)作較慢的散步序列為例，驗(yàn)證使用雙邊濾波器處理圖像后的失真基礎(chǔ)處理效果，結(jié)果見(jiàn)圖2。

圖2 雙邊濾波器處理效果

通過(guò)圖2能夠看出，使用雙邊濾波器處理后獲得的基本層圖像一定程度上模糊處理圖像，但是同時(shí)仍舊能夠保留圖像中清晰的輪廓，在圖2(b)中，建筑物已經(jīng)被模糊但是仍舊能夠看出物體形狀，這就達(dá)到平滑處理圖像紋理的目的；圖2(c)圖像是消除原始圖像濾波后獲得的細(xì)節(jié)層圖像，可以看出，雙邊濾波處理后能夠保留圖像中的高頻紋理細(xì)節(jié)，同時(shí)圖像邊緣灰度值較小紋理復(fù)雜區(qū)域灰度值較大，在視覺(jué)感知領(lǐng)域，圖像灰度值越大說(shuō)明紋理視覺(jué)處理越好，從視覺(jué)感知層面消除失真效果。

當(dāng)調(diào)節(jié)參數(shù)為0.6時(shí)，各視頻序列的峰值信噪比與視頻編碼質(zhì)量情況見(jiàn)表1。

表1 視頻圖像質(zhì)量評(píng)價(jià)

從表1中能夠看出，校正后的圖像失真情況優(yōu)于校正前的圖像失真情況。賽車序列的運(yùn)動(dòng)區(qū)域比較劇烈，本文方法在校正該圖像時(shí)面對(duì)較復(fù)雜的紋理情況，對(duì)圖像中的各個(gè)區(qū)域只能采取統(tǒng)一處理的方式，失真校正性能一般；籃球序列圖像場(chǎng)景比較固定，可參照的固定物體比較多，如底板、籃球架等位置基本屬于靜止?fàn)顟B(tài)，這些靜止?fàn)顟B(tài)的區(qū)域運(yùn)動(dòng)強(qiáng)度較低，紋理復(fù)雜度也較低，亮度權(quán)重因子也比較穩(wěn)定，因此失真校正效果也更好。

對(duì)比使用本文方法校正視頻圖像前后的圖像變化情況以及細(xì)節(jié)信息，結(jié)果見(jiàn)圖3。

圖3 校正前后圖像對(duì)比

從圖3中各視頻序列的細(xì)節(jié)圖像對(duì)比可以看出，失真校正之前圖像細(xì)節(jié)模糊，難以分辨出圖像找那個(gè)的具體內(nèi)容，經(jīng)過(guò)本文方法校正后能夠提升圖像的細(xì)節(jié)清晰度，獲得更好的圖像清晰效果。

4 結(jié)論

視頻圖像由于編碼過(guò)程中受到各種原因的影響常出現(xiàn)圖像失真的情況，本文融合視覺(jué)感知特性實(shí)現(xiàn)圖像失真校正，經(jīng)過(guò)自適應(yīng)調(diào)節(jié)拉格朗日乘子優(yōu)化平衡編碼和失真的問(wèn)題，確保校正后的圖像更加符合人體視覺(jué)感知習(xí)慣，有效去除圖像中的感知冗余。針對(duì)高動(dòng)態(tài)范圍視頻圖像編碼構(gòu)建視覺(jué)感知特性的動(dòng)態(tài)拉格朗日率失真模型，同時(shí)動(dòng)態(tài)調(diào)節(jié)參數(shù)，在一定程度上提升了編碼器視頻壓縮性能。通過(guò)校正優(yōu)化前后對(duì)比，得出使用本文方法校正圖像后，能夠提升圖像細(xì)節(jié)信息，使得圖像視覺(jué)效果更好。