劉俊霞,楊 爽,孟 放,姜秀華
(中國傳媒大學(xué) 信息工程學(xué)院,北京 100024)
隨著數(shù)字電視技術(shù)的不斷發(fā)展,對數(shù)字視頻圖像的質(zhì)量評價變得越來越重要。這一方向的研究不僅具有很高的理論價值,也有很強的實踐意義。隨著多媒體數(shù)據(jù)壓縮技術(shù)的發(fā)展,視頻圖像質(zhì)量客觀評價方法的研究也進入了一個新階段,目前的研究已經(jīng)從以往物理意義上簡單的誤差統(tǒng)計方法轉(zhuǎn)為結(jié)合人眼視覺特性的誤差統(tǒng)計方法。目前,如何提高客觀測試值的準確性,即與主觀評價值的相似度,已成為研究的重點領(lǐng)域。筆者主要提出了一種可適用于全參考的計算差值的圖像質(zhì)量客觀評價方法的主客觀校準模塊,可提高客觀評價方法的準確性。
常用的視頻圖像質(zhì)量評價分為兩類:主觀評價和客觀評價[1]。
主觀評價是直接利用觀察者對被測系統(tǒng)視頻圖像質(zhì)量的主觀反應(yīng)來確定系統(tǒng)性能的一種測試[2]。由于評價過程中主觀因素的多樣性,以及人眼對視頻圖像的感受不僅有視覺上的感受也有心理上的影響,因此,該方法缺乏穩(wěn)定性,且無法用數(shù)學(xué)模型進行描述,在工程應(yīng)用中不但費時費力,而且很多情況下根本無法采用。因此,客觀的、穩(wěn)定的數(shù)學(xué)模型對圖像質(zhì)量的評價得到了快速發(fā)展。為此人們研究開發(fā)了多種圖像質(zhì)量客觀測試方法。
客觀評價簡單說來就是建立一種數(shù)學(xué)模型來模擬人眼對圖像質(zhì)量的感覺??陀^圖像質(zhì)量評價方法的優(yōu)點是具有客觀性、可重復(fù)性、容易實現(xiàn)自動控制等,因此在圖像質(zhì)量的評價中,常常采用客觀測試方法。根據(jù)測量時對無失真視頻序列的依賴程度,視頻圖像質(zhì)量客觀測量可以分為以下 3種類型[3]:1)全參考 VQM(Video-Quality Metric):在失真視頻圖像序列和無失真視頻圖像序列之間進行逐幀逐像素的比較。常用的模型有PSNR模型,Watson等提出的DVQ模型[4],Sarnoff實驗室通過長時間研究的JNDmetric模型[5];2)壓縮參考VQM:將失真圖像序列進行運算得到一些代表圖像特征的統(tǒng)計數(shù)值,然后將這些數(shù)值與保存的相應(yīng)的無失真圖像序列的統(tǒng)計數(shù)值進行比較,通過傳統(tǒng)的回歸分析選擇和校正統(tǒng)計數(shù)值[6];3)無參考VQM:無需任何無失真原始圖像的信息,通過對失真圖像進行特征提取,尋找諸如MPEG塊邊緣,點狀噪聲或圖像模糊等缺陷。
客觀評價方法的目的是為了取代復(fù)雜的主觀評價過程,因此合理評價視頻圖像質(zhì)量的客觀方法應(yīng)充分遵循人眼的視覺特性和心理特性,使結(jié)果更加貼近主觀評價值。目前,客觀評價的主要研究思路都是建立相應(yīng)的人眼視覺模型(Human Visual System,HVS)來測量視頻圖像質(zhì)量。這類客觀評價算法的主要函數(shù)及參數(shù)的設(shè)計都充分模擬了人眼的某些視覺特性響應(yīng)。無論何種算法,客觀評價的測試過程始終獨立于主觀評價,都不能完全準確地重現(xiàn)主觀評價的結(jié)果。所以增加客觀評價結(jié)果向主觀評價結(jié)果的校準模塊,會減小主客觀評價結(jié)果的差異。本文在對視頻圖像進行客觀評價后,增加了校準模塊,以檢驗此模塊對客觀評價算法性能的改善程度。
校準模塊使用的主觀實驗數(shù)據(jù)是運用DSCQS(雙刺激連續(xù)質(zhì)量標度法)對表1中的5組10~14 s的4∶2∶0格式的高清序列的8個碼率(8,10,12,14,16,18,20,25 Mbit/s)進行主觀評價得到的。序列內(nèi)容涵蓋了快速運動、隨機運動、中速平搖運動、慢速平搖運動、推拉畫面運動等各種畫面運動類型。
表1 5個原始測試序列
圖1所示的主觀評價結(jié)果表明,不同序列經(jīng)過相同的碼率壓縮,或是受到幾乎相近的噪聲及其他影響時,給人視覺上的感知會不同,可以分為以下3種情況:1)隨著壓縮碼率的變化,質(zhì)量變化非常明顯的圖像序列,人眼很容易察覺到其損傷的變化,主觀評價分數(shù)浮動范圍很大,如細節(jié)比較豐富,有大量快速隨機運動畫面的leaves序列。2)在低碼率情況下,可以察覺到圖像損傷,但是隨著壓縮碼率的變化,能夠察覺到圖像質(zhì)量的變化,但沒有第一種類型明顯,主觀評價分值浮動范圍較第一種小,如 sprinkling,dolphin,harbor序列。3)在低碼率情況下,不容易察覺圖像的損傷,隨著壓縮碼率的變化,圖像質(zhì)量的變化不大,主觀評價分值浮動范圍比較小,如畫面復(fù)雜度小的flower序列。
圖1 測試序列的主觀值
依照以上的序列分類,不同類型的序列主觀評價結(jié)果范圍不同。故在校準模塊中,將客觀和主觀的校準過程應(yīng)分為3種情況,即不同序列最終的客觀評價結(jié)果會按照不同的公式與主觀校準。
從圖1的主觀結(jié)果可觀察到在高碼率(25 Mbit/s)的情況下,各類型序列的主觀評價分值比較集中,分布在98分左右;隨著壓縮碼率的降低,各類型序列的主觀評價分值區(qū)分也更加明顯,在壓縮碼率最低為8 Mbit/s時,區(qū)分最為明顯。而在壓縮碼率最低時,視頻序列的圖像質(zhì)量也是最差的。實際上,在進行DSCQS主觀評價時,觀察人員不僅比較本組原始序列和待測序列間的差異,而且還會縱向考慮已觀察過的相同內(nèi)容的質(zhì)量最差的序列已給出的分數(shù),來確定該序列的分數(shù)。所以主觀評價結(jié)果的最低值一般范圍可以由質(zhì)量最差的序列來確定,由此,在校準模塊中,通過判斷最低碼率下序列(即圖像質(zhì)量最差的序列)與對應(yīng)的原始序列的差異來區(qū)分3種類型的序列的客觀評分區(qū)間。具體校準模塊如圖2所示。
圖2 校準模塊的設(shè)計
在校準模塊中,將損傷較大視頻序列的主觀評分作為最低基準參考,首先需要計算對應(yīng)的原始序列和質(zhì)量最差序列間的差異值,確定序列類型,將損傷極?。ㄔ诖嗽O(shè)定其主觀評分達到99分)視頻序列的評分作為最高基準參考,將待測序列的客觀評分映射到基準參考范圍內(nèi),從而得到最終的與主觀評價擬合較好的客觀質(zhì)量評價值。校準原理如圖3所示。
圖3 視頻質(zhì)量評分校準原理
以PSNR算法為例,對應(yīng)的校準算法如式(1)所示
式中:MSEmax表示原始序列和質(zhì)量最差序列的差異值,并由此計算出該情況的PSNR即 PSNRmin。將待測序列的PSNR代入對應(yīng)的公式,即可得到校準后的分值SCORE,SCORE值越大,表示待測序列受到的損傷越小,越接近原始序列。
為了測試校正后客觀評價結(jié)果的準確性,筆者對表1中的5個序列的8組碼率分別進行了PSNR算法和增加校準模塊的PSNR算法的2組測試,結(jié)果如圖4所示。圖4示出了校準模塊對PSNR評價結(jié)果的改善情況,很明顯校準后PSNR與主觀評價結(jié)果的擬合度(圖4b)要高于未經(jīng)校準的PSNR與主觀評價結(jié)果的擬合度(圖4a)。經(jīng)統(tǒng)計,校準后,主客觀擬合度的統(tǒng)計值為90.3%,高于未經(jīng)校準的主客觀擬合度統(tǒng)計值64.2%。實驗結(jié)果,說明了本校準模塊有利于提高圖像質(zhì)量客觀評價算法的準確性。
圖4 校準模塊對PSNR評價結(jié)果的改善
筆者介紹了客觀視頻圖像質(zhì)量評價的校準模塊的設(shè)計和實現(xiàn),并基于PSNR算法對模塊進行了驗證,從實驗結(jié)果可以看出,校準模塊的提出提高了主觀評價值和客觀測試值的擬合度。該模塊同樣可以用于其他基于差值計算的圖像質(zhì)量客觀評價算法,有利于提高客觀評價算法的準確性。
[1]姜秀華,張永輝.數(shù)字電視廣播原理與應(yīng)用[M].北京:人民郵電出版社,2007.
[2]ITU.ITU-R Rec.BT.500-9, Methodology for the subjective assessment of the quality of television pictures[S].Geneva:ITU ,1998.
[3]章文輝,王世平.數(shù)字視頻測量技術(shù)[M].北京:北京廣播學(xué)院出版社,2003.
[4]WATSON A B,HU J,MCGOWAN J F,et al.Digital video quality metric based on human vision[J].Journal of Electronic Imaging,2001,10(1):20-29.
[5]ATIS.Objective perceptual video quality measurement using a JND-based full reference technique[R].Alliance for Telecommunications Industry Solutions Technical Report T1.TR.[S.l.]:ATIS,2001.
[6]FERGUSON K.Predicting Human vision perception and perceptual Difference:US,6975776[P].2005-12-13.