謝 瑞,邵 堃,霍 星,MITHUN Md Msud Prvej

(合肥工業(yè)大學 a.計算機與信息學院; b.軟件學院; c.數學學院,合肥 230000)

0 概述

圖像質量評價可分為主觀質量評價與客觀質量評價兩類。主觀質量評價依據人的主觀意向對圖像質量進行評價,雖然其準確度較高,但是耗時耗力?？陀^質量評價通過機器建立能夠有效模擬人類視覺系統(HVS)的感知模型,以對圖像質量進行評價?？陀^質量評價算法根據對參考圖像信息需求程度的不同可分為全參考(FR)、半參考(RR)與無參考(NR)評價算法。FR圖像質量評價算法通過計算完整的參考圖像與失真圖像的相似性,從而達到評價的目的。經典的FR評價算法有SSIM(Structual Similarity)[1]、FSIM(Feature Similarity)[2]等。SSIM算法通過比較失真圖像與參考圖像的亮度、對比度與結構信息來評價圖像質量,而FSIM算法則通過比較2種圖像的梯度信息來評價圖像質量。文獻[3]認為SSIM算法對嚴重模糊圖像的評價結果準確度不高,因此,其基于離散余弦變換提出紋理結構相似度質量評價方法。文獻[4]對峰值信噪比(PSNR)和奇異值分解(M_SVD)算法進行改進,在這2種算法基礎上分別增加優(yōu)化后的高斯權重對圖像的局部進行評價,最后將局部評價值融合成整個圖像的質量評價值。RR評價算法依據參考圖像中的部分信息對圖像進行評價,如文獻[5]通過離散余弦變換系數分布的統計建模提出一種RR圖像質量評價算法。NR評價算法解決了圖像質量評價中參考圖像缺失的問題,經典的NR算法通過對稱廣義高斯分布模型或者非對稱廣義高斯分布模型提取經過預處理的失真圖像的自然場景統計(NSS)特征,最后使用支持向量回歸(SVR)[6]進行回歸學習,預測圖像質量。NR算法的關鍵在于預處理方法的選擇,如BRISQUE算法[7]采用去均值與標準化(MSCN)對圖像進行預處理,DESIQUE算法[8]除了采用MSCN算法同時還采用log-Gabor變換對圖像進行分解,BIQI算法[9]則利用小波變換對圖像進行預處理。

上述算法均設計了獨立的方法用于提取圖像特征,但提取特征的方式具有一定局限性,大都只注重于圖像的局部特征,難以充分地描述圖像質量。深度學習模型能夠很好地提取圖像的全局特征與上下文信息,并學習特征與輸出結果之間的映射,提高特征的表達能力。具有監(jiān)督學習能力的卷積神經網絡(Convolutional Neural Network,CNN)在圖像處理中表現出了優(yōu)異的性能,其可以通過多層網絡計算提取圖像特征,學習輸入和輸出之間的復雜映射,并具有很強的魯棒性。近年來,部分學者將CNN用于圖像質量評價任務。文獻[10]將簡單的淺層CNN網絡應用于圖像質量評價,但是由于網絡層數較淺,其評價效果并不理想。文獻[11]將SVR與CNN相結合,提出一種基于SVM的質量評價算法,其將CNN提取的特征作為SVR的輸入并計算圖像質量分數。文獻[12]使用CNN和Gabor提取的特征作為SVR的輸入以評價圖像質量。

文獻[13]提出DIQaM_FR/NR(Deep Image Quality Measure for FR/NR)模型,其采用修改后的Vgg網絡提取圖像塊的特征,然后使用2層全連接層對提取的特征進行映射學習并預測圖像塊質量,在此基礎上,采用一層池化層將屬于同一幅圖像的32個圖像塊質量聚合成圖像整體質量。但是,特征提取層的參數數目規(guī)模龐大導致該模型的復雜度較高。

文獻[14]研究表明,當網絡的復雜度較大時,小樣本數據集會使模型訓練過度,即在深度學習領域中,泛化能力較差的模型在數據集相對較小時容易出現過擬合的問題,訓練誤差小而測試誤差大。圖像質量評價數據集所包含的幾千張圖像屬于典型的小樣本數據集,目前大都采用數據增強和遷移學習2種方法應對小樣本數據集問題。其中,數據增強容易導致輸入圖像的質量發(fā)生改變,由此出現標簽噪聲的問題,影響評價結果。例如,為了擴展現有數據集,文獻[10,12-13]采用圖像分塊的方法增大數據量。文獻[15]采用遷移學習的方式訓練圖像質量模型,但是其將輸入圖像的尺寸都統一為224×224,改變了圖像的質量。遷移學習通過遷移現有學習模型的參數,針對新的數據集實現模型參數微調,能夠較好地解決數據集較小的問題。

本文提出一種新的通用圖像質量評價模型,以在小樣本圖像數據庫下評價圖像的質量。更深的網絡結構能夠提取出更符合人眼視覺特性的圖像特征,而ResNet50[16]網絡的深度比Vgg更深。本文對DIQaM_FR/NR模型進行改進,在特征提取層使用ResNet50網絡,然后采用一層全局平均池化(Global Average Pooling,GAP)層與一層全連接層對提取的特征進行回歸學習。將全圖像作為模型的輸入,無需圖像預處理和標簽噪聲引入操作。在訓練階段，將已訓練好的ResNet50網絡參數遷移至本文模型，該參數是通過ImageNet數據集訓練而得到，然后在測試數據集上對參數進行微調。

1 相關工作

1.1 DIQaM_FR/NR圖像質量評價模型

DIQaM_FR/NR模型首先將圖像分成多個圖像塊組成圖像塊集,隨后將圖像塊集作為特征提取層的輸入。DIQaM_FR評價模型借鑒了孿生網絡的雙分支(分支間共享參數)思想,使用2支并行的Vgg網絡提取失真與原始圖像塊的特征。DIQaM_NR評價模型不需要參考原始圖像的信息,因此,其只有1支特征提取層。最后,DIQaM_FR/NR模型將多個圖像塊的質量聚合成圖像的整體質量。DIQaM_FR/NR模型的框架結構如圖1所示,首先使用改進的Vgg網絡結構(10層卷積層與5層池化層)提取圖像塊特征,然后采用2層全連接層(FC-512、FC-1)學習提取的特征并預測圖像塊的質量,最后使用1層均值池化層將圖像塊的質量聚合為圖像的整體質量,池化公式如式(1)所示。雖然單個Vgg網絡的參數量不大,但是DIQaM_FR/NR模型采用了多個Vgg網絡對圖像塊集進行特征提取,而多個Vgg網絡疊加后的參數量達到了703 M左右。

圖1 DIQaM_FR與DIQaM_NR評價模型結構Fig.1 Structure of DIQaM_FR and DIQaM_NR evaluation model

(1)

其中,N表示從圖像中采樣的圖像塊數量,yi為圖像塊的預測質量評價值,q為預測得到的圖像質量評價值。

1.2 ResNet50模型與遷移學習

ResNet50網絡的深度達到了168層,參數數量約為99 M,其由5層殘差層按順序組成,每個殘差層由恒等殘差塊與卷積殘差塊2種殘差塊按不同的個數和組合方式構成,而每種殘差塊由多個卷積層組合而成。2種殘差塊的結構示意圖如圖2所示,當殘差塊的輸入與輸出的通道數不同時采用圖2(a)結構,當輸入與輸出的通道數相同時則采用圖2(b)結構。ResNet50網絡結構及各層卷積核的詳細設置如表1所示,其中,Res1只含有1層卷積層與1層最大池化層,兩者步長均為2。除第1個卷積層的步長為2外,其余卷積層的步長均為1。Res2與Res5按照圖2(a)、圖2(b)、圖2(b)的方式組合而成;Res3按照圖2(a)、圖2(b)、圖2(b)、圖2(b)的方式組合而成;Res4采用圖2(a)、圖2(b)、圖2(b)、圖2(b)、圖2(b)的方式組合而成。

圖2 2種殘差塊結構示意圖Fig.2 Structural diagram of two kinds of residual blocks

表1 各層卷積核的參數設置Table 1 Parameter setting of convolution kernel in each layer

ResNet50網絡在正向傳播時,其短路連接通過將殘差塊的輸入與輸出相加的方式,將底層特征傳入到更深層網絡,從而提高特征的表達能力;在反向傳播時,ResNet50網絡通過短路連接將來自深層的梯度信息傳遞給淺層的網絡層,使淺層的參數得到有效訓練。

遷移學習是運用已有知識或者經驗對其他領域問題進行求解的一種學習方法[17],即遷移學習是將現有表現優(yōu)異的模型通過微調等方法來解決新領域中的某些問題,其可以將在較大數據集上預訓練得到的模型或者網絡遷移至小樣本數據集中,從而避免使用小樣本數據集訓練模型而出現的過擬合問題。

2 Res-DIQaM_FR/NR圖像質量評價模型

2.1 模型結構

DIQaM_FR/NR模型雖然具有較好的評價效果,但是由于網絡結構的參數量較大,導致模型的復雜度較高。ResNet50網絡含有50個卷積層,比DIQaM_FR/NR模型特征提取所采用的Vgg網絡更深,但是ResNet50網絡參數數目遠少于DIQaM_FR/NR模型特征提取層的參數量,基于這一特點,可以通過遷移已有的ResNet50網絡訓練參數達到減少參數的目的,從而避免小樣本環(huán)境下過擬合情況的出現?；赗esNet50網絡模型的特點,本文改進原有DIQaM_FR/NR模型,構建一種Res-DIQaM_FR/NR圖像質量評價模型,其結構如圖3所示。

圖3 Res-DIQaM_FR與Res-DIQaM_NR模型結構Fig.3 Structure of Res-DIQaM_FR and Res-DIQaM_NR models

Res-DIQaM_FR模型將失真圖像和參考圖像作為輸入,對2幅圖像同時使用ResNet50網絡進行特征提取,之后通過特征融合層對所獲得的特征圖進行融合。模型采用通道拼接的方式將提取的失真圖像特征向量與原始圖像特征向量進行融合,如式(2)所示:

f=concat(fr,fd)

(2)

其中,fr為原始圖像特征向量,fd為失真圖像特征向量,f為融合后的特征向量。融合前特征向量通道數為2 048,融合后特征向量f的通道數為4 096。

在特征融合之后采用GAP層求取每個通道中特征向量的平均值,均值計算過程減少了參數的計算量,同時在一定程度上抑制了過擬合現象。模型最后通過一層輸出大小為1的全連接層學習提取的特征與圖像質量之間的映射關系。在本文模型中,由于ImageNet數據集與圖像質量評價數據集的差異較大,因此采用全連接層來保證網絡表示能力的遷移。

Res-DIQaM_NR模型將參考圖像作為輸入,比其對應的FR模型少了特征融合層。Res-DIQaM_FR/NR圖像質量評價模型中的損失函數采用均方誤差(MSE)函數,計算公式如下:

(3)

其中,yi為圖像的真實標簽,qi為圖像的主觀質量值。模型采用Adam優(yōu)化器來提高收斂效率,提升參數尋優(yōu)的精度,加快模型的學習速度,從而使模型得到更好的結果。Adam優(yōu)化器參數設置如下:beta1=0.9,beta2=0.999,epsilon=10e-8。

2.2 模型訓練過程

本文模型首先遷移ResNet50網絡在ImageNet數據集上的訓練參數,然后使用圖像質量評價數據集訓練評價模型。Res-DIQaM_FR/NR模型中全連接層的參數隨機生成,沒有可遷移的參數,且該參數不一定是最優(yōu)參數。由于數據集較小而網絡較深,若直接對整個模型進行訓練,因為全連接層的參數與最優(yōu)參數之間有一定差距,在訓練過程中該差距不斷向后傳導,從而影響整個模型的參數更新,破壞模型已有的表征能力。

為有效解決上述問題，本文將模型的訓練過程分為2個階段:

1)第1階段凍結特征提取層的參數，只更新全連接層的參數，初步提升全連接層的評價能力。

2)第2階段解凍特征提取層，以更小的學習率在已有參數的基礎上對整個模型進行再次訓練，更小的學習率使權值始終處于一個小范圍內更新。第2階段的訓練使模型的整體結構更加符合圖像質量評價任務。

上述訓練方法避免了特征提取層與全連接層同時訓練時出現的過擬合問題。

3 實驗結果與分析

3.1 實驗數據集

本文實驗采用TID2013圖像庫[18]和CLIVE圖像庫[19]作為數據集。TID2013圖像庫包含25個參考圖像和3 000個失真圖像(25個參考圖像×24種類型的失真×5級失真),圖像的尺寸均為512×512×3。MOS值(最小為0,最大為9)由971個實驗觀察者獲得,971個觀察者總共進行了524 340次失真圖像的對比實驗,即1 048 680次圖像對的相對質量評價。MOS的值越大則圖像質量越好。CLIVE圖像庫包含各類隨機發(fā)生的失真圖像和移動相機拍攝的圖像,一共1 162張,尺寸均為500×500×3,其收集圖像時不會人為地引入除捕獲、處理和存儲期間發(fā)生的任何變形之外的其他變形。實驗根據現有文獻中常用的皮爾遜相關系數(Pearson Correlation Coefficient,PLCC)和Spearman秩相關系數(Spearman Rank Correlation,SROCC)2個評價指標,對評價模型的性能進行分析。SROCC主要用于測量2組序列樣本的順序相關系數,即質量分數的單調性指數;PLCC主要用于表明客觀評價得分與主觀評價得分之間的線性相關程度。SROCC和PLCC的取值范圍均為[-1,1],絕對值越接近1,說明主觀評價與客觀評價的相關性越好。

3.2 基于TID2013圖像庫的實驗結果

基于TID2013圖像庫,將Res-DIQaM_FR/NR圖像質量評價模型與常用的FR/NR質量評價模型進行比較,對比對象為PSNR、SSIM、FSIM、IW-SSIM[20]、GSM[21]、DIQaM_FR、WaDIQaM_FR 7種FR模型,以及NIQE[22]、BRISQUE、CurveletQA[23]、DIQaM_NR、WaDIQaM_NR、BIQI 6種NR評價模型,PLCC與SROCC值的比較結果如表2所示。從表2可以看出,本文FR/NR模型的圖像質量評價效果始終保持最優(yōu)。為解決數據集小導致模型出現過擬合的問題,DIQaM_FR/NR模型采用圖像分塊增加數據集的方式,而本文采用已訓練好的ResNet50網絡解決該問題。本文FR/NR模型的PLCC值分別達到0.910 4與0.869 2,該結果證明本文采用的方法能更好地解決過擬合問題。

表2 Res-DIQaM_FR/NR評價模型與對比模型在TID2013圖像庫上的性能比較Table 2 Comparison of performance between Res-DIQaM_FR/NR evaluation model and the model in comparison on TID2013 image library

本文模型與DIQaM_NR模型在TID2013數據集上訓練時loss下降的曲線對比如圖4所示。

圖4 2種模型訓練時的loss下降曲線對比Fig.4 Comparison of loss decline curve of two models during training

從圖4可以看出,在相同的epoch下,Res-DIQaM_NR模型的最終loss值為0.08,而DIQaM_NR模型的最終loss值為1.08,DIQaM_FR/NR模型的PLCC值分別為0.481 3與0.419 4。當訓練次數較小時,本文模型能更準確地預測圖像的質量,改進的Res-DIQaM_NR模型loss下降曲線更為光滑,其收斂一致性較好。

本文實驗選取TID2013數據集中Noise、Simple和Color 3種不同失真類型的圖像進行分析,分別將PSNR、FSIM、SSIM、WaDIQaM_NR、DIQaM_NR與Res-DIQaM_NR模型進行對比,采用SROCC值作為評價標準,實驗結果如表3所示。從表3可以看出,Res-DIQaM_NR模型的效果比PSNR、FSIM模型略差,但是優(yōu)于其他模型。

表3 6種評價模型針對特定失真類型圖像的SROCC值結果Table 3 SROCC value results of six evaluation models for images of a specific distortion type

3.3 基于CLIVE圖像庫的實驗結果

在部分圖像處理應用中,存在圖像的失真類型未知或同一幅圖像存在多種失真類型的問題,因此,本文將CLIVE圖像庫作為NR模型下的實驗數據集。對比Res-DIQaM_NR、BRISQUE、NIQE、WaDIQaM_NR和DIQaM_NR 5種評價模型的性能,結果如表4所示。從表4可以看出,Res-DIQaM_NR模型的圖像質量評價效果最優(yōu)。

表4 5種模型在CLIVE圖像庫上的PLCC與SROCC值結果Table 4 PLCC and SROCC value results of five models on the CLIVE image library

3.4 特征提取對比實驗結果

本文實驗使用DensNet121(121-layer Dense Convolutional Network)、DensNet169(169-layer Dense Convolutional Network)[24]、ResNet18(18-layer Residual Nets)網絡結構與ResNet50結構進行對比分析。表5所示為DensNet121、DensNet169、ResNet18與ResNet50網絡基于TID2013圖像庫在學習率與epoch均相同的情形下訓練測試所得的PLCC與SROCC值。其中,DensNet121網絡的深度為121層,參數數量約為33 M,DensNet169網絡的深度為169層,與ResNet50網絡深度接近,而DensNet169網絡參數數量約為57 M,ResNet18網絡的深度為92層,參數數量約為44 M。雖然這3種網絡結構的復雜度遠低于ResNet50網絡,但是從表5可以看出,基于ResNet50網絡結構的評價模型的效果優(yōu)于其他3種網絡結構。當模型復雜度較低時,易出現欠擬合問題,訓練誤差與測試誤差都很大,即不能很好地擬合數據,學習能力較低。表6所示為5種評價模型的空間與時間復雜度比較結果,其中,時間復雜度為訓練一個epoch需要的時間。從表6可以看出,Res-DIQaM_FR模型的空間與時間復雜度遠低于DIQaM_FR模型。

表5 4種評價模型基于TID2013圖像庫的性能比較結果Table 5 Comparison results of performance of four evaluation models based on TID2013 image library

表6 5種評價模型的空間與時間復雜度比較結果Table 6 Comparison results performance of spatial and temporal complexity of five evaluation models

4 結束語

本文對圖像質量評價模型DIQaM_FR/NR進行改進,采用已訓練好的ResNet50網絡結構和GAP層分別取代DIQaM_FR/NR模型中的特征提取層和全連接層(FC-512)。遷移ResNet50網絡基于ImageNet數據集的參數,并在此基礎上對模型參數進行微調。為了避免出現標簽噪聲,采用未經處理的全圖像作為模型輸入,以在保證模型穩(wěn)定性的同時降低其復雜性,并有效解決圖像質量評價領域中數據集較小的問題。實驗結果表明,該模型能夠以更少的參數量得到與PSNR、FSIM等評價模型相似甚至更高的準確性,更符合人類視覺特性要求。下一步將遷移性能更優(yōu)的深度學習網絡并應用于圖像質量評價任務。