朱丹妮，許小華，賀靜婧，王 晨，張凱兵

(1.延安職業(yè)技術學院 網(wǎng)絡信息中心，陜西 延安 716000；2.延安職業(yè)技術學院 公共教學部，陜西 延安 716000；3.延安職業(yè)技術學院 經濟管理系，陜西 延安 716000；4.西安工程大學 電子信息學院，陜西 西安 710048)

0 引 言

當今社會，人們對相機、手機等設備的圖像分辨率要求越來越高，利用超分辨來提高圖像分辨率的技術越來越受到關注。圖像超分辨率是一種利用一幅或多幅低分辨率圖像重建出一幅具有更多紋理細節(jié)的高分辨率圖像的圖像恢復技術，該技術在公共安全、醫(yī)療影像等多個領域具有廣闊的應用前景[1-2]。因此，如何評價超分辨重建圖像的質量, 進而評價不同超分辨重建算法變得非常重要[3]。

根據(jù)評價主體的不同，評價圖像的方法包括主觀質量評價和客觀質量評價。由于主觀質量評價方法無法運用數(shù)學模型對其進行描述，因此客觀質量評價方法在實際中更具有研究價值。客觀質量評價旨在通過算法自動實現(xiàn)圖像的質量評價。根據(jù)所需原始圖像信息的多少，客觀質量評價方法可以劃分為全參考型圖像質量評價(full reference image quality assessment，F(xiàn)R-IQA)、部分參考型圖像質量評價(reduced reference image quality assessment，RR-IQA)和無參考型圖像質量評價(no-reference image quality assessment，NR-IQA)3大類評價方法[4-5]。目前，在圖像超分辨重建領域，峰值信噪比(peak signal-to-noise-ratio, PSNR)和結構相似度(structural similarity, SSIM)等指標被廣泛用于評價超分辨圖像的質量。然而，這些傳統(tǒng)方法的評價結果與主觀感知的一致性較差[6]。此外，在采用FR-IQA和RR-IQA方法評價超分辨圖像時，都需要獲取原始高質量圖像的信息作為參考，但在實際應用中，獲取原始高質量圖像需要付出很大代價，有時甚至無法獲取。因此利用NR-IQA方法評價圖像受到更多研究人員的青睞。

NR-IQA旨在不依靠原始的參考圖像，直接對圖像視覺質量進行評估[7-11]。針對超分辨圖像，研究人員從不同技術角度預測超分辨圖像的質量[12-13]。比如，黃慧娟等提出根據(jù)奇異值分解度量超分辨圖像質量[14]。YEGANEH等從頻域和空域建立概率統(tǒng)計模型，并將其轉化為超分辨圖像質量模型[15]。MA等分別從局部頻域、全局頻域、空間域提取特征，再根據(jù)隨機森林和脊回歸構成兩階段回歸模型，從而預測超分辨圖像質量[16]。ZHANG等利用AdaBoost回歸和和脊回歸級聯(lián)來評估超分辨圖像質量[17]。除了上述傳統(tǒng)方法之外，神經網(wǎng)絡也被廣泛應用于超分辨圖像質量評估的任務中。FANG等提出了基于深度卷積神經網(wǎng)絡(deep convolutional neural network, DCNN)的超分辨圖像評價方法[18]。BARE等利用殘差網(wǎng)絡的特性構建了一種跨連接模型，從而實現(xiàn)超分辨圖像質量評估[19]。劉錫澤等提出一種基于多任務學習的超分辨圖像質量評估網(wǎng)絡[20]。ZHOU等設計了一種將紋理特征與結構特征相結合的雙流網(wǎng)絡模型來評估超分辨圖像的質量[21]。

大規(guī)模的數(shù)據(jù)集上預訓練的VGGNet等經典深度學習網(wǎng)絡被用于解決小樣本任務并取得了較好的成果。此外，MLP作為最早被提出的神經網(wǎng)絡模型，在圖像處理、模式識別等諸多領域具有良好的表現(xiàn)[22]。鑒于深度特征與MLP在計算機視覺領域的成功應用，本文提出一種應用MLP回歸的SRIQA方法。該方法利用預訓練好的VGG16模型提取影響圖像質量變化的深度特征，然后利用MLP構建特征與質量分數(shù)之間建立回歸模型，從而實現(xiàn)超分辨圖像質量的評價。

1 圖像質量評價模型

1.1 深度特征提取

神經網(wǎng)絡與傳統(tǒng)算法相比無需設計人工特征，可以將圖像直接作為網(wǎng)絡的輸入，避免了傳統(tǒng)算法中復雜的特征提取和數(shù)據(jù)重建過程，使得研究人員的研究方向逐漸從統(tǒng)計特征向深度特征進行轉變?？紤]到訓練程度高的神經網(wǎng)絡模型時間復雜度較高，本文利用預訓練的VGG16圖像分類模型提取超分辨圖像視覺統(tǒng)計特征[23]。

VGG16net主要包含5部分卷積層(13個卷積層)和3個全連接層，其中前2個全連接層的神經元個數(shù)為4 096，最后一層神經元個數(shù)為1 000。隨著網(wǎng)絡層數(shù)的增加，所獲得的特征圖更寬，同時高維度的特征能更充分表征所提取圖像的信息，因此本文從預訓練模型的7層全連接層提取4 096維特征用于描述超分辨圖像的失真機制。

1.2 多感知機回歸模型

本文提出的評價模型構建主要分為2個階段，即訓練模型階段和測試模型階段。

1.2.1 訓練模型階段

本文提出的評價模型訓練過程如圖1所示。

圖 1 MLP回歸的無參考型SRIQA方法訓練過程

從圖1可以看出，在訓練模型階段，首先通過預訓練好的VGG16網(wǎng)絡提取訓練集圖像的深度特征，然后利用MLP建立深度特征與平均主觀意見值之間的回歸模型，即可得到圖像質量評價模型。

根據(jù)MLP回歸算法，第1步為前向傳播，將訓練集中的第i幅圖像的特征xi提供給輸入層，那么第i幅圖像隱含層的第j個神經元所對應的輸出可以表示為

Hij=g(xiWj+bj)

(1)

式中：Wj為輸入層到隱含層的第j個神經元的權重向量；bj為輸入層到隱含層的偏差參數(shù)；g(·)為激活函數(shù)。

然后，經過前向傳播的隱含層，第i幅圖像輸出層神經元所對應的輸出可以表示為

(2)

在輸出層，利用平方誤差損失函數(shù)計算輸出預測分數(shù)和主觀質量分數(shù)誤差，其損失函數(shù)可以表示為

(3)

第2步為誤差反向傳播過程。首先計算輸出層神經元損失函數(shù)的梯度，然后計算隱含層神經元損失函數(shù)的梯度。由于輸出層到隱含層的權重與隱含層到輸入層權重更新方式相同，本文將更新權重的數(shù)學表達式統(tǒng)一表示為

(4)

式中：t為當前迭代次數(shù)；η為學習率，其數(shù)值范圍為0<η<1。同樣地，由于輸出層到隱含層的偏差與隱含層到輸入層偏差更新方式相同，通過梯度下降更新偏差參數(shù)，可表示為

(5)

該算法在達到預設的最大迭代次數(shù)或損失小于一定閾值時停止。

1.2.2 測試模型階段

MLP回歸模型的測試過程如圖2所示。

圖 2 MLP回歸的無參考型方法測試過程

圖2中的測試圖像首先通過VGG16網(wǎng)絡提取圖像的深度特征，然后將接收到的VGG16深度特征作為MLP回歸的輸入層，饋送到訓練好的MLP回歸模型中，即可獲得待測超分辨圖像的質量預測分數(shù)。

2 實驗結果及分析

2.1 超分辨圖像數(shù)據(jù)庫介紹

為了評估所提出的評價方法的有效性，本文采用文獻[16]中的超分辨圖像數(shù)據(jù)庫作為基準來評估所提出評價方法的性能。該圖像數(shù)據(jù)庫中包含1 620張超分辨圖像以及相應主觀質量分數(shù)。其中1 620幅超分辨圖像由9種不同的超分辨算法對180幅低分辨進行超分辨圖像重建得到。

2.2 衡量算法評價技術指標

在實驗中，采用3類指標中的4種具體性能指標衡量不同超分辨圖像質量評價算法的性能。

2.2.1 準確性指標

均方根誤差(root mean square error，RMSE)使用該指標計算主觀質量分數(shù)與預測分數(shù)之間的誤差。當RMSE的值越小，表明該算法預測結果的準確性越高。

2.2.2 相關性指標

PLCC[24]主要反映的是主觀質量分數(shù)與算法預測分數(shù)之間的相關性。通常，當PLCC值接近1時，表明算法預測結果與人眼主觀具有良好的相關性。

2.2.3 單調性指標

SROCC[25]和肯德爾秩序相關系數(shù)(kendall rank order correlation coefficient，KROCC)[26]用于衡量主觀質量分數(shù)與預測分數(shù)之間的單調性。如果SROCC和KROCC的值越接近1，則意味著圖像質量評價算法具有更好的單調性。

2.3 有效性實驗

首先通過實驗驗證深度特征的有效性和MLP回歸模型的有效性，然后通過交叉驗證實驗確定了MLP回歸模型的各個參數(shù)設置，同時分析了訓練集規(guī)模對評估模型性能的影響。為了證明所提出方法的有效性，從準確性和一致性2個方面比較所提出方法與其他6種不同圖像質量評價方法的性能。

2.3.1 特征有效性

采用VGG16的預訓練模型提取圖像深度特征。為驗證所提取特征的有效性，提取了VGG16模型第7層全連接層(fully connected layer 7, FC_7)和第8層全連接層(fully connected layer 8, FC_8)的深度特征，通過MLP回歸建立其與質量分數(shù)之間的映射模型，并進行對比實驗。為了減少隨機選擇數(shù)據(jù)造成實驗的誤差，本文隨機選擇數(shù)據(jù)集中80%的樣本參與訓練，剩下的20%作為測試，該實驗重復進行100次，計算平均值作為最終的衡量指標。表1是2類特征的性能指標比較的結果，其中加粗的數(shù)字表示最佳性能。

表 1 2類特征的4種性能指標比較

從表1可以看出，4 096維FC_7特征表現(xiàn)出比FC_8特征更好的性能，表明所提取的FC_7特征更能表征超分辨圖像的質量，后續(xù)實驗中均采用FC_7特征度量超分辨圖像的質量。

2.3.2 回歸模型有效性

為驗證MLP回歸的有效性，本節(jié)將傳統(tǒng)的支持向量回歸(support vector regression, SVR)模型性能與之進行對比。實驗中，仍然選擇數(shù)據(jù)集中80%的樣本參與訓練，剩下的20%作為測試，表2展示了2種回歸模型在測試集上獲得的客觀評價的比較結果，其中加粗的數(shù)字表示最佳性能。

表 2 2種回歸模型的4種性能指標比較

從表2可以看出，MLP在預測超分辨圖像質量方面的準確性更高。這是由于MLP回歸首先將超分辨圖像的深度特征通過非線性函數(shù)映射到一個高維的隱空間，然后在高維空間的特征與質量分數(shù)間建立回歸關系，表現(xiàn)出比SVR更強的非線性映射能力。因此，相比于SVR，MLP回歸的效果更優(yōu)。

2.4 MLP模型參數(shù)選擇實驗

對于任意一個回歸模型，參數(shù)的選擇對模型性能的影響極其重要。在本節(jié)中，首先確定MLP回歸的激活函數(shù)。其次，根據(jù)選擇的激活函數(shù)，通過一系列交叉驗證實驗確定MLP相關超參數(shù)(MLP隱含層中神經元的個數(shù)和正則項參數(shù))，以優(yōu)化相應的模型。

2.4.1 激活函數(shù)的選擇

激活函數(shù)對于MLP回歸模型的優(yōu)化學習來說具有十分重要的作用。在實驗中，本文保持其他參數(shù)不變，通過改變不同的激活函數(shù)，通過觀察均方誤差(mean square error，MSE)的變化情況，選擇合適超分辨圖像質量評價模型的激活函數(shù)。本文選擇identity、logistic、tanh和relu 等4種不同的激活函數(shù)進行對比實驗，圖3展示了保持其他參數(shù)不變，不同激活函數(shù)對應的MSE值。

圖 3 4種激活函數(shù)對應的MSE值

從圖3可以看出，identity激活函數(shù)所對應的MSE最大，其性能表現(xiàn)最差，而另外3種激活函數(shù)MSE值相當，logistic所對應的MSE值最小，其性能表現(xiàn)最好。同樣地，根據(jù)網(wǎng)格交叉驗證實驗也得出相同的結論。因此，隨后的實驗均選擇logistic作為激活函數(shù)。

2.4.2 MLP隱含層中隱含層神經元個數(shù)的設置

選擇合適的層數(shù)以及隱含層節(jié)點數(shù)，在很大程度上都會影響MLP回歸模型的性能。理論上網(wǎng)絡層數(shù)越深，擬合函數(shù)的能力增強，效果更好。但是實際上更深的層數(shù)可能會帶來過擬合的問題，同時也會增加網(wǎng)絡的訓練難度，導致模型難以收斂。通過實驗選擇單個隱含層的MLP回歸模型。

在確定隱含層的層數(shù)之后，接著確定隱含層中包含的神經元個數(shù)。通常情況下，隱含層中較少的神經元會導致欠擬合。相反，當神經網(wǎng)絡具有過多的神經元時，有限信息量的訓練集不足以訓練隱含層中的所有神經元，容易會導致過擬合現(xiàn)象。而且，即使訓練集中擁有足夠的樣本，隱含層中過多的神經元會增加訓練時間，難以達到預期的效果。因此，選擇一個合適的隱含層神經元數(shù)量至關重要。為獲得合適的隱含層神經元數(shù)量，從100到500個神經元開始，每隔100個神經元在訓練集上進行交叉驗證實驗。圖4為隱含層中不同神經元個數(shù)的MSE值。

圖 4 不同神經元個數(shù)的MSE值

2.4.3 正則化參數(shù)的選擇

在MLP回歸模型中，另一個重要的參數(shù)為公式(3)的正則化參數(shù)α。本質上，該參數(shù)的大小會影響預測結果。為了得到準確的參數(shù)以合理平衡重構誤差項和正則化項，本文根據(jù)經驗預設了7個不同的α值(10-6,10-5,10-4,10-3,10-2,10-1,1)，在訓練階段進行交叉驗證實驗以獲得最優(yōu)α。圖5提供了選擇不同正則化參數(shù)值時的學習誤差。

圖 5 隨著α值的增加MSE相應的變化

從圖5可以看出，隨著α值的增加，MSE值也發(fā)生相應的變化，選擇其中最小MSE值對應于最優(yōu)的正則化參數(shù)值α，本文取α=10-4。

2.5 訓練集的大小對模型性能的影響

本節(jié)對比了不同大小的訓練集對預測性能的影響。實驗中，將數(shù)據(jù)庫隨機劃分為2部分，使訓練集在數(shù)據(jù)庫中所占比例從10%到90%變化，變化間隔為10%，其余樣本構成測試集。為了減小隨機因素引起的誤差，在相同網(wǎng)絡參數(shù)條件下重復100次實驗，計算測試集上的評價指標的均值作為各個模型最終性能指標。圖6展示了隨訓練集比例規(guī)模的增加各個模型最終性能指標的變化。

圖 6 訓練集比例對4種性能指標的影響

從圖6可以看出，隨著訓練集比例的增加， 模型的性能指標也在提升，當訓練集比例達到一定比例時，各個性能指標提升較小且?guī)缀醪辉僮兓?。其中，采用?shù)據(jù)庫的30%作為訓練集時，SROCC指標已經超過0.9。根據(jù)實驗結果可以得出，本文方法能夠在使用少量訓練樣本的情況下，能獲得一個性能較優(yōu)的圖像質量評價模型。

2.6 一致性實驗

為了驗證本文方法的實驗結果與主觀感知分數(shù)之間的一致性，本文分別與6種不同的無參考型評價方法(文獻[8]、文獻[7]、文獻[27]、文獻[10]、文獻[4]和文獻[16])進行對比實驗。在一致性實驗中，將數(shù)據(jù)將劃分為2部分，隨機選取數(shù)據(jù)庫中80%的樣本參與訓練，剩余的20%的樣本作為測試集，以評估模型的性能。圖7展示了100組實驗中的其中一組訓練測試實驗的散點圖。

(a) 文獻[8]

從圖7可以看出，這些方法都取得了較理想的主客觀一致性，其中圖7(a)文獻[8], 圖7(b)文獻[7], 圖7(c)文獻[27]3種方法一致性結果比圖7(d)文獻[10]的方法, 圖7(e)文獻[16]的方法的一致性結果較差。這是由于圖7(a)、(b)、(c) 3種方法都是基于自然圖像設計的評價模型，而且這3種方法都采用傳統(tǒng)的統(tǒng)計特征表示超分辨圖像質量，使用單一的SVR建立評價模型，所以實驗結果不理想。雖然圖7(e)文獻[16]的方法采用了傳統(tǒng)的統(tǒng)計特征，但是它采用了回歸森林的方法建立評價模型，因此取得比圖7(a)、(b)、(c) 3種方法更好的結果。圖7(d)文獻[10]的方法設計了一個將特征提取和回歸整合在一起的卷積神經網(wǎng)絡進行圖像質量評價，但是由于淺層的卷積神經網(wǎng)絡模型難以充分表征超分辨圖像失真機理，因此實驗結果較差。圖7(f)文獻[4]的方法采用了稀疏表示的方法，但是由于該方法無法更新字典，因此實驗的一致性結果略差。在一致性實驗結果中，本文方法優(yōu)于其他對比方法，這是因為一方面，本文方法從提取特征到回歸映射都是基于DNN的網(wǎng)絡框架，DNN通過深層次特征學習，可以獲得更利于表達圖像質量的深度特征；另一方面，所采用的MLP回歸本質為主動尋找有效的映射方式將低維空間的訓練數(shù)據(jù)映射到高維空間，然后在高維空間建立回歸模型，相比于被動的映射SVR、MLP的回歸效果更優(yōu)。

為了減小單次實驗可能的性能偏差，將訓練測試實驗進行100次，計算各個評價算法性能的平均值，見表3，其中加粗的數(shù)字表示最佳性能。

表 3 不同圖像質量評價方法的4種性能指標比較

表3中，文獻[8]、文獻[7]和文獻[27]3種評價算法的RMSE指標均大于1，表現(xiàn)出較差的準確性。而文獻[10]、文獻[16]、 文獻[4]和本文提出的質量評價算法對應的RMSE指標均小于1，而且本文方法具有最小的RMSE值，展現(xiàn)出最好的性能。類似地，文獻[8]、文獻[7]和文獻[27]3種評價算法的SROCC均小于0.95， KROCC值均小于0.8，而本文算法對應的SROCC指標超過于0.95，KROCC指標大于0.8，表現(xiàn)出良好的單調性。此外, 本文算法的PLCC指標展現(xiàn)出最優(yōu)的相關性，在性能上明顯優(yōu)于其他評價方法。

為進一步證明所構建的MLP回歸模型與主觀感知具有較好的一致性，文章首頁的OSID碼“開放科學數(shù)據(jù)與內容”的圖片展示了本文方法在訓練測試實驗中9個最佳例子評估結果，以驗證本文方法的與主觀感知具有更好的一致性。每幅圖片正下方的數(shù)值依次對應了每幅圖像相應的主觀感知分數(shù)/本文方法的預測分數(shù)/文獻[16]方法的預測分數(shù)。從該幅圖片的預測結果可以看出，對于第一行紋理細節(jié)較為豐富的超分辨圖像，盡管文獻[16]的方法預測結果很接近主觀感知分數(shù)，本文方法的預測結果比文獻[16]的方法更接近主觀感知分數(shù)。對于后兩行缺失較多紋理細節(jié)的超分辨圖像，與文獻[16]的方法預測結果相比，本文方法也可以獲得與主觀感知分數(shù)更接近的質量分數(shù)。尤其對最后一行的超分辨圖像，本文方法預測的結果與主觀感知分數(shù)幾乎相同。通過對比觀察可以看出本文方法不僅可以較準確評價紋理細節(jié)較為豐富的超分辨圖像，也可以有效評價圖像質量較差的圖像。這是因為基于深度學習的特征可以充分且準確描述超分辨圖像降質的過程。此外，深度特征與主觀感知分數(shù)之間的映射關系更容易通過MLP回歸的非線性映射能力獲得較高的預測精度。

3 結 語

本文提出一種應用MLP回歸的無參考型超分辨圖像質量評價方法。該方法先采用VGG16提取圖像的深度特征，再將得到的特征作為MLP回歸模型的輸入，建立深度特征與主觀感知分數(shù)之間非線性映射關系。實驗結果表明，本文所構建的MLP回歸模型可以較準確地評價超分辨圖像質量，且與主觀感知具有較好的一致性。

在今后的研究中，該方法可以從以下2個方面改進：一是由于本文直接采用ImageNet數(shù)據(jù)集的圖像分類預訓練模型提取超分辨圖像的深度特征，因此可以考慮在超分辨圖像數(shù)據(jù)庫中訓練模型，以提取能充分表征超分辨圖像質量的感知特征。二是增加有利于評價超分辨圖像的先驗知識訓練評價模型，以提高評價模型的性能。