曹玉東，蔡希彪

(遼寧工業(yè)大學電子與信息工程學院，遼寧 錦州 121001)

1 引言

圖像質(zhì)量評價是圖像處理和計算機視覺領域的一個研究熱點問題。數(shù)字圖像的獲取、傳輸、處理和壓縮存儲過程可能導致失真或降質(zhì)，進而影響圖像識別或檢測的準確率。如果能預先評估出圖像的質(zhì)量，優(yōu)選符合要求的圖像做為輸入會提高系統(tǒng)的性能。此外，驗證數(shù)字圖像處理算法的性能好壞也需要一個客觀準確的圖像質(zhì)量評估方法。

圖像質(zhì)量評估方法主要分為全參考圖像質(zhì)量評估FR-IQA(Full-Reference Image Quality Assessment)[1]、半?yún)⒖紙D像質(zhì)量評估RR-IQA(Reduced Reference Image Quality Assessment)[2]和無參考圖像質(zhì)量評估NR-IQA(No Reference Image Quality Assessment)[3]3種類型[4]。FR-IQA用參考圖像與待測失真圖像之間的差異評估圖像的質(zhì)量，由于可以使用參考圖像，F(xiàn)R-IQA方法可以模擬人的視覺比較過程去感知和評估圖像的質(zhì)量，例如SSIM算法[5]用圖像的亮度、對比度和結(jié)構(gòu)元素感知圖像的失真特性。RR-IQA方法利用參考圖像的部分信息與失真圖像特征信息之間的差別，預測圖像的質(zhì)量評估分數(shù)。NR-IQA方法則不利用任何圖像參考信息，直接對失真圖像中能反映人類視覺特性的圖像統(tǒng)計特征建模，再基于回歸技術(shù)把該特征映射為失真圖像的質(zhì)量分數(shù)[6]。NR-IQA方法由于不需要參考圖像，較FR-IQA和RR-IQA評估方法更符合實際需求，所以有著廣泛的應用前景。Saad等[7]認為正常的自然場景圖像特征具有統(tǒng)計規(guī)律，如果圖像失真就會破壞這種統(tǒng)計規(guī)律。NR-IQA方法的準確率在很大程度上取決于圖像的特征表示[8]。例如Oszust等[9]利用局部增強差分和導數(shù)核對特征建模；王楊等[10]提取多方向、多尺度頻域特征和對比度、能量、熵、逆差分矩特征，再使用支持向量回歸方法獲取圖像的質(zhì)量分數(shù)。

近幾年，作為人工智能主流技術(shù)的深度學習方法發(fā)展迅猛，深度學習領域出現(xiàn)了不同類型的神經(jīng)網(wǎng)絡結(jié)構(gòu)，如卷積神經(jīng)網(wǎng)絡CNN(Convolutional Neural Network)、循環(huán)神經(jīng)網(wǎng)絡RNN(Recurrent Neural Network)[11]和生成對抗網(wǎng)絡GAN(Generative Adversarial Network)[12]等。CNN模型首先在圖像處理和計算機視覺領域取得成功應用。與傳統(tǒng)方法相比，深度神經(jīng)網(wǎng)絡的優(yōu)勢之一就是把圖像的特征表示和圖像的質(zhì)量分數(shù)預測統(tǒng)一在一個框架內(nèi)完成。設計合理的網(wǎng)絡結(jié)構(gòu)和分階段的參數(shù)優(yōu)化方法有利于提高模型精度。深度神經(jīng)網(wǎng)絡提取圖像特征不需要人工干預，其參數(shù)的數(shù)量龐大，保證了提取到的圖像特征具有強大的表示能力。從數(shù)學角度看，可以把神經(jīng)網(wǎng)絡看作是一種復雜的函數(shù)映射關(guān)系，目前以卷積神經(jīng)網(wǎng)絡為主的深度神經(jīng)網(wǎng)絡已經(jīng)被大量應用到圖像質(zhì)量評價中[4,13]。例如，Kang等[14]利用2次卷積和2次池化的卷積神經(jīng)網(wǎng)絡提取失真圖像特征。Lin等[12]提出了一種利用深度生成對抗網(wǎng)絡模型輸出仿真參考圖的盲圖像質(zhì)量評估方法，利用GAN生成虛擬的參考圖，使NR-IQA的評估過程可以模擬人的視覺比較過程。該方法具有一定新意，但GAN模型的訓練過程比較復雜。

深度學習模型需要強算力和大數(shù)據(jù)集的支持，目前公開的失真圖像數(shù)據(jù)集規(guī)模仍顯偏小，導致一些使用了深度學習技術(shù)的算法的性能不夠理想。本文提出的基于并行小規(guī)模CNN的圖像質(zhì)量評估PSCNN(Parallel Small CNN based image quality assessment)算法，簡化了深度神經(jīng)網(wǎng)絡模型的結(jié)構(gòu)和深度，使其適應當前圖像質(zhì)量評估應用；輸入并行、多尺度失真圖像，保證網(wǎng)絡模型能提取到更豐富的圖像統(tǒng)計特征；設計2個不同的損失函數(shù)，把模型參數(shù)的優(yōu)化過程分為2個階段，提高模型的性能。

2 提出的圖像質(zhì)量評價方法

圖像的特征提取對圖像質(zhì)量評價算法的性能有很大影響。卷積操作能夠提取更抽象的局部圖像特征，在很多應用中性能明顯超過SIFT(Scale-Invariant Feature Transform)和LBP(Local Binary Pattern)等傳統(tǒng)圖像特征，成為目前主流的圖像特征提取方法。圖像質(zhì)量評測對特征提取的要求比圖像分類或圖像識別任務的要求低，不需要提取抽象的高級語義特征，因此采用層數(shù)較少的小規(guī)模深度卷積網(wǎng)絡實現(xiàn)失真圖像的特征提取，再經(jīng)過全連接回歸網(wǎng)絡后獲取圖像的質(zhì)量預測分數(shù)。

2.1 網(wǎng)絡模型結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡具有局部連接和參數(shù)共享的特點，可以把網(wǎng)絡模型的計算復雜度降低到線性階O(n)。受文獻[15]啟發(fā)，本文設計的網(wǎng)絡模型結(jié)構(gòu)如圖1所示，前端為結(jié)構(gòu)一致的4路并行卷積子網(wǎng)絡，卷積核的尺寸為7×7，數(shù)量為50。卷積和池化操作都是提取失真圖像特征的過程，池化操作起到降維的作用，能夠降低后端全連接層的計算負擔，采用并行的全局最大池化和全局最小池化技術(shù)[15]，池化窗口的大小與卷積層輸出的特征圖譜一致，每個卷積子網(wǎng)輸出的特征矢量維度是100，4路卷積子網(wǎng)絡模塊的輸出并行連接在一起，構(gòu)成400維的圖像融合特征，做為后端全連接回歸的輸入。后端的全連接回歸結(jié)構(gòu)包含3個全連接層FCL(Fully Connected Layers)，神經(jīng)元的數(shù)目分別為400,400和1。與文獻[15]中網(wǎng)絡模型的主要區(qū)別在于，本文設計的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)可以接受4路并行輸入，可以提取到更豐富的失真圖像特征信息。從整體看，本文設計的網(wǎng)絡模型屬于小規(guī)模的深度卷積神經(jīng)網(wǎng)絡，對算力和數(shù)據(jù)集規(guī)模的要求相對較低。

Figure 1 Structure of parallel CNN model圖1 并行的卷積神經(jīng)網(wǎng)絡模型結(jié)構(gòu)

2.2 網(wǎng)絡模型的優(yōu)化

深度學習模型的優(yōu)化是至關(guān)重要的，其基本思想是梯度下降迭代。網(wǎng)絡模型需要優(yōu)化的參數(shù)包括卷積核參數(shù)和FC層中連接神經(jīng)元的權(quán)值及偏差項等。本文設計的卷積網(wǎng)絡模型雖然深度較小，但是仍屬于深度神經(jīng)網(wǎng)絡，當訓練數(shù)據(jù)不足時，容易導致過擬合，過擬合會造成網(wǎng)絡模型在訓練集上的誤差較小，在測試集上的誤差較大。本文采用數(shù)據(jù)增強技術(shù)緩解這一問題，辦法是分割原始的失真圖像為若干不重疊的圖像塊，并假設每個圖像塊的質(zhì)量分數(shù)等于整幅源圖像的質(zhì)量分數(shù)標簽值。

部分失真圖像的失真區(qū)域不具備均勻分布的性質(zhì)，所以假定圖像塊的質(zhì)量分數(shù)為整幅圖像的質(zhì)量分數(shù)會給模型參數(shù)的優(yōu)化帶來誤差，因此本文把模型的訓練過程分為2個階段。在第1階段的訓練中，利用圖像塊學習圖像的質(zhì)量分數(shù)。將1幅失真圖像分割出來的P個圖像塊構(gòu)成1次批量輸入，將模型預測的P個圖像塊質(zhì)量分數(shù)的平均值做為該幅圖像的質(zhì)量預測分數(shù)，需要優(yōu)化的目標函數(shù)為：

(1)

其中，符號|·|表示取絕對值，w1為前端卷積網(wǎng)絡的參數(shù)，w2為后端全連接網(wǎng)絡的參數(shù)。Q表示每1次訓練神經(jīng)網(wǎng)絡輸入的圖像數(shù)量。符號‖·‖2表示L2范數(shù)，對權(quán)值項w2引入正則化項約束，以緩解模型過擬合。ln為圖像塊Inm的質(zhì)量分數(shù)標簽，f(·,·,·)輸出模型預測的質(zhì)量分數(shù)，其中第1個參量Inm是輸入的圖像塊，第2個參量w1和第3個參量w2是模型的參數(shù)。不考慮正則化項，該目標函數(shù)描述了圖像塊的預測值與圖像標簽值之間的平均誤差。優(yōu)化時每個批次的訓練輸入4幅圖像，即Q取4，每幅圖像被分割為32個圖像塊，即P取32，則batch_size為128，學習率(learning rate)設置為0.000 1，激活函數(shù)為ReLU。

在第2階段的訓練中，利用整幅失真圖像作為輸入精調(diào)模型參數(shù)，損失函數(shù)為：

(2)

其中，Iq表示輸入圖像，lq是其對應的質(zhì)量分數(shù)標簽。類似式(1)，在損失函數(shù)中引入正則化項，增加對參數(shù)的軟約束。不考慮正則化項，該損失函數(shù)描述了整幅失真圖像的預測值與圖像標簽值之間的平均誤差。優(yōu)化時，使用L2范數(shù)正則化和擴展數(shù)據(jù)集方法緩解過擬合，提升模型的性能。

2.3 算法描述

圖像特征提取是算法的核心部分。將輸入的失真圖像經(jīng)過高斯卷積之后連續(xù)3次進行下采樣，獲取4個不同尺度的失真圖像歸一化后作為卷積神經(jīng)網(wǎng)絡的輸入，提取失真特征，最后送入全連接回歸網(wǎng)絡。

本文提出的基于并行小規(guī)模卷積神經(jīng)網(wǎng)絡的圖像質(zhì)量評估PSCNN算法如算法1所示。

算法1PSCNN

輸入：失真圖像。

輸出：失真圖像的質(zhì)量預測分數(shù)。

訓練階段：

步驟1將輸入圖像經(jīng)過圖像金字塔操作后得到4個尺度的圖像；

步驟2將4個尺度的圖像歸一化后分別輸入到4個并行的卷積神經(jīng)網(wǎng)絡中；

步驟3將4路特征向量進行連接，輸入全連接回歸網(wǎng)絡中；

步驟4根據(jù)目標函數(shù)式(1)和式(2)不斷優(yōu)化模型參數(shù)，重復上述步驟，直到滿足迭代停止準則。

測試階段：

步驟1輸入待測圖像；

步驟2獲取不同尺度圖像，輸入已經(jīng)訓練好的卷積神經(jīng)網(wǎng)絡，輸出4路特征向量；

步驟3將4路特征向量融合，經(jīng)過訓練好的全連接回歸網(wǎng)絡輸出失真圖像的質(zhì)量預測分數(shù)。

總結(jié)PSCNN算法的特點如下：

(1)使用4路并行的卷積網(wǎng)絡輸入，增強了失真圖像的特征表示能力。

(2)設計小規(guī)模的卷積神經(jīng)網(wǎng)絡提取失真圖像特征，使訓練變得容易。

(3)不限制輸入圖像的尺寸，可以最大限度地保留原始失真圖像中的信息。

(4)針對圖像塊(Image Patch)和整幅失真圖像，分2個階段優(yōu)化損失函數(shù)，提高模型的精度。

綜上，本文提出的算法先學習圖像局部特征及感知圖像失真的位置信息，再通過池化操作降低維度，最后通過全連接回歸輸出圖像的質(zhì)量評估分數(shù)。

3 實驗與結(jié)果分析

本節(jié)在2個公開的標準數(shù)據(jù)集上將PSCNN算法與當前主流算法進行比較。數(shù)據(jù)集之間的區(qū)別主要是參考圖像的數(shù)量、失真圖像的數(shù)量、失真類型和評分標準等。實驗采用普遍使用的評價標準評測算法的預測與主觀感知的一致性；用模型預測值與圖像主觀分數(shù)的相關(guān)性實驗測試算法的穩(wěn)定性；用不同的數(shù)據(jù)集交叉實驗測試算法的泛化性能。

3.1 數(shù)據(jù)集

實驗采用2個流行的IQA數(shù)據(jù)集：LIVE[16,17]和TID2008[18,19]，LIVE包含了29幅未失真的參考圖像和779幅不同類型的失真圖像，失真類型分別為白噪聲WN(White Noise)、JPEG壓縮失真(JPEG)、JPEG2000壓縮失真(JP2K)、高斯模糊GBLUR(Gaussian BLUR)和快速衰減瑞利失真FF(Fast Fading rayleigh channel)。圖2給出了LIVE數(shù)據(jù)集的部分失真圖像示例。LIVE數(shù)據(jù)集的主觀評價分數(shù)用DMOS(Difference Mean Opinion Score)描述，質(zhì)量分數(shù)的變動在[0,100]。TID2008數(shù)據(jù)集包含了25幅未失真的參考圖像，17種失真類型、4種失真等級的1 700幅失真圖像。除了與LIVE數(shù)據(jù)集共有的4種失真類型(WN、JPEG、JP2K和GBLUR)外，TID2008數(shù)據(jù)集還包含13種失真類型：量化噪聲、彩色成分的加性噪聲、脈沖噪聲、空間相關(guān)噪聲、遮掩噪聲、高頻噪聲圖像去噪、JPEG傳輸誤差、非偏心模式噪聲和對比度改變(CHANGE)等。與LIVE數(shù)據(jù)集不同，TID2008采用MOS(Mean Opinion Score)作為主觀評價分數(shù)，其值縮放到[0,9]，MOS的值越小，圖像的質(zhì)量越不好。通過使用更多的數(shù)據(jù)進行訓練可以進一步提高模型的泛化能力，因此，本文把失真圖像分割為若干不重疊圖像塊，以豐富數(shù)據(jù)集。

Figure 2 Samples of distortion image圖2 失真圖像樣例

3.2 評價標準

評價標準采用通用的斯皮爾曼秩相關(guān)系數(shù)SROCC(Spearman Rank-Order Correlation Coefficient)和皮爾森線性相關(guān)系數(shù)PLCC(Pearson Linear Correlation Coefficient)[20,21]。SROCC衡量2組數(shù)據(jù)的等級相關(guān)性，即主觀標定的質(zhì)量評價分數(shù)和模型輸出的客觀質(zhì)量預測分數(shù)的相關(guān)性；PLCC衡量2組數(shù)據(jù)的線性相關(guān)程度。SROCC的計算公式如式(3)所示：

(3)

其中，N表示數(shù)據(jù)集中圖像的數(shù)量，dk表示第k幅圖像在主觀評價分數(shù)集合和模型預測分數(shù)集合中排名的差值。PLCC的計算公式如式(4)所示：

(4)

3.3 在數(shù)據(jù)集上的評測結(jié)果

算法首先在LIVE數(shù)據(jù)集上完成訓練和測試，表1給出了PSCNN與當前主流算法的對比結(jié)果，包括CORNIA (COdebook Representation for No reference Image Assessment)算法[22]、DLIQA(Deep Learning for blind Image Quality Assessment)算法[23]、BIQI(Blind Image Quality Index)算法[24]、ILNIQE(Integrated Local Natural Image Quality Evaluator)算法[25]、BRISQUE(dubbed Blind/Referenceless Image Spatial QUality Evaluator)算法[26]、DIIVINE(Distortion Identification-based Image Verity and INtegrity Evaluation index)算法[8]、HOSA(High Order Satistics Aggregation)算法[27]、CNN(Convolutional Neural Networks for no-reference image quality assessment)算法[14]和CNN++(multi-task CNNs)算法[15]。表1中加粗的數(shù)字表示性能最好(下同)。CORNIA[22]使用軟指派編碼(soft-assignment coding)和最大池化獲取圖像的特征表示，PLCC指標比本文算法低3個百分點。DIIVINE[27]假設自然圖像都具有某種統(tǒng)計特征，由于失真導致這些統(tǒng)計特征發(fā)生改變，如果能找到這種改變，就可以判斷圖像的質(zhì)量。DIIVINE算法的評價指標比本文算法的評價指標低3～5個百分點。CNN++算法[15]的評價指標是CNN算法的加強版，符號“++”的含義是代表2個任務：圖像質(zhì)量分數(shù)評估和失真類型識別。CNN++在PLCC指標上比CNN提升了4個百分點，二者都屬于基于深度學習技術(shù)的算法，但是都比本文的PSCNN算法的性能低5～6個百分點。DLIQA也屬于深度學習方法，用深度判別模型輸出失真圖像的質(zhì)量分數(shù)，其性能比本文的算法低4個百分點。DIIVINE、BRISQUE和CNN++算法都采用2階段框架法，即首先識別出失真的類型，然后再評估該失真類型的質(zhì)量分數(shù)。綜上，在LIVE數(shù)據(jù)集上的測試結(jié)果表明：同當前主流的圖像質(zhì)量評估算法相比，本文提出的PSCNN算法性能最高。

SROCC用于評測客觀質(zhì)量預測分數(shù)和主觀質(zhì)量評價分數(shù)的相關(guān)性，如果模型附加某些非線性變換，會使PLCC指標變好，但SROCC指標不會被影響，所以SROCC被認為是最好的非線性相關(guān)指標。在LIVE數(shù)據(jù)集的5種失真類型圖像上，將PSCNN算法與NIQE(Natural Image Quality Evaluator)[29]等算法逐一比較SROCC指標，其結(jié)果如表2所示。由表2可以看出：本文提出的PSCNN算法的SROCC指標在前4種失真類型上取得最優(yōu)，僅在第5種失真類型FF上沒有取得最優(yōu)。

Table 1 Comparison of performance on LIVE

Table 2 SROCC on 5 distortations of LIVE表2 在LIVE 5種失真類型圖像上的SROCC指標比較

為了驗證PSCNN算法的穩(wěn)定性，比較模型的預測分數(shù)與失真圖像的主觀真實分數(shù)之間的差異，本文從LIVE數(shù)據(jù)集中隨機選擇JP2K失真、FF失真和綜合失真等4種情況繪制散點分布圖，如圖3所示。圖3中每1個樣例點表示1幅失真圖像，橫軸為主觀標定的失真圖像的真實質(zhì)量分數(shù)(subjective opinion score)，縱軸為網(wǎng)絡模型預測的質(zhì)量分數(shù)。散點圖通過樣例點的變化趨勢和疏密程度描述失真圖的預測分數(shù)和真實標定分數(shù)之間的數(shù)量關(guān)系。由圖3可以看出：數(shù)據(jù)點基本圍繞在擬合曲線附近，呈現(xiàn)出正相關(guān)的線性關(guān)系，表明提出的PSCNN算法具有較好的穩(wěn)定性。

Figure 3 Comparison of DMOS versus model prediction on distorted image圖3 失真圖像的模型預測分數(shù)與主觀評測分數(shù)比較

為驗證PSCNN算法的泛化能力，本文進行了跨數(shù)據(jù)集的交叉實驗，在LIVE數(shù)據(jù)集上訓練，然后在TID2008數(shù)據(jù)集上進行測試。選擇2個數(shù)據(jù)集中共有的失真類型圖像，測試結(jié)果如表3和表4所示，對比算法包括BLISS(Blind Learning of Image Quality using Synthetic Scores)算法[30]和dipIQ(quality-discriminable image pairs Inferred Quality)算法[31]等。

Table 3 SROCC (test on TID2008 & training on LIVE)

Table 4 PLCC (test on TID2008 & training on LIVE)

BLISS[30]通過其它現(xiàn)有的FF-IQA模型標注訓練數(shù)據(jù)，屬于免主觀(Opinion Free)分數(shù)的圖像質(zhì)量評價方法。其中，DLIQA算法[23]和dipIQ算法[31]使用了深度學習技術(shù)，dipIQ算法利用微軟的RankNet解決排序問題。由表3和表4可知，無論是在具體的失真類型上還是綜合失真類型上，本文PSCNN算法的泛化性能都好于對比算法的，說明該算法的泛化能力較強。

4 結(jié)束語

本文提出了基于并行小規(guī)模卷積神經(jīng)網(wǎng)絡的無參考圖像質(zhì)量評估算法，將失真圖像的特征提取和質(zhì)量分數(shù)預測統(tǒng)一在一個優(yōu)化框架內(nèi)實現(xiàn)。設計了并聯(lián)的網(wǎng)絡模型架構(gòu)，將多尺度圖像的特征信息融合在一起，采用2階段法優(yōu)化模型參數(shù)，提高了模型的性能。

由于現(xiàn)實世界中圖像的失真類型多種多樣，目前公開的數(shù)據(jù)集提供的失真類型有限，需要探索遷移學習和增量學習在圖像質(zhì)量評估算法中的應用，設計通用型的無參考圖像質(zhì)量評價算法是未來的工作重點之一。

致謝：

論文的研究得到國家自然科學基金(61772171)和遼寧省自然科學基金(2019ZD0702)部分資助，碩士生馬遙在論文初期做了部分基礎性工作。