王 楊,隆海燕,賈曦然

(1.河北工業(yè)大學(xué)電子信息工程學(xué)院，天津 300401；2.河北工業(yè)大學(xué)天津市電子材料與器件重點(diǎn)實(shí)驗(yàn)室，天津 300401)

1 引言

圖像質(zhì)量評(píng)價(jià)在藝術(shù)作品設(shè)計(jì)、廣告公司海報(bào)宣傳等方面應(yīng)用廣泛，逐漸成為研究熱點(diǎn)，因而圖像質(zhì)量的可靠評(píng)價(jià)具有實(shí)用性。圖像質(zhì)量的主觀評(píng)價(jià)方法易受觀測(cè)者知識(shí)背景和觀測(cè)者動(dòng)機(jī)等因素影響，而客觀評(píng)價(jià)以其速度快、不受主觀情況影響等優(yōu)勢(shì)被普遍應(yīng)用。近年來(lái)，人們將人眼視覺(jué)顯著性引入圖像質(zhì)量客觀評(píng)價(jià)中。在結(jié)構(gòu)相似度理論[1]和ltti中心-周圍差異模型[2]的基礎(chǔ)上，劉迪等[3]考慮人眼視覺(jué)特性中的對(duì)比度掩蓋效應(yīng)，對(duì)模糊強(qiáng)度進(jìn)行感知加權(quán)來(lái)優(yōu)化圖像質(zhì)量評(píng)價(jià)的結(jié)果。賈惠珍等[4]分別提取參考圖像和失真圖像的相位一致性、梯度、視覺(jué)顯著性和對(duì)比度特征，采用機(jī)器學(xué)習(xí)的方法自動(dòng)預(yù)測(cè)圖像質(zhì)量。沈飛鵬等[5]在此基礎(chǔ)上將待評(píng)價(jià)圖像進(jìn)行顯著性目標(biāo)分類，根據(jù)分類結(jié)果提取局部特征和全局特征，特征融合后得到最終的質(zhì)量評(píng)估值。上述方法均考慮了人眼的視覺(jué)特性，其結(jié)果與人眼的主觀感知具有良好的相關(guān)性。

然而，影響圖像信息獲取的人眼視覺(jué)成像系統(tǒng)具有頻率傳遞的特性，其彩色視覺(jué)頻率響應(yīng)與人眼顏色辨別特性緊密相關(guān)。所以，許多研究人員開(kāi)始將人眼色彩差異化感知特性[6]引入客觀圖像質(zhì)量評(píng)價(jià)中。許麗娜等[7]提出了一種融合圖像結(jié)構(gòu)相似度和光譜信息的圖像質(zhì)量評(píng)價(jià)方法；侯春萍等[8]提出在得到圖像的全局特征時(shí)用顏色矩來(lái)表示圖像的顏色特征；趙月等[9]則將圖像從RGB空間轉(zhuǎn)化到孟塞爾模型HSI(Hue，Saturation，Intensity)，分別提取色度、飽和度、亮度分量并將其作為特征用于圖像質(zhì)量評(píng)價(jià)。以上方法均結(jié)合人眼視覺(jué)顯著特性和色彩敏感度特性，獲得了與人眼主觀感知相一致的圖像質(zhì)量客觀評(píng)價(jià)值。而在實(shí)際應(yīng)用中，圖像中存在非色彩顯著區(qū)域語(yǔ)義信息，因而利用人眼對(duì)色彩的差異化感知特性重點(diǎn)關(guān)注圖像中的色彩顯著區(qū)域并進(jìn)行質(zhì)量評(píng)價(jià)，尚需進(jìn)一步研究。

基于上述人眼視覺(jué)顯著特性和色彩敏感度特性在圖像質(zhì)量評(píng)價(jià)中的應(yīng)用，本文提出了一種基于孿生神經(jīng)網(wǎng)絡(luò)的色彩區(qū)域圖像質(zhì)量評(píng)價(jià)CR-SNIQA(Color Region Image Quality Assessment based on Siamese Neural network)算法。利用色彩對(duì)比分別提取原始圖像和失真圖像中多個(gè)色彩區(qū)域的語(yǔ)義內(nèi)容，可以在保留圖像語(yǔ)義信息的同時(shí)更好地模擬人眼對(duì)色彩的差異化感知；復(fù)用孿生模塊進(jìn)行特征提取并共享權(quán)值，可充分表達(dá)多層次特征的有效信息。本文所提CR-SNIQA算法在考慮人眼彩色視覺(jué)特性和語(yǔ)義內(nèi)容的基礎(chǔ)上，將孿生神經(jīng)網(wǎng)絡(luò)引入圖像質(zhì)量評(píng)價(jià)中，實(shí)現(xiàn)了圖像色彩區(qū)域的質(zhì)量評(píng)價(jià)。

2 基于孿生神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量評(píng)價(jià)

Chopra等[10]提出的孿生神經(jīng)網(wǎng)絡(luò)多應(yīng)用于圖像分類與識(shí)別，該網(wǎng)絡(luò)的雙分支輸入為2幅圖像，輸出為2幅圖像之間的相似程度。孿生神經(jīng)網(wǎng)絡(luò)具體結(jié)構(gòu)如圖1所示。圖中X1和X2為孿生神經(jīng)網(wǎng)絡(luò)雙分支的輸入，W為網(wǎng)絡(luò)分支共享的學(xué)習(xí)參數(shù)，GW(X1)和GW(X2)是X1和X2在低維空間中的2個(gè)映射，最后通過(guò)比較2個(gè)映射之間的距離EW判斷X1和X2的匹配程度。

Figure 1 Structure of siamese neural network圖1 孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

楊光義等[11]將原始圖像與失真圖像輸入至雙分支結(jié)構(gòu)的孿生神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)整體是端到端前饋模型。為了適應(yīng)全連接層輸入圖像的大小，將圖像固定分塊后進(jìn)行質(zhì)量評(píng)價(jià)。本文所提CR-SNIQA算法采用雙卷積結(jié)構(gòu)，將原始圖像與失真圖像中由語(yǔ)義分割得到的多個(gè)相互對(duì)應(yīng)的色彩區(qū)域輸入到孿生神經(jīng)網(wǎng)絡(luò)中進(jìn)行圖像質(zhì)量評(píng)價(jià)。

3 CR-SNIQA算法

CR-SNIQA算法整體框架如圖2所示。圖中Q(Quality)表示所得評(píng)價(jià)值。首先，算法利用人眼對(duì)色彩差異化感知特性提取原始圖像和參考圖像中的多個(gè)色彩區(qū)域；然后，將多個(gè)色彩區(qū)域的圖像以圖像對(duì)的方式輸入孿生神經(jīng)網(wǎng)絡(luò)進(jìn)行雙支路訓(xùn)練，選擇損失度最小的權(quán)值進(jìn)行共享，從而實(shí)現(xiàn)輸入圖像到輸出圖像質(zhì)量分?jǐn)?shù)的端到端訓(xùn)練；最后，用樣本對(duì)之間的歐氏距離EW(x1,x2)來(lái)評(píng)價(jià)圖像質(zhì)量的優(yōu)劣。

Figure 2 Overall framework of CR-SNIQA圖2 CR-SNIQA整體框架

3.1 人眼視覺(jué)對(duì)比度敏感特性

視覺(jué)心理學(xué)[12]認(rèn)為，人眼的視覺(jué)對(duì)不同色彩的敏感程度存在一定差異，并且圖像色彩是僅次于圖像清晰度的第2大質(zhì)量因素。人眼視覺(jué)對(duì)紅光、藍(lán)光、綠光的敏感度與可見(jiàn)光譜理論是一致的[13]?？梢?jiàn)光譜圖[14]如圖3a所示，上面一行數(shù)字代表光對(duì)應(yīng)的頻率f即強(qiáng)度，單位是THz；下面一行數(shù)字代表光對(duì)應(yīng)的波長(zhǎng)λ，單位是nm。人眼對(duì)不同波長(zhǎng)光的平均視覺(jué)靈敏度表示為視見(jiàn)函數(shù)。明視覺(jué)和暗視覺(jué)下的視見(jiàn)函數(shù)曲線[15]如圖3b所示。由圖3可知，人眼對(duì)明視覺(jué)下波長(zhǎng)為550 nm的光和暗視覺(jué)下波長(zhǎng)為505 nm的光最敏感；對(duì)可見(jiàn)光譜中部區(qū)域更敏感，越靠近光譜兩端，人眼的敏感度越弱。

Figure 3 Visible spectrum and visual function curve圖3 可見(jiàn)光譜圖與視見(jiàn)函數(shù)曲線

根據(jù)人眼色彩對(duì)比度敏感的視覺(jué)特性，Nadenau[16]提出了色度模型CSF[16],如式(1)所示：

CSF(fθ)=a·expbf(θ)c

(1)

其中，a、b和c為常數(shù);θ為觀察視角;fθ為角頻率，定義為單位空間視角內(nèi)刺激人眼的條紋的周期數(shù)目。

CSFrg和CSFby分別表示藍(lán)黃和紅綠對(duì)立色的色度模型函數(shù)[17]，其常數(shù)取值如表1所示。

Table 1 Constant values in the chromaticity model function表1 色度模型函數(shù)中的常數(shù)值

3.2 圖像色彩顯著區(qū)域的提取

郭迎春等[18]參照人眼視覺(jué)注意機(jī)制理論，選擇性地提取圖像的不同特征，利用合適的融合模型來(lái)實(shí)現(xiàn)特征融合，以達(dá)到圖像顯著區(qū)域提取的目的。本文根據(jù)輸入圖像內(nèi)容信息的不同，采用語(yǔ)義分割劃分圖像邊界并標(biāo)注標(biāo)簽。圖4給出了一幅具有3種語(yǔ)義內(nèi)容的語(yǔ)義區(qū)域劃分過(guò)程。

由圖4可知，利用語(yǔ)義分割模型可以將圖像根據(jù)語(yǔ)義內(nèi)容分割為不同的區(qū)域，標(biāo)注標(biāo)簽后進(jìn)行區(qū)域圖像細(xì)節(jié)復(fù)現(xiàn)。

Figure 4 Division of semantic regions圖4 語(yǔ)義區(qū)域的劃分

人們通常在RGB顏色空間對(duì)數(shù)字圖像進(jìn)行色彩描述。因人眼對(duì)RGB顏色空間感知的不均勻性，本文將像素變換到人眼感知均勻的Lab顏色空間[19]。在顏色空間轉(zhuǎn)換的基礎(chǔ)上，依據(jù)圖像色彩的差異和語(yǔ)義內(nèi)容進(jìn)行圖像差異化區(qū)域提取。圖5展示了對(duì)圖像進(jìn)行差異化色彩區(qū)域劃分的結(jié)果。由圖5可知，根據(jù)圖像中不同顏色對(duì)應(yīng)的像素值不同，可以將圖像的內(nèi)容信息以及邊界細(xì)節(jié)提取出來(lái)，得到色彩區(qū)域顯著圖。

Figure 5 Division results of image differentiated color region 圖5 圖像差異化色彩區(qū)域劃分結(jié)果

從視覺(jué)角度來(lái)說(shuō)，圖像顯著區(qū)域越接近人工標(biāo)記的真值圖，圖像顯著區(qū)域提取算法與人眼視覺(jué)注意機(jī)制關(guān)聯(lián)性越強(qiáng)。

評(píng)價(jià)圖像顯著區(qū)域提取算法的常用評(píng)價(jià)指標(biāo)包括準(zhǔn)確率P(Precision)、召回率R(Recall)等。

假設(shè)檢測(cè)到的二值圖中顯著區(qū)域?yàn)镕N，真值圖中顯著區(qū)域?yàn)镚N，則P和Q的公式定義分別如式(2)和式(3)所示：

(2)

(3)

準(zhǔn)確率P越大，提取結(jié)果越可靠。召回率R越高，提取效果越符合人眼的注意效果。經(jīng)多次實(shí)驗(yàn)得到每幅測(cè)試圖像的準(zhǔn)確率和召回率，求得P和Q的平均值分別為0.962 5和0.852 9，可以此為基礎(chǔ)模擬人眼對(duì)圖像的感知。

3.3 CR-SNIQA算法的孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

CR-SNIQA算法的孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。圖像以樣本對(duì)的形式輸入。使用Inception-ResNet-V2網(wǎng)絡(luò)作為其雙分支網(wǎng)絡(luò)，該網(wǎng)絡(luò)允許并行使用卷積和池化操作，同時(shí)雙分支網(wǎng)絡(luò)之間共享權(quán)值。樣本對(duì)輸入距離層后，采用歐氏距離衡量二者的匹配程度。歐氏距離值越小，樣本的匹配程度越高。

Figure 6 Structure of siamese neural network based on CR-SNIQA algorithm 圖6 CR-SNIQA算法的孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

Figure 7 Structure of Inception-ResNet-V2 network 圖7 Inception-ResNet-V2網(wǎng)絡(luò)結(jié)構(gòu)

Inception-ResNet-V2模塊網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。為進(jìn)一步提高圖像校準(zhǔn)水平，Inception-ResNet-V2采用了殘差網(wǎng)絡(luò)結(jié)構(gòu)，且在Inception中平均池化層代替了傳統(tǒng)的全連接層。該網(wǎng)絡(luò)處理圖像的步驟如下：

步驟1將圖像輸入Stem模塊中進(jìn)行卷積、池化和卷積操作，將其結(jié)果輸入到4個(gè)分支分別進(jìn)行卷積操作后疊加輸出。

步驟2Inception-ResNet-A模塊的內(nèi)部包含4個(gè)分支。第1個(gè)分支將Stem模塊輸出的35×35×384特征圖未進(jìn)行卷積處理直接輸出，另外3個(gè)分支對(duì)Stem模塊輸出的特征圖進(jìn)行一系列卷積操作后，再經(jīng)過(guò)1×1的卷積層，最后與第1個(gè)分支的輸出疊加得到35×35×256的特征圖輸入至Reduction層。

步驟3Inception-ResNet-B和Inception-ResNet-C的模塊內(nèi)部均為3個(gè)分支，第1個(gè)分支直接輸出，其余2個(gè)分支均經(jīng)過(guò)卷積操作。所有支路輸出疊加后的結(jié)果輸入平均池化層，下降損失函數(shù)經(jīng)過(guò)多次迭代設(shè)置參數(shù)為0.8，以確保最佳擬合。

本文引入EMD(Earth Mover’s Distance)損失函數(shù)，以便根據(jù)類別距離懲罰錯(cuò)誤類，獲得更高的預(yù)測(cè)精確度。該函數(shù)是對(duì)特征空間中2個(gè)多維矩陣的某一維距離的一種度量。歸一化的EMD函數(shù)表示如式(4)所示：

(4)

3.4 孿生神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

3.4.1 數(shù)據(jù)集處理

本文所用圖像取自TID2013(Tampere Image Database 2013)圖像庫(kù)，包括25幅分辨率為 324× 512 的彩色參考圖像和其對(duì)應(yīng)的3 000幅失真圖像。失真類型共24種，包括多重高斯噪聲、舒適噪聲、有損壓縮、彩色圖像量化、色差以及稀疏采樣等，每種失真類型包含5種失真水平。該圖像庫(kù)中所有測(cè)試圖像的平均主觀得分MOS(Mean Opinion Score)值是由5個(gè)國(guó)家的971位測(cè)試人員主觀評(píng)分統(tǒng)計(jì)得到的。MOS值的取值范圍為[0,9]，MOS值越大，表示圖像質(zhì)量越好。

將TID2013圖像庫(kù)中的圖像進(jìn)行色彩顯著區(qū)域提取，按照2∶1∶2的比例隨機(jī)劃分原始圖像及相應(yīng)失真圖像的色彩區(qū)域圖，分別作為訓(xùn)練集、驗(yàn)證集和測(cè)試集。因篇幅所限，本文選取TID2013圖像庫(kù)中第8種高斯模糊失真類型和第16種平移位移失真類型及相應(yīng)的5種失真水平作為示例圖像。圖像提取結(jié)果如圖8和圖9所示。

Figure 8 Region extraction results of example image 1 圖8 示例圖像1區(qū)域提取結(jié)果

Figure 9 Region extraction results of example image 2 圖9 示例圖像2區(qū)域提取結(jié)果

3.4.2 模型參數(shù)的訓(xùn)練

初始化實(shí)驗(yàn)?zāi)Ｐ秃螅谟?xùn)練集上訓(xùn)練模型權(quán)重。完整遍歷一次訓(xùn)練集為一次epoch過(guò)程，在驗(yàn)證集上評(píng)估結(jié)果以選取最優(yōu)權(quán)重。將訓(xùn)練的epoch次數(shù)設(shè)置為500，采用小批次梯度下降法完成訓(xùn)練。每經(jīng)過(guò)一次epoch，都在驗(yàn)證集上測(cè)試模型指標(biāo)，綜合考慮損失率最小和準(zhǔn)確率最高因素，判定其是否為最優(yōu)模型。模型在訓(xùn)練集上訓(xùn)練時(shí)，損失函數(shù)EMD的變化曲線如圖10所示。如圖10所示，橫坐標(biāo)表示迭代次數(shù)，縱坐標(biāo)表示損失率。EMD損失函數(shù)呈穩(wěn)定下降趨勢(shì)，表明模型訓(xùn)練情況良好。當(dāng)epoch次數(shù)大于420時(shí)，損失函數(shù)趨于平穩(wěn)。訓(xùn)練完畢后，損失函數(shù)可達(dá)到0.037 9的損失率。

Figure 10 Change curve of loss function EMD圖10 損失函數(shù)EMD的變化曲線

4 實(shí)驗(yàn)結(jié)果與分析

將測(cè)試集中的色彩區(qū)域圖像作為全域圖像的子圖像輸入孿生神經(jīng)網(wǎng)絡(luò)中進(jìn)行評(píng)估，得出各個(gè)子圖像的質(zhì)量評(píng)價(jià)分?jǐn)?shù)。考慮到人眼對(duì)區(qū)域圖像色彩差異的敏感度，以及色彩差異區(qū)域的顏色與RGB空間的親近度，本文對(duì)子圖像的質(zhì)量評(píng)價(jià)值進(jìn)行加權(quán)處理，以獲得整幅圖像的質(zhì)量評(píng)價(jià)分?jǐn)?shù)。加權(quán)處理公式如式(5)所示：

(5)

4.1 對(duì)比算法簡(jiǎn)述

本文將以下8種算法與本文所提算法進(jìn)行準(zhǔn)確率和復(fù)雜度的比較。除峰值信噪比PSNR(Peak Signal to Noise Ratio)算法[20]中按灰度圖像每像素比特?cái)?shù)設(shè)置參數(shù)為8之外，其余算法的原始參數(shù)均來(lái)自原始文獻(xiàn)。由于篇幅所限，每種算法的關(guān)鍵參數(shù)設(shè)置如下：

4.2 算法對(duì)比結(jié)果與分析

本文采用客觀質(zhì)量評(píng)價(jià)值與其對(duì)應(yīng)MOS值的相關(guān)性作為算法性能的評(píng)價(jià)標(biāo)準(zhǔn)。評(píng)價(jià)指標(biāo)包括皮爾森線性相關(guān)系數(shù)PLCC(Pearson Linear Correlation Coefficient)和斯皮爾曼相關(guān)系數(shù)SROCC(Spearman Rank Order Correlation Coefficient)。PLCC用于評(píng)價(jià)算法輸出的質(zhì)量客觀評(píng)價(jià)值和主觀評(píng)價(jià)的線性相關(guān)程度，SROCC用于評(píng)價(jià)算法輸出的質(zhì)量客觀評(píng)價(jià)值和主觀評(píng)價(jià)的單調(diào)性。SROCC/PLCC越大，表示質(zhì)量客觀評(píng)價(jià)算法與主觀評(píng)價(jià)值有良好的一致性。為進(jìn)一步驗(yàn)證本文算法的魯棒性，在LIVE(Laboratory for Image & Video Engineering)數(shù)據(jù)集和CSIQ(Categorical Subjective Image Quality)數(shù)據(jù)集上進(jìn)行了補(bǔ)充實(shí)驗(yàn)。LIVE數(shù)據(jù)集包括29幅參考圖像、5種失真類型對(duì)應(yīng)的779幅失真圖像以及每幅圖像對(duì)應(yīng)的平均主觀得分差異DMOS(Differential Mean Opinion Score)值；CSIQ數(shù)據(jù)集包括30幅參考圖像、6種失真類型對(duì)應(yīng)的866幅失真圖像以及每幅圖像對(duì)應(yīng)的DMOS值。表2給出了不同算法在TID2013數(shù)據(jù)集、LIVE數(shù)據(jù)集和CSIQ數(shù)據(jù)集上經(jīng)訓(xùn)練、驗(yàn)證和測(cè)試得到的PLCC和SROCC評(píng)價(jià)指標(biāo)值，表中“/”表示該指標(biāo)在算法原始文獻(xiàn)中沒(méi)有給出且難以通過(guò)復(fù)現(xiàn)獲取。

Table 2 Performance comparison of image quality evaluation algorithms表2 圖像質(zhì)量評(píng)價(jià)算法性能比較

由表2可知，本文所提CR-SNIQA算法較部分對(duì)比算法在3個(gè)數(shù)據(jù)集上精確度好。在TID2013數(shù)據(jù)集上，PLCC和SROCC均在0.88以上，相比于PSNR、SSIM、VSNR、FSIM、FSIMc、MAD和MPCC算法的均有較大提高。雖然較MDSI算法的SROCC降低了0.004 2，但其PLCC提高了0.003 0；在CSIQ數(shù)據(jù)集上，PLCC相比PSNR、SSIM、VSNR、FSIM和FSIMc算法的均有提高，SROCC值也高于PSNR和VSNR算法的；在LIVE數(shù)據(jù)集上，PLCC和SROCC均在0.94以上，精確度優(yōu)于PSNR、VSNR和SSIM算法的。綜合評(píng)價(jià)，在人眼主觀感知相關(guān)性方面，所提算法的性能優(yōu)良。

本文算法基于Inception-ResNet-V2深度學(xué)習(xí)網(wǎng)絡(luò)，用Python3.7語(yǔ)言實(shí)現(xiàn)。其運(yùn)行環(huán)境中，CPU為Intel i7-10750H 2.59 GHz;GPU為NVIDIA GTX 1060，16 GB內(nèi)存。本文算法參數(shù)設(shè)定如表3所示，該組參數(shù)均經(jīng)過(guò)優(yōu)化迭代得出，本文實(shí)驗(yàn)結(jié)果均在該參數(shù)的基礎(chǔ)上得到。

Table 3 Parameters setting of the proposed algorithm 表3 本文算法參數(shù)設(shè)定

為評(píng)估算法的復(fù)雜度，本文將CR-SNIQA算法的評(píng)價(jià)時(shí)間與其它算法的進(jìn)行了對(duì)比。以每10幅圖像運(yùn)行的平均時(shí)間作為衡量指標(biāo)，比較結(jié)果如圖11和表4所示。表4中，每種失真類型名稱下的數(shù)字表示其包含的圖像數(shù)量。

Figure 11 Comparison of running time of algorithm evaluation for every 10 images圖11 算法評(píng)價(jià)每10幅圖像的運(yùn)行時(shí)間對(duì)比

Table 4 Average running time of the CR-SNIQA algorithm per 10 images in a single distortion class表4 CR-SNIQA算法在單一失真類型中每10幅圖像的平均運(yùn)行時(shí)間 s

由表4可知，在TID2013數(shù)據(jù)集上，CR-SNIQA算法對(duì)AGN失真類別中每10幅圖像的平均運(yùn)行時(shí)間最長(zhǎng)，為2.950 s,對(duì)NEPN失真類別的運(yùn)行時(shí)間最短，為1.830 s；在CSIQ數(shù)據(jù)集上，對(duì)AWGN失真類別中每10幅圖像的平均運(yùn)行時(shí)間最長(zhǎng)，為2.470 s,對(duì)FNIOSE失真類別的運(yùn)行時(shí)間最短，為1.960 s；在LIVE數(shù)據(jù)集上，對(duì)FASTFA失真類別中每10幅圖像的平均運(yùn)行時(shí)間最長(zhǎng)，為2.360 s,對(duì)BLUR失真類別的運(yùn)行時(shí)間最短，為1.990 s。通過(guò)分別計(jì)算CR-SNIQA算法在3個(gè)數(shù)據(jù)集上運(yùn)行時(shí)間的平均值可知，在TID2013數(shù)據(jù)集上每10幅圖像的平均運(yùn)行時(shí)間為1.938 7 s，明顯少于在CSIQ和LIVE數(shù)據(jù)集上2.238 3 s和2.174 s的平均運(yùn)行時(shí)間。

不同算法在3個(gè)數(shù)據(jù)集上每運(yùn)行10幅圖像的平均時(shí)間對(duì)比如表5所示。

Table 5 Comparison of average time of 10 images each run by different algorithms表5 不同算法每運(yùn)行10幅圖像的平均時(shí)間對(duì)比 s

算法的運(yùn)行時(shí)間可在一定程度上反映其復(fù)雜程度，故本文通過(guò)3個(gè)數(shù)據(jù)集上運(yùn)行時(shí)間的平均值對(duì)算法的復(fù)雜程度進(jìn)行比較。由表4可見(jiàn)，本文所提CR-SNIQA算法在TID2013數(shù)據(jù)集上每10幅圖像的運(yùn)行時(shí)間明顯少于在CSIQ和LIVE數(shù)據(jù)集上的運(yùn)行時(shí)間。通過(guò)與不同算法運(yùn)行時(shí)間的對(duì)比可知，所提算法復(fù)雜度明顯低于FSIMc、VSNR、 MAD和MPCC算法,而高于PSNR和SSIM，但在精確度上，所提算法的較高。根據(jù)CR-SNIQA算法流程分析其具有較低復(fù)雜度的原因是：對(duì)色彩區(qū)域特征提取的優(yōu)化以及Inception結(jié)構(gòu)中因?qū)蛹?jí)結(jié)構(gòu)的改進(jìn)而減少了參數(shù)處理量。綜合評(píng)估精確度和復(fù)雜度得出,CR-SNIQA算法可作為一個(gè)思路推廣于圖像質(zhì)量評(píng)價(jià)領(lǐng)域。

5 結(jié)束語(yǔ)

本文算法考慮了人類視覺(jué)對(duì)圖像色彩信息的感知，將顏色作為視覺(jué)線索，提取原始圖像和參考圖像中顏色對(duì)比顯著的區(qū)域。將提取后的色彩區(qū)域輸入孿生神經(jīng)網(wǎng)絡(luò)中進(jìn)行質(zhì)量評(píng)價(jià)。結(jié)果表明，利用孿生神經(jīng)網(wǎng)絡(luò)對(duì)圖像色彩差異化區(qū)域進(jìn)行質(zhì)量評(píng)價(jià)具有可行性，可作為彩色圖像質(zhì)量評(píng)估的一種新思路。今后將在本文基礎(chǔ)上考慮視差對(duì)立體圖像質(zhì)量評(píng)價(jià)的影響以及探索遷移學(xué)習(xí)和顏色識(shí)別在質(zhì)量評(píng)價(jià)算法中的應(yīng)用。發(fā)展通用型的圖像質(zhì)量評(píng)價(jià)算法實(shí)現(xiàn)對(duì)所有圖像的評(píng)價(jià)，可作為未來(lái)的研究課題之一。