趙 月，王來(lái)花，齊蘇敏，王偉勝，劉 晨

(曲阜師范大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，山東 曲阜 273165)

1 引言

圖像是描述現(xiàn)實(shí)情景的重要載體，是人類視覺和機(jī)器模式識(shí)別的重要信息來(lái)源之一，反映了客觀對(duì)象的有關(guān)信息。以照相機(jī)、手機(jī)為代表的圖像采集設(shè)備，在醫(yī)療、交通、教育等領(lǐng)域中的應(yīng)用越來(lái)越廣泛。設(shè)備采集的圖像質(zhì)量越高，越有利于信息的獲取。但是，圖像采集時(shí)的環(huán)境并不是完全符合人們意愿的，并且設(shè)備在采集過(guò)程中會(huì)出現(xiàn)抖動(dòng)等現(xiàn)象。尤其是在夜間，由于光照條件不足，設(shè)備獲取的圖像對(duì)比度低[1]，灰度范圍較窄，相鄰像素不具備較高的空間相關(guān)性[2]，且特征點(diǎn)不明顯，使得圖像紋理特征不明顯，從而導(dǎo)致圖像無(wú)法完整地傳遞真實(shí)場(chǎng)景中的細(xì)節(jié)信息[3]，不利于人類的觀察與研究。因此，有效地評(píng)價(jià)夜間圖像的質(zhì)量，對(duì)采集設(shè)備性能的優(yōu)化以及夜間圖像的可視化應(yīng)用有著極其重要的意義。

最近幾年，針對(duì)夜間圖像質(zhì)量的提升，眾多處理算法應(yīng)運(yùn)而生。王云飛等人[4]提出了一種基于條件生成對(duì)抗網(wǎng)絡(luò)的夜間圖像去霧算法，在除去夜間霧的同時(shí)還保留了圖像的清晰圖。曾皓等人[5]提出了一種基于ASIFT(Affine Scale-Invariant Feature Transform)的夜間圖像配準(zhǔn)算法，避免了圖像中的重影問題，增加了圖像的細(xì)節(jié)信息。

隨著圖像處理技術(shù)的發(fā)展，圖像質(zhì)量評(píng)價(jià)方法的研究得到進(jìn)一步的重視。然而針對(duì)處理前后的夜間圖像缺乏專門的質(zhì)量評(píng)價(jià)指標(biāo)、相關(guān)數(shù)據(jù)庫(kù)和評(píng)價(jià)方法。主觀質(zhì)量評(píng)價(jià)通過(guò)招募實(shí)驗(yàn)人員對(duì)實(shí)驗(yàn)圖像進(jìn)行評(píng)價(jià)，更準(zhǔn)確地反映了圖像給人類帶來(lái)的視覺體驗(yàn)。但是，主觀評(píng)價(jià)不易于移植到實(shí)際的應(yīng)用中，客觀圖像質(zhì)量評(píng)價(jià)可以快速簡(jiǎn)單地評(píng)價(jià)圖像質(zhì)量，結(jié)合主觀分?jǐn)?shù)可以衡量客觀評(píng)價(jià)的準(zhǔn)確性，圖像質(zhì)量評(píng)價(jià)主要分為全參考(Full- reference)、半?yún)⒖?Reduced-reference)和無(wú)參考(No-reference)[6]。Wang等人[6]提出了結(jié)構(gòu)相似性算法SSIM (Structural SIMilarity) 算法，通過(guò)對(duì)比參考圖和失真圖的亮度以及對(duì)比度和結(jié)構(gòu)信息的一致性，評(píng)價(jià)圖像失真情況，該算法有效促進(jìn)了圖像質(zhì)量評(píng)價(jià)的發(fā)展。Mittal等人[7]提出了一種基于空域歸一化稀疏的BRISQUE(Blind/Referenceless Image Spatial QUality Evaluator)算法，通過(guò)把提取的圖像特征輸入回歸模型，評(píng)價(jià)圖像質(zhì)量。文獻(xiàn)[8]首次建立了NNID(Natural Night-time Image Database)數(shù)據(jù)庫(kù)，為后期夜間圖像質(zhì)量評(píng)價(jià)奠定了基礎(chǔ)。

范媛媛等人[9]應(yīng)用BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)無(wú)參考峰值信噪比質(zhì)量評(píng)價(jià)方法中閾值參數(shù)的預(yù)測(cè)優(yōu)化，但只選擇了2個(gè)輸入，并不能很好地代表圖像的信息；楊文峯等人[10]提出一種基于BP神經(jīng)網(wǎng)絡(luò)的皮膚鏡圖像綜合評(píng)價(jià)模型，可以很好地評(píng)價(jià)皮膚鏡圖像的質(zhì)量，但輸入為光照不均、模糊、毛發(fā)因素的等級(jí)評(píng)分，并不能全面顯示圖像特征，等級(jí)評(píng)價(jià)不夠準(zhǔn)確；李莧蘭等人[11]借助信息熵和對(duì)比度等信息通過(guò)BP神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)掌靜脈圖像的質(zhì)量，提高了分類準(zhǔn)確率；劉歆等人[12]利用等高線原理提取車型輪廓，缺點(diǎn)是迭代次數(shù)也就是弱分類器數(shù)目不太好設(shè)定，數(shù)據(jù)不平衡導(dǎo)致分類精度下降，訓(xùn)練比較耗時(shí)；梁敏瑜等人[13]提取了邊緣梯度信息,并對(duì)圖像區(qū)域進(jìn)行區(qū)域加權(quán)，但是該模型只用到了梯度幅值，對(duì)于圖像特征的考慮不是特別全面；薛萬(wàn)勛[14]對(duì)邊緣檢測(cè)方法進(jìn)行了改進(jìn)，并結(jié)合BP-GA(Back Propagation Genetic Algorithm)神經(jīng)網(wǎng)絡(luò)提出一種遙感圖像質(zhì)量評(píng)價(jià)方法。基于BP在圖像質(zhì)量評(píng)價(jià)中取得的效果，本文也將其應(yīng)用于夜間圖像質(zhì)量評(píng)價(jià)。

目前針對(duì)夜間圖像的研究依然較少。首先，夜間圖像由于光線弱、細(xì)節(jié)不清晰等特點(diǎn)，在質(zhì)量評(píng)價(jià)上存在一定難度，通用質(zhì)量評(píng)價(jià)方法應(yīng)用到夜間圖像質(zhì)量評(píng)價(jià)上效果欠佳。其次，缺少夜間圖像的評(píng)價(jià)指標(biāo)。最后，全參考質(zhì)量評(píng)價(jià)方法需要同時(shí)提供失真圖和參考圖，但在實(shí)際應(yīng)用中，往往無(wú)法提供參考圖。因此，本文提出一種有效評(píng)價(jià)夜間圖像的無(wú)參考質(zhì)量評(píng)價(jià)方法，更具有實(shí)際應(yīng)用價(jià)值。

2 基于全局和局部特征的無(wú)參考夜間圖像質(zhì)量評(píng)價(jià)方法

本節(jié)將詳細(xì)介紹提出的無(wú)參考夜間圖像質(zhì)量評(píng)價(jià)方法，所提方法的框架圖如圖1所示，具體步驟如下:

(1)利用等高線原理，將夜間圖像分割為不同亮度等級(jí)的區(qū)域，根據(jù)閾值劃分為亮區(qū)域和暗區(qū)域，以亮區(qū)域占據(jù)整幅圖像的比例作為特征1。

(2)提取出夜間圖像的全局亮度，作為特征2。

(3)合并夜間圖像水平和垂直梯度2個(gè)方向上的邊緣圖，將合并后圖中的邊緣作為特征3。

(4)將夜間圖像從RGB轉(zhuǎn)化到HSI，分別提取色度、飽和度和亮度作為特征4～特征6。

(5)將上述特征與對(duì)應(yīng)的平均意見值MOS(Mean Opinion Score)輸入BP神經(jīng)網(wǎng)絡(luò)。

(6)將提取的測(cè)試圖像的特征輸入到訓(xùn)練好的BP模型，即可預(yù)測(cè)夜間圖像質(zhì)量分?jǐn)?shù)。

Figure 1 Framework of the proposed method圖1 本文方法框架圖

2.1 等高線與局部亮區(qū)域

Figure 2 Contour division sample 圖2 等高線劃分示例圖

夜間圖像中存在亮度較好、圖像細(xì)節(jié)信息較為完整的局部區(qū)域，局部區(qū)域亮度越好，圖像中質(zhì)量高的區(qū)域就越多，因此本節(jié)將局部亮區(qū)域作為夜間圖像質(zhì)量的重要參考特征。等高線是利用空間上各點(diǎn)的高度作為該點(diǎn)投影在平面的坐標(biāo)的函數(shù)，相同高度的相鄰點(diǎn)垂直投影到坐標(biāo)平面上時(shí)位于同一等高線上，若干等高線構(gòu)成的等高線簇可以繪制出空間圖像的輪廓[15]。由于圖像輪廓處可以反映明暗交界，本文結(jié)合等高線原理提取圖像中的局部亮區(qū)域，將圖2中夜間圖像進(jìn)行等高線劃分，把灰度值相同的點(diǎn)確定在同一個(gè)平面上。

從圖2中可以看出，原圖中越暗的區(qū)域，數(shù)值越小。因此，本文通過(guò)式(1)將圖2中亮度不同的區(qū)域分割為暗區(qū)域與亮區(qū)域，如圖3所示。

(1)

圖3給出了部分夜間圖像經(jīng)過(guò)劃分后的二值圖像。在圖4中將圖像按照MOS值降序進(jìn)行排列，不難發(fā)現(xiàn)，圖像中黑色區(qū)域占整幅圖像的比例越高(即feature1越大)，圖像中亮區(qū)域越多，圖像質(zhì)量越好。因此，根據(jù)式(2)將圖中的亮區(qū)域作為代表整幅圖像質(zhì)量的特征提取出來(lái)。

Figure 3 Area division binary image圖3 區(qū)域劃分二值圖

Figure 4 Comparison image圖4 比較圖

(2)

其中，feature1代表亮區(qū)域特征，M代表圖像的長(zhǎng)，N代表圖像的寬。對(duì)比圖4中將提取的特征與夜間圖像對(duì)應(yīng)的MOS值，發(fā)現(xiàn)特征與MOS值保持一致。

2.2 全局亮度

視覺的特性是非線性的，過(guò)亮或過(guò)暗的圖像質(zhì)量都不好，因此適當(dāng)?shù)牧炼仁侨祟愐曈X評(píng)價(jià)圖像質(zhì)量的最重要參數(shù)[16]。視覺生理研究發(fā)現(xiàn)：人眼在觀察圖像時(shí)，先是獲取圖像的整體信息，然后才是圖像的局部信息[17]。亮度會(huì)影響夜間圖像的對(duì)比度和像素值，使圖像夾雜較大噪聲，灰度覆蓋范圍較為集中，且圖像中會(huì)丟失大量的細(xì)節(jié)[18]。當(dāng)全局亮度值過(guò)低時(shí)，圖像中細(xì)節(jié)不易觀察，則質(zhì)量越差，當(dāng)圖像過(guò)分曝光，圖像質(zhì)量也會(huì)下降。

夜間圖像的亮度是決定圖像質(zhì)量的重要因素，而RGB本身沒有亮度分量。在彩色電視中，PAL制亮度誤差最小[19,20]。因此，本文采用式(3)所示的亮度方程，提取全局亮度，將其作為夜間圖像的特征。

Bright=0.3*f(:,:,1)+

0.59*f(:,:,2)+0.11*f(:,:,3)

(3)

其中，Bright代表圖像的全局亮度，f(:,:,1)、f(:,:,2)和f(:,:,3)是分別表示圖像的R、G和B 3個(gè)顏色通道中的三基色值。

2.3 邊緣檢測(cè)

人眼對(duì)圖像質(zhì)量的評(píng)價(jià)一部分是基于圖像的結(jié)構(gòu)信息，而圖像的主要結(jié)構(gòu)信息集中在邊緣處[21]。邊緣處圖像的灰度值會(huì)發(fā)生突變，在突變處圖像梯度存在極大值，因此利用梯度可以很好地反映出圖像的紋理結(jié)構(gòu)信息。

本文利用微分算子法計(jì)算夜間圖像的水平梯度和垂直梯度，然后利用水平梯度和垂直梯度分別求得2個(gè)方向上圖像的邊緣Edge_x和Edge_y。

(4)

其中，Edge_f是夜間圖像合并水平和垂直2個(gè)梯度方向上邊緣的邊緣圖，(i,j)是像素點(diǎn)坐標(biāo)。

梯度邊緣圖如圖5所示。將Edge_f中的邊緣作為夜間圖像的特征，可以看出提取的邊緣越多，夜間圖像中的物體細(xì)節(jié)越易觀察。

Figure 5 Gradient edge image圖5 梯度邊緣圖

2.4 HSI空間分量提取

HSI與人類視覺認(rèn)知的彩色圖像具有高度一致性[22]。HSI顏色模型包括3個(gè)分量：色度、飽和度和亮度,HSI分量圖如圖6所示。3個(gè)分量相互獨(dú)立，其中1個(gè)分量發(fā)生變化不會(huì)引起另外2個(gè)分量變化。其中，I代表顏色的明亮程度，主要是從顏色角度出發(fā)，側(cè)重于描述色彩。在夜間圖像中由于光線不足，RGB圖像中各個(gè)分量會(huì)相互影響，因此本文根據(jù)HSI中變量相互獨(dú)立的特性，將H、S、I3個(gè)特性作為夜間圖像質(zhì)量評(píng)價(jià)的標(biāo)準(zhǔn)。

H=arccos((0.5*(2*f(:,:,1)′-f(:,:,2)′-

f(:,:,3)′))/(((f(:,:,1)′-f(:,:,2)′)2+

(f(:,:,1)′-f(:,:,2)′)*((f(:,:,3)′-

(5)

(6)

(7)

Figure 6 HSI component images圖6 HSI分量圖

2.5 質(zhì)量評(píng)價(jià)模型

本節(jié)采用BP神經(jīng)網(wǎng)絡(luò)建立夜間圖像質(zhì)量評(píng)價(jià)模型，以評(píng)價(jià)最終圖像的質(zhì)量。將前文提取的6個(gè)重要特征作為輸入層，設(shè)定隱含層為4層，將對(duì)應(yīng)的MOS值作為輸出層。本文BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程如圖7所示。

Figure 7 BP prediction model圖7 BP預(yù)測(cè)模型

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)庫(kù)

迄今為止，針對(duì)夜間圖像的質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)并不多，本文采用的是NNID數(shù)據(jù)庫(kù)[8]。此數(shù)據(jù)庫(kù)包含448組圖像，每組有曝光、光圈、快門、ISO設(shè)置不同的5幅圖像，總共2 240幅夜間圖像，這些圖像的拍攝位置、拍攝角度、景深和焦距保持一致。如表1所示，按拍攝設(shè)備分類，280組圖像是由數(shù)碼相機(jī)(Nikon D5300)捕獲的，128組圖像是由手機(jī)(iPhone 8plus)捕獲的，剩余40組是由平板電腦(iPad mini2)捕獲的。按分辨率分類，分辨率為512×512,1024×1024和2048×2048的圖像各為268,90和90組。所有圖像均以JPEG格式保存。

Table 1 NNID database

3.2 性能衡量準(zhǔn)則

衡量一個(gè)算法性能的優(yōu)劣通常是看該算法對(duì)各種失真圖像的評(píng)分和數(shù)據(jù)庫(kù)中給出的平均主觀評(píng)分值之間的相關(guān)度，相關(guān)度越高，說(shuō)明該算法的性能越好，反之越差。本文采用以下4個(gè)評(píng)價(jià)參數(shù)，它們分別是SRCC、KRCC、PLCC和RMSE。SRCC、KRCC和PLCC取值在[0,1]，越接近1越好。RMSE取值在[0，∞]，越接近0越好。

在計(jì)算了目標(biāo)分?jǐn)?shù)之后，本文通過(guò)5參數(shù)邏輯函數(shù)將分?jǐn)?shù)映射到主觀評(píng)分，如式(8)所示：

δ4·x+δ5

(8)

其中，F(xiàn)(x)是擬合的分?jǐn)?shù)，x是客觀得分，δ1、δ2、δ3、δ4和δ5是回歸函數(shù)的系數(shù)。x映射到F(x)，其幅度范圍與MOS相似。

3.3 測(cè)試與驗(yàn)證

本節(jié)給出了部分夜間圖像對(duì)應(yīng)的MOS值及其6個(gè)特征值，較高的MOS值意味圖像的質(zhì)量較好。夜間圖像數(shù)據(jù)庫(kù)中并未給出參考圖像，因此選擇內(nèi)容一致且質(zhì)量最好的夜間圖像作為偽參考圖像。通過(guò)對(duì)比MOS值和特征值，發(fā)現(xiàn)本文提取的特征值與MOS值具有高度一致性。

因早期并沒有針對(duì)夜間圖像的數(shù)據(jù)庫(kù)，所以在夜間圖像質(zhì)量評(píng)價(jià)的研究上缺少針對(duì)性的方法。為了驗(yàn)證本文方法的有效性，選取了主流質(zhì)量評(píng)價(jià)方法在NNID數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)，包括：ADD-SSIM[23]、IL-NIQE(Integrated Local-Natural Image Quality Evaluator)[24]、NIQE(Natural Image Quality Evaluator)[25]、GSM[26]、QAC(Quality- Aware Clustering)[27]、ARISM(AutoRegressive-based Image Sharpness Metric)[28]、LTG(Local-Tuned-Global)[29]和 QMC(Quality assessment Metric of Contrast)[30]。

選取80%的圖像組成訓(xùn)練集，20%的圖像組成測(cè)試集。為保證評(píng)估的準(zhǔn)確性，避免因一次分割數(shù)據(jù)集導(dǎo)致的偶然結(jié)果，進(jìn)行了1 000次迭代實(shí)驗(yàn)。在圖8中給出了隨機(jī)劃分后本文方法的預(yù)測(cè)分?jǐn)?shù)(Proposed值)與夜間圖像數(shù)據(jù)庫(kù)中提供的MOS值的比較，從數(shù)值比較中可以直觀地看出：本文方法預(yù)測(cè)偏差較小，與主觀分?jǐn)?shù)具有一致性。

Figure 8 Comparison of some predicted values and MOS values圖8 部分預(yù)測(cè)值和MOS值比較

此外，本文還用劃分后的數(shù)據(jù)基于支持向量回歸SVR(Support Vector Regression)訓(xùn)練了一個(gè)質(zhì)量模型，并將其與BP模型進(jìn)行對(duì)比。將80%的數(shù)據(jù)用于訓(xùn)練，20%的數(shù)據(jù)用于測(cè)試，隨機(jī)訓(xùn)練1 000次，將訓(xùn)練結(jié)果的中值作為實(shí)驗(yàn)結(jié)果，最終得到：PLCC=0.8383,SRCC=0.8329,KRCC=0.6449,RMSE=0.1115。

在圖9中給出了算法的散點(diǎn)圖。為避免偶然性，本文只給出測(cè)試集圖像的散點(diǎn)圖。其余算法均是基于整個(gè)數(shù)據(jù)庫(kù)，從圖9中可以直觀地看出，主流的評(píng)價(jià)算法不能有效評(píng)價(jià)夜間圖像的質(zhì)量，這與夜間圖像的特點(diǎn)是密不可分的。因此，針對(duì)夜間圖像設(shè)計(jì)一個(gè)專用的質(zhì)量評(píng)價(jià)方法是具有實(shí)際價(jià)值的。

Figure 9 Scatter plots of different methods圖9 不同方法的散點(diǎn)圖

傳統(tǒng)2D圖像質(zhì)量評(píng)價(jià)方法并不能有效地評(píng)價(jià)夜間圖像，IL-NIQE取得了PLCC=0.7160，SRCC=0.7103的結(jié)果，顯然這樣的結(jié)果并不令人滿意。本文提出的方法在PLCC和SRCC上的取值均超過(guò)0.8，與主觀分?jǐn)?shù)具有一致性。SVR在PLCC、SRCC和KRCC上的表現(xiàn)均不如本文方法，但是在RMSE上的表現(xiàn)比本文方法更優(yōu)。更值得強(qiáng)調(diào)的是，由于夜間圖像數(shù)據(jù)庫(kù)中并未提供參考圖像，本文無(wú)需借助參考圖像進(jìn)行實(shí)驗(yàn)，解決了現(xiàn)實(shí)條件下無(wú)法獲得參考圖像的問題，因此本文方法更具有實(shí)際參考價(jià)值。

4 結(jié)束語(yǔ)

針對(duì)現(xiàn)有的特征提取方法無(wú)法有效提取夜間圖像的特征，從而無(wú)法準(zhǔn)確評(píng)價(jià)夜間圖像質(zhì)量的問題，本文提出了一種結(jié)合全局和局部特征的無(wú)參考夜間圖像質(zhì)量評(píng)價(jià)方法。首先借助等高線原理，將灰度值不同的圖像視為地理學(xué)中復(fù)雜的地形，從而將圖像分為亮區(qū)域和暗區(qū)域2部分。其次，提取了夜間圖像的全局亮度。再次，通過(guò)微分算子法計(jì)算夜間圖像的水平和垂直梯度，合并2個(gè)方向上圖像的邊緣。然后，將HSI空間中的3個(gè)分量色度、飽和度、亮度分別作為特征4～特征6。最后，將上述特征作為BP神經(jīng)網(wǎng)絡(luò)的輸入，MOS值作為輸出，反復(fù)迭代，得到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)。至此，便可以利用模型評(píng)價(jià)夜間圖像的質(zhì)量。實(shí)驗(yàn)結(jié)果表明，所提方法的性能優(yōu)于主流的圖像質(zhì)量評(píng)價(jià)方法。后續(xù)工作將重點(diǎn)集中于由U-net對(duì)夜間圖像進(jìn)行分割，分塊提取圖像特征，以更加全面地評(píng)價(jià)夜間圖像質(zhì)量。

Table 2 Performance comparison on NNID database