趙 月，王來花，齊蘇敏，王偉勝，劉 晨

(曲阜師范大學網(wǎng)絡空間安全學院，山東 曲阜 273165)

1 引言

圖像是描述現(xiàn)實情景的重要載體，是人類視覺和機器模式識別的重要信息來源之一，反映了客觀對象的有關(guān)信息。以照相機、手機為代表的圖像采集設(shè)備，在醫(yī)療、交通、教育等領(lǐng)域中的應用越來越廣泛。設(shè)備采集的圖像質(zhì)量越高，越有利于信息的獲取。但是，圖像采集時的環(huán)境并不是完全符合人們意愿的，并且設(shè)備在采集過程中會出現(xiàn)抖動等現(xiàn)象。尤其是在夜間，由于光照條件不足，設(shè)備獲取的圖像對比度低[1]，灰度范圍較窄，相鄰像素不具備較高的空間相關(guān)性[2]，且特征點不明顯，使得圖像紋理特征不明顯，從而導致圖像無法完整地傳遞真實場景中的細節(jié)信息[3]，不利于人類的觀察與研究。因此，有效地評價夜間圖像的質(zhì)量，對采集設(shè)備性能的優(yōu)化以及夜間圖像的可視化應用有著極其重要的意義。

最近幾年，針對夜間圖像質(zhì)量的提升，眾多處理算法應運而生。王云飛等人[4]提出了一種基于條件生成對抗網(wǎng)絡的夜間圖像去霧算法，在除去夜間霧的同時還保留了圖像的清晰圖。曾皓等人[5]提出了一種基于ASIFT(Affine Scale-Invariant Feature Transform)的夜間圖像配準算法，避免了圖像中的重影問題，增加了圖像的細節(jié)信息。

隨著圖像處理技術(shù)的發(fā)展，圖像質(zhì)量評價方法的研究得到進一步的重視。然而針對處理前后的夜間圖像缺乏專門的質(zhì)量評價指標、相關(guān)數(shù)據(jù)庫和評價方法。主觀質(zhì)量評價通過招募實驗人員對實驗圖像進行評價，更準確地反映了圖像給人類帶來的視覺體驗。但是，主觀評價不易于移植到實際的應用中，客觀圖像質(zhì)量評價可以快速簡單地評價圖像質(zhì)量，結(jié)合主觀分數(shù)可以衡量客觀評價的準確性，圖像質(zhì)量評價主要分為全參考(Full- reference)、半?yún)⒖?Reduced-reference)和無參考(No-reference)[6]。Wang等人[6]提出了結(jié)構(gòu)相似性算法SSIM (Structural SIMilarity) 算法，通過對比參考圖和失真圖的亮度以及對比度和結(jié)構(gòu)信息的一致性，評價圖像失真情況，該算法有效促進了圖像質(zhì)量評價的發(fā)展。Mittal等人[7]提出了一種基于空域歸一化稀疏的BRISQUE(Blind/Referenceless Image Spatial QUality Evaluator)算法，通過把提取的圖像特征輸入回歸模型，評價圖像質(zhì)量。文獻[8]首次建立了NNID(Natural Night-time Image Database)數(shù)據(jù)庫，為后期夜間圖像質(zhì)量評價奠定了基礎(chǔ)。

范媛媛等人[9]應用BP(Back Propagation)神經(jīng)網(wǎng)絡，實現(xiàn)了對無參考峰值信噪比質(zhì)量評價方法中閾值參數(shù)的預測優(yōu)化，但只選擇了2個輸入，并不能很好地代表圖像的信息；楊文峯等人[10]提出一種基于BP神經(jīng)網(wǎng)絡的皮膚鏡圖像綜合評價模型，可以很好地評價皮膚鏡圖像的質(zhì)量，但輸入為光照不均、模糊、毛發(fā)因素的等級評分，并不能全面顯示圖像特征，等級評價不夠準確；李莧蘭等人[11]借助信息熵和對比度等信息通過BP神經(jīng)網(wǎng)絡評價掌靜脈圖像的質(zhì)量，提高了分類準確率；劉歆等人[12]利用等高線原理提取車型輪廓，缺點是迭代次數(shù)也就是弱分類器數(shù)目不太好設(shè)定，數(shù)據(jù)不平衡導致分類精度下降，訓練比較耗時；梁敏瑜等人[13]提取了邊緣梯度信息,并對圖像區(qū)域進行區(qū)域加權(quán)，但是該模型只用到了梯度幅值，對于圖像特征的考慮不是特別全面；薛萬勛[14]對邊緣檢測方法進行了改進，并結(jié)合BP-GA(Back Propagation Genetic Algorithm)神經(jīng)網(wǎng)絡提出一種遙感圖像質(zhì)量評價方法?；贐P在圖像質(zhì)量評價中取得的效果，本文也將其應用于夜間圖像質(zhì)量評價。

目前針對夜間圖像的研究依然較少。首先，夜間圖像由于光線弱、細節(jié)不清晰等特點，在質(zhì)量評價上存在一定難度，通用質(zhì)量評價方法應用到夜間圖像質(zhì)量評價上效果欠佳。其次，缺少夜間圖像的評價指標。最后，全參考質(zhì)量評價方法需要同時提供失真圖和參考圖，但在實際應用中，往往無法提供參考圖。因此，本文提出一種有效評價夜間圖像的無參考質(zhì)量評價方法，更具有實際應用價值。

2 基于全局和局部特征的無參考夜間圖像質(zhì)量評價方法

本節(jié)將詳細介紹提出的無參考夜間圖像質(zhì)量評價方法，所提方法的框架圖如圖1所示，具體步驟如下:

(1)利用等高線原理，將夜間圖像分割為不同亮度等級的區(qū)域，根據(jù)閾值劃分為亮區(qū)域和暗區(qū)域，以亮區(qū)域占據(jù)整幅圖像的比例作為特征1。

(2)提取出夜間圖像的全局亮度，作為特征2。

(3)合并夜間圖像水平和垂直梯度2個方向上的邊緣圖，將合并后圖中的邊緣作為特征3。

(4)將夜間圖像從RGB轉(zhuǎn)化到HSI，分別提取色度、飽和度和亮度作為特征4～特征6。

(5)將上述特征與對應的平均意見值MOS(Mean Opinion Score)輸入BP神經(jīng)網(wǎng)絡。

(6)將提取的測試圖像的特征輸入到訓練好的BP模型，即可預測夜間圖像質(zhì)量分數(shù)。

Figure 1 Framework of the proposed method圖1 本文方法框架圖

2.1 等高線與局部亮區(qū)域

Figure 2 Contour division sample 圖2 等高線劃分示例圖

夜間圖像中存在亮度較好、圖像細節(jié)信息較為完整的局部區(qū)域，局部區(qū)域亮度越好，圖像中質(zhì)量高的區(qū)域就越多，因此本節(jié)將局部亮區(qū)域作為夜間圖像質(zhì)量的重要參考特征。等高線是利用空間上各點的高度作為該點投影在平面的坐標的函數(shù)，相同高度的相鄰點垂直投影到坐標平面上時位于同一等高線上，若干等高線構(gòu)成的等高線簇可以繪制出空間圖像的輪廓[15]。由于圖像輪廓處可以反映明暗交界，本文結(jié)合等高線原理提取圖像中的局部亮區(qū)域，將圖2中夜間圖像進行等高線劃分，把灰度值相同的點確定在同一個平面上。

從圖2中可以看出，原圖中越暗的區(qū)域，數(shù)值越小。因此，本文通過式(1)將圖2中亮度不同的區(qū)域分割為暗區(qū)域與亮區(qū)域，如圖3所示。

(1)

圖3給出了部分夜間圖像經(jīng)過劃分后的二值圖像。在圖4中將圖像按照MOS值降序進行排列，不難發(fā)現(xiàn)，圖像中黑色區(qū)域占整幅圖像的比例越高(即feature1越大)，圖像中亮區(qū)域越多，圖像質(zhì)量越好。因此，根據(jù)式(2)將圖中的亮區(qū)域作為代表整幅圖像質(zhì)量的特征提取出來。

Figure 3 Area division binary image圖3 區(qū)域劃分二值圖

Figure 4 Comparison image圖4 比較圖

(2)

其中，feature1代表亮區(qū)域特征，M代表圖像的長，N代表圖像的寬。對比圖4中將提取的特征與夜間圖像對應的MOS值，發(fā)現(xiàn)特征與MOS值保持一致。

2.2 全局亮度

視覺的特性是非線性的，過亮或過暗的圖像質(zhì)量都不好，因此適當?shù)牧炼仁侨祟愐曈X評價圖像質(zhì)量的最重要參數(shù)[16]。視覺生理研究發(fā)現(xiàn)：人眼在觀察圖像時，先是獲取圖像的整體信息，然后才是圖像的局部信息[17]。亮度會影響夜間圖像的對比度和像素值，使圖像夾雜較大噪聲，灰度覆蓋范圍較為集中，且圖像中會丟失大量的細節(jié)[18]。當全局亮度值過低時，圖像中細節(jié)不易觀察，則質(zhì)量越差，當圖像過分曝光，圖像質(zhì)量也會下降。

夜間圖像的亮度是決定圖像質(zhì)量的重要因素，而RGB本身沒有亮度分量。在彩色電視中，PAL制亮度誤差最小[19,20]。因此，本文采用式(3)所示的亮度方程，提取全局亮度，將其作為夜間圖像的特征。

Bright=0.3*f(:,:,1)+

0.59*f(:,:,2)+0.11*f(:,:,3)

(3)

其中，Bright代表圖像的全局亮度，f(:,:,1)、f(:,:,2)和f(:,:,3)是分別表示圖像的R、G和B 3個顏色通道中的三基色值。

2.3 邊緣檢測

人眼對圖像質(zhì)量的評價一部分是基于圖像的結(jié)構(gòu)信息，而圖像的主要結(jié)構(gòu)信息集中在邊緣處[21]。邊緣處圖像的灰度值會發(fā)生突變，在突變處圖像梯度存在極大值，因此利用梯度可以很好地反映出圖像的紋理結(jié)構(gòu)信息。

本文利用微分算子法計算夜間圖像的水平梯度和垂直梯度，然后利用水平梯度和垂直梯度分別求得2個方向上圖像的邊緣Edge_x和Edge_y。

(4)

其中，Edge_f是夜間圖像合并水平和垂直2個梯度方向上邊緣的邊緣圖，(i,j)是像素點坐標。

梯度邊緣圖如圖5所示。將Edge_f中的邊緣作為夜間圖像的特征，可以看出提取的邊緣越多，夜間圖像中的物體細節(jié)越易觀察。

Figure 5 Gradient edge image圖5 梯度邊緣圖

2.4 HSI空間分量提取

HSI與人類視覺認知的彩色圖像具有高度一致性[22]。HSI顏色模型包括3個分量：色度、飽和度和亮度,HSI分量圖如圖6所示。3個分量相互獨立，其中1個分量發(fā)生變化不會引起另外2個分量變化。其中，I代表顏色的明亮程度，主要是從顏色角度出發(fā)，側(cè)重于描述色彩。在夜間圖像中由于光線不足，RGB圖像中各個分量會相互影響，因此本文根據(jù)HSI中變量相互獨立的特性，將H、S、I3個特性作為夜間圖像質(zhì)量評價的標準。

H=arccos((0.5*(2*f(:,:,1)′-f(:,:,2)′-

f(:,:,3)′))/(((f(:,:,1)′-f(:,:,2)′)2+

(f(:,:,1)′-f(:,:,2)′)*((f(:,:,3)′-

(5)

(6)

(7)

Figure 6 HSI component images圖6 HSI分量圖

2.5 質(zhì)量評價模型

本節(jié)采用BP神經(jīng)網(wǎng)絡建立夜間圖像質(zhì)量評價模型，以評價最終圖像的質(zhì)量。將前文提取的6個重要特征作為輸入層，設(shè)定隱含層為4層，將對應的MOS值作為輸出層。本文BP神經(jīng)網(wǎng)絡的訓練過程如圖7所示。

Figure 7 BP prediction model圖7 BP預測模型

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)庫

迄今為止，針對夜間圖像的質(zhì)量評價數(shù)據(jù)庫并不多，本文采用的是NNID數(shù)據(jù)庫[8]。此數(shù)據(jù)庫包含448組圖像，每組有曝光、光圈、快門、ISO設(shè)置不同的5幅圖像，總共2 240幅夜間圖像，這些圖像的拍攝位置、拍攝角度、景深和焦距保持一致。如表1所示，按拍攝設(shè)備分類，280組圖像是由數(shù)碼相機(Nikon D5300)捕獲的，128組圖像是由手機(iPhone 8plus)捕獲的，剩余40組是由平板電腦(iPad mini2)捕獲的。按分辨率分類，分辨率為512×512,1024×1024和2048×2048的圖像各為268,90和90組。所有圖像均以JPEG格式保存。

Table 1 NNID database

3.2 性能衡量準則

衡量一個算法性能的優(yōu)劣通常是看該算法對各種失真圖像的評分和數(shù)據(jù)庫中給出的平均主觀評分值之間的相關(guān)度，相關(guān)度越高，說明該算法的性能越好，反之越差。本文采用以下4個評價參數(shù)，它們分別是SRCC、KRCC、PLCC和RMSE。SRCC、KRCC和PLCC取值在[0,1]，越接近1越好。RMSE取值在[0，∞]，越接近0越好。

在計算了目標分數(shù)之后，本文通過5參數(shù)邏輯函數(shù)將分數(shù)映射到主觀評分，如式(8)所示：

δ4·x+δ5

(8)

其中，F(xiàn)(x)是擬合的分數(shù)，x是客觀得分，δ1、δ2、δ3、δ4和δ5是回歸函數(shù)的系數(shù)。x映射到F(x)，其幅度范圍與MOS相似。

3.3 測試與驗證

本節(jié)給出了部分夜間圖像對應的MOS值及其6個特征值，較高的MOS值意味圖像的質(zhì)量較好。夜間圖像數(shù)據(jù)庫中并未給出參考圖像，因此選擇內(nèi)容一致且質(zhì)量最好的夜間圖像作為偽參考圖像。通過對比MOS值和特征值，發(fā)現(xiàn)本文提取的特征值與MOS值具有高度一致性。

因早期并沒有針對夜間圖像的數(shù)據(jù)庫，所以在夜間圖像質(zhì)量評價的研究上缺少針對性的方法。為了驗證本文方法的有效性，選取了主流質(zhì)量評價方法在NNID數(shù)據(jù)庫上進行實驗，包括：ADD-SSIM[23]、IL-NIQE(Integrated Local-Natural Image Quality Evaluator)[24]、NIQE(Natural Image Quality Evaluator)[25]、GSM[26]、QAC(Quality- Aware Clustering)[27]、ARISM(AutoRegressive-based Image Sharpness Metric)[28]、LTG(Local-Tuned-Global)[29]和 QMC(Quality assessment Metric of Contrast)[30]。

選取80%的圖像組成訓練集，20%的圖像組成測試集。為保證評估的準確性，避免因一次分割數(shù)據(jù)集導致的偶然結(jié)果，進行了1 000次迭代實驗。在圖8中給出了隨機劃分后本文方法的預測分數(shù)(Proposed值)與夜間圖像數(shù)據(jù)庫中提供的MOS值的比較，從數(shù)值比較中可以直觀地看出：本文方法預測偏差較小，與主觀分數(shù)具有一致性。

Figure 8 Comparison of some predicted values and MOS values圖8 部分預測值和MOS值比較

此外，本文還用劃分后的數(shù)據(jù)基于支持向量回歸SVR(Support Vector Regression)訓練了一個質(zhì)量模型，并將其與BP模型進行對比。將80%的數(shù)據(jù)用于訓練，20%的數(shù)據(jù)用于測試，隨機訓練1 000次，將訓練結(jié)果的中值作為實驗結(jié)果，最終得到：PLCC=0.8383,SRCC=0.8329,KRCC=0.6449,RMSE=0.1115。

在圖9中給出了算法的散點圖。為避免偶然性，本文只給出測試集圖像的散點圖。其余算法均是基于整個數(shù)據(jù)庫，從圖9中可以直觀地看出，主流的評價算法不能有效評價夜間圖像的質(zhì)量，這與夜間圖像的特點是密不可分的。因此，針對夜間圖像設(shè)計一個專用的質(zhì)量評價方法是具有實際價值的。

Figure 9 Scatter plots of different methods圖9 不同方法的散點圖

傳統(tǒng)2D圖像質(zhì)量評價方法并不能有效地評價夜間圖像，IL-NIQE取得了PLCC=0.7160，SRCC=0.7103的結(jié)果，顯然這樣的結(jié)果并不令人滿意。本文提出的方法在PLCC和SRCC上的取值均超過0.8，與主觀分數(shù)具有一致性。SVR在PLCC、SRCC和KRCC上的表現(xiàn)均不如本文方法，但是在RMSE上的表現(xiàn)比本文方法更優(yōu)。更值得強調(diào)的是，由于夜間圖像數(shù)據(jù)庫中并未提供參考圖像，本文無需借助參考圖像進行實驗，解決了現(xiàn)實條件下無法獲得參考圖像的問題，因此本文方法更具有實際參考價值。

4 結(jié)束語

針對現(xiàn)有的特征提取方法無法有效提取夜間圖像的特征，從而無法準確評價夜間圖像質(zhì)量的問題，本文提出了一種結(jié)合全局和局部特征的無參考夜間圖像質(zhì)量評價方法。首先借助等高線原理，將灰度值不同的圖像視為地理學中復雜的地形，從而將圖像分為亮區(qū)域和暗區(qū)域2部分。其次，提取了夜間圖像的全局亮度。再次，通過微分算子法計算夜間圖像的水平和垂直梯度，合并2個方向上圖像的邊緣。然后，將HSI空間中的3個分量色度、飽和度、亮度分別作為特征4～特征6。最后，將上述特征作為BP神經(jīng)網(wǎng)絡的輸入，MOS值作為輸出，反復迭代，得到訓練好的神經(jīng)網(wǎng)絡。至此，便可以利用模型評價夜間圖像的質(zhì)量。實驗結(jié)果表明，所提方法的性能優(yōu)于主流的圖像質(zhì)量評價方法。后續(xù)工作將重點集中于由U-net對夜間圖像進行分割，分塊提取圖像特征，以更加全面地評價夜間圖像質(zhì)量。

Table 2 Performance comparison on NNID database