王一波，梁偉鄯

（柳州工學(xué)院 信息科學(xué)與工程學(xué)院，廣西 柳州 545616）

0 引 言

當(dāng)前機(jī)器視覺已得到廣泛應(yīng)用，較多應(yīng)用場景的光照、氣候條件變化較大，如自動駕駛、遙感成像、無人機(jī)等，給視覺成像質(zhì)量帶來諸多影響，其中低照度成像是在各應(yīng)用領(lǐng)域中需重點(diǎn)解決的問題。為此，廣大研究人員針對各自的需求提出了較多的低照度圖像增強(qiáng)算法，可歸納為3類：基于分布映射的方法、基于模型優(yōu)化的方法和基于深度學(xué)習(xí)的方法[1-5]。如何評價(jià)這些方法的性能是首先需要關(guān)注的問題，這對于圖像篩選、算法參數(shù)選擇、模型優(yōu)化有著重要的參考價(jià)值。低照度圖像增強(qiáng)評價(jià)屬于圖像質(zhì)量評價(jià)的范疇，多年來圖像質(zhì)量評價(jià)都是圖像處理領(lǐng)域的研究熱點(diǎn)，不斷有新的優(yōu)秀評價(jià)數(shù)據(jù)集和評價(jià)方法出現(xiàn)，很多方法對于低照度圖像增強(qiáng)評價(jià)具有借鑒和參考意義。黃寶慶[6]通過有效融合人眼的單目和雙目視覺特征，創(chuàng)建了一種基于單雙目特征融合的NR-SIQA方法；鹿婷等[7]提出了一種新的與主觀感知密切相關(guān)的無參考水下圖像質(zhì)量評價(jià)方法，融合了色度特征、基于人類大腦視覺皮層的對比度特征、反映圖像信息豐富程度的清晰度特征；韓昊男等[8]結(jié)合清晰度相關(guān)特征和現(xiàn)有的客觀質(zhì)量評價(jià)，針對性地提出了一種由圖像可視性、結(jié)構(gòu)相似性和顏色恢復(fù)度相互融合的去霧方法質(zhì)量評價(jià)。但目前較少有專門進(jìn)行低照度圖像增強(qiáng)評價(jià)研究的文獻(xiàn)，可供低照度圖像增強(qiáng)算法研究的專門評價(jià)方法也較少，研究人員普遍參考通用圖像評價(jià)方法提出新算法。例如，鄭爽爽等人[9]在提出了一種融合變分低照度圖像增強(qiáng)算法后，使用了自然圖像質(zhì)量評估器（Natural Image Quality Evaluator,NIQE），分別從亮度、對比度、結(jié)構(gòu)組成等方面與經(jīng)典算法進(jìn)行了比較；萬方等人[10]通過將圖像分解為基本層和細(xì)節(jié)層增強(qiáng)低照度圖像，并基于主觀和信息熵的方法對所提算法進(jìn)行了評價(jià)。由于缺少專門針對低照度圖像增強(qiáng)的評價(jià)方法，所以各種增強(qiáng)算法缺少相對統(tǒng)一的衡量依據(jù)，這將制約著該領(lǐng)域的進(jìn)一步發(fā)展。為此，本文將通過研究低照度圖像增強(qiáng)的共性特點(diǎn)，提出一種可供參考的評價(jià)方法。

1 低照度圖像增強(qiáng)評價(jià)理論基礎(chǔ)

1.1 Retinex理論

Retinex理論認(rèn)為圖像I(x,y)是由照度圖像與反射圖像組成，模型如圖1所示。前者指的是物體的入射分量的信息，用L(x,y)表示；后者指的是物體的反射部分，用R(x,y)表示。公式為：

圖1 Retinex模型

同時(shí)，由于對數(shù)形式能夠較好地反映人類感受亮度的過程，因此將上述過程轉(zhuǎn)換到對數(shù)域進(jìn)行處理，這樣做也將復(fù)雜的乘法轉(zhuǎn)換為加法，表達(dá)式為：

ln(I(x,y))=ln(R(x,y))+ln(L(x,y))

以上理論未考慮干擾對于圖像的影響，一般在低照度條件下，圖像噪聲N(x,y)不能忽略，為此將以上模型修正為：

1.2 理想評價(jià)指標(biāo)

按照Marr計(jì)算理論，圖像中的信息即圖像中顏色或亮度的變化，呈現(xiàn)出的是物體和物體的關(guān)系以及物體與人的關(guān)系的要素。低照度圖像增強(qiáng)的終極目標(biāo)即剔除與所采集事物無關(guān)信息，保留能夠反映本身特性的一切有用信息。圖像I(x,y)的信息完全集中于反射圖像R(x,y)，因此理想的低照度增強(qiáng)即通過有效的濾波算法，從I(x,y)中提取R(x,y)。當(dāng)然前提是建立在對于L(x,y)、N(x,y)的精確估計(jì)基礎(chǔ)上，但這在現(xiàn)實(shí)問題中是無法實(shí)現(xiàn)的。

2 面向應(yīng)用圖像評價(jià)算法

2.1 監(jiān)督式評價(jià)方法

監(jiān)督式評價(jià)是建立在“真值”已知的前提下，如前節(jié)所述，如果已知R(x,y)，就可以將增強(qiáng)后圖像與R(x,y)進(jìn)行定量比較，從而精確評價(jià)低照度增強(qiáng)算法的性能。但通常情況下，R(x,y)難以預(yù)先得到。為此，可將人的主觀評價(jià)作為參考真值。本文將低照度圖像增強(qiáng)質(zhì)量劃分為對比度、曝光現(xiàn)象、偽影、細(xì)節(jié)丟失、噪聲5個方面。按照賦分制，由相關(guān)專家分別對上述指標(biāo)進(jìn)行評分，則算法質(zhì)量綜合得分為：

式中：Qc、Qe、Qa、Qd、Qn分別為對比度、曝光、偽影、細(xì)節(jié)、噪聲指標(biāo)評分；λc、λe、λa、λd、λn依次為顏色、曝光、偽影、細(xì)節(jié)、噪聲權(quán)重系數(shù)，其應(yīng)滿足λc+λe+λa+λd+λn=1，在此λc、λe、λa、λd、λn取值根據(jù)實(shí)際應(yīng)用需要進(jìn)行調(diào)整，如應(yīng)用對于細(xì)節(jié)保留特別敏感，則λd取值應(yīng)明顯高于其他權(quán)重，一般情況下，如無特別要求，則各權(quán)重可取值相同。

選取一幅低照度圖像運(yùn)用直方圖均衡和同態(tài)濾波算法對其進(jìn)行處理，結(jié)果如圖2所示。

圖2 直方圖均衡與同態(tài)濾波比較

由5位受訪者（編號1～5）按照上述指標(biāo)分別進(jìn)行打分，每項(xiàng)指標(biāo)最高10分，最低0分，在此各指標(biāo)權(quán)重相同，結(jié)果見表1所列。

表1 監(jiān)督式評價(jià)評分

由表1可以看出，直方圖均衡平均得分6.2，同態(tài)濾波平均得分6.96，兩種算法在不同指標(biāo)上表現(xiàn)略有不同，但整體效果同態(tài)濾波要優(yōu)于直方圖均衡。

2.2 非監(jiān)督式評價(jià)方法

監(jiān)督式評測的難度在于獲取準(zhǔn)確的真值，而人為主觀評價(jià)存在著較大的不確定性，如果不能對此種不確定性進(jìn)行定量描述，則在實(shí)際應(yīng)用中會造成不可預(yù)知的結(jié)果，但目前尚無較好方法進(jìn)行主觀不確定性建模。同時(shí)主觀評價(jià)對于專家數(shù)量有較強(qiáng)依賴，專家人數(shù)越多，則評價(jià)結(jié)果越準(zhǔn)確，但這會造成較大的人力、時(shí)間消耗。為此，本文將重點(diǎn)研究低照度圖像增強(qiáng)質(zhì)量的非監(jiān)督式評價(jià)方法。

方法一：將增強(qiáng)后圖像與均勻光照條件下拍攝圖像對比，進(jìn)行一致性評價(jià)。二者一致性越好，則增強(qiáng)質(zhì)量越高，在此須根據(jù)實(shí)際應(yīng)用定義一致性。

通常情況下，增強(qiáng)后圖像不可能與光照均勻圖像完全一致，二者的一致性應(yīng)主要體現(xiàn)為對應(yīng)像素灰度值比例一致性，為此做如下定義：圖像I1(x,y)、I2(x,y)對應(yīng)位置的像素灰度值分別為p1(x,y)、p2(x,y)，將p=p1(x,y)/p2(x,y)看作一隨機(jī)變量，則其方差σp=E{[p-E(p)]2}表示兩圖像的比例一致性。σp越高，則圖像間的一致性越高。

以同一場景分別在均勻光照和低照度條件下進(jìn)行采集，對低照度圖像分別采用伽馬校正和同態(tài)濾波算法進(jìn)行處理，其結(jié)果如圖3所示。

圖3 伽馬校正與同態(tài)濾波比較

對伽馬校正與同態(tài)濾波兩種算法的結(jié)果進(jìn)行一致性評價(jià)，直方圖均衡一致性為0.05，同態(tài)濾波一致性為0.03，后者一致性好于前者，與主觀評價(jià)一致。但該種方法需采集均勻光照圖像，同時(shí)兩種光照條件下圖像應(yīng)嚴(yán)格配準(zhǔn)，這給圖像采集提出了特別高的要求。為此，該種方法并非首選。

方法二：以特征提取精度為依據(jù)。提取場景的特征對測試圖像進(jìn)行測試，一般以檢測特征點(diǎn)為主，如果特征檢測精度越高，則說明低照度圖像增強(qiáng)質(zhì)量越好。為定量評價(jià)算法性能，可以采用連續(xù)采集空間相鄰幀，以2幀圖像特征點(diǎn)正確匹配對數(shù)為評價(jià)依據(jù)，具體如下：

式中：CT為正確匹配對數(shù)；CF錯誤匹配對數(shù)；Q表示正確匹配率，其值越高，則增強(qiáng)質(zhì)量越好。如果錯誤匹配數(shù)為0，則不論正確匹配對數(shù)為多少，Q始終為1。這樣將無法區(qū)分匹配對數(shù)多和少的算法的性能，為此進(jìn)行如下修正：

補(bǔ)充1/CT后，如果CT越大，則1/CT越小，從而Q得分將越高，則正確匹配對數(shù)越高的算法，得分也將越高。

從圖4可以看出，經(jīng)同態(tài)濾波算法增強(qiáng)后的圖像分別運(yùn)用ORB算法檢測特征點(diǎn)，對2幅圖像進(jìn)行特征點(diǎn)匹配，則Q值為9.93。

圖4 低照度增強(qiáng)特征匹配

3 實(shí)驗(yàn)分析

3.1 照度影響分析評價(jià)

采集由D50標(biāo)準(zhǔn)光源提供0.1 lx、5 lx、20 lx三種照度條件下的圖像，分別采用直方圖均衡、同態(tài)濾波、深度學(xué)習(xí)算法進(jìn)行增強(qiáng)處理，再檢測相鄰幀的ORB特征點(diǎn)，結(jié)果如圖5所示。

圖5 照度對增強(qiáng)算法影響比較

按照處理結(jié)果，分別采用特征匹配評價(jià)方法進(jìn)行評分，0.1 lx、5 lx、20 lx經(jīng)增強(qiáng)后Q值分別為0、9.9、9.95。據(jù)此，照度對圖像增強(qiáng)算法的結(jié)果有顯著影響，在不同環(huán)境光亮度下，Q值都隨著照度變化呈現(xiàn)規(guī)律性變化。當(dāng)照度低于可接受范圍時(shí)，增強(qiáng)算法將失效。

3.2 評價(jià)方法比較實(shí)驗(yàn)

選取結(jié)構(gòu)特征豐富的場景，分別在均勻光照和低照度條件連續(xù)采集2幀圖像，分別運(yùn)用直方圖均衡、同態(tài)濾波算法對低照度圖像進(jìn)行處理，提取ORB特征點(diǎn)，結(jié)果如圖6所示。

圖6 算法處理評價(jià)

這里使用主觀評價(jià)方法、一致性評價(jià)方法、自然圖像質(zhì)量評估器（Natural Image Quality Evaluator,NIQE）和特征匹配方法分別對直方圖均衡、同態(tài)濾波算法的增強(qiáng)效果進(jìn)行評價(jià)，其結(jié)果見表2所列。根據(jù)表2，監(jiān)督式評價(jià)與非監(jiān)督式評價(jià)結(jié)果一致，進(jìn)而說明在一般的應(yīng)用場景下，可以使用非監(jiān)督式評價(jià)替代監(jiān)督式評價(jià)。

表2 低照度增強(qiáng)評價(jià)方法比較

4 結(jié) 語

本文通過研究低照度圖像增強(qiáng)的共性特點(diǎn)，提出了可供參考的評價(jià)方法。主要在兩方面取得了進(jìn)展：一是探索了低照度圖像評價(jià)的理論模型，并提出了理想評價(jià)指標(biāo)；二是有針對性地提出了低照度圖像增強(qiáng)主觀和客觀評價(jià)方法，具有一定的體系性。通過與其他已有的評價(jià)方法進(jìn)行比較，本文提出的基于特征匹配的評價(jià)方法總體性能更好，基本解決了主觀與客觀評價(jià)的一致性問題，對于低照度圖像算法改進(jìn)、圖像篩選及模型優(yōu)化等應(yīng)用具有較好的參考價(jià)值。今后，將繼續(xù)圍繞優(yōu)化低照度圖像增強(qiáng)評價(jià)方法展開研究。