姜雪松 姚鴻勛

摘要：夜晚圖像增強作為圖像增強領域的一個重要分支，一直受到學者們的關注。夜晚圖像增強的目標是提升夜晚圖像的整體質(zhì)量，包括提升亮度和細節(jié)可見度、抑制噪聲等方面。本文收集了大量真實夜晚圖像，并通過人工合成大量低照度圖像，使用這些數(shù)據(jù)對多種夜晚圖像增強方法進行分析，比較各種方法在夜晚圖像增強任務中的表現(xiàn)，對這些方法的原理、優(yōu)點和存在的不足加以分析。研究使用主觀評價和客觀評價兩種圖像質(zhì)量評價方法同時評價不同方法的性能，主觀評價從視覺感知方向直接評價增強圖像的質(zhì)量，客觀評價方法則分為有參考的圖像質(zhì)量評價和無參考的圖像質(zhì)量評價，本文分別使用生成低照度圖像和真實夜晚圖像測試所有算法性能，為了保證對比實驗的公正性，所有算法的參數(shù)都按照原論文參數(shù)設置。分析和實驗結(jié)果表明，基于圖像處理方法的夜晚圖像增強方法能夠有效提升圖像亮度，但也發(fā)現(xiàn)了傳統(tǒng)圖像處理在夜晚圖像增強問題中存在的瓶頸，而基于機器學習的夜晚圖像增強方法能夠改變夜晚圖像的亮度分布情況，更好地提升夜晚圖像質(zhì)量，夜晚圖像增強的進一步發(fā)展必然使用機器學習方法。

關鍵詞： 夜晚圖像增強; 圖像處理; Retinex模型; 圖像分解; 深度學習

【Abstract】 Nighttime image enhancement， as an important branch of image enhancement， has attracted the attention of researchers. The goal of nighttime image enhancement is to improve the overall quality of night image， including enhancing brightness and detail visibility， suppressing noise and so on. Firstly， this paper collects a large number of real night images and synthesizes a large number of low-light images artificially. Then， the paper uses these data to analyze various nighttime image enhancement methods， compares their performance， and analyzes the principles， advantages and disadvantages of these methods. After that， the paper uses subjective evaluation and objective evaluation to evaluate the performance of different methods at the same time. Subjective evaluation directly evaluates the quality of enhanced images from the direction of visual perception. The objective evaluation methods are divided into reference image quality evaluation and non-reference image quality evaluation.Low-light is used respectively. Degree image and real night image test the performance of all algorithms. In order to ensure the fairness of the contrast experiment， all the parameters of the algorithms are applied to set according to the parameters of the original paper. The analysis and experimental results show that the night image enhancement method based on image processing method can effectively improve the brightness of the image， but it also finds the bottleneck of the traditional image processing in the night image enhancement. The night image enhancement method based on machine learning can change the brightness distribution of the night image and improve the night image quality better. The further development of night image enhancement will inevitably use machine learning method.

【Key words】 ?nighttime image enhancement; image processing; Retinex model; image decomposition; deep learning

0 引 言

在人們的日常生活、生產(chǎn)過程中，難免會在夜晚采集數(shù)字圖像，以獲得當時的信息;或者在夜間場景下工作，與場景中的物體產(chǎn)生互動。而這些都需要在夜晚環(huán)境中采集圖像或視頻（本文將視頻視為圖像序列，后文將僅就單幅圖像進行分析，事實上，夜間視頻因包含更多信息比單幅夜晚圖像更容易處理），這就讓夜晚圖像增強算法的研究有很高的應用價值和科研價值。

在夜晚環(huán)境中采集的圖像，由于夜間照明的特殊性，光源來源復雜，強弱不一，使得夜間環(huán)境或者光線亮度不足（如黯淡月光、星光、燭光等），拍攝的圖像亮度值極低，可見度和對比度嚴重下降，并伴隨著大量的隨機噪聲;或者光照分布不均勻（局部有光源照射，如車燈、路燈、日光燈等），使部分區(qū)域照明充足而周邊區(qū)域亮度極低，影響這些區(qū)域的細節(jié)可見度和局部對比度，并在較暗區(qū)域產(chǎn)生比其他區(qū)域更復雜的噪聲分布;抑或因為光源來源復雜（如鈉燈、霓虹燈等），產(chǎn)生的光照本身并非白色光照，改變場景內(nèi)物體表面的色彩，使拍攝得到的圖像出現(xiàn)色彩偏差。而夜晚增強算法針對的是夜晚環(huán)境的特點，提升夜晚圖像的質(zhì)量，包括提升亮度和對比度，增強圖像細節(jié)的可見度，抑制噪聲等級以及校正出現(xiàn)的色彩偏差問題等等。

綜上所述，夜晚圖像增強面臨的問題復雜，幾個問題之間相互關聯(lián)影響，在設計圖像增強算法時很難逐一解決上述問題，往往需要借助各種假設和先驗簡化問題難度，或者將所有問題構(gòu)建在統(tǒng)一的增強算法框架中。因此，增強夜晚圖像相比有目標導向的增強普通圖像更難找到合適的方法。針對上述難題，研究者們提出了不同的假設和先驗，在一個方法中解決一個或多個問題。

1 夜晚圖像增強算法

1.1 基于底層圖像處理的夜晚圖像增強方法

夜晚圖像最顯著的特點就是圖像亮度和對比度低，細節(jié)的辨識程度差，從這個問題分析，提升圖像亮度最簡單直接的方法就是使用線性函數(shù)放大圖像亮度，然而這一方法缺點明顯，因為方法中采用的是全局提升亮度的處理方式，不考慮圖像內(nèi)亮度的空間分布，使增強后的結(jié)果在亮度高的區(qū)域出現(xiàn)不可避免的過飽和現(xiàn)象，細節(jié)丟失嚴重。為了避免這一現(xiàn)象出現(xiàn)，非線性單調(diào)映射函數(shù)更適合提升圖像的亮度，如冪律函數(shù)（Power-law function）[1]、對數(shù)函數(shù)（logarithm function）[2]、伽馬函數(shù)（gamma function）[3]等。這些非線性函數(shù)通過調(diào)整參數(shù)改變圖像亮度的增強幅度，利用非線性函數(shù)的特點避免亮度較高區(qū)域和低亮度區(qū)域增強相同幅度引起的失真，保持增強結(jié)果的圖像質(zhì)量。其中，伽馬函數(shù)的應用較為廣泛，配合其他圖像處理方法能夠合理地提升圖像亮度，這些方法都屬于全局的圖像增強算法。直方圖均衡化（Histogram equalization，HE）[4]也是全局圖像處理方法之一，也能夠增強圖像亮度。HE能夠拉伸圖像的直方圖的空間分布，提升部分像素的亮度值，增大圖像對比度，雖然同樣不考慮像素點的空間分布信息，但是由于其算法簡單，可用性強，現(xiàn)已廣泛地使用到多種圖像處理領域。HE的許多擴展算法也被用來增強低照度圖像，加入亮度限制[5-7]、對比度限制[8]、圖像金字塔[9]都能提升HE的性能。但是全局增強方法并不考慮圖像內(nèi)的亮度分布信息和細節(jié)丟失，提升亮度的映射函數(shù)兼顧全局的同時無法保證圖像所有區(qū)域都得到有效的提升，難以保證圖像質(zhì)量。

全局夜晚圖像增強算法不考慮圖像內(nèi)亮度和細節(jié)的空間分布，使用統(tǒng)一的參數(shù)和模式提升圖像亮度，總是帶來不可避免的副效應。學者們將目光投向了局部圖像處理方法。對全局圖像增強算法最直接的改進是局部直方圖均衡化方法（Local histogram equalization，LHE）[10-12]，使用滑動窗口策略調(diào)整局部圖像塊的直方圖來增強圖像塊的對比度，通?？梢苑譃閳D像分塊算法（即滑動窗口無重疊）、滑動窗口重疊算法和滑動窗口部分重疊算法，三者各有優(yōu)劣，圖像分塊算法計算速度快，細節(jié)增強充分，但是各圖像塊之間直方圖均衡函數(shù)差異較大，容易產(chǎn)生塊效應;滑動窗口重疊算法便利圖像所有像素，能夠有效避免塊效應，但是算法效率低，計算消耗資源多;滑動窗口部分重疊算法綜合上述二者特點，采用更大的移動步長，平均多次均衡的像素灰度值作為最終輸出圖像的灰度值。此外，還存在大量的基于局部直方圖均衡化的變種算法，但大體框架如上，這在里不做一一贅述。

一些研究者將全局圖像增強和局部圖像增強算法的特點融合，采用多種增強算法疊加的策略增強低照度圖像。這些方法通常不采用單一的非線性函數(shù)或直方圖均衡化方法，而是通過變換色彩空間，分別處理圖像的亮度、飽和度和對比度等信息，使用全局色調(diào)映射、局部色調(diào)映射、全局與局部直方圖處理等方法組合在一起，構(gòu)建復雜的色彩與亮度調(diào)整方法 [13-17]。如文獻[13]中采用的方式，使用圖像亮度計算非線性映射的參數(shù)，通過多次全局色調(diào)映射、照明估計、直方圖調(diào)整、紋理提取和主成分分析（Principal component analysis，PCA）一系列算法，組成了復雜的圖像增強策略，實驗效果良好，針對低照度圖像有明顯的亮度提升功效，同時避免了較亮區(qū)域的失真，其更適用于HDR圖像的增強。但是這一類方法結(jié)構(gòu)復雜，且難以控制實驗結(jié)果，固定的參數(shù)不具有普適性，難以應對夜晚圖像增強面臨的復雜問題。

1.2 基于底層圖像處理的夜晚圖像增強方法

基于圖像處理的夜晚圖像增強方法從提升圖像亮度的角度出發(fā)，利用線性或非線性函數(shù)將低照度圖像的亮度向更大的方向拉伸，只是單純從數(shù)學的角度出發(fā)，并不考慮夜晚圖像成像過程的物理模型，導致部分情況下增強結(jié)果無法滿足人們的需求。

Retinex理論[18-19]是人類視覺的一種顏色感知模型，反映人類色覺的基礎機制，既取決于視網(wǎng)膜感光細胞（Retina）的捕捉，也取決于這些信號在大腦皮層（Cortex）的解釋。其基本思想是人感知到某點的顏色和亮度并不僅僅取決于該點進入人眼的絕對光線，還和其周圍的顏色和亮度有關。Retinex理論建立在3個假設之上，即：真實世界沒有顏色，對顏色的感知是由光與物質(zhì)的相互作用產(chǎn)生的;每個顏色區(qū)域可以由固定波長的紅、綠、藍三原色構(gòu)成;上述三原色決定每個像素的色彩。

Retinex理論基礎是物體顏色由物體對不同波長光線的反射能力決定，而非反射光線的強度，物體的色彩不會被光照的非均勻性影響，具有一致性，即Retinex以顏色恒常性為基礎。也就是說，在Retinex模型當中，光照強度和物體顏色是不相關的。一般來說，Retinex可以表示為：

I = S·R，[JY]（1）

其中，I表示人眼或攝像設備能接收到的反射光圖像;S表示入射光圖像，其強度決定了圖像像素值能達到的動態(tài)范圍，反映場景內(nèi)光照信息，因此也被稱為照度分量（或照明圖，Illumination map）;R表示場景內(nèi)物體的反射性質(zhì)圖像，這是物體的固有屬性，不隨光照的變化而改變，也被稱為反射圖（Reflectance map）。

這里如果能夠分離S和R，那么通過調(diào)整S的強度，就可以實現(xiàn)對I的亮度、對比度提升。不難看出，Retinex需要將一幅圖像分解成2幅圖像，這在數(shù)學領域?qū)儆凇安B(tài)”問題，因為單一的像素值表達了照度信息和圖像內(nèi)容雙重含義，這種情況下要想準確地估計照明圖只能依靠計算像素本身和圖像中其它像素的關系。Retinex模型的可視化模型如圖1所示，照明圖為灰度圖，色彩信息都包含在反射圖中，而得到的圖像的亮度則受到照明圖的影響，部分區(qū)域變暗。

針對能夠穩(wěn)定提供多幅同場景不同時間的圖像或者同一場景一段時間內(nèi)的多幅圖像的情況，或者可以提供其他種類的場景信息來源的情形，基于圖像融合的夜晚圖像增強算法能夠取得更優(yōu)異的增強結(jié)果。

最容易得到同一場景不同時段的多幅圖像就是監(jiān)控場景[35-38]。在監(jiān)控視頻的應用場景中，因為攝像機固定，所以可以假設其拍攝的圖像的背景信息不變。將白天時拍攝的清晰圖像與夜晚拍攝的降質(zhì)圖像作為算法輸入，提取圖像中不變的物體作為圖像背景，將白天圖像中的背景與夜晚圖像中的前景進行融合，得到最終的輸出圖像。這種算法的增強結(jié)果背景亮度值較高，背景保真度也很不錯，但是由于沒有合適的增強前景目標的方法，使得圖像出現(xiàn)很強的不和諧的感覺，圖像自然性差。而且前景與背景分離的時候很難把握二者之間的尺度，容易出現(xiàn)失真和二者之間的亮度、色彩過渡地區(qū)的失真。部分算法考慮的前景的處理問題，對其進行了亮度和對比度提升，但是由于前景與背景的增強方式區(qū)別很大，過渡區(qū)域的失真問題仍難以解決。另外存在的問題就是監(jiān)控設備的穩(wěn)定性問題，因為現(xiàn)實場景存在震動、風等多種外在干擾，監(jiān)控設備的位置會受到影響，在一定程度上移動了監(jiān)控設備對準的位置，即不同時間拍攝的圖像難以保證是像素對齊的，這樣融合的時候產(chǎn)生的結(jié)果質(zhì)量難以保證。而采用圖像匹配方法會增加計算消耗，同時不同照明環(huán)境下的同一物體梯度信息和紋理信息相差較大，很難保證像素間對齊的準確率，進而影響增強結(jié)果。

目前針對這一問題，一些其他的方法被提出來。首先比較直接的做法便是采集同一場景內(nèi)一段時間內(nèi)的低照度視頻，對齊進行融合得到提升亮度的圖像。這類方法[39-43]等同于在拍照時延長曝光時間，常用于移動攝影設備，如智能手機、智能相機等的夜間拍照模式。不難判斷，這一類方法需要場景內(nèi)不存在運動物體，攝像設備盡量保持穩(wěn)定以降低融合時像素偏移造成的干擾。除了使用多幅圖像融合外，研究者們還使用單幅低照度圖像生成多幅關注不同信息的圖像來融合成最終的增強結(jié)果。受到HDR圖像融合方法[44-45]的啟發(fā)，使用輸入的低照度圖像的亮度圖生成不同虛擬曝光程度的亮度圖，然后將亮度圖在融合如輸入圖像的色調(diào)、飽和度信息以得到增強結(jié)果。文獻[46-47]的作者都采用了相同的融合方法，即給定初始的照明圖，采用不同的非線性函數(shù)提升照明圖亮度，而后從中提取拉普拉斯圖像金字塔和作為權(quán)重的圖像高斯金字塔，將多幅不同曝光的照明圖融合得到提升亮度的照明圖，最后得到增強結(jié)果。2個方法的唯一不同之處在于計算初始照明圖的方法不同，文獻[46]采用HSV色彩空間的明度通道作為初始照明圖，而文獻[47]采用使用指導濾波器[48]的圖像分解方法提取初始照明圖。Ma等人[49]通過分析低曝光圖像和正常曝光圖像之間的區(qū)別，統(tǒng)計模擬函數(shù)模擬圖像的曝光過程，改變參數(shù)即可得到不同曝光程度的圖像，然后將多幅虛擬曝光圖像通過評估結(jié)果進行像素融合，得到最終的增強圖像，實驗結(jié)果說明這類方法提升亮度明顯，色彩保持更鮮艷，保真度較高。

此外，融合不同種類的圖像也能夠提升夜晚圖像的質(zhì)量。最常用的就是融合紅外圖像和可見光圖像以提升圖像質(zhì)量[50-54]。可見光攝像設備和紅外攝像設備放置在同一位置，去除夾角影響后，可見光攝像設備拍攝場景中物體的顏色信息和照明光變化，紅外攝像設備不受照明光變化的影響，反映場景內(nèi)物體的的溫度差或輻射差，能夠拍攝出物體的輪廓差異，可以有助于分別背景和目標?？梢姽鈭D像與紅外圖像的融合可以從3個層次進行：像素級、特征級和決策級。像素級圖像融合是最低層次的融合，作為另外兩個層次的圖像融合方式的基礎，直接對2幅或多幅圖像中的對應像素點進行信息綜合處理。特征級圖像融合使用在2幅或多幅圖像中提取的特征向量進行融合，主要提取圖像中的邊緣、形狀、方向等底層特征，確保圖像之間的特征的對應性。決策級圖像融合是針對圖像內(nèi)信息進行屬性提取和描述，而后將不同圖像中提取的重要性息融合在一起，最后一種融合得到的屬性作為決策依據(jù)。針對不同的融合層次，也有不同的融合方法與之相對應?？梢姽鈭D像和紅外圖像的融合方法中，常有的方法有基于變換域的融合方法、基于成像模型的融合方法、基于線性加權(quán)的融合方法、基于多尺度分解的融合方法、貝葉斯估計法、熵法、模糊聚類法等。

但是融合可見光圖像和紅外圖像的時候，仍然有很多問題。可見光圖像和紅外圖像之間存在巨大差異，二者成像原理有很大差別，分辨率相差較大，圖像內(nèi)灰度、紋理、邊緣特征、像素關聯(lián)都有很大差別，這些差別一方面保證了融合2種圖像能夠得到更多信息，另一方面卻增加了融合兩者的難度，參數(shù)設置、色彩保持、邊緣保持、運動目標與背景的分離等都有很大難度，增強后的圖像結(jié)果難以保證。另外，額外的紅外攝像設備即增加了硬件資源開銷，也需要對應的軟件開發(fā)需求，限制了這種方法的應用空間和應用前景。

1.3 基于機器學習的夜晚圖像增強方法

機器學習方法在計算機視覺中有很廣泛的應用，在底層圖像處理中也能夠取得不錯的成績?；跈C器學習的夜晚圖像增強算法最大的障礙就是數(shù)據(jù)集的收集，在同一場景采集白天和夜晚的圖像，既要場景內(nèi)沒有隨時間變化出現(xiàn)物體位移、出現(xiàn)和消失，又要保證數(shù)據(jù)量充足，能夠滿足訓練過程的需要。為了克服這一問題，研究者們或者借用HDR圖像數(shù)據(jù)集，將低曝光度的圖像作為夜晚圖像，正常曝光度的圖像作為標簽圖像;又或通過非線性函數(shù)或人工處理的方式將正常圖像亮度降低，模擬夜晚圖像。但是這樣產(chǎn)生的樣本與夜晚圖像有一定差別，而且相同的亮度降低操作也降低了模型學習的難度，無法保證方法在真實夜晚圖像的作用。

比較早的基于機器學習的夜晚圖像增強方法使用的是稀疏表示來學習模型[55]。稀疏表示是前些年圖像處理和計算機視覺領域最常用的機器學習方法，通過為普通稠密表達的樣本學習過完備字典（亦成為過完備基），將樣本轉(zhuǎn)化為合適的稀疏表達模式，降低模型復雜度，也被稱為“稀疏編碼”。文獻[55]學習低照度圖像和正常圖像兩個字典，給定輸入夜晚圖像能夠在低照度圖像字典中使用少量特征向量重構(gòu)，那么對應的向量在正常圖像字典中就能夠重構(gòu)出增強結(jié)果。

深度學習方法已經(jīng)成為了機器學習領域最熱門的方法，在自然語言處理、圖像處理和計算機視覺領域都取得了可觀的研究成果，在性能上遠遠超過了此前的一些機器學習方法。Lore等人[55]使用深度自編碼器增強低亮度圖像，將亮度提升和噪聲抑制同時放在一個模型當中學習出來，通過一定量數(shù)據(jù)的學習，能夠得到不錯的效果，但是由于自編碼器本身對于輸入圖像的尺寸有要求，而且參數(shù)較多，導致了本方法提供的實驗數(shù)據(jù)都是小尺寸的圖像，很難確定其在真實夜晚圖像的表現(xiàn)情況。

深度卷積神經(jīng)網(wǎng)絡在圖像處理領域中比自編碼器應用得更廣，其共享參數(shù)的卷積網(wǎng)絡模式能夠?qū)W習更復雜的像素映射，因此在圖像去噪、超分辨率和圖像去霧等底層圖像處理任務中都表現(xiàn)優(yōu)異。Wei等人[56]使用深度神經(jīng)網(wǎng)絡模擬Retinex模型（RetinexNet），讓低照度圖像和正常圖像共享網(wǎng)絡參數(shù)，分解得到相同的反射圖，以確保二者照明圖的不同，然后基于分解結(jié)果訓練網(wǎng)絡增強照明圖，增強結(jié)果亮度提升明顯。但是在處理真實的夜晚圖像時，特別是包含噪聲多的夜晚圖像，增強結(jié)果出現(xiàn)了嚴重的色彩失真，噪聲被明顯放大。

HDR-Net[57]同時訓練2個并行的網(wǎng)絡結(jié)構(gòu)，與RetinexNet不同的是，其目標并不是將圖像分解，而是從圖像中計算出對應像素值的變換系數(shù)，同時兼顧圖像的全局特征和局部特征，再使用另一個神經(jīng)網(wǎng)絡計算求得的變換系數(shù)對應的像素位置，然后計算得到增強結(jié)果。該方法相當于在有指導圖像的情況下融合多個線性增強后的圖像，能夠保證圖像不會出現(xiàn)大范圍失真。

MSR-Net[58]使用傳統(tǒng)的深度卷積神經(jīng)網(wǎng)絡，將輸入的夜晚圖像進行尺度對數(shù)變換，得到亮度被提升不同等級的圖像，然后將這些圖像輸入神經(jīng)網(wǎng)絡得到增強結(jié)果。MSR-Net與HDR-Net同樣采用融合圖像的思想，不同之處在于二者的網(wǎng)絡結(jié)構(gòu)，MSR-Net人工設定了幾個亮度提升等級，而HDR-Net通過網(wǎng)絡學習得到。但是在輸入圖像的平滑區(qū)域如果存在噪聲，例如夜晚的天空，卷積神經(jīng)網(wǎng)絡通常會產(chǎn)生類似塊效應的模糊效果，會降低圖像質(zhì)量。之所以造成這種現(xiàn)象，除了深度神經(jīng)網(wǎng)絡本身的特性外，數(shù)據(jù)量不足、損失函數(shù)缺少有效約束也有一定的原因。

LSID[17]不針對已經(jīng)采集得到的圖像，轉(zhuǎn)而針對相機端的原始數(shù)據(jù)（例如RAW，RAF格式等）進行增強處理。相機端采集的數(shù)據(jù)未經(jīng)處理和存儲，包含的圖像信息更多，在進行圖像增強時能夠給深度神經(jīng)網(wǎng)絡提供更多的信息。在LSID中，作者采用不同的曝光時長模擬不同亮度的圖像，其輸入的短曝光時長數(shù)據(jù)可以使用其他的圖像處理函數(shù)直接提升亮度，和該方法設計的網(wǎng)絡提升的亮度基本一致。但是使用圖像處理函數(shù)得到的增強圖像包含很多的噪聲，尤其是因曝光時長過短產(chǎn)生的各種噪聲明顯影響圖像質(zhì)量，而使用Chen等人提出的深度神經(jīng)網(wǎng)絡處理的短曝光圖像則很平滑，可見該方法的主要作用在于抑制短曝光圖像的噪聲等級隨著圖像亮度提升而提升。

2 對比實驗

在本節(jié)，使用大量夜晚圖像測試提出夜晚圖像增強方法，和其他的夜晚圖像增強方法進行對比試驗，從主觀評價和客觀評價兩個方面評測方法的性能。本文使用之前方法常用的夜晚圖像和Exdark[59]數(shù)據(jù)集測試本文提出的增強方法，并人工生成一定數(shù)量夜晚圖像，使用有參考的圖像質(zhì)量評價標準測試增強方法性能，這樣測試數(shù)據(jù)集可以大致分為14個類別，分別包含不同數(shù)量的夜間圖像或生成夜間圖像，自然夜間圖像每種類別有500～800張圖像，生成圖像包含由1 100張正常圖像合成的5 500張低照度圖像。在此基礎上又將增強方法應用到實施拍攝的夜晚視頻中測試增強效果。

2.1 主觀評價

主觀評價是評價圖像處理算法性能最常用的評價方式，通過提供列舉不同類型的圖像和對應結(jié)果，讓使用者直接觀察圖像，從視覺感官的主觀感受出發(fā)評價圖像質(zhì)量，能夠更直觀地感受到不同方法在同一圖像處理問題上得到的性能差異。夜晚圖像增強結(jié)果比較見圖3。

由圖3可以看出使用物理模型對圖像進行建模的方法在保持圖像自然性方面更有優(yōu)勢，能夠避免增強圖像內(nèi)出現(xiàn)過度增強現(xiàn)象。不同夜晚圖像增強方法的結(jié)果見圖4。

由圖4可以看出LIME和NEID能夠得到亮度提升最明顯的增強結(jié)果，但是NEID增加了噪聲抑制處理，增強結(jié)果看起來更平滑，圖像質(zhì)量有所提升。 Retinex-net和HDR-net增強結(jié)果比較見圖5。

由圖5可以看出Retinex-net在增強夜晚圖像時，出現(xiàn)了明顯的過度增強現(xiàn)象，嚴重影響了增強結(jié)果質(zhì)量，而HDR-net能夠保持圖像原本的光照分布，但是也無法達到夜晚圖像白晝化，原因主要在于訓練數(shù)據(jù)的缺乏。LSID得到的增強結(jié)果見圖6。

由圖6可以看出其與使用相機自帶的圖像處理函數(shù)得到的結(jié)果差別在于噪聲被抑制，與長曝光圖像的色彩也有所不同，說明LSID具有一定的圖像白平衡作用。但是和使用相機函數(shù)增強的結(jié)果相比，說明LSID在夜晚圖像在噪聲抑制方向更有優(yōu)勢，其對于圖像亮度的提升效果如圖7所示。

2.2 客觀評價

夜晚圖像增強方法關注圖像的整體質(zhì)量，除了直觀的主觀視覺感知評價之外，還使用多種客觀評價方法測試提出的增強方法的性能。研究不僅使用圖像標準差（STD）、平均梯度（MG）和圖像信息熵（IE）這三種能夠直接反映圖像內(nèi)紋理、梯度等信息的衡量方法，同時也使用基于自然圖像統(tǒng)計特性提出的幾種圖像質(zhì)量衡量方法，包括NIQE （Natural image quality evaluator）[60]，ARIS （Autoregressive-based image sharpness metric）[61]， BLIIND （blind image quality assessment by DCT statistics model）[62]和OG-I（Relative gradient statistics and adaBoosting neural network）[63]。這幾種無參考圖像質(zhì)量評價方法各有側(cè)重，從不同角度評價圖像質(zhì)量，反映各種夜晚圖像增強方法的性能。同時研究合成了不同亮度的夜晚圖像用于有參考的圖像質(zhì)量評價，包括MSE、PSNR和SSIM[63]圖像質(zhì)量評價方法。本次研究主要測試了時下各種具有代表性的方法，即：SRIE、FEWI、LIME、JIEP、Dong、FSBI、NPEA、NEID、BIMEF和OpenCE。不同夜晚圖像增強方法的無參考圖像的圖像質(zhì)量客觀評價見表1。

由表1可以看出LIME在使用圖像內(nèi)部梯度信息計算的評分評價較高，而NEID在其他基于自然圖像統(tǒng)計特性的評價取得評分較高，究其原因在于二者都能大幅度提升夜晚圖像的亮度，但是LIME不考慮噪聲問題，NEID增加了噪聲抑制。OpenCE使用相機響應函數(shù)提升圖像亮度，得到的增強結(jié)果亮度也比一般的圖像增強方法高。而NPEA并不適用于夜晚突襲中的HDR場景，增強結(jié)果的光源總是出現(xiàn)失真，這些方法的增強圖像的直接比較結(jié)果如圖8所示。

進一步，研究給出了有參考的圖像質(zhì)量評價結(jié)果見表2。其中，NEID在MSE評價和PSNR兩項評分最佳，主要在于該方法在提升亮度時抑制噪聲，因此LIME在MSE上取得了次優(yōu)的成績，OpenCE基于像素點計算圖像亮度提升使用的參數(shù)，得到的增強結(jié)果對圖像結(jié)構(gòu)保持較好，所以在SSIM評價上取得了最優(yōu)評價。

3 結(jié)束語

本文通過大量實驗，測試了不同的夜晚圖像增強方法的性能，并對這些方法加以分析，說明其偏重的方向、優(yōu)勢、和不足。通過實驗分析發(fā)現(xiàn)基于底層圖像處理在夜晚圖像增強中瓶頸，并分析了幾種基于機器學習的夜晚圖像增強方法的原理和性能，得出了以下結(jié)論：底層圖像處理能夠提升夜晚圖像亮度，但無法改變夜晚圖像質(zhì)量降低的本質(zhì)，基于機器學習的方法具有實現(xiàn)夜晚圖像白晝化潛力，但目前因數(shù)據(jù)收集的困難無法實現(xiàn)。因此，目前夜晚圖像增強方法面臨的較突出問題就是數(shù)據(jù)問題，如何收集對應的夜晚圖像和正常圖像對將是后續(xù)重點研究方向。

參考文獻

[1] ?BEGHDADI A， NEGRATE A L. Contrast enhancement technique based on local detection of edges[J]. Computer Vision Graphics and Image Processing， 1989， 46（2）：162.

[2]PELI E. Contrast in complex images[J]. Journal of the Optical Society of America A-optics ?and Image Science & Vision， 1990， 7（10）：2032.

[3]GONZALEZ R， WOODS R. Digital image processing[M]. 3rd ed. Upper Saddle River， NJ：Pearson prentice hall， 2008.

[4]JAIN A K. Fundamentals of digital image processing[M]. New Jersey：Prentice-Hall， Inc.， 1989.

[5]IBRAHIM H， KONG N S P . Brightness preserving dynamic histogram equalization for image contrast enhancement[J]. IEEE Transactions on Consumer Electronics， 2008， 53（4）：1752.

[6]WANG Chao， YE Zhongfu. Brightness preserving histogram equalization with maximum entropy： A variational perspective[J]. IEEE Transactions on Consumer Electronics， 2005， 51（4）：1326.

[7]CHEN S D， RAMLI A R. Minimum mean brightness error Bi-histogram equalization in contrast enhancement[J]. IEEE Transactions on Consumer Electronics， 2003， 49（4）：1310.

[8]REZA A M. Realization of the contrast limited adaptive histogram equalization （CLAHE） for real-time image enhancement[J]. Journal of VLSI Signal Processing Systems for Signal， Image， and， Video Technology， 2004， 38（1）：35.

[9]YUN S H， KIM J H， KIM S . Image enhancement using a fusion framework of histogram equalization and laplacian pyramid[J]. IEEE Transactions on Consumer Electronics， 2010， 56（4）：2763.

[10]ABDULLAH-AL-WADUD M， KABIR M H， DEWAN M A A， et al. A dynamic histogram equalization for image contrast enhancement[J]. IEEE Transactions on Consumer Electronics， 2007， 53（2）：593.

[11]STARK J A. Adaptive image contrast enhancement using generalizations of histogram equalization[J]. IEEE Transactions on Image Processing：A publication of the IEEE Signal Processing Society， 2000， 9（5）：889.

[12]WANG Xuewen， CHEN Lixia. Contrast enhancement using feature-preserving bi-histogram equalization[J]. Signal Image & Video Processing， 2018， 12（4）：685.

[13]CHEN S， BEGHDADI A. Natural enhancement of color image[J]. EURASIP Journal on Image and Video Processing， 2010， 2010（1）：175203.

[14]FANG Fang， LIN Meirong， LI Yingjie， et al. Color image saturation enhancement[J]. Proceedings of SPIE - The International Society for Optical Engineering， 2000.

[15]NACCARI F， BATTIATO S， BRUNA A R， et al. Natural scenes enhancement by adaptive color correction[C]// International Symposium on Consumer Electronics. Reading， UK：IEEE， 2004： 320.

[16]MOREL J， PETRO A B， SBERT C， et al. Toward a natural local color image enhancement[C]// International Conference on Computer Graphics， Imaging and Visualisation. Washington， DC：IEEE， 2012： 211.

[17]WANG Shuhang， LUO Gang. Naturalness preserved image enhancement using a priori multi-layer lightness statistics [J]. IEEE Transactions on Image Processing， 2018， 27（2）： 938.

[18]LAND E H. The Retinex[J]. American Scientist， 1964， 52（2）：247.

[19]LAND E H， MCCANN J J. Lightness and Retinex theory[J]. The Journal of the Optical Society of America， 1971， 61（1）：1.

[20]JOBSON D J， RAHMAN Z， WOODELL G A. Properties and performance of a center / surround Retinex[J]. IEEE Transactions on Image Processing， 1997， 6（3）： 451.

[21]JOBSON D J， RAHMAN Z， WOODELL G A . A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing， 1997， 6（7）：965.

[22]KIMMEL R， ELAD M， SHAKED D， et al. A variational framework for Retinex[J]. International Journal of Computer Vision， 2003， 52（1）：7.

[23]Ma W， Osher S. A TV Bregman iterative model of Retinex theory[R]. Los Angeles：University of California， 2010.

[24]NG M K， WANG Wei. A total variation model for Retinex[J]. SIAM Journal on Imaging Sciences， 2011， 4（1）： 345.

[25]CHEN T， YIN W， ZHOU X S， et al. Total variation models for variable lighting face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（9）： 1519.

[26]FU X， ZENG D ， HUANG Y ， et al. A weighted variational model for simultaneous reflectance and illumination estimation[C]// Proceedings of the 2016 IEEE Computer Vision & Pattern Recognition. Piscataway， NJ：IEEE， 2016：2782.

[27]PARK S， MOON B ， KO S. Low-light image restoration using bright channel prior-based variational Retinex model[J]. EURASIP Journal on Image and Video Processing， 2017， 2017（1）：44.

[28]PARK S ， YU S ， MOON B ， et al. Low-light image enhancement using variational optimization-based Retinex model[J]. IEEE Transactions on Consumer Electronics， 2017， 63（2）：178.

[29]GUO Xiaojie， LI Yu， LING Haibin. LIME： Low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing， 2017， 26（2）：982.

[30]CAI Bolun， XU Xianming， GUO Kailing， et al. A joint intrinsic-extrinsic prior model for Retinex [C]// IEEE International Conference on Computer Vision. Venice， Italy：IEEE， 2017： 4020.

[31]HE K M， SUN J， TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2011， 33（12）：2341.

[32]DONG Xuan， WANG Guan， PANG Yi， et al. Fast efficient algorithm for enhancement of low lighting video[C]// 2011 IEEE International Conference on Multimedia and Expo. Barcelona：IEEE， 201：1.

[33]YING Zhenqiang， LI Ge， REN Yurui， et al. A new low-light image enhancement algorithm using camera response model[C]//2017 IEEE International Conference on Computer Vision Workshop.Venice， Italy：IEEE ， 2017： 3015.

[34]JIANG Xuesong， YAO Hongxun， LIU Dilin. Nighttime image enhancement based on image decomposition[J]. Signal Image and Video Processing， 2019，13（1）： 189.

[35]CAI Y， HUANG K， TAN T， et al. Context enhancement of nighttime surveillance by image fusion[C]// International Conference on Pattern Recognition.Hongkong：IEEE， 2006： 980.

[36]KAO W C， HSU C C， KAO C C， et al. Adaptive exposure control and real-time image fusion for surveillance systems[C]// IEEE International Symposium on Circuits & Systems. Island of Kos， Greece：IEEE，2006： 935.

[37]RAO Yunbo， LIN Weiyao， CHEN Leiting. Image-based fusion for video enhancement of night-time surveillance[J]. Optical Engineering， 2010， 49（12）： 120501.

[38]BHATNAGAR G， LIU Zheng. A novel image fusion framework for night-vision navigation and surveillance[J]. Signal Image & Video Processing， 2015， 9（S1）：165.

[39]BENNETT E P， MCMILLAN L. Video enhancement using per-pixel virtual exposures[J]. ACM Transactions on Graphics， 2005， 24（3）：845.

[40]MALM H， OSKARSSON M， WARRANT E， et al. Adaptive enhancement and noise reduction in very low light-level video[C]// IEEE International Conference on Computer Vision. Rio deJaneiro：IEEE， 2007： 1395.

[41]REMPEL A G， TRENTACOSTE M， SEETZEN H， et al. Ldr2Hdr： on-the-fly reverse tone mapping of legacy video and photographs[J]. ACM Transactions on Graphics， 2007， 26（99）：39.

[42]BANTERLE F， LEDDA P， DEBATTISTA K， et al. Inverse tone mapping[C]// International Conference on Computer Graphics & Interactive Techniques in Australasia & Southeast Asia.[S.l.]： ACM， 2006： 349.

[43]LI S， KANG X. Fast multi-exposure image fusion with median filter and recursive filter[J]. IEEE Transactions on Consumer Electronics， 2012， 58（2）：626.

[44]LI Shutao， KANG Xudong， FANG Leyuan， et al. Pixel-level image fusion： A survey of the state of the art[J]. Information Fusion， 2017， 33： 100.

[45]WANG Qiuhong， FU Xueyang， ZHANG Xiaoping， et al. A fusion-based method for single backlit image enhancement[C]// IEEE International Conference on Image Processing（ICIP）. Phoenix， AX， USA： IEEE， 2016： 4077.

[46]FU Xuegang， ZENG Delu， HUANG Yue， et al. A fusion-based enhancing method for weakly illuminated images[J]. Signal Processing， 2016，129： 82.

[47]HE Kaiming， SUN Jian， TANG Xiao'ou. Guided image filtering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2013， 35（6）：1397.

[48]YING Zhenqiang， LI Ge， GAO Wen. A bio-inspired multi-exposure fusion framework for low-light image enhancement[J]. arXiv preprint arXiv：1711.00591， 2017.

[49]MA Jiayi， MA Yong， LI Chang . Infrared and visible image fusion methods and applications： A survey[J]. Information Fusion， 2018，45： 153.

[50]TSAGARIS V， ANASTASSOPOULOS V. Fusion of visible and infrared imagery for night color vision[J]. Displays， 2005， 26（4-5）：191.

[51]ZHOU Z， DONG M， XIE X， et al. Fusion of infrared and visible images for night-vision context enhancement[J]. Applied Optics， 2016， 55（23）：6480.

[52]WANG Y， SHI X， LI F， et al. An effective color image fusion algorithm of visual and infrared night images[C]// 2014 26th Chinese Control and Decision Conference. Changsha：IEEE， 2014： 2974.

[53]SAVOYE E D， SEIBERT M C， CARRICK J E， et al. Color night vision： Opponent processing in the fusion of visible and IR imagery[J]. Neural Networks：The official Journal of the International Neural Network Society， 1997， 10（1）：1.

[54]FOTIADOU K， TSAGKATAKIS G， TSAKALIDES P， et al. Low light image enhancement via sparse representations[M]// CAMPILHO A， KAMEL M.ICIAR 2014， Part I， LINS 8814. Switzerland：Springer， 2014： 84.

[55]LORE K G， AKINTAYO A， SARKAR S. LLNet： A deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition， 2015， 61：650.

[56]WEI Chen， WANG Wenjing， YANG Wenhan， et al. Deep Retinex decomposition for low-light enhancement[C]//British Machine Vision Conference 2018（BMVC 2018）. Newcasle：Northumbria Unviersity， 2018.

[57]SHEN Liang， YUE Zihan， FENG Fan， et al. MSR-net： Low-light image enhancement using deep convolutional network[J]. arXiv preprint arXiv： 1711.02488， 2017.

[58]CHEN Chen， CHEN Qifeng， XU Jjia， et al. Learning to see in the dark[J]. Computer Vision and Pattern Recognition， 2018： 3291.

[59]LOH Y P， CHAN C S. Getting to know low-light images with the exclusively dark dataset[J]. Computer Vision and Image Understanding， 2019（178）： 30.

[60]MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a 'completely blind' image quality analyzer[J]. IEEE Signal Processing Letters， 2013， 20（3）：209.

[61]GU Ke， ZHAI Guangtao， LIN Wei， et al. No-reference image sharpness assessment in autoregressive parameter space[J]. IEEE Transactions on Image Processing：A publication of the IEEE Signal Processing， 2015， 24（10）：3218.

[62]SAAD M A， BOVIK A C， CHARRIER C. Blind image quality assessment： A natural scene statistics approach in the DCT domain[J]. IEEE Transactions on Image Processing， 2012， 21（8）：3339.

[63]LIU Lixiong， HUA Yi， ZHAO Qingjie， et al. Blind image quality assessment by relative gradient statistics and AdaBoosting neural network[J]. Signal Processing Image Communication， 2015， 40（C）：1.

[64]GHARBI M， CHEN Jiawen， BARRON J T ， et al. Deep bilateral learning for real-time image enhancement[J]. ACM Transactions on Graphics， 2017， 36（4）：118.

[65]WANG Z， BOVIK A C， SHEIKH H R ， et al. Image quality assessment： From error visibility to structural similarity[J]. IEEE Transactions on Image Processing， 2004， 13（4）： 600.