馬天 李凡卉 席潤韜 安金鵬 楊嘉怡 張杰慧
摘 要:針對成對數據集獲取成本較高、光照分布不均衡圖像增強效果欠佳以及增強結果易產生十字形偽影的問題,提出了一種基于生成對抗網絡結合Transformer的半監(jiān)督圖像增強方法。首先,采用Transformer網絡架構作為生成對抗網絡中生成器的主干網絡,提取不同像素塊間的依賴關系以獲取全局特征,并通過非成對數據集進行半監(jiān)督學習;其次,使用灰度圖作為生成器網絡的光照注意力圖,以平衡增強結果在不同區(qū)域的曝光水平;最后,在生成器和鑒別器網絡中交叉使用均等裁剪策略和滑動窗口裁剪策略,增強網絡提取特征的能力并解決十字形偽影問題,并引入重建損失來提高生成器對圖像細節(jié)的感知能力。結果表明:提出方法取得了更好的光照和色彩平衡效果,自然圖像質量評估指標平均提升了2.37%;在圖像修飾任務中,圖像峰值信噪比、相似結構度和感知損失同時達到了最優(yōu);在低光照增強任務中,圖像峰值信噪比提升了13.46%;充分驗證了提出方法在圖像增強2個子任務上的有效性。關鍵詞:半監(jiān)督;圖像增強;生成對抗網絡;Transformer;光照注意力中圖分類號:TD 391
文獻標志碼:
A
文章編號:1672-9315(2023)06-1207
-12
DOI:10.13800/j.cnki.xakjdxxb.2023.0619開放科學(資源服務)標識碼(OSID):
Semi-supervised image enhancement method based on
generative adversarial network combined with transformer
MA Tian1,LI Fanhui1,XI Runtao2,3,AN Jinpeng1,YANGJiayi1,ZHANG Jiehui1
(1.College of Computer Science and Engineering,Xian University of Science and Technology,Xian 710054,China;
2.CCTEG Changzhou Research Institute,Changzhou 213015,China;
3.Tiandi(Changzhou)Automation Co.,Ltd.,Changzhou 213015,China)
Abstract:To address the issues of high cost in acquiring paired datasets,inadequate enhancement effects due to uneven lighting distributions,and the occurrence of cross-shaped artifacts in the enhanced results,a semi-supervised image enhancement method based on the combination of generative adversarial network and Transformer was proposed.Firstly,the Transformer network architecture was employed as the backbone network of the generator in the GAN to extract the dependency relationships between different pixel blocks for obtaining global features,and semi-supervised learning was performed using non-paired datasets.Secondly,a grayscale image was used as the illumination attention map for the generator network to balance the exposure levels of the enhanced results in different regions.Finally,equal cropping strategy and sliding window cropping strategy were cross-used in the generator and discriminator networks to enhance the feature extraction capability of the network and solve the problem of cross-shaped artifacts.Additionally,a reconstruction loss was introduced to improve the generators perception capability of image details.The results demonstrate that the proposed method has achieved better lighting and color balance effects,with an average improvement of 2.37% in the evaluation of natural image quality.In the image modification task,the peak signal-to-noise ratio,structural similarity,and perceptual loss simultaneously reach their optimum values.In the low-light enhancement task,the peak signal-to-noise ratio is improved by 13.46%.These results fully validate the effectiveness of the proposed method in the two subtasks of image enhancement.Key words:semi-supervised;image enhancement;generate adversarial network;Transformer;light attention
0 引 言
圖像是人類獲取信息的重要途徑,但是由于光照條件和設備性能等的限制,會導致所拍攝圖像存在過暗、細節(jié)不清晰、顏色失真等問題,因此需要采用圖像增強技術進行修復。文中以圖像增強領域的2個子問題:圖像修飾和低光照圖像增強為研究對象。圖像修飾的目的在于對圖像的曝光、色彩、飽和度等進行綜合調整;而低光照圖像增強則旨在提升光線不足場景下獲得圖像的視覺感知質量,以得到更多有效信息。圖像增強自提出以來已經歷了幾十年的發(fā)展。傳統(tǒng)方法通常采用直方圖均衡化[1]、伽馬校正[2]或是利用圖像在頻域上的特性[3]進行圖像增強。此外,還有學者應用Retinex理論[4]對圖像亮度和顏色信息進行調整,以增強圖像的細節(jié)和對比度。盡管這些方法在處理具有單一問題的圖像時表現出色,但它們缺乏對圖像整體或局部特征的關注,在處理一些綜合多種問題的復雜場景時存在局限性。近年來,基于深度學習的圖像增強方法受到了廣泛關注。目前,大多數基于CNN的圖像增強方法都依賴于成對數據集進行全監(jiān)督訓練。LORE等首次提出一種稱為Low-Light Net(LLNet)的深度自編碼器,以增強圖像亮度、對比度和降低噪聲[5]。隨后,很多基于成對數據集的全監(jiān)督方法被提出。然而這些方法的增強性能很大程度上依賴于數據集,這容易導致模型過擬合和缺乏泛化性。為了解決這一問題,一些方法開始在沒有成對數據集的情況下進行訓練。 基于此,EnlightenGAN[6]作為一種基于無監(jiān)督學習的方法被提出,該模型采用了條件生成器和全局-局部鑒別器的設計,能夠在不需要配對監(jiān)督數據的情況下實現高質量的低光照圖像增強。但由于該方法采用了2個生成器和2個鑒別器的結構,計算成本較高。此外,HU等提出了一個White-Box照片后處理框架,該框架通過學習根據圖像的當前狀態(tài)做出決策來改進照片后處理的效果[7];CHEN等采用強化學習進行圖像修飾,并提出了一種改進的雙向生成對抗網絡(GAN),以非配對學習的方式進行訓練[8]。然而,當輸入圖像
較暗或包含噪聲時,該模型可能會放大噪聲的問題。
另一方面,在圖像增強任務中,成對數據集可以提供監(jiān)督信號,即對于每個輸入都有一個對應的輸出。這種監(jiān)督信號可以幫助深度學習模型更快地學習和調整參數,從而提高模型的準確性。然而,獲取和準備成對數據集的成本較高。為了獲得成對數據集,通常需要專家修圖人員手動修復低質量圖像或者人為破壞高質量圖像。因此,獲取成對圖像需要耗費大量的時間和人力。針對以上問題,文中提出了一種基于生成對抗網絡結合Transformer的半監(jiān)督圖像增強方法(Semi-supervised Trans GAN Image Enhancement,STGIE)。STGIE的整體架構采用GAN的架構,生成器主要由 Transformer編碼器和曲線調整工具構成,鑒別器則由全注意力特征編碼器和多層感知機作為主要結構。為了解決增強結果曝光不均衡的問題,STGIE采用了光照注意力圖來輔助生成器進行光照調整;同時,在生成器和鑒別器中采用了不同的圖像裁剪策略,有效地消除了十字形偽影問題。此外,STGIE使用非成對數據集進行訓練,以避免因訓練數據有限導致的模型過擬合問題。通過低光照圖像增強和圖像修飾的對比試驗,證明了其在性能上相較于其他方法更為優(yōu)越。STGIE不僅能夠有效地調整不同區(qū)域的光照分布,還在整體對比度和色彩飽和度方面表示出色。
1 相關研究理論概述
1.1 生成對抗網絡近年來,生成對抗網絡(Generative Adversarial Nets,GAN)已廣泛應用于圖像增強任務中。GAN利用生成器網絡生成更真實、更清晰的圖像,并通過鑒別器網絡對生成的圖像進行評估,從而不斷優(yōu)化生成器網絡,使其生成的圖像更真實、更接近實際圖像。ZHANG等提出HarmonicGAN方法,通過在訓練數據上引入一個平滑項來加強源域和目標域之間的平滑一致性,來學習源域和目標域之間的雙向轉換[9]。JIANG等提出了EnlightenGAN方法,該模型包含一個自正則注意力引導的U-Net生成器和一個全局-局部鑒別器。研究者還提出了基于局部和全局的自我特征保留損失函數,可以更加精確地保留圖像的細節(jié)和紋理信息,從而生成高質量的增強圖像。CHEN等采用雙向GAN架構結合自適應加權方案,提高了訓練穩(wěn)定性。DPE能夠感知高質量圖像特征,并利用這些特征對低質量圖像進行增強。KOSUGI等提出的UIE方法可在不需要成對數據集的情況下,通過單個強化學習智能體來控制圖像編輯軟件,學習如何調整編輯軟件的參數,以達到更好地圖像增強效果[10]。
1.2 Transformer由于卷積操作的局限性,導致CNN和GAN在處理大尺寸圖像時需要大量的計算資源和時間。相比之下,Transformer通過自注意力機制能夠更好地處理大尺寸圖像,并學習到全局的圖像特征。最初被應用于自然語言處理領域的Transformer,近幾年也被廣泛應用于圖像分類、語義分割、圖像增強等圖像處理領域。DOSOVITSKIY等提出Vision Transformer(ViT)模型將圖片劃分為多個不重疊的區(qū)域,然后將自然語言處理中使用的標準 Transformer編碼器應用在圖像識別任務中,取得了優(yōu)于CNN架構的效果[11]。隨后,ZHENG等提出了一種基于Transformer的序列到序列語義分割方法[12]。該方法將圖像分割成若干個小塊,并通過 Transformer模型進行處理,輸出每個像素的分類結果,從而實現對圖像語義的準確劃分。LIU等提出的Swin Transformer成為計算機視覺領域的主干網絡,在多種任務中取得SOTA水平[13];ESSER等提出了一種基于Transformer的高分辨率圖像合成模型[14];JIANG等將Transformer與GAN相結合,提出了TransGAN方法,該方法利用2個Transformer網絡完成高分辨率圖像生成任務[15];ZHANG等提出了一種稱為STAR的Transformer架構,通過捕獲圖像之間的長期依賴關系和不同區(qū)域的結構關系以實時進行圖像增強,但該方法在圖像亮度和色彩調整之間難以取得平衡[16]。
xout和xtarget分別為生成的圖像和非成對的真實圖像。3 試驗分析根據不同的任務需求,使用不同的數據集進行訓練。對于圖像修飾任務,采用FiveK數據集進行訓練,該數據集包含5 000張由不同攝影師拍攝的照片,涵蓋了各種場景、主題和照明條件;對于低光照圖像增強任務,為了擴展訓練數據的動態(tài)范圍,使用LOL數據集和SCIE數據集進行訓練。LOL數據集包含500對不同場景和不同攝像機拍攝的低光照和正常光照圖像。SCIE數據集包含5 389張圖像,它們是通過相機使用不同曝光時間拍攝的,每個場景都包含低曝光、正常曝光和過曝光圖像。需要說明的是,非成對訓練是指在生成對抗網絡中使用不成對的訓練數據。盡管FiveK和LOL數據集均為成對數據集,但在試驗過程中,將數據集進行了打亂,形成低質量圖像和非成對的高質量圖像作為成對數據輸入模型,進行半監(jiān)督圖像增強。試驗過程采用Adam優(yōu)化器,批大小設置為8,Epoch設置為20 000,生成器和鑒別器學習率均設置為0.000 3。為了保證STGIE在不同分辨率圖像上增強效果的穩(wěn)定性,在輸入模型前圖像會被壓縮至224×224的固定分辨率。同時,通過對圖像隨機裁剪、旋轉、翻轉操作進行數據增廣。整個訓練過程在Nvidia 3090 GPU上不超過半個小時(Epoch訓練8 000次左右),模型即可達到收斂。為了客觀評估試驗結果,使用全參考評價指標和無參考評價指標進行定性和定量分析。全參考圖像質量評價是一種廣泛應用于增強算法評估的評價體系,需要全面考慮生成圖像和全參考圖像的信息。使用到的指標包括:峰值信噪比(PSNR)、結構相似度(SSIM)和感知損失(LPIPS)。其中,PSNR用于衡量生成圖像與參考圖像像素點的相似度,數值越高表示2幅圖像越相似。SSIM用于評估生成圖像與參考圖像的相似性,綜合考慮了亮度、對比度和結構等因素,提供了更全面的相似性度量。LPIPS是一種基于感知學習方法的指標,用于評估圖像增強質量,它綜合考慮了像素值之間的差異以及人眼對圖像的感知,更好地模擬了人類對圖像質量的感知。無參考圖像質量評價是一種不依賴參考圖像的評價體系,常用的評價指標為自然圖像質量評估器評價(Natural Image Quality Evaluator,NIQE)。NIQE是一種基于自然圖像統(tǒng)計規(guī)律的無參考圖像質量評估方法。它通過計算輸入圖像的自然度、銳度和噪聲等特征,綜合評估圖像質量,其值越小代表圖像質量越高。
3.1 消融試驗
3.1.1 光照注意力圖消融試驗 為了增強模型對光照變化的適應能力,STGIE采用光照注意力圖對圖像不同區(qū)域進行加權處理。這種方法能夠更好地區(qū)分不同區(qū)域的光照強度,并實現曝光補償和減弱。為了驗證光照注意力圖對圖像增強結果的影響,在保持其他條件不變的情況下,比較了使用三通道(RGB)圖像和四通道(RGB、Gray)圖像作為輸入的增強效果。圖4展示了在LOL數據集下的增強結果。
為更清晰地比較2組試驗在背光區(qū)域處理上的差異,將紅色框內的場景放大并置于原圖下方。
總體來看,2組試驗結果在圖像亮度、整體色彩和細節(jié)方面均有明顯的提升。在圖像亮度方面,加入光照注意力圖的試驗結果亮度提升更加明顯,也更加接近目標圖像。此外,2組試驗在背光區(qū)域表現出了明顯差異。紅色框內的場景,例如柜子內的物品、保齡球和看臺下方,均為背光區(qū)域,需要進行額外的曝光補償。在未加入光照注意力圖的情況下,該區(qū)域的增強結果仍存在光照不足的問題。同時,加入光照注意力圖的試驗結果中,該區(qū)域的光照提升較為顯著,對該區(qū)域細節(jié)信息有較好的再現,并且整張圖像上沒有出現過曝光問題。這主要得益于光照注意力圖在增強局部對比度和調整光照方面的有效性。
3.1.2 重建損失消融試驗為驗證重建損失對生成器的作用,在保持其他條件不變的情況下,對比去除重建損失前后的增強效果,并通過對比VGG網絡不同卷積層作為特征提取器產生的增強效果,探究不同卷積層對重建損失的影響。在FiveK數據集下試驗結果見表1。
從表1可以看出,只使用對抗損失的增強效果最差。對抗損失只通過訓練生成器來欺騙鑒別器,而不約束生成圖像的質量,這可能導致真實圖像缺乏重要特征。而僅使用VGG網絡第1層卷積計算重建損失的效果最好。因為生成器使用Transformer模型進行特征提取,它更關注圖像的高級特征,而淺卷積層更有可能捕獲紋理和邊緣等低級特征。這些自下而上的特征有效地反映圖像的細節(jié),從而更好地彌補了生成器對底層特征的忽略。
3.1.3 滑動窗口分割消融試驗為了驗證不同圖像裁剪方法對增強效果的影響,在保證其他條件不變的情況下,分別對生成器和鑒別器使用不同的裁剪策略,在FiveK數據集下進行定性和定量對比見表2。其中,Average代表使用ViT的均等裁剪策略,Sliding代表使用滑動窗口裁剪策略。
從表2數據可以得出,交叉使用2種裁剪策略的情況下,增強結果在SSIM和LPIPS上的表現相對較好。此外,當生成器使用均等裁剪策略,鑒別器使用滑動窗口策略時,具有更好的增強效果。不同圖像裁剪策略下生成器和鑒別器的增強結果如圖5所示,使用紅色框將圖像中容易出現偽影的區(qū)域進行標注。
試驗結果表明,生成器和鑒別器使用相同的裁剪策略容易導致圖像出現十字形偽影。這是因為相同的裁剪策略會產生相同的分割邊界,使得編碼器難以獲取分割邊界兩側像素點之間的依賴關系,導致增強效果較差。另外,這些分割邊界也可能沿著圖像的紋理和形狀邊緣形成十字形偽影。通過采用生成器使用均等裁剪而鑒別器使用滑動窗口裁剪策略,可以有效緩解十字形偽影問題。這種策略改善了圖像的色彩調整能力,并減少了偽影的出現。
3.2 試驗結果定量分析
3.2.1 圖像修飾定量分析為了驗證所提出方法在圖像修飾任務中的有效性,使用FiveK數據集,在分辨率為512×341下對比了STGIE和EnlightenGAN、DPE、Zero-DCE[17]、RUAS[18]、 3DLUT[19]方法的增強效果,這些方法均無需成對數據集,使用PSNR、SSIM、LPIPS指標對上述方法進行評估,結果見表3。
試驗結果表明,相較于其他使用非成對數據集的方法,STGIE在PSNR、SSIM和LPIPS這3項指標中均表現最佳。其中,在SSIM方面,STGIE的提升得益于Transformer中多頭注意力機制的全局特征提取,使其更好地調整圖像的整體結構。在LPIPS方面,STGIE也具有顯著優(yōu)勢。這說明使用STGIE增強的結果在圖像整體結構方面更接近原始圖像,并證明STGIE對高級語義信息更加敏感。
3.2.2 低光照增強定量分析為了評估STGIE 在低光照增強任務中的有效性,從2個方面進行驗證。首先使用LOL數據集,對比STGIE與EnlightenGAN、Zero-DCE、RetinexNet、RUAS、LIME[20]、MBLLEN[21]、KinD++[22]、FIDE[23]、NeurOp[24]在PSNR、SSIM、LPIPS方面的表現,結果見表4。
從試驗結果可以看出,STGIE在3個全監(jiān)督評價指標上表現比較均衡,并優(yōu)于大多數算法。其PSNR成績優(yōu)異的原因在于,采用基于曲線調整函數進行逐像素調整,能夠更好擬合目標圖像的像素值分布情況。在SSIM方面,FIDE方法取得了最優(yōu)結果,這得益于其獨特的網絡結果設計。在LPIPS方面,RUAS表現最好,這得益于其通過結構搜索方法設計了一個高效的特征提取網絡,能更好地提取圖像全局特征,具有更好的增強效果。
另一方面,為評估STGIE 作為半監(jiān)督圖像增強方法的泛化能力和處理光照不均衡圖像能力,在4個非成對數據集MEF、LIME、NPE和DICM 上進行了增強效果測試,這4個數據集涵蓋了各種曝光條件下的圖像。由于缺乏參考圖像,半監(jiān)督圖像增強方法難以直接評估圖像增強的效果,因此采用NIQE作為評價指標。試驗比較了STGIE和其他8種方法的性能差異,結果見表5。
從表5可以看出,STGIE在MEF和NPE這2個數據集上表現最優(yōu),LIME和RUAS分別在LIME數據集和DICM數據集上表現最優(yōu)。STGIE在4個數據集上的NIQE平均值均為最優(yōu),這是由于加入光照注意力圖,使得STGIE能更好處理光照不均衡的圖像,因此,在這類數據集中具有較好的表現。值得注意的是,相比于同樣采用GAN架構的EnlightenGAN方法,STGIE的性能有著顯著的提升,STGIE方法具有良好的泛化性能。
3.3 試驗結果定性分析
3.3.1 圖像修飾定性分析使用FiveK數據集,以512×341的分辨率為基準,對比了STGIE與其他同時代方法的增強效果。選取了代表性結果進行定性分析,結果如圖6圖像修飾對比試驗定性分析所示。為了更清晰地觀察圖像中差異明顯的區(qū)域,將紅色和綠色框內場景進行放大,并將其顯示在圖像空曠區(qū)域或圖像右側。
相較于其他方法,STGIE在整體亮度方面調整得更為合適,它充分考慮到了背光區(qū)域和曝光區(qū)域,并對光照不平衡區(qū)域進行了曝光補償,使得整體亮度與目標圖像較為接近,這得益于光照注意力圖的設計。在顏色和細節(jié)方面,STGIE具有更加鮮艷的視覺效果,在色彩還原度方面表現優(yōu)異,并且整體的色彩分布也較為接近目標圖像結果。
3.3.2 低照度增強定性分析在常規(guī)低光照圖像數據集LOL以及具有挑戰(zhàn)性的低光照數據集MEF、LIME、NPE和DICM下,對低光照圖像增強方法性能進行評估。其中,LOL數據集包含成對數據,而其余4個數據集僅包含待增強的低光照圖像。由于這些數據集光照極不平衡、色彩分布差異較大,在低光照圖像增強領域被認為是具有挑戰(zhàn)性的數據集。
在LOL數據下,對STGIE及其他7種低光照增強模型進行比較。圖7為不同方法的增強結果。STGIE在局部區(qū)域會產生色彩偏差,這是基于GAN生成方法難以避免的問題,例如編制飾品的顏色發(fā)生偏差。不過,圖像的整體色彩分布仍然接近目標圖像,符合人的視覺感知。在圖像亮度方面,STGIE的增強結果最接近目標圖像。在紋理細節(jié)方面,STGIE的增強結果在整體調整和細節(jié)保留方面表現良好,物體邊緣和細節(jié)更接近目標圖像。綜上所述,STGIE在低光照增強方面表現出色,優(yōu)于其他模型。
另一方面,為了驗證STGIE處理光照分布極不均衡圖像的能力,在MEF、LIME、NPE和DICM這4種數據集上對比了STGIE和其他8種不同方法的表現,結果如圖8所示。STGIE方法能夠合理地調整不同區(qū)域的光照分布,同時在整體對比度和色彩飽和度方面表現出色。這可能歸因于光照注意力圖的設計,使得模型對光照分布更加敏感,能夠根據不同區(qū)域光照的差異進行不同處理。
綜上所述,在成對數據集和非成對數據集下的定性試驗結果表明,STGIE方法在處理低光照圖像和挑戰(zhàn)性較強的圖像方面均表現出較好的效果。該方法能夠合理地調整圖像的色彩和光照,并且在多個數據集下均有較好表現,進一步證明了STGIE方法的泛化性能和魯棒性。
3.4 模型輕量化和實時性對比為了比較不同方法在模型參數量和實時性方面的差異,對RetinexNet、EnlightenGAN、Zero-DCE、RUAS和3DLUT與STGIE方法進行了對比。采用增強圖像的每秒幀數(FPS)作為衡量模型實時性的指標,并計算在處理FiveK數據集500張圖像時的平均速度,結果見表6。STGIE方法在模型參數量和增強效率方面具有一定優(yōu)勢。其參數大小為0.311 MB,比RetinexNet、Zero-DCE等方法更為輕量化,更適合在計算資源有限的環(huán)境下使用。同時,STGIE方法的處理速度較快,能夠以每秒89幀的速度進行圖像增強,優(yōu)于RetinexNet和EnlightenGAN。綜上所述,STGIE方法具有輕量級模型和高效率的優(yōu)點,能夠在實際應用中提供更好的性能和用戶體驗。
4 結 論
1)從顏色調整的角度出發(fā),STGIE使用Transformer網絡架構作為生成器主干網絡解決了全監(jiān)督和半監(jiān)督下的圖像增強問題。與其他深度學習方法相比,STGIE使用非成對數據集進行訓練,可以充分利用數據集易于獲取的優(yōu)勢,提升模型的泛化能力。2)設計了光照注意力圖和滑動窗口裁剪策略。通過灰度圖,STGIE可以引導光照調整,實現了對光照不同區(qū)域的不同調整。采用滑動窗口裁剪策略來增強鑒別器對裁剪區(qū)域的特征提取能力,有效避免了圖像出現十字形偽影。
3)通過試驗驗證了STGIE在圖像增強2個子任務上的有效性。在圖像修飾任務中,圖像峰值
信噪比、相似結構度和感知損失分別達到22.97,
0.902和0.089 dB;在低光照增強任務中,圖像峰值信噪比提升了13.46%。此外,在無監(jiān)督評價指標NIQE表現顯著提升,平均參數提升了
2.37%。4)針對半監(jiān)督方法在處理色彩豐富的圖像時出現的色差和色彩飽和度不足等問題,雖然STGIE相較于其他方法有顯著改善,但仍存在一定的局限性。未來的研究可以嘗試從多種色彩空間對圖像顏色調整進行約束,以平衡色彩和光線的調整,解決半監(jiān)督圖像增強中色彩飽和度不足的問題。
參考文獻(References):
[1]
丁暢,董麗麗,許文海.“直方圖”均衡化圖像增強技術研究綜述[J].計算機工程與應用,2017,53(23):12-17.DING Chang,DONG Lili,XU Wenhai.Review on histogram equalization image enhancement techniques[J].Computer Engineering and Applications,2017,53(23):12-17.[2]RAHMAN S,RAHMAN M M,ABDULLAH M,et al.An adaptive gamma correction for image enhancement[J].EURASIP Journal on Image and Video Processing,2016,35:1-13.[3]KINGSBURY N.Image processing with complex wavelets[J].Philosophical Transactions of the Royal Society of London.Series A:Mathematical,Physical and Engineering Sciences,1999,357(1760):2543-2560.
[4]LAND E H,MCCANN J.Lightness and retinex theory[J].Journal of the Optical Society of America,1971,61(1):1-11.
[5]LORE K G,AKINTAYO A,SARKAR S.LLNet:A deep autoencoder approach to natural low-light image enhancement[J].Pattern Recognition,2017,61:650-662.[6]JIANG Y,GONG X,LIU D,et al.Enlightengan:Deep light enhancement without paired supervision[J].IEEE Transactions on Image Processing,2021,30:2340-2349.[7]HU Y,HE H,XU C,et al.Exposure:A white-box photo postprocessing framework[J].ACM Transactions on Graphics,2018,37(2):1-17.
[8]CHEN Y S,WANG Y C,KAO M H,et al.Deep photo enhancer:Unpaired learning for image enhancement from photographs with gans[C]//Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE,2018:6306 6314.[9]ZHANG R,PFISTER T,LI J.Harmonic unpaired image-to-image translation[C]//International Conference on Learning Representations,Washington DC:ICLR,May6-9,2019.
[10]KOSUGI S,YAMASAKI T.Unpaired image enhancement featuring reinforcement-learning controlled image editing software[C]//Proceedings of the AAAI conference on artificial intelligence.Menlo Park:AAAI,2020,34(7):11296 11303.[11]DOSOVITSKIY A,BEYER L,KOLESNIKOV A,et al.An image is worth 16×16 words:Transformers for image recognition at scale[C]//International Conference on Learning Representations.Washington DC:ICLR,May3-7,2021.[12]ZHENG S,LU J,ZHAO H,et al.Rethinking semantic segmentation from a sequence-to-sequence perspective with transformers[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.Piscataway,NJ:IEEE,2021:6881-6890.[13]LIU Z,LIN Y,CAO Y,et al.Swin transformer:Hierarchical vision transformer using shifted windows[C]//Proceedings of the IEEE/CVF international conference on computer vision.Piscataway,NJ:IEEE,2021:10012-10022.[14]ESSER P,ROMBACH R,OMMER B.Taming transformers for high-resolution image synthesis[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.Piscataway,NJ:IEEE,2021:12873-12883.[15]JIANG Y,CHANG S,WANG Z.Transgan:Two pure transformers can make one strong gan,and that can scale up[J].Advances in Neural Information Processing Systems,2021,34:14745-14758.[16]ZHANG Z,JIANG Y,JJIANG J,et al.STAR:A structure-aware lightweight transformer for real-time image enhancement[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision.Piscataway,NJ:IEEE,2021:4106-4115.[17]GUO C,LI C,GUO J,et al.Zero-reference deep curve estimation for low-light image enhancement[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.Piscataway,NJ:IEEE,2020:1780-1789.[18]LIU R,MA L,ZHANG J,et al.Retinex-inspired unrolling with cooperative prior architecture search for low-light image enhancement[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.Piscataway,NJ:IEEE,2021:10561-10570.[19]ZENG H,CAI J,LI L,et al.Learning image-adaptive 3d lookup tables for high performance photo enhancement in real-time[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,44(4):2058-2073.[20]GUO X,LI Y,LING H.LIME:Low-light image enhancement via illumination map estimation[J].IEEE Transactions on image processing,2016,26(2):982-993.[21]LYU F,LU F,WU J,et al.MBLLEN:Low-light image/video enhancement using CNNs[C]//British Machine Vision Conference.UK:BMVA,2018,220(1):4.[22]ZHANG Y,GUO X,MA J,et al.Beyond brightening low-light images[J].International Journal of Computer Vision,2021,129:1013-1037.[23]XU K,YANG X,YIN B,et al.Learning to restore low-light images via decomposition-and enhancement[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.Piscataway,NJ:IEEE,2020:2281-2290.
[24]WANG Y,LI X,XU K,et al.Neural color operators for sequential image retouching[C]//European Conference on Computer Vision.Berlin:Springer,2022:38-55.[25]王媛彬,李媛媛,齊景鋒,等.基于引導濾波的多尺度自適應礦井低質圖像增強方法[J].西安科技大學學報,2022,42(6):1214-1223.WANG Yuanbin,LI Yuanyuan,QI Jingfeng,et al.Multi-scale adaptive mine image enhancement method based on guided filtering[J].Journal of Xian University of Science and Technology,2022,42(6):1214-1223.
[26]WANG Y,WAN R,YANG W,et al.Low-light image enhancement with normalizing flow[C]//Proceedings of the AAAI Conference on Artificial Intelligence.Menlo Park:AAAI,2022,36(3):2604-2612.[27]LI M,LIU J,YANG W,et al.Structure-revealing low-light image enhancement Via robust retinex model[J].IEEE Transactions on Image Processing,2018,27(6):2828-2841.
[28]邵小強,楊濤,衛(wèi)晉陽,等.改進同態(tài)濾波的礦井監(jiān)控視頻圖像增強算法[J].西安科技大學學報,2022,42(6):1205-1213.SHAO Xiaoqiang,YANG Tao,WEI Jinyang,et al.Mine surveillance video image enhancement algorithm with improved homomorphic filter[J].Journal of Xian University of Science and Technology,2022,42(6):1205-1213.
(責任編輯:劉潔)