杜兵芳

(重慶外語外事學(xué)院 國際商貿(mào)與管理學(xué)院,重慶 400065)

數(shù)字圖像信息含量豐富,高品質(zhì)圖像是高質(zhì)量使用圖像的先決條件。零樣本低照度圖像通過一系列圖像處理方法可提升圖像的質(zhì)量和細(xì)節(jié),進(jìn)行圖像特征增強(qiáng),使圖像更加清晰、明亮[1-2]。江澤濤等[3]提出了基于潛在低秩表示與復(fù)合濾波的紅外與弱可見光增強(qiáng)圖像融合方法:使用高動態(tài)范圍壓縮增強(qiáng)法,提高可見光圖像的亮度;利用復(fù)合濾波分解法對紅外圖像進(jìn)行分解,獲取圖像低頻和高頻層;通過加權(quán)最小二乘法增強(qiáng)圖像特征,以線性疊加的方式得到融合圖像。但該算法圖像增強(qiáng)所用時間較長,存在圖像處理效率較低的問題。徐少平等[4]提出了采用深度學(xué)習(xí)與圖像融合實現(xiàn)策略的低照度圖像增強(qiáng)算法:使用照射分量預(yù)測模型對輸入的低照度圖像進(jìn)行快速估計;在Retinex模型框架下結(jié)合最佳照射分量結(jié)果生成適度曝光閾值;采用局部結(jié)構(gòu)化融合法和利用色度加權(quán)融合機(jī)制來融合圖像,最終獲取增強(qiáng)圖像結(jié)果。但該算法得到的最佳照射分量結(jié)果的平均絕對偏差有待進(jìn)一步驗證,存在圖像增強(qiáng)精度較低的問題。Al Sobbahi R等[5]提出了集成圖像增強(qiáng)和分類的微光同態(tài)濾波網(wǎng)絡(luò)方法:構(gòu)建微光同態(tài)濾波網(wǎng)絡(luò)模型,在模型中訓(xùn)練圖像增強(qiáng)和分類性能,以獲取圖像增強(qiáng)頻率濾波,完成集成圖像增強(qiáng)。但該算法計算過程較復(fù)雜,存在計算力較差的問題。

數(shù)學(xué)形態(tài)學(xué)是一種基于集合論和拓?fù)鋵W(xué)的圖像處理,通過對圖像中的形狀、結(jié)構(gòu)和空間關(guān)系進(jìn)行分析和變換,實現(xiàn)圖像特征提取、去噪和增強(qiáng)等目的。數(shù)學(xué)形態(tài)學(xué)具有較強(qiáng)的非線性處理能力和形態(tài)特征保持能力,能夠更好地適應(yīng)不同場景下的圖像處理需求?；诖?本文提出一種基于數(shù)學(xué)形態(tài)學(xué)的零樣本低照度圖像特征增強(qiáng)方法。該方法使用超像素合成的高質(zhì)量正常曝光圖像作為參照圖像,以提供去噪預(yù)處理的優(yōu)化依據(jù);采用半軟閾值指數(shù)衰減法對低照度圖像進(jìn)行小波去噪以減少圖像中的噪聲干擾,利用膨脹和腐蝕操作提取低照度圖像中的特征結(jié)構(gòu)元素以輔助后續(xù)圖像增強(qiáng)處理,應(yīng)用盒式濾波技術(shù)求解低照度圖像的積分反射分量以增強(qiáng)圖像的亮度和對比度;通過全局零樣本迭代學(xué)習(xí)增益方法對低照度圖像進(jìn)行特征增強(qiáng)處理,最終達(dá)到改善低照度圖像的細(xì)節(jié)和視覺效果的目的。下面在此主旨范圍展開相關(guān)討論。

1 數(shù)學(xué)形態(tài)學(xué)的零樣本低照度圖像特征增強(qiáng)

1.1 零樣本低照度圖像與圖像特征

零樣本是指在訓(xùn)練階段沒有相應(yīng)的圖像樣本數(shù)據(jù)用于處理和學(xué)習(xí),后續(xù)的計算機(jī)圖像處理難度較大。低照度圖像是在光線較暗環(huán)境下拍攝的圖像,會受到噪聲、細(xì)節(jié)模糊等問題的影響,圖像的細(xì)節(jié)信息被破壞,噪聲大、亮度不均勻、色彩失真。

圖像特征是圖像中能夠辨識局部或全局的特征信息,增強(qiáng)圖像特征可以改善圖像的清晰度、亮度、顏色等。其實現(xiàn)途徑可以采用超像素合成的參照圖像作為零樣本,使用半軟閾值指數(shù)衰減法對低照度圖像進(jìn)行去噪預(yù)處理;運(yùn)用膨脹和腐蝕操作來提取低照度圖像的特征結(jié)構(gòu)元素,利用盒式濾波法求解低照度圖像的積分反射分量,由此實現(xiàn)增強(qiáng)低照度圖像的信息特征。

1.2 數(shù)學(xué)形態(tài)學(xué)要述

數(shù)學(xué)形態(tài)學(xué)是一種圖像處理和分析的數(shù)學(xué)理論,該理論主要關(guān)注圖像的形狀、結(jié)構(gòu)和拓?fù)涮卣鳌Ｋ褂靡幌盗械幕拘螒B(tài)學(xué)操作,如膨脹、腐蝕、開運(yùn)算、閉運(yùn)算等,改變和提取圖像中的形狀和結(jié)構(gòu)信息。通過結(jié)構(gòu)元素與圖像進(jìn)行局部區(qū)域的匹配和變換,提取圖像中的關(guān)鍵形狀特征,從而實現(xiàn)圖像的深入處理。具體的形態(tài)學(xué)操作如圖1所示。

圖1 數(shù)學(xué)形態(tài)學(xué)操作示意

數(shù)學(xué)形態(tài)學(xué)操作(如膨脹和腐蝕)具有很好的形狀保持性能,可在保持目標(biāo)形狀的同時改變其大小和位置,通過選擇合適的結(jié)構(gòu)元素來適應(yīng)不同尺度的圖像。另外,可以提取圖像中邊緣、角點、凸殼等結(jié)構(gòu)信息,這些信息對于圖像特征增強(qiáng)和模式識別具有重要作用。同時,可以解決低照度圖像特征增強(qiáng)過程中的對比度增強(qiáng)、邊緣增強(qiáng)、細(xì)節(jié)增強(qiáng)等問題,如開運(yùn)算和閉運(yùn)算操作可以改善圖像對比度,突顯圖像細(xì)節(jié)。

數(shù)學(xué)形態(tài)學(xué)能夠提取圖像中的目標(biāo)區(qū)域,分析和描述圖像中的物體形狀和結(jié)構(gòu)特征,能夠應(yīng)用于計算機(jī)視覺、醫(yī)學(xué)圖像處理、數(shù)字圖像修復(fù)等領(lǐng)域的目標(biāo)檢測、圖像增強(qiáng)、特征識別等,為圖像處理和分析提供有效途徑,在處理低照度圖像時具有較好的靈活性和適應(yīng)性。

1.3 低照度圖像的超像素合成

在構(gòu)建低照度圖像特征增強(qiáng)模型時,需要將高質(zhì)量的正常曝光圖像作為參照圖像進(jìn)行零樣本學(xué)習(xí),所以需要對低照度圖像進(jìn)行超像素合成,以其作為圖像特征增強(qiáng)的訓(xùn)練基準(zhǔn)。采集一組單反攝像機(jī)拍攝的圖像,圖像內(nèi)容應(yīng)涵蓋豐富的場景和各種不同的光照條件。為了使所有圖像均滿足低照度圖像增強(qiáng)的參考圖像需求,要綜合考慮亮度、顏色、細(xì)節(jié)等因素[6]。采用超像素劃分方法將圖像細(xì)分為多個子區(qū)域,數(shù)量通常在300～480之間。這些子區(qū)域不僅需要保留圖像的亮度、顏色、細(xì)節(jié)等有效細(xì)節(jié)信息,同時還應(yīng)避免破壞原始圖像的邊界信息。計算各像素塊在原始圖像中對應(yīng)的顏色平均值:

(1)

1.4 低照度圖像去噪預(yù)處理

上述低照度圖像超像素合成數(shù)據(jù)集中含有大量噪聲干擾,不利于后續(xù)特征增強(qiáng)。因此,利用小波分解對低照度圖像進(jìn)行去噪預(yù)處理。傳統(tǒng)的小波去噪法對圖像信號的處理主要通過小波軟閾值和硬閾值實現(xiàn),但是小波軟閾值和硬閾值對于信號的衰減處理過強(qiáng),容易導(dǎo)致低照度圖像關(guān)鍵特征損失[7-8]。對此,使用半軟閾值指數(shù)衰減法優(yōu)化小波去噪,去除小波分解降噪過程中產(chǎn)生的平滑加性噪聲。設(shè)定低照度圖像信號像素值為b,閾值為μ1、μ2,當(dāng)μ2<|b|時,閾值參數(shù)與硬閾值相近,當(dāng)μ1<|b|≤μ2時,閾值參數(shù)與軟閾值相近。半軟閾值函數(shù)如式(2)所示:

(2)

通過對μ1<|b|≤μ2的線性變換,可以有效減緩低照度圖像中信號的衰減,避免加性噪聲引發(fā)的低照度圖像細(xì)節(jié)損失。在對加性噪聲展開處理后,還要考慮乘性噪聲對低照度圖像清晰度的影響。引入奇異值算法對低照度圖像展開去噪處理。設(shè)g(t)在像素點上的Hausdorff奇異指數(shù)為i(t),則擁有與其相同奇異數(shù)值t的點集合為F(t),F(t)的計算公式為式(3):

F(t)=[t:i(t)=i]

(3)

為計算退化的奇異過程,以β半徑的i區(qū)域奇異點為參考,計算公式如式(4):

F′(t)=[t:i(t)-β≤i(t)≤i+β]

(4)

引入Hausdorff維度的dimⅡE算法,設(shè)o為維數(shù),并用|Eo|l<0<∞表示E的o覆蓋,可推導(dǎo)出式(5)。

(5)

將式(4)與式(5)結(jié)合,得到多重分形度的低照度圖像局部奇異譜,使其在不破壞圖像細(xì)節(jié)清晰度的前提下對低照度圖像內(nèi)的不規(guī)則信號展開平滑處理,達(dá)到去噪目的。輸出去噪后的低照度圖像,為后續(xù)圖像特征提取提供數(shù)據(jù)保障。

1.5 低照度圖像特征提取

數(shù)學(xué)形態(tài)學(xué)特征提取算法具有圖像特征邊緣提取光滑的特點,因此利用數(shù)學(xué)形態(tài)學(xué)方法提取上面去噪后的低照度圖像特征。數(shù)學(xué)形態(tài)學(xué)是以集合論為基礎(chǔ)的圖像分析方式,主要是對圖像中的元素進(jìn)行結(jié)構(gòu)化檢測,通過追蹤像素點的位移變化完成結(jié)構(gòu)元素定位,基本形態(tài)變換包括腐蝕、膨脹、開運(yùn)算和閉運(yùn)算。將低照度圖像邊緣特征作為追蹤結(jié)構(gòu)元素,通過膨脹和腐蝕處理,提取結(jié)構(gòu)元素,膨脹的數(shù)學(xué)表達(dá)式為:

I⊕P={A|I(S+D,F+G)∪P(D,G)}

(6)

式(6)中,I為去噪后圖像;P為邊緣特征結(jié)構(gòu)元素;⊕為膨脹運(yùn)算;D、G為水平和豎直方向的最大位移;S、F為特征像素點位置;A為膨脹后的灰度級。腐蝕處理即為膨脹的逆向表達(dá):

IΘP={A|I(S+D,F+G)∪P(D,G)}

(7)

式(7)中,Θ為腐蝕運(yùn)算。對低照度圖像進(jìn)行腐蝕處理,標(biāo)記圖像邊緣特征具體走向,有序擴(kuò)展特征結(jié)構(gòu)元素相關(guān)屬性,突顯細(xì)小特征。

通過膨脹和腐蝕運(yùn)算提取低照度圖像特征結(jié)構(gòu)元素,將其設(shè)定為p1和p2,對應(yīng)I1、I2子集,則會產(chǎn)生以下情況:

if→P=P1+P2

I1⊕P=I2⊕(P⊕P2)=(I⊕P1)⊕P2

(8)

if→I1?I2

I1⊕P?I2⊕P,I1ΘP?I2ΘP

(9)

IS⊕P=(I⊕P)S

ISΘP=(IΘP)S

(10)

式(8)表示不同特征結(jié)構(gòu)元素的結(jié)合,較小特征可能會連接成較大特征結(jié)構(gòu)元素。公式(9)表示較小特征具有遞增性,會由較小特征結(jié)構(gòu)變?yōu)檩^大特征結(jié)構(gòu)。公式(10)表示特征不具備變形。至此,通過對低照度圖像的膨脹、腐蝕處理,實現(xiàn)圖像特征發(fā)展形式判斷,完成圖像特征結(jié)構(gòu)元素提取。

1.6 低照度圖像特征結(jié)構(gòu)元素增強(qiáng)

根據(jù)低照度圖像中不同顏色通道的比例關(guān)系構(gòu)建顏色損失函數(shù),解決圖像顏色失真的問題。利用公式(11)計算低照度圖像在RGB色彩空間內(nèi)的像素對應(yīng)權(quán)值:

ωi(x,y)=εm{log[δm·dimⅡE+(P2P2)]}

(11)

式(11)中,εm為顏色恢復(fù)系數(shù);δm為顏色調(diào)節(jié)參數(shù)。為了確保顏色不出現(xiàn)失真,減少對原始光照條件依賴,則優(yōu)化原始顏色損失函數(shù)為:

(12)

式(12)中,d(m)為低照度圖像分辨率;I(x,y)為顏色像素補(bǔ)償系數(shù);λ為顏色比重,λ取值越大表明顏色分布越平均,能夠有效改善圖像灰暗區(qū)域像素過增的問題。

若處理窗口半徑取值較大或者分辨率較大的低照度圖像,算法所花費(fèi)的時間會明顯增加。為解決此問題,則采用盒式濾波展開運(yùn)算,求解低照度圖像積分反射分量結(jié)果:

E(x,y)=logκH(x,y)-log[H(ω)δk]

(13)

式(13)中,H(x,y)為盒濾波函數(shù),δk為低照度圖像的灰度熵;κ為低照度圖像的平均亮度值。在判定低照度圖像達(dá)到均值化處理后,將公式(13)中的積分反射分量應(yīng)用到低照度圖像零樣本加權(quán)學(xué)習(xí)中,低照度圖像單尺度線性加權(quán)函數(shù)表達(dá)式為:

(14)

式(14)中,D為尺度參數(shù)的取值范圍;V為熵值。采用零樣本方法對低照度圖像單尺度線性加權(quán)函數(shù)展開增強(qiáng)處理[9],獲取不同場景的光照分量估計值,進(jìn)而構(gòu)建光照分量集合,增強(qiáng)低照度圖像特征。將顏色空間由RGB轉(zhuǎn)換到HSI,通過全局零樣本迭代學(xué)習(xí)增益函數(shù)調(diào)節(jié)低照度圖像亮度,在HSI空間內(nèi)對低照度圖像顏色展開恢復(fù)處理,增強(qiáng)低照度圖像特征結(jié)構(gòu)元素:

S(x,y)=ψpν(x,y)

(15)

綜上,式(15)中,ψ為邊緣梯度,完成了對低照度圖像增強(qiáng)處理。具體圖像特征結(jié)構(gòu)元素增強(qiáng)處理流程如圖2所示。

圖2 圖像特征結(jié)構(gòu)元素增強(qiáng)流程圖

2 測試與分析

測試圖像為某小區(qū)監(jiān)控攝像頭拍攝的可公開畫面圖像,涵蓋不同的場景和物體。從在夜晚或陰天環(huán)境下拍攝的圖片中隨機(jī)選取了5000個低照度圖像作為訓(xùn)練樣本,1000個低照度圖像作為測試樣本。這些低照度圖像的分辨率均為320×320,呈現(xiàn)曝光不足、對比度低、噪聲較大、細(xì)節(jié)丟失等原始狀況。

為了進(jìn)一步驗證本文所述方法(基于數(shù)學(xué)形態(tài)學(xué)的零樣本低照度圖像特征增強(qiáng)方法)的圖像特征增強(qiáng)有效性,在此與文獻(xiàn)[4]方法(采用深度學(xué)習(xí)與圖像融合混合實現(xiàn)策略的低照度圖像增強(qiáng)算法)和文獻(xiàn)[5]方法(集成圖像增強(qiáng)和分類的微光同態(tài)濾波網(wǎng)絡(luò))進(jìn)行對比分析。對比內(nèi)容為峰值信噪比、圖像失真系數(shù)、準(zhǔn)確性等。采用文獻(xiàn)[4]、[5]和本文所提的3種方法將獲取的1 000幅低照度圖像進(jìn)行增強(qiáng)處理。通過峰值信噪比(PSNR)衡量3種方法去噪處理后的低照度圖像質(zhì)量,PSNR越高表明特征增強(qiáng)后的低照度圖像清晰度越高。詳細(xì)的測試結(jié)果如表1所示。

表1 3種方法下的PSNR值測試結(jié)果

由表1可知,隨著圖像數(shù)量的持續(xù)增加,3種方法下的PSNR值呈直線下降趨勢。在處理完全部低照度圖像時,本文所述方法的PSNR值為18.52dB,文獻(xiàn)[4]和文獻(xiàn)[5]方法的PSNR值分別為16.81dB、15.97dB。對比結(jié)果可知,本文所述方法的PSNR值明顯高于其它兩種方法。由此說明,本文所述方法特征增強(qiáng)后的圖像質(zhì)量較好,圖像更清晰自然,驗證了本文所述方法的比較優(yōu)越性。

為進(jìn)一步地客觀評價3種方法,引入特征增強(qiáng)后的圖像亮度失真系數(shù)(LOE)作為評價指標(biāo)。對圖像特征增強(qiáng)效果而言,LOE的值設(shè)為QLOE,其越小,亮度自然性保持越好、亮度失真率越低。LOE計算公式為:

(16)

式(16)中,m為低照度圖像中的像素個數(shù);RD(x)為原始低照度圖像與增強(qiáng)后圖像的相對階差分。據(jù)此計算3種方法下的LOE,3種方法下的亮度失真結(jié)果如表2所示。

表2 3種方法下的LOE值測試結(jié)果

由表2可知,本文所述方法針對所有低照度圖像特征增強(qiáng)處理后,圖像失真系數(shù)均控制在400以內(nèi)。而文獻(xiàn)[4]方法的圖像失真系數(shù)在400～900范圍內(nèi),文獻(xiàn)[5]方法的圖像失真系數(shù)超過900。因此,由測試結(jié)果說明本文所述特征增強(qiáng)方法的亮度失真系數(shù)最低,圖像經(jīng)過本文所述方法處理后的亮度特征自然性保持良好,進(jìn)而有效地控制了亮度失真率。

使用相同的測試數(shù)據(jù)集,按照隨機(jī)化處理順序重復(fù)測試峰值信噪比和圖像失真系數(shù)300次。將每次測試得到的評價指標(biāo)計算結(jié)果進(jìn)行平均值計算,以獲取圖像處理準(zhǔn)確性評估結(jié)果。3種方法下的低照度圖像增強(qiáng)準(zhǔn)確性結(jié)果如圖3所示。

根據(jù)圖3,本文所述方法通過膨脹操作將結(jié)構(gòu)元素與低照度圖像的像素進(jìn)行比較并更新像素值,利用腐蝕操作標(biāo)記圖像邊緣特征具體走向,突顯細(xì)小特征,以此提高低照度圖像的增強(qiáng)效果,低照度圖像增強(qiáng)準(zhǔn)確性達(dá)97%,高于文獻(xiàn)[4]和文獻(xiàn)[5]兩種方法,具有較好的實用性。

3 結(jié)語

數(shù)學(xué)形態(tài)學(xué)作為一種基于拓?fù)浣Y(jié)構(gòu)的圖像處理方法,能夠有效地增強(qiáng)目標(biāo)特征及改善圖像質(zhì)量,相比傳統(tǒng)的濾波和增強(qiáng)方法,具有較強(qiáng)的非線性處理能力和形態(tài)特征保持能力,更好地適應(yīng)了不同場景下的圖像處理需求。本文基于數(shù)學(xué)形態(tài)學(xué)研究了零樣本低照度圖像特征增強(qiáng)方法,通過對低照度圖像結(jié)構(gòu)元素的形態(tài)學(xué)運(yùn)算,以期增強(qiáng)低照度條件下的圖像特征,準(zhǔn)確地獲取圖像中的細(xì)節(jié)信息,提高圖像的可視化質(zhì)量和識別性能。該方法可以在沒有任何樣本的情況下對低照度圖像進(jìn)行增強(qiáng),相比于傳統(tǒng)增強(qiáng)方法,能夠更好地保留圖像的細(xì)節(jié)信息,并具有較好的適應(yīng)性和準(zhǔn)確性。但是,在形態(tài)學(xué)運(yùn)算過程中需要注意結(jié)構(gòu)元素的合適度,根據(jù)極端低照度條件進(jìn)行調(diào)整和優(yōu)化,以期提高形態(tài)學(xué)運(yùn)算效果,進(jìn)一步改善處理后的圖像質(zhì)量。