靳陽(yáng)陽(yáng),韓現(xiàn)偉,周書寧,張世超

(河南大學(xué) 物理與電子學(xué)院,開封 475001)

在全球信息化大幅發(fā)展的時(shí)代,對(duì)于這個(gè)世界的認(rèn)識(shí)越來(lái)越依靠于信息的爆炸性傳遞.大部分人認(rèn)識(shí)世界的主要途徑還是眼睛的可視性,人眼所看到的一切都可以化作圖像的形式.圖像的獲取、生成、壓縮、存儲(chǔ)、變換過(guò)程自然會(huì)受到各種狀況的影響,例如獲取圖像時(shí)會(huì)因?yàn)樘鞖庠?不同光照條件,圖像亮度也有著細(xì)微的變化,同樣由于儀器設(shè)備的質(zhì)量,參數(shù)的設(shè)置,人員的操作都會(huì)使圖像質(zhì)量在一定程度上的損傷,影響圖像的質(zhì)量.圖像增強(qiáng)算法的出現(xiàn),無(wú)疑是對(duì)受損的圖像做一個(gè)“修補(bǔ)”的工作,以此來(lái)滿足各樣的需求.圖像增強(qiáng)的目的是為了適應(yīng)人眼的視覺(jué)特性,且易于讓機(jī)器來(lái)進(jìn)行識(shí)別.近些年來(lái),圖像增強(qiáng)的發(fā)展涉及了很多領(lǐng)域,其中包括了遙感衛(wèi)星成像領(lǐng)域、醫(yī)學(xué)影像領(lǐng)域、影視攝影等各領(lǐng)域[1].

要想真正地實(shí)現(xiàn)圖像增強(qiáng)的效果,首先對(duì)于整個(gè)圖像來(lái)講,要提高圖像部分和整體的對(duì)比度,細(xì)節(jié)也不能忽略;其次應(yīng)提高圖像的信噪比,抑制噪聲的產(chǎn)生,對(duì)“降質(zhì)”的圖像處理;然后是對(duì)于增強(qiáng)過(guò)的圖像來(lái)講,避免出現(xiàn)局部增強(qiáng)不適,影響人眼的觀看模式.

下面我們將列出幾類典型的且應(yīng)用范圍比較廣的圖像增強(qiáng)算法以及改進(jìn)的算法.直方圖均衡(HE)技術(shù)原理是對(duì)原圖像的灰度直方圖從比較集中的某個(gè)灰度區(qū)間轉(zhuǎn)換為全部灰度區(qū)域內(nèi)的均勻分布[2];由此算法進(jìn)行轉(zhuǎn)化的局部直方圖均衡化[3],符合圖像局部特性;Kim等提出的保持亮度的雙直方圖均衡算法(BBHE)[4],最大亮度雙直方圖均衡(MMBEBHE)算法有效地保持圖像亮度[5];迭代閾值的雙直方圖均衡算法(IBBHE)[6]用迭代的方法達(dá)到增強(qiáng)對(duì)比度和亮度保持的效果;彩色圖像直方圖均衡算法[7],運(yùn)算復(fù)雜度很低,合并圖像的視覺(jué)效果很好.基于偏微分方程(PDE)的增強(qiáng)方法是把圖像作為水平集或高維空間中的曲面,再根據(jù)曲線和曲面演化逐步來(lái)增強(qiáng)圖像的對(duì)比度[8];基于全變分模型插值的圖像增強(qiáng)方法[9],保留原圖像的細(xì)節(jié),提高了對(duì)比度;基于HE 的偏微分方程增強(qiáng)方法,在梯度域增強(qiáng)對(duì)比度基礎(chǔ)上[10]提出新梯度變換函數(shù).小波變換中增強(qiáng)本質(zhì)是圖像信號(hào)分解為不同頻段圖像分量[11];小波變換圖像多聚集模糊增強(qiáng)方法[12],增強(qiáng)后的圖像較為清晰;基于離散余弦變換(DCT)和離散小波變換(DWT)的圖像增強(qiáng)方法,提高圖像的質(zhì)量,同時(shí)減少計(jì)算復(fù)雜度和內(nèi)存使用量[13];基于小波分析和偽彩色處理的圖像增強(qiáng)方法[14],在降噪增強(qiáng)的同時(shí)進(jìn)一步提高圖像分辨率.基于量子力學(xué)偏微分方程的缺陷圖像增強(qiáng)的研究[15].基于PDE 的紅外圖像增強(qiáng),很好改進(jìn)了傳統(tǒng)對(duì)比度增強(qiáng)方法的不足[16];基于PDE 平滑技術(shù)是一種新興的圖像增強(qiáng)濾波技術(shù),實(shí)質(zhì)性、開創(chuàng)性的研究在圖像增強(qiáng)濾波中引入的尺度空間理論[17].基于LBPV (Local Binary Pattern Variance)的分?jǐn)?shù)階微分圖像增強(qiáng)算法[18],在圖像紋理和細(xì)節(jié)方面處理效果比現(xiàn)有分?jǐn)?shù)階算法效果更好;自適應(yīng)分?jǐn)?shù)階微分理論指紋圖像增強(qiáng)算法改進(jìn)了傳統(tǒng)分?jǐn)?shù)階微分形式,提高了計(jì)算精度[19].基于多尺度Retinex 的HSV 彩色快速圖像增強(qiáng)算法,在HSV顏色模型中有與Multi-Scale Retinex (MSR)等同的結(jié)果,處理時(shí)間短[20];基于多尺度Retinex 的數(shù)字射線照相增強(qiáng)算法,改善對(duì)比度,抑制噪聲[21];MSR與顏色恢復(fù)(MSRCR)算法增強(qiáng)的圖像在復(fù)雜的情況下進(jìn)行識(shí)別物體[22];基于變分Retinex 方法的圖像增強(qiáng),良好結(jié)合了MSRCR和變分方法的優(yōu)點(diǎn),保證圖像自然度[23].近年來(lái),基于深度學(xué)習(xí)的圖像處理算法迎來(lái)了一個(gè)新的時(shí)代[24].Hu 等利用超分辨卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)方法提高了風(fēng)云衛(wèi)星亮溫圖像的峰值信噪比,結(jié)果較傳統(tǒng)方法更精細(xì)[25];Li 等利用深度學(xué)習(xí)來(lái)增強(qiáng)低光圖像,提出利用深度的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),提高圖像質(zhì)量[26].

1 圖像增強(qiáng)算法的介紹

1.1 直方圖均衡算法

直方圖均衡化算法,簡(jiǎn)言之就是對(duì)圖像直方圖的每個(gè)灰度級(jí)來(lái)進(jìn)行統(tǒng)計(jì)[3].實(shí)現(xiàn)歸一化的處理,再對(duì)每一灰度值求累積分布的結(jié)果,可求得它的灰度映射表,由灰度映射表,可對(duì)原始圖像中的對(duì)應(yīng)像素來(lái)進(jìn)行修正,生成一個(gè)修正后的圖像.

1.1.1 傳統(tǒng)標(biāo)準(zhǔn)直方圖均衡算法

傳統(tǒng)直方圖均衡算法是通過(guò)圖像灰度級(jí)的映射,在變換函數(shù)作用下,呈現(xiàn)出相對(duì)均勻分布的輸出圖像灰度級(jí),增強(qiáng)了圖像的對(duì)比度.該算法是相對(duì)于圖1中n=1,均衡函數(shù)為fHE的簡(jiǎn)化模型[27],即:

圖1 全局均衡算法的模型

其中,函數(shù)fHE代表直方圖均衡過(guò)程,其大致過(guò)程為:已知輸入和輸出圖像為X和Y,總灰度級(jí)為L(zhǎng),則存在Xk={X0,X1,···,XL?1},均衡后輸出和輸入圖之間有如下變換關(guān)系:

其中,c(Xk)展現(xiàn)的累積概率分布表示函數(shù)輸入圖像灰度級(jí).

如果輸入圖像看作一個(gè)連續(xù)隨機(jī)變量,即L=∞,則輸出圖像自然是一個(gè)隨機(jī)變量,輸出圖像灰度級(jí)均衡后的概率分布將趨于均勻,則輸出圖像的亮度均值為:

得到均衡后圖像的均值分布與原圖像無(wú)關(guān),由此可知其不能有效保持原始圖像的亮度,由于原圖像各灰度級(jí)概率密度的差異,簡(jiǎn)并現(xiàn)象的產(chǎn)生明顯變多.

1.1.2 保持亮度的雙直方圖均衡算法

BBHE 實(shí)質(zhì)是利用兩個(gè)獨(dú)立的子圖像的直方圖等價(jià)性[4].兩個(gè)子圖像的直方圖等價(jià)性是根據(jù)輸入圖像的均值對(duì)其進(jìn)行分解得到,其約束條件是得到均衡化后的子圖像在輸入均值附近彼此有界作為基于圖像均值進(jìn)行的分割,均衡后圖像均值偏離原始圖像均值的現(xiàn)象不會(huì)出現(xiàn),達(dá)到了亮度保持的目的,其算法流程如下:

1)計(jì)算輸入圖像均值Gmean,根據(jù)均值將原始直方圖分為左右兩個(gè)子直方圖.

2)分別計(jì)算左右兩個(gè)子直方圖的灰度分布概率直方圖PL(i)和PR(i),即:

其中,NL和NR分別表示左右兩個(gè)子直方圖的總像素?cái)?shù),L表示圖像總灰度級(jí)數(shù).

3)計(jì)算左右兩子直方圖的累積分布直方圖cd fL(i)和cdfR(i),即:

4)計(jì)算左右兩個(gè)映射表tabL(i)和tabR(i),合并之后得到最終的映射表tab,其中round表示四舍五入取整,即:

對(duì)于一些低照度和高亮的圖像,均值會(huì)處于較低和較高的地方,若此時(shí)基于均值進(jìn)行分割并分別均衡的話,很大程度上會(huì)導(dǎo)致一個(gè)有大量數(shù)據(jù)的子直方圖在小范圍內(nèi)進(jìn)行均衡的情況出現(xiàn),另一個(gè)只有少量數(shù)據(jù)的子直方圖卻在較寬的范圍內(nèi)均衡.

1.2 小波變換圖像增強(qiáng)算法

19世紀(jì)80年代Morlet 提出小波變換的概念,數(shù)學(xué)家Merey 在十幾年后提出小波基構(gòu)造思想,隨著Mallat 的加入,兩個(gè)人共同建立了小波變換算法.通過(guò)小波逆變換將同態(tài)濾波處理的低頻分量和經(jīng)自應(yīng)閾值噪、改進(jìn)模糊增強(qiáng)的高頻分量得到增強(qiáng)處理后的紅外圖像[28].

1.2.1 標(biāo)準(zhǔn)小波變換圖像增強(qiáng)

小波理論具有低熵和多分辨率的性質(zhì),處理小波系數(shù)對(duì)降噪有一定作用,噪聲主要在高通系數(shù)中呈現(xiàn),對(duì)高低通子帶均需要增強(qiáng)對(duì)比度和去噪處理.標(biāo)準(zhǔn)小波變換圖像增強(qiáng)(WT)將圖像分解為1 個(gè)低通子圖像和3 個(gè)具有方向性的高通子圖像,高通子圖像包括水平細(xì)節(jié)圖像、垂直細(xì)節(jié)圖像和對(duì)角細(xì)節(jié)圖像[29].小波變換最大的特點(diǎn)是能較好地用頻率表示某些特征的局部特征,而且小波變換的尺度可以不同[30].

1.2.2 改進(jìn)后的小波變換圖像增強(qiáng)算法

針對(duì)傳統(tǒng)方法對(duì)圖像多聚焦模糊特征進(jìn)行增強(qiáng)會(huì)出現(xiàn)圖像不清晰、細(xì)節(jié)丟失現(xiàn)象,小波變換圖像多聚焦模糊特征增強(qiáng)方法,利用背景差分法將目標(biāo)圖像的前景區(qū)域提取出來(lái),背景區(qū)域亮度會(huì)隨時(shí)間發(fā)生變化,進(jìn)而完成背景區(qū)域特征更新;根據(jù)全局像素點(diǎn)熵值和預(yù)設(shè)閾值校正加強(qiáng)模糊特征,突出小波變換圖像邊界局部紋理細(xì)節(jié)信息,完成增強(qiáng)變換.基于小波變換域的醫(yī)學(xué)圖像增強(qiáng)方法[31],是基于Shearlet 變換改進(jìn)的Gamma校正,采用改進(jìn)的伽瑪校正對(duì)低頻進(jìn)行處理,利用模糊對(duì)比函數(shù)增強(qiáng)圖像細(xì)節(jié),增強(qiáng)圖像的對(duì)比度.

二進(jìn)小波變換簡(jiǎn)單的對(duì)信號(hào)尺度參數(shù)實(shí)現(xiàn)了離散化,不過(guò)仍具備和連續(xù)小波變換同樣的平移不變特性.利用二進(jìn)小波變換將指紋圖像分解[32],步驟如下:

1)首先將獲取的指紋圖像進(jìn)行尺度的分解,這樣得到的頻率分量為一低三高;

2)對(duì)低頻分量進(jìn)行直方圖均衡;

3)對(duì)3 個(gè)高頻分量先進(jìn)行高斯拉普拉斯掩膜銳化,得到銳化后的圖像;

4)直方圖均衡后的低頻分量和處理后的3 個(gè)高頻分量進(jìn)行二進(jìn)小波逆變換重構(gòu),得到增強(qiáng)后的圖像.

1.3 偏微分方程圖像增強(qiáng)算法

1.3.1 標(biāo)準(zhǔn)偏微分方程圖像增強(qiáng)

假設(shè)Vlo(p)和Vl(p)分別為兩幅圖像lo和l 的對(duì)比度場(chǎng),若Vlo(p)與Vl(p)在每一點(diǎn)上具有相同的梯度方向,但前者大小均大于后者,則圖像應(yīng)該lo比l 具有更高的對(duì)比度,可以將lo看作l 的增強(qiáng)圖像.實(shí)際上,從圖像l 到圖像lo的過(guò)程就是標(biāo)準(zhǔn)PDE 圖像增強(qiáng)實(shí)現(xiàn)的過(guò)程,可以由以下式子來(lái)描述它們的關(guān)系:

式中,Vlo(p)為增強(qiáng)后圖像的對(duì)比度場(chǎng);k為增強(qiáng)因子,一般情況下k＞1,過(guò)大的話會(huì)增大噪聲.對(duì)于式(12),圖像l是已知的,其解為:

式中,φ是一個(gè)與坐標(biāo)無(wú)關(guān)的常數(shù).可看到兩幅圖像之間的動(dòng)態(tài)范圍存在k倍的差距.對(duì)于可在計(jì)算機(jī)屏幕上顯示的數(shù)字圖像,其動(dòng)態(tài)范圍為0～255.我們要做到先要對(duì)lo(p)的對(duì)比度場(chǎng)進(jìn)行約束,之后開始按照步驟運(yùn)算,最后才能得到比較準(zhǔn)確的數(shù)據(jù).

1.3.2 改進(jìn)的偏微分方程增強(qiáng)方法

為避免增強(qiáng)圖像梯度場(chǎng)同時(shí)造成噪聲的危害加劇,尋找一種比較適合的增強(qiáng)方法.定義原圖像的數(shù)值梯度函數(shù)為?u,梯度模的最大值為max‖?u‖,最小值為min‖?u‖,增強(qiáng)之后的圖像梯度為S[10]:

1.4 分?jǐn)?shù)階微分方程增強(qiáng)算法

近些年,分?jǐn)?shù)階微積分在多領(lǐng)域都有了突破性進(jìn)展[34].分?jǐn)?shù)階微分不僅可以提升圖像中的高頻分量,還可以以一種非線性形式保留圖像中低頻分量所帶有的性能.常用的分?jǐn)?shù)階微分定義有G-L、R-L、Caputo 三種定義,其中最常用的是采用非整型分?jǐn)?shù)階微積分的G-L 定義[35].

1.4.1 圖像增強(qiáng)的分?jǐn)?shù)階微分算子構(gòu)造

讓圖像像素鄰域中任一像素與對(duì)應(yīng)系數(shù)進(jìn)行乘法運(yùn)算,得到的結(jié)果再進(jìn)行和運(yùn)算,得到像素點(diǎn)所在位置的回復(fù),當(dāng)鄰域的大小為m×n,要求的系數(shù)會(huì)很多.這些系數(shù)被排列成一個(gè)矩陣,稱為濾波器、模板或者掩模[36].

在整數(shù)階微分方程的增強(qiáng)算子中,有一類是拉普拉斯算子,對(duì)任一二元連續(xù)函數(shù)f(x,y)來(lái)講,其拉氏變換可表示為:

由于在圖像f(x,y)中,兩個(gè)相鄰像素點(diǎn)之間灰度產(chǎn)生差異的距離最小,因此圖像f(x,y)在它的x和y方向上灰度值的變化只能以像素之間的最小距離為單位來(lái)進(jìn)行數(shù)值度量和分析,所以f(x,y)的最小等分間隔只能設(shè)為:h=1,如果圖像中x和y方向的持續(xù)區(qū)間分別為x∈[x1,x2]和y∈[y1,y2],則最大等分份數(shù)分別為nx=[x2?x1]和ny=[y2?y1].

將上式拉普拉斯變換寫成離散的表示形式,對(duì)x方向和y方向重新定義,得到它的二階微分表示:

根據(jù)以上定義,可以得到:

拉氏算子還要對(duì)處理前后的圖像完成進(jìn)一步的疊加,其方式如下:

在霧天圖像中應(yīng)用算子增強(qiáng)圖像,邊緣輪廓還有紋理部分的效果會(huì)很容易看到,不過(guò)若是圖像像素中某一范圍灰度變化不明顯,細(xì)節(jié)可能受到損失.因此,構(gòu)建圖像增強(qiáng)的分?jǐn)?shù)階微分算子,將整數(shù)階微分?jǐn)U展到分?jǐn)?shù)階微分上并且應(yīng)用于圖像增強(qiáng)中[37].

1.4.2 改進(jìn)的分?jǐn)?shù)階微分算子增強(qiáng)圖像

相比傳統(tǒng)的分?jǐn)?shù)階微分算法的不足,提出新的改進(jìn)算法,在極端條件處理拍攝的交通圖像時(shí),具有良好效果.上文提到的指紋圖像增強(qiáng)算法,對(duì)傳統(tǒng)形式加以改造,在計(jì)算精度上有所提升,進(jìn)而構(gòu)造了更加高精度的分?jǐn)?shù)階微分掩模.通過(guò)對(duì)像素周圍的紋理對(duì)比從而逐點(diǎn)選擇微分階,明確的選擇了具有二階精度的分?jǐn)?shù)階微分形式來(lái)構(gòu)造IRH 算子,并對(duì)算子結(jié)構(gòu)進(jìn)行相應(yīng)的改進(jìn),之后利用圖像的梯度信息和局部統(tǒng)計(jì)信息,結(jié)合中心像素對(duì)相鄰像素的影響,建立自適應(yīng)分?jǐn)?shù)階微分的自適應(yīng)函數(shù),此法保留了指紋紋線和圖像紋理細(xì)節(jié),對(duì)于降噪起到很好的作用.

1.5 Retinex 圖像增強(qiáng)算法

Retinex是retina(視網(wǎng)膜)和cortexv(大腦皮層)組成的,Retinex 算法由美國(guó)物理學(xué)家提出[38].Retinex 理論的基礎(chǔ)是人類視覺(jué)系統(tǒng)的色彩恒常性,人類視覺(jué)感知系統(tǒng)的色知覺(jué)存在“先入為主”的特性,即光源條件發(fā)生改變,視網(wǎng)膜接收到的彩色信息也會(huì)被人們的大腦駁回.Retinex 理論的依據(jù)就是是原始圖像S(x,y)可以分解為照射圖像L(x,y)和反射圖像R(x,y),最重要的就是讓S(x,y)擺脫L(x,y)的影響,以便得到圖像的反射屬性.

1.5.1 經(jīng)典的Retinex 圖像增強(qiáng)

對(duì)數(shù)域進(jìn)行操作可以把乘法運(yùn)算變成簡(jiǎn)單的加法運(yùn)算,進(jìn)而出現(xiàn)了多種Retinex 算法.經(jīng)典的有:單尺度Retinex 算法(SSR)、多尺度Retinex 算法(MSR)和帶色彩恢復(fù)的多尺度Retinex 算法(MSMCR)等[39].

針對(duì)運(yùn)算速度緩慢的問(wèn)題,在1986年,Jobson 等[40]將高斯低通濾波與Retinex 結(jié)合,改進(jìn)了Land 提出的中心環(huán)繞Retinex 算法(Center/Surround Retinex),提出了單尺度Retinex(SSR)算法.在SSR 算法中,Jobson等創(chuàng)新的使用高斯函數(shù)與圖像進(jìn)行卷積的方式來(lái)近似實(shí)現(xiàn)了入射分量的表達(dá).它的數(shù)學(xué)表達(dá)式如式(20)表示:

其中,Ii(x,y)表示原始圖像的第i個(gè)通道分量的像素值,i∈(R,G,B) 顏色通道中的一個(gè),G(x,y,c)表示中心環(huán)繞函數(shù),?是一種卷積操作表示,入射分量的表達(dá)可以借用Jobson 等的成果,Li(x,y)則可以看做入射圖像的第i個(gè)通道分量.SSR 的實(shí)現(xiàn)過(guò)程如式(21) 至式(23)所示:

由于SSR 算法處理要對(duì)圖像細(xì)節(jié)對(duì)比度和色彩的保留做到很好的發(fā)展,而尺度c又相對(duì)難做到極好的運(yùn)用,MSR 算法的出現(xiàn),在很大程度上解決了這一問(wèn)題,起到了平衡圖像色彩和細(xì)節(jié)的良好效果.

1.5.2 改進(jìn)的Retinex 圖像增強(qiáng)

Retinex 算法對(duì)于圖像增強(qiáng)的效果需要經(jīng)過(guò)精確且復(fù)雜的計(jì)算,最后的結(jié)果精確度越高,增強(qiáng)效果將會(huì)更好.文獻(xiàn)[20]中基于多尺度Retinex 的HSV 彩色快速圖像增強(qiáng)算法.在HSV 模型中用多尺度Retinex 進(jìn)行圖像增強(qiáng),由于顏色轉(zhuǎn)換的非線性,計(jì)算起來(lái)非常復(fù)雜.使用亮度校正的MSR 算法基于HSV 顏色模型和修正的V 頻道輸出圖像的RGB 分量的線性形式減少30–75%的平均處理時(shí)間,MSR 算法在Haar 小波變換低頻區(qū)域應(yīng)用亮度校正的處理速度有很明顯優(yōu)勢(shì),平均加速度接近3 倍.文獻(xiàn)[22,23]中介紹了MSRCR 算法.由于傳統(tǒng)均值移位算法有不少的不足,改進(jìn)后,對(duì)要增強(qiáng)的圖像可以在情況復(fù)雜下進(jìn)行識(shí)別物體,增強(qiáng)對(duì)比度的同時(shí),光暈現(xiàn)象的產(chǎn)生被消滅,噪聲得到抑制,保證圖像自然度.基于Retinex 提出一種自適應(yīng)的圖像增強(qiáng)方法,其中包括如下4 個(gè)步驟:(1)用引導(dǎo)濾波器估計(jì)其照度分量;(2)提取圖像的反射分量;(3)對(duì)反射分量進(jìn)行顏色恢復(fù)校正;(4)后處理.由于霧霾和照度較低,自然生成的圖像質(zhì)量比較差,而此法不管是在定量還是定性上都突出了更好的優(yōu)勢(shì).此算法最終的結(jié)果圖像具有清晰的對(duì)比度和生動(dòng)自然的顏色[41].

1.6 基于深度學(xué)習(xí)的圖像增強(qiáng)算法

在當(dāng)今社會(huì)經(jīng)濟(jì)科技奮進(jìn)之時(shí),深度學(xué)習(xí)的發(fā)展可謂是如日中天,特別是在圖像增強(qiáng)方面.

1.6.1 卷積神經(jīng)網(wǎng)絡(luò)圖像增強(qiáng)算法

神經(jīng)網(wǎng)絡(luò)(neural networks)最基本的組成結(jié)構(gòu)是神經(jīng)元(neuron),神經(jīng)元概念源于生物神經(jīng)網(wǎng)絡(luò)[42].卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上,引入了卷積(convolution)和池化(pooling),CNN 的建筑靈感來(lái)自于視覺(jué)感知[43].CNN是深度學(xué)習(xí)領(lǐng)域最重要的網(wǎng)絡(luò)之一,CNN 在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等諸領(lǐng)域都有很大成就.卷積神經(jīng)網(wǎng)絡(luò)的特性比較突出,除了可以實(shí)現(xiàn)權(quán)值共享外,可調(diào)的參數(shù)相對(duì)來(lái)說(shuō)不多,對(duì)二維圖像這類的,它的平移、傾斜、縮放包括其他形變都擁有著極高的不變性.CNN 相比于一般的神經(jīng)網(wǎng)絡(luò),具有很大優(yōu)勢(shì)[44]:(1)局部連接.每個(gè)神經(jīng)元只與少數(shù)神經(jīng)元相連,有效地減少了參數(shù),加快了收斂速度;(2)重量共享.一組連接可做到同時(shí)分享相同的權(quán)值,進(jìn)一步降低了所需的參數(shù);(3)降采樣降維.池化層利用圖像部分相關(guān)的依據(jù)對(duì)圖像進(jìn)行降采樣,降低運(yùn)算數(shù)據(jù)量,留存有效的信息值.卷積神經(jīng)網(wǎng)絡(luò)大致包含4 部分,卷積層、池化層、全連接層以及反卷積層,各自具有不同作用,承擔(dān)獨(dú)自的工作.深度越深,網(wǎng)絡(luò)性能越好;隨著深度增加,網(wǎng)絡(luò)性能逐漸飽和.

1.6.2 基于深度學(xué)習(xí)圖像增強(qiáng)的改進(jìn)算法

Hu 等基于深度學(xué)習(xí)方法增強(qiáng)MMSI 亮溫圖像,設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)重建風(fēng)云四號(hào)衛(wèi)星MMSI 的亮溫圖像和風(fēng)云三號(hào)衛(wèi)星微波成像儀亮溫圖像[25].在根據(jù)SRCNN進(jìn)行實(shí)現(xiàn)映射函數(shù)fo=F(g),式中,g為監(jiān)測(cè)的天線溫度的圖像,可用于復(fù)原F(g),使其盡可能接近地面真實(shí)高分辨率亮溫圖像f.映射函數(shù)F的完成可以依據(jù)學(xué)習(xí)思想,構(gòu)建一種卷積神經(jīng)網(wǎng)絡(luò),為了讓觀測(cè)圖像數(shù)據(jù)重新構(gòu)建為理想的高分辨數(shù)據(jù),需要對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行一系列特征變換,此過(guò)程即達(dá)成卷積核的卷積操作.相比古老的插值方法而言,SRCNN 方法除了提高圖像的峰值信噪比之外,在提高圖像細(xì)節(jié)較古老的方法也有很大的提高.

2 圖像增強(qiáng)算法的評(píng)價(jià)和對(duì)比

2.1 各種算法增強(qiáng)效果的分析

通過(guò)對(duì)論文文獻(xiàn)研究比對(duì),以及對(duì)于其中的經(jīng)典算法以及改進(jìn)的算法,對(duì)應(yīng)用廣泛的上述6 大類圖像增強(qiáng)算法進(jìn)行較概括的研究分析.

圖2是幾種不同算法得到的增強(qiáng)圖像.從增強(qiáng)圖像的效果來(lái)看,HE 增強(qiáng)效果是對(duì)圖像的動(dòng)態(tài)范圍進(jìn)行拉大實(shí)現(xiàn)的,增強(qiáng)效果隨動(dòng)態(tài)范圍增加而變差.BBHE算法均衡后的圖像在增強(qiáng)對(duì)比度的同時(shí)很好保持原圖像的平均亮度.IBBHE 根據(jù)各子圖像的直方圖分別進(jìn)行獨(dú)立的均衡化處理,IBBHE 增強(qiáng)效果更好.WT 算法增強(qiáng)圖像細(xì)節(jié)信息,但是增加了噪聲.小波變換圖像多聚集模糊增強(qiáng)方法,對(duì)圖像增強(qiáng)后,圖像較為清晰,細(xì)節(jié)沒(méi)有丟失,效果較好.PDE和TVPDE 算法放大了圖像對(duì)比度場(chǎng),增強(qiáng)后圖像都有較高對(duì)比度[45].自適應(yīng)分?jǐn)?shù)階微分可以很好降噪.SSR和MSR 算法去除了圖像中照度分量影響,還原景物本身的亮度信息,MSRCR處理后的圖像比原圖像細(xì)節(jié)增加了,亮度有所提高,顏色有一定矯正,對(duì)顏色的恢復(fù)存在失真現(xiàn)象.基于深度學(xué)習(xí)的圖像增強(qiáng)算法通過(guò)復(fù)雜的神經(jīng)網(wǎng)絡(luò),進(jìn)行大量的訓(xùn)練,得到的模型同時(shí)減少了訓(xùn)練時(shí)間,取得了更好的精度.

圖2 不同算法得到的增強(qiáng)圖像

2.2 算法增強(qiáng)效果的對(duì)比

對(duì)一幅圖像的增強(qiáng)效果來(lái)講,需要對(duì)圖像對(duì)比度和信息熵來(lái)進(jìn)行評(píng)價(jià)和比較,可以對(duì)圖像有很好認(rèn)識(shí).

圖像對(duì)比度的計(jì)算公式:

其中,Ii,j為中心像素點(diǎn)的灰度值,N為圖像局部塊內(nèi)像素點(diǎn)的個(gè)數(shù).為了計(jì)算一幅完整圖像的對(duì)比度,需要對(duì)圖像中所有部分塊對(duì)比度總體的平均值來(lái)表示.

圖像的信息熵公式如下:

式中,p(k)為灰度級(jí)k的概率密度,M為最大的灰度級(jí).表1中為第一幅圖通過(guò)不同算法得到的圖像質(zhì)量的客觀結(jié)果評(píng)價(jià),評(píng)價(jià)指標(biāo)為對(duì)比度和信息熵.通過(guò)對(duì)文獻(xiàn)中算法的研究以及本文中對(duì)增強(qiáng)算法的分析對(duì)比,我們得到表2中對(duì)不同算法優(yōu)缺點(diǎn)的總結(jié).

表1 不同算法得到的圖像質(zhì)量的客觀結(jié)果評(píng)價(jià)

表2 不同算法的優(yōu)缺點(diǎn)

3 增強(qiáng)算法發(fā)展趨勢(shì)及有意義的研究方向

根據(jù)上文所介紹的不同圖像增強(qiáng)算法及實(shí)驗(yàn)分析對(duì)比結(jié)果,可預(yù)見未來(lái)的圖像增強(qiáng)算法發(fā)展將有以下特點(diǎn):超分辨率、多維化、智能化和超高速.

1)超分辨率,對(duì)獲得的低分辨率圖像進(jìn)行增強(qiáng)從而得到超高分辨率的圖像,重點(diǎn)是對(duì)采集分辨率以及顯示分辨率做進(jìn)一步的提升,突破技術(shù)壁壘限制,向時(shí)空感知超分辨率邁進(jìn).

2)多維化,多維數(shù)據(jù)增強(qiáng)系統(tǒng)在多維系統(tǒng)中進(jìn)行實(shí)時(shí)改進(jìn)圖像數(shù)據(jù),進(jìn)行超大核的卷積處理,讓圖像和圖形產(chǎn)生一個(gè)高度的結(jié)合,對(duì)多維圖像的增強(qiáng)效果達(dá)到一個(gè)新的高度.

3)智能化,讓機(jī)器按照人類的思維和邏輯來(lái)進(jìn)行有效的圖像增強(qiáng),結(jié)合計(jì)算機(jī)視覺(jué)和智能發(fā)展領(lǐng)域,創(chuàng)新共同服務(wù)智能領(lǐng)域的圖像增強(qiáng)技術(shù).

4)超高速,在硬件和軟件性能提高的基礎(chǔ)上,原始圖像預(yù)處理時(shí)間幾乎可以忽略不計(jì),圖像增強(qiáng)速度達(dá)超高速水平,各領(lǐng)域?qū)D像增強(qiáng)技術(shù)都有依賴和期待.

水下圖像增強(qiáng)在海洋生境制圖、改善水下場(chǎng)景的三維重建、水下援救和海洋生物的可視化研究等領(lǐng)域有著廣泛的應(yīng)用.目前水下圖像增強(qiáng)對(duì)水下圖像的色彩失真效應(yīng)很難完全進(jìn)行補(bǔ)償,增強(qiáng)后圖像存在一定程度的色彩失真,對(duì)色彩失真的研究成為今后水下圖像增強(qiáng)的重點(diǎn)方向,目前研究都是對(duì)自然水域下的圖像進(jìn)行增強(qiáng),今后重點(diǎn)可向人工光源的方向邁進(jìn).

醫(yī)學(xué)影像中圖像增強(qiáng),對(duì)于目前人類疾病的診斷和治療起到了舉足輕重的作用,不過(guò)由于醫(yī)學(xué)圖像成像的影響因素存在不確定性,復(fù)雜程度過(guò)高,對(duì)獲取的圖像進(jìn)行深一步增強(qiáng),可提高現(xiàn)代醫(yī)學(xué)精確性和效率.

遙感影像中的圖像增強(qiáng),在土地利用變化、全球農(nóng)情遙感、防范自然災(zāi)害、軍事偵察和定量遙感等領(lǐng)域中進(jìn)一步深入應(yīng)用,可以及時(shí)發(fā)現(xiàn)自然環(huán)境意外情況,為應(yīng)對(duì)險(xiǎn)情做好充足的準(zhǔn)備,對(duì)我國(guó)領(lǐng)空區(qū)域?qū)嵤﹪?yán)密的監(jiān)控,做好充分的戰(zhàn)時(shí)緊急準(zhǔn)備.

刑偵安防方面,比如在雨天、霧天或夜間由于環(huán)境的影響,導(dǎo)致監(jiān)控拍攝的圖像分辨率較低,很難觀察嫌疑人面部輪廓,對(duì)其進(jìn)行增強(qiáng),可以很好改善圖像質(zhì)量,從而快速鎖定目標(biāo).再如雙能X 射線對(duì)機(jī)場(chǎng)行李進(jìn)行檢測(cè),對(duì)獲得的X 光圖像進(jìn)行圖像增強(qiáng),抑制X 射線存在的泊松噪聲和脈沖噪聲的影響,對(duì)人工識(shí)別違禁品過(guò)程提供參考,成為航空安全不可或缺的一道防線.

目前我們所熟知的增強(qiáng)圖像算法如本文所講,對(duì)目前流行的圖像增強(qiáng)做一個(gè)技術(shù)路線,如圖3所示.

圖3 增強(qiáng)圖像技術(shù)路線

4 結(jié)束語(yǔ)

圖像增強(qiáng)是數(shù)字圖像處理領(lǐng)域目前流行的方向之一,各種增強(qiáng)算法層出不窮,已經(jīng)在遙感、醫(yī)學(xué)、氣象等領(lǐng)域有了很大的進(jìn)展.本文討論的算法對(duì)圖像質(zhì)量的增強(qiáng)和對(duì)細(xì)節(jié)的處理都有一定的效果,但在圖像恢復(fù)中仍存在著細(xì)節(jié)的不足和色彩的損失,這些方面需要進(jìn)一步加強(qiáng).因此,就現(xiàn)階段來(lái)講,還沒(méi)有任何一種算法可以使增強(qiáng)圖像的各項(xiàng)指標(biāo)達(dá)到最優(yōu)化,而是只能在一定程度上實(shí)現(xiàn)一個(gè)平衡狀態(tài).不過(guò)隨著算法的不斷改進(jìn)以及計(jì)算機(jī)硬件性能的提高,未來(lái)的圖像增強(qiáng)技術(shù)將會(huì)在視覺(jué)效果、對(duì)比度、信噪比、信息熵等方面有更好的進(jìn)步和更大的突破,對(duì)其在眾多領(lǐng)域發(fā)揮更大的作用打下堅(jiān)實(shí)的基礎(chǔ).