萬俊霞,林珊玲,梅婷,林志賢,3,郭太良
(1 福州大學物理與信息工程學院,福州350116)
(2 中國福建光電信息科學與技術創(chuàng)新實驗室,福州350116)
(3 福州大學先進制造學院,福建泉州362200)
電潤濕顯示器[1]是一種依賴環(huán)境光顯示的新型反射式顯示器,具有低功耗、無輻射、響應速度快,易于彩色化等優(yōu)點,在電子紙工業(yè)中具有廣闊的應用前景。然而在實際應用中,電潤濕電子紙存在著油墨回流、油膜破裂、電荷捕獲、接觸角遲滯等問題[2-5],電潤濕電子紙顯示圖像時就會出現(xiàn)圖像細節(jié)紋理不清晰、圖像失真、對比度不高等問題,影響電潤濕電子紙顯示。而提高圖像對比度常用的方法是直方圖均衡,但這種方法會造成圖像出現(xiàn)過增強和欠增強的情況。于是,諸多學者為了解決這一弊端,在直方圖均衡算法(Histogram Equalization,HE)的基礎上提出了很多的改進算法。如CHEN S D 等[6]提出了一種最小平均亮度誤差雙直方圖均衡化算法(Minimum Mean Brightness Error Bi-Histogram Equalization,MMBEBHE),戴聲奎等[7]提出了基于最大熵模型的雙直方圖均衡算法(Maximum Entropy Model Based Bi-histogram Equalization Algorithm,MEMBHE),這些算法基本思想都是將圖像直方圖進行分區(qū),然后進行直方圖均衡處理,從而提高圖像畫質。但CHEN S D 等提出的算法需要迭代多次求出分割點,算法較復雜。戴聲奎等提出的算法不能很好地識別圖像的紋理邊緣。ABDULLAH-AL-WADUD M 等[8]提出了動態(tài)直方圖均衡化方法,在保留圖像的細節(jié)上增強了圖像的對比度,但該算法與圖像本身亮度無關,不適用于電子產品顯示。對此,很多研究者提出了改進的動態(tài)直方圖算法[8-11]。OOI C H 等[9]提出了象限動態(tài)直方圖均衡化算法(Quadrants Dynamic Histogram Equalization for Contrast Enhancement,QDHE),該算法將輸入圖像的中值作為分割點將直方圖分為四個子直方圖,再利用輸入圖像的亮度均值,將四個子直方圖進行裁剪,最后進行動態(tài)的直方圖均衡,但該算法適用于弱光環(huán)境下的圖像。在正常光環(huán)境下,圖像會出現(xiàn)較為嚴重的失真。LIN Shanling等[10]提出了基于亮度保持的電潤濕顯示動態(tài)直方圖均衡化算法(Contrast enhancement by Intensity Preservation-based Dynamic Histogram Equalization for electrowetting display,IPDHE),該算法利用灰度保持測量公式將圖像直方圖分割成四個子直方圖,最后進行動態(tài)直方圖均衡。但該算法對于亮圖像的處理會出現(xiàn)圖像失真、過飽和、欠增強等問題。
針對電潤濕顯示器顯示特點和以上算法存在的問題,為了更有效地突出目標區(qū)圖像,提高圖像的對比度,結合YAN He 等[11-12]提取閾值的方法,本文提出了一種基于圖像分割和動態(tài)直方圖均衡的電潤濕顯示器圖像增強算法。首先采用基于方差權重的Otsu 和最大熵閾值分割算法找出圖像背景區(qū)和目標區(qū)的閾值分割點,再單獨將兩區(qū)域的亮度均值作為分割點,將圖像直方圖分成四個子直方圖,然后對每個子直方圖分配新的動態(tài)范圍,最后對每個子直方圖進行直方圖均衡,該算法在保持圖像目標區(qū)和背景區(qū)亮度均值的同時,提高了圖像的對比度,突出圖像目標區(qū),使得圖像的細節(jié)更加豐富,圖像整體變得立體飽滿。
在直方圖均衡算法中,為了避免高概率灰度對低概率灰度的影響,現(xiàn)將圖像的目標區(qū)和背景區(qū)進行分割,再分別對兩個區(qū)域進行增強處理,突出圖像的細節(jié)邊緣以及增強圖像可視效果。
Otsu[13]是一種全局自動閾值技術,常用于圖像分割,采用最大類間方差法來計算分割閾值,具體公式為
式中,P0(t)和P1(t)分別為兩區(qū)域內像素個數(shù)占總像素個數(shù)的比例,μ0(t)和μ1(t)分別為兩區(qū)域的像素均值,L表示輸入圖像總的灰度級數(shù),T為取得最大值時,求得的分割閾值。
閾值T的選擇是圖像分割的關鍵所在,若閾值T過大或過小,都會將目標區(qū)和背景區(qū)進行錯分,從而導致圖像丟失有用信息,不利于后續(xù)對目標區(qū)和背景區(qū)的圖像進行增強處理等。因此在傳統(tǒng)的Otsu 算法的基礎上,文獻[11]引入了像素內聚性的概念,若兩個像素值越接近,則像素之間的內聚性就越好。具體公式為
式中,P(i)表示第i級灰度像素出現(xiàn)的概率,μ0(t)和μ1(t)分別為兩區(qū)域的像素均值。
各區(qū)域像素與對應區(qū)域的均值像素越接近,表示像素之間的內聚性越好,區(qū)域內的像素均勻性越好,對圖像細節(jié)具有很好的識別能力,但由于處于紋理邊緣的像素值與周圍像素值相差較大,內聚性較差,故該算法在進行圖像分割時,會造成圖像邊緣細節(jié)的丟失。
圖像熵用于度量圖像的信息豐富度,熵越大,圖像越豐富,圖像的細節(jié)信息保留的越好,表示為
式中,P(i)表示第i級灰度像素出現(xiàn)的概率,利用最大熵[14]對圖像進行圖像分割能夠最大程度保留圖像的邊緣細節(jié),提高圖像豐富度。為了快速找到分割閾值,提高運算速度,YAN He 等[12]提出了以像素均值μ為下限,確定最優(yōu)閾值分割范圍,表示為
式中,E0(t)和E1(t)為兩個區(qū)域的熵,P0(i)和P1(i)分別為灰度級i在各自區(qū)域出現(xiàn)的概率。雖然該分割算法能夠最大程度保留圖像的紋理細節(jié),提高圖像豐富度,但是該算法不能很好地識別出圖像的邊緣,在進行圖像分割時,會造成分割不準確。
結合Otsu 算法和最大熵分割算法的優(yōu)缺點,本文權衡兩種算法分割的區(qū)域得到方差所占的比重,提出了基于方差權重的Otsu 和最大熵閾值分割算法,引入權重參數(shù)δ,自適應地調節(jié)閾值的大小,使得算法既能很好地識別圖像邊緣,又能最大程度地保留圖像的紋理細節(jié),提高圖像的豐富度,同時增強算法的分割精度和穩(wěn)定性,即
式中,Th1表示通過改進的Otsu 算法得到的閾值,Th2表示通過最大熵法得到的閾值,δ為權重參數(shù)。C0和C1表示圖像經閾值Th1分割得到的兩區(qū)域,和分別表示兩區(qū)域的方差,D0和D1表示圖像經閾值Th2分割得到的兩區(qū)域,和分別表示兩區(qū)域的方差。利用改進的Otsu 算法、最大熵算法以及基于方差權重的分割算法分別分割圖像couple,fox 和girl,分割結果如圖1所示。
圖1 不同算法圖像分割的效果Fig.1 Effect of image segmentation based on different algorithms
從圖1(b)三幅圖可以看出,改進的Otsu 算法雖然對圖像邊緣具有好的識別能力,但會造成圖像細節(jié)的丟失,如圖couple 中的窗簾以及花燈,圖fox 中耳朵的輪廓和圖girl 中背景墻上的花以及衣服紋理都有不同程度的丟失情況。從圖(c)三幅圖可以看出,利用最大熵算法進行分割時,雖然增加了圖像信息的豐富度,但是對圖像紋理邊緣的識別不靈敏,如圖couple 中的窗簾以及女人的衣服,圖fox 中狐貍的眼睛耳朵以及白雪和圖girl 中小女孩的臉龐以及桌上的玩具等等都存在著分割不明顯的現(xiàn)象,對圖像紋理邊緣的識別效果不理想。從圖(d)三幅圖可知,利用基于方差權重的分割算法分割圖像時,不僅提高了圖像的豐富度,還能夠很好地識別圖像邊緣,提高了圖像分割精度,如圖中女人的裙子、窗簾、花燈、狐貍耳朵毛發(fā)、女孩的臉龐、女孩手臂以及桌上的玩具都能清楚地看出輪廓細節(jié),為后續(xù)的圖像增強處理提供了保障。
根據(jù)上一節(jié)算法求得閾值Th,將原始直方圖分成背景區(qū)域和目標區(qū)域,再分別求出兩區(qū)域的亮度均值e1和e3,將Th、e1、e3作為分割點最終將原始直方圖分成四個部分。設四個子直方圖的范圍為[e0∶e1],[e1∶e2],[e2∶e3],[e3∶e4],其中e0和e4分別表示最小和最大的灰度值,e2=Th。然后以每個子直方圖的非零區(qū)間作為參數(shù)的重點因子,分配新的動態(tài)范圍,最后,獨立地均衡每個子直方圖,總體流程圖如圖2所示。
圖2 總體流程圖Fig.2 Overall flow chart
結合ABDULLAH-AL-WADUD M 提出的DHE 算法,重新分配灰度的動態(tài)范圍。
計算第j個子直方圖的范圍,j∈[1,2,3,4],表示為
式中,ej為每個子直方圖的最大灰度值,ej-1為每個子直方圖的最小灰度值。
計算分配后第j個子直方圖的動態(tài)范圍,
式中,rangej表示第j個子直方圖的動態(tài)范圍,factorj為重點因子,使新的動態(tài)范圍更加均勻,Nj為第j個子直方圖內的像素個數(shù),Mj為第j個子直方圖內的像素種類數(shù)。
利用每個子直方圖的動態(tài)范圍,計算每個子直方圖的灰度區(qū)間。若每個子直方圖的灰度區(qū)間為[startj,endj],其中第一個子直方圖的灰度區(qū)間為[0,range1],
對每個子直方圖進行直方圖均衡,得到輸出圖像為
式中,nk為灰度級為k的個數(shù),Dj為第j個子直方圖的像素總個數(shù)。
本節(jié)將從主觀評價和客觀評價兩方面對圖像的質量進行評估。主觀評價是直接通過人眼來對顯示的圖像進行判斷??陀^評價是通過圖像質量評價指標來判斷圖像顯示質量,包括均方誤差(Mean Square Error,MSE)、峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、信息熵E、結構相似度(Structual Similarity,SSIM)、絕對均值誤差AMBE。
利用本文算法與MMBEBHE、MEMBHE、QDHE、IPDHE 算法分別處理圖像fox 和圖像girl,處理結果如圖3、4所示。圖像fox,girl 在經過MMBEBHE 算法處理后雖然圖像的對比度得到了相應的提高,但是圖像出現(xiàn)局部的過增強,圖3(b)中狐貍鼻梁處太亮導致這部分圖像區(qū)域出現(xiàn)失真的情況,甚至出現(xiàn)了白塊。在圖4(b)中,圖像整體亮度低,小女孩的鞋子以及左手臂的像素偏低,使得這部分區(qū)域的圖像與地以及背景墻的相關區(qū)域混為一體,導致局部圖像的輪廓以及邊緣細節(jié)不清晰。經MEMBHE 算法處理后雖然增加了圖像的豐富度,但圖3(c)中狐貍的眼睛全變黑了,造成了細節(jié)的丟失,狐貍耳朵周圍的毛發(fā)也從白色變成黑色,造成了局部區(qū)域的失真。在圖4(c)中,雖然圖像的對比度得到了一定的提高,但是圖像整體偏暗,不能使得圖像紋理很好地突顯出來,影響了圖像視覺效果。經QDHE 算法處理后,圖3(d)中狐貍的臉和白雪以及圖4(d)中小女孩的頭發(fā)和背后的玩具出現(xiàn)了大面積的偽影,嚴重影響圖像的質量。經IPDHE 算法處理后,圖3(e)中狐貍臉龐輪廓分明,但是圖像整體偏暗,狐貍的眼睛以及耳朵周圍的細毛變成了黑色,細節(jié)造成丟失并且引入了少量的噪聲。經本文算法處理后,圖3(f)中圖像對比度得到明顯的提高,尤其是狐貍的臉輪廓分明以及耳朵周圍的毛發(fā)紋理清晰可見,在保證圖像細節(jié)不丟失的情況下,大大提高了圖像的可視化效果。圖4(f)中背景墻上面的條紋變得更加清楚,整體的圖像也變得明亮,與圖4(e)相比圖像更加的立體飽和,增加了圖像的豐富度。
圖3 不同算法處理圖像fox 效果圖Fig.3 Effects of different algorithms on image fox
圖4 不同算法處理圖像girl 效果圖Fig.4 Effects of different algorithms on image girl
同時可以通過處理后的圖像直方圖來說明本文算法的優(yōu)越性,以圖fox 的直方圖為例,如圖5所示,原始直方圖在經過基于方差權重的分割算法將圖像明顯分割成兩大區(qū)域,即目標區(qū)和背景區(qū),直方圖左側表示目標區(qū),右側表示背景區(qū),再根據(jù)兩個區(qū)域的均值最后將直方圖分成了四個部分。由于圖fox 為亮圖像,故在Part Ⅰ和Part Ⅱ的像素個數(shù)較少,這兩部分通過直方圖均衡化處理進行拉伸,使得圖像的邊緣細節(jié)部分變得豐富,圖fox 的細毛紋理清晰可見。直方圖Part Ⅲ和Part Ⅳ的圖像內容為白雪以及fox 身上的白毛,在經過直方圖均衡化處理后,像素的灰度級進行了拓寬,使得整體圖像在保持目標區(qū)和背景區(qū)的亮度均值不變的情況下,提高了圖像的對比度,圖像fox 輪廓清晰分明。
圖5 圖像fox 的直方圖Fig.5 Histogram of image fox
3.2.1 熵E
熵用于度量圖像的信息豐富度,熵變小,表明圖像的灰度出現(xiàn)合并情況,則信息的豐富度變??;熵變大,表明圖像包含的信息變得更加豐富,細節(jié)紋理更加清晰,如式(6)。
3.2.2 峰值信噪比PSNR
峰值信噪比[15]用于度量圖像增強效果,峰值信噪比越大,圖像的增強效果越明顯,對比度就越高,表示為
式中,MSE 表示均方誤差,X(i,j)表示輸入圖像,Y(i,j)表示輸出圖像,N表示圖像總的像素個數(shù),max(Y(i,j))表示輸出圖像最大灰度級。
3.2.3 結構相似度SSIM
結構相似度[16]用于度量輸出圖像和輸入圖像的相似程度,SSIM 越接近1,說明輸出圖像與輸入圖像越相似,圖像處理效果就越好,計算公式為
式中,μX,μY分別表示輸入圖像X與輸出圖像Y的灰度平均值,σX表示輸入圖像X的標準方差,σY表示輸出圖像Y的標準方差,σXY為協(xié)方差的均方根,C1,C2均為常數(shù)。
本文采用信息熵差ΔE、峰值信噪比PSNR、以及結構相似度SSIM 來對亮暗不同的123 張圖像進行評估,評估結果如表1、表2所示。
表1 不同HE 算法增強后圖像的ΔE 和PSNR 值Table1 The ΔE and PSNR values of enhanced images by different HE algorithms
表2 不同HE 方法增強后圖像的結構相似度Table 2 Structural similarity of images enhanced by different he methods
通過對不同123 張圖像進行信息熵、峰值信噪比以及結構相似度的比較,從表1 可以看出,經本文算法增強后圖像較MMBEBHE、MEMBHE、IPDHE 算法增強后圖像峰值信噪比分別提高了45.5%、26.6%、25.6%,經算法QDHE 處理后的圖像出現(xiàn)了大量的噪聲,圖像增強效果極差。輸入圖像與輸出圖像之間的熵差最小的是本文算法,較MMBEBHE、MEMBHE、QDHE 算法熵差分別減少了24.6%、28.3%、59.5%。說明了經過本文算法處理后的圖像細節(jié)丟失更少,圖像的紋理邊緣更加地清晰,圖像信息更加豐富。從表2可以看出,經本文算法增強后圖像的結構相似度更加地接近1,較QDHE 算法圖像的相似度提高了43.9%,說明了圖像在增強的過程中引入的噪聲更少,出現(xiàn)過增強和欠增強的情況也更少,在保留圖像信息的同時提高了圖像的可視效果,使得圖像看起來更加地飽滿立體。
采用分辨率為648×480,灰階為64 級的5.84 寸單色電潤濕顯示器對本文增強算法進行驗證。將圖片fox 和圖片girl 在電潤濕顯示器上進行驗證,如圖6所示,可以看出圖片fox 和圖片girl 在電潤濕顯示屏上顯示效果不佳,但經過本文算法處理后,圖片fox 和圖片girl 卻在電潤濕顯示器上變得清晰可見,如圖6(b)、(d)所示,輪廓分明,圖像也變得更加的飽滿,圖像對比度得到了顯著的提升。從圖6(b)可知,fox 的臉輪廓相較于圖6(a)更加的明顯,耳朵上面的細毛清晰可見以及鼻頭周圍的胡須黑在視覺上也能看到,在圖3(a)中可以看到狐貍眼睛上面有一顆小黑痣,但在電潤濕顯示屏顯示時,這顆痣消失了。經過本文算法處理得到的圖3(f)在電潤濕顯示器顯示時,可以很清楚地看見這顆痣,使得圖像細節(jié)得到了保留。在圖6(c)中,背景墻上的條紋,小女孩袖子上面的方格圖案以及手臂在電潤濕顯示屏上顯示時造成邊緣細節(jié)的丟失,使得圖像細節(jié)顯示不清,而圖6(d)可以看出背景墻上的條紋更加明顯,方格圖像的對比度也提高了以及手臂的輪廓也變得清晰,圖像變得更加的豐富。通過驗證,本文算法適用于電潤濕顯示器顯示,該算法不僅增強了圖像的對比度,還提升了圖像顯示效果。
圖6 單色電潤濕顯示器顯示效果對比圖Fig.6 Comparison diagram of display effect of monochrome electrowetting display
針對電潤濕電子紙油墨破裂、電荷捕獲、接觸角遲滯等技術上的問題造成圖像對比度不高,細節(jié)丟失,邊緣模糊甚至圖像失真等現(xiàn)象,很大程度上影響電潤濕顯示器的顯示效果,對此,本文提出了基于圖像分割和動態(tài)直方圖均衡的電潤濕顯示器圖像增強算法,該算法綜合了Otsu 和最大熵閾值分割算法的優(yōu)點,提出了基于方差權重的Otsu 和最大熵閾值分割算法,利用該分割算法將圖像分割為背景區(qū)和目標區(qū),將圖像的目標區(qū)以及背景區(qū)分割開來,進行針對性的增強處理,避免了圖像局部區(qū)域出現(xiàn)欠增強和過增強的情況,使得增強后的圖像更加有層次感,細節(jié)紋理更加清晰。通過Matlab 平臺對本文算法進行仿真,結果表明,本文算法與其他改進的直方圖均衡算法相比,圖像質量評價指標PSNR 提高約25.6%~45.5%,熵差ΔE降低約29.1%,SSIM 更接近1,圖像的輪廓更加清晰可見,圖像的對比度得到很大地提升,圖像內容也變得更加的豐富,進一步增強了視覺效果。本文算法能夠增強電潤濕顯示器顯示效果并且適用于電潤濕顯示器顯示。