王冰雪,劉廣文 ,劉 美,陳廣秋
(長春理工大學(xué) 電子信息工程學(xué)院,吉林 長春 130022)
灰度圖像因其能夠真正反映圖像特征,信息量小,系統(tǒng)處理效率高,對傳輸帶寬及存儲空間要求較低,在指紋檔案管理、運動目標追蹤、醫(yī)學(xué)影像檢查診斷和藝術(shù)美學(xué)等領(lǐng)域得到廣泛應(yīng)用[1]。
彩色圖像灰度化的本質(zhì)是一個將三維RGB像素矩陣轉(zhuǎn)換成二維灰度矩陣的過程,其基本思想是將三維彩色圖像中的各像素值,根據(jù)具體的應(yīng)用場景選擇最佳的映射函數(shù),依次映射到特定的灰度級上,在轉(zhuǎn)換過程中不可避免地會丟失一些結(jié)構(gòu)信息[2]。最簡單的灰度化方法是采用固定權(quán)重對RGB通道進行加權(quán)求和,如MATLAB軟件中的rgb2gray函數(shù),或是直接利用某個色彩空間的亮度通道,如HSI 、CIE Lab,這些方法雖然簡單易實現(xiàn),但信息丟失也最為嚴重。
目前彩色圖像灰度化算法主要包括全局映射法[3]和局部映射法[4]兩類。全局映射法注重的是彩色圖像整體顏色分布差異,對所有像素采用相同的映射函數(shù),能夠較好保留全局結(jié)構(gòu)信息,但對局部特征信息的區(qū)分度較差。如Gooch 等人[5]利用灰度差與顏色差的最小二乘構(gòu)造目標函數(shù),采用共軛梯度算法求解以保持顏色對比度。局部映射法注重的是色彩在局部空間的分布差異,根據(jù)局部差異調(diào)整局部空間的像素強度,能夠精確地保留局部特征,但圖像的整體結(jié)構(gòu)信息損失嚴重,不能保證全局顏色信息的一致性。如Smith等人[6]提出了一種基于感知的彩色圖像灰度化算法,該算法首先估計相等亮度顏色之間的差異,并通過全局映射和H-K效應(yīng)確定顏色排序,然后再通過拉普拉斯圖像金字塔來實現(xiàn)局部對比度的增強。該算法只強調(diào)了相鄰域內(nèi)的對比度,忽略了非相鄰區(qū)域內(nèi)的色彩信息,在灰度化圖像中容易產(chǎn)生暈輪現(xiàn)象。
自然場景圖像中包含了不同尺寸的目標物,形成不同尺度的結(jié)構(gòu),各尺度目標物的結(jié)構(gòu)排列組成了整體結(jié)構(gòu)信息,局部結(jié)構(gòu)信息包括局部亮度及對比度信息。人眼視覺感知系統(tǒng)是一個多通道多尺度模型,對場景的觀察是由全局到局部,自適應(yīng)地感知各尺度目標物的信息。對于一幅具有適中的整體亮度、良好的局部對比度、清晰的目標結(jié)構(gòu)輪廓和紋理細節(jié)信息的圖像,人眼具有良好的視覺感受。而彩色圖像灰度化的最終目標就是用灰度圖像最優(yōu)地重現(xiàn)彩色圖像的表達意圖,包括對比度和顯著特征信息,同時保持可感知的梯度幅值和方向。因此,為了得到較好的灰度圖像,同時兼顧人眼的視覺感受,應(yīng)該考慮在保持邊緣極性、整體亮度和顏色順序的基礎(chǔ)上,將彩色圖像中的顏色對比信息盡可能多地映射到灰度圖像中,以增加局部對比度,優(yōu)化人眼的視覺感受和感知的準確性。本文綜合全局映射法和局部映射法的優(yōu)點,提出了一種輪廓波域內(nèi)局部對比度增強的灰度化算法,采用全局映射法獲取能夠保留全局結(jié)構(gòu)信息的初步灰度化圖像,在輪廓波(Contourlet)變換域內(nèi)對方向細節(jié)圖像進行局部增強,有效地保留原始彩色圖像的局部對比度信息,最后疊加兩幅圖像得到最后的灰度化圖像。
輪廓波變換(Contourlet)包括多尺度分解和方向分析兩部分,分別由拉普拉斯金字塔和方向濾波器組來實現(xiàn)。拉普拉斯金字塔(Laplacian Pyramid,LP)將圖像分解為低頻子帶和帶通子帶,低頻子帶是由原圖像經(jīng)過低通濾波和行列下采樣后形成的,經(jīng)過上采樣和低通濾波后形成低頻分量,原圖像減去此低頻分量,得到高頻子帶。方向濾波器組(Directional Filter Bank,DFB)對高頻子帶進行方向濾波,得到2d個方向子帶(d為正整數(shù))[7]。對低頻子帶重復(fù)上述操作,可實現(xiàn)原始圖像的多分辨率多方向的分解。輪廓波變換的原理如圖1所示。
輪廓波變換基的支撐區(qū)間為長條形結(jié)構(gòu),利用圖像的幾何正則性,能用較少的系數(shù)來逼近曲線,其最終結(jié)果是用類似于輪廓段(Contour Segment)的基結(jié)構(gòu)逼近原圖像[8]。
圖2所示為512×512的Lena灰度圖像和彩色圖像分別經(jīng)過2級輪廓波分解得到的子帶,分解方向數(shù)分別為4和8。從圖2中可以看出,不同方向的子帶圖像清晰地描述了不同方向的細節(jié)信息和輪廓特征。
圖2 “日出”圖像的初步灰度化結(jié)果
由于LP和DFB是完全重構(gòu)的濾波器,所以輪廓波變換可以實現(xiàn)完全重構(gòu)。若濾波器是正交的,輪廓波變換提供一個緊支撐框架,對于第j尺度上進行l(wèi)j級方向分解,輪廓波變換的支撐基大小為Kwidth=C2j,Klength=C2j+lj-2。
基于輪廓波變換的局部對比度增強的彩色圖像灰度化算法主要包括兩部分:彩色圖像的初步灰度化與灰度圖像的局部對比度增強。初步灰度化部分是通過預(yù)測彩色物體顏色的方法來更多地保留原彩色圖像的整體結(jié)構(gòu)信息;局部對比度增強部分是利用輪廓波變換提取彩色圖像和初步灰度化圖像的多尺度多方向特征信息,根據(jù)每個尺度上特征信息色彩的對比度,按比例地將色度信息添加到初步灰度化圖像中以實現(xiàn)輸出圖像的局部對比度增強。其過程主要包括4個步驟:
(1)將彩色圖像從RGB色彩空間轉(zhuǎn)換至CIE Lab色彩空間;
(2)在CIE Lab色彩空間求取彩色圖像的感知亮度,然后利用色度分量a和b對感知亮度進行修正,得到初步灰度化圖像;
(3) 對輸入彩色圖像和初步灰度化圖像進行相同尺度和方向的輪廓波分解;
(4) 計算彩色圖像和初步灰度化圖像各方向子帶間色度對比度的比值,并按比例添加到初步灰度化圖像中,得到最終的灰度化圖像。
2.2.1 彩色圖像的初步灰度化
,
(1)
,
(2)
.
(3)
,
(4)
像素間色差目標函數(shù)定義為:
,
(5)
其中:k表示八鄰域像素集,δij為像素間距離標量,為了求取x1和x2的值,只需求解下列最優(yōu)化問題:
.
(6)
采用共軛梯度迭代算法[10]求解式(6),將x1和x2值帶回式(4),得到對應(yīng)的初步灰度化圖像g。
圖3所示為“日出”圖像(256×256)的初步灰度化結(jié)果。
圖3 “日出”圖像的初步灰度化結(jié)果
從圖3可以很明顯地看出,初步灰度化圖像中保留了圖像色彩的大部分對比度信息,解決了部分灰度值的分配問題,并對亮度映射不能區(qū)分的顏色進行了適當(dāng)?shù)呐判颉?/p>
2.2.2 輪廓波變換域的局部對比度增強函數(shù)
人類視覺系統(tǒng)對于局部對比度的變化十分敏感,而彩色圖像灰度化時由于像素維數(shù)的縮減,必然會引起彩色對比度的缺失。為了更好地表達原始彩色圖像的局部對比度,需要對初步灰度化圖像增強局部對比度。本文在輪廓波變換域內(nèi)構(gòu)造對比度增強函數(shù),對初步灰度化圖像進行多尺度多方向銳化以提高局部對比度。首先,對彩色圖像和初步灰度化圖像分別進行輪廓波分解,然后計算彩色圖像與初步灰度化圖像的對應(yīng)高頻方向子帶的色彩對比度比值,作為初步灰度圖像各高頻方向子帶系數(shù)的權(quán)重,得到增強后的高頻方向子帶系數(shù),最后利用輪廓波逆變換重構(gòu)系數(shù),得到增強后的細節(jié)圖像。最終的灰度圖像g**可以利用下列映射函數(shù)得到:
g**=g+g*
,
(7)
其中:g為初步灰度化圖像,g*為局部對比度增強后的細節(jié)圖像,定義為:
,
(8)
,
(9)
圖4 “日出”圖像的最終灰度化結(jié)果
從圖4中可以看出經(jīng)過局部對比度增強后得到的灰度圖像比圖3所示的初步灰度化圖像能夠更大程度地保留原始圖像的細節(jié)信息,具有更高的局部對比度和更好的視覺效果。
圖5 第一組不同灰度化算法實驗結(jié)果
從圖5可以看出,CIE Y算法在細節(jié)保留方面表現(xiàn)得很不理想,例如第3幅測試圖像中的太陽和第4幅測試圖像中紅色框中的部分在灰度化之后都沒能很好地體現(xiàn)出來,視覺效果很差;Gooch等人算法對于大部分測試圖像的灰度化效果較好,但是對第2幅和第6幅測試圖像的灰度化效果較差,并不能很好地體現(xiàn)彩色圖像的色彩對比度信息;Grundland等人算法同樣僅僅只對部分測試圖像的灰度化效果較為理想;Smith等人算法的灰度化結(jié)果整體表現(xiàn)較差,丟失了圖像的很多細節(jié)信息和對比度信息;Lu等人算法和本文算法的灰度化結(jié)果均表現(xiàn)出了良好的整體結(jié)構(gòu)和局部細節(jié)信息,都能很好地保持輸入彩色圖像的對比度,但在視覺效果方面本文算法的結(jié)果更符合人眼視覺感知,感知亮度和局部對比度表現(xiàn)得更理想。為了更直觀地說明本文算法的有效性和穩(wěn)定性,將其余10幅測試圖像的灰度化結(jié)果示于圖6中。
圖6 第二組不同灰度化算法實驗結(jié)果
綜合圖5和圖6的灰度化結(jié)果,本文算法在灰度化過程中不僅能夠良好地保持原圖像的整體結(jié)構(gòu)和體現(xiàn)色差的對比度,且具有良好的整體視覺感知效果。
灰度化圖像間差異較小時,視覺觀察很難做出準確的主觀評價,需要采用客觀評價方法對灰度化圖像進行定量分析。本文客觀評價方法采用顯著圖結(jié)構(gòu)信息相似度(Saliency Map Structural Similarity,SM-SSIM )[15]和E-Score[11]模型兩種評價方法。SM-SSIM表征的是彩色圖像顯著圖和灰度圖像顯著圖的結(jié)構(gòu)信息相似程度,其值越大越好;E-Score是顏色對比度保持度(Color Contrast Preserving Ratio, CCPR)與顏色內(nèi)容保真度(Color Content Fidelity Ratio,CCFR)的調(diào)和平均值,其值越大越好。CCPR表征的是灰度圖像中對比度與輸入顏色的相似程度,其值越大越好;CCFR表征的是灰度圖像中結(jié)構(gòu)內(nèi)容與輸入顏色的相似程度,其值越大越好;表1和表2分別列出了本文算法與其他6種算法對所選16幅測試圖像灰度化結(jié)果的SM-SSIM和E-Score的評價數(shù)據(jù)。其中E-Score是在閾值τ=10時得的評價數(shù)值。表中加粗的數(shù)值表示同一測試圖像在各種灰度化算法中取得的最大值。
表1 不同灰度化算法實驗結(jié)果的SM-SSIM評價數(shù)據(jù)
表2 不同灰度化算法實驗結(jié)果的E-Score評價數(shù)據(jù)
續(xù) 表
從表1和表2中可以看出,SM-SSIM和E-Score的最優(yōu)評價結(jié)果多數(shù)都來自本文算法,且結(jié)果的平均值均為最優(yōu),與主觀評價一致,說明本文算法具有一定的優(yōu)越性和穩(wěn)定性,能夠有效地保持彩色圖像的整體結(jié)構(gòu)信息和局部彩色對比度。
圖7所示為各灰度化算法的E-Score的平均值隨閾值τ變化的曲線圖。
圖7 E-Score隨閾值τ變化的曲線圖
從圖7中可以看出,本文算法的E-Score評價結(jié)果明顯優(yōu)于其他6種灰度化算法,進一步說明了本文算法能夠有效保持輸入彩色圖像的對比度和彩色內(nèi)容信息。
在相同的測試條件下,利用本文算法與其他6種算法對4幅不同尺寸的圖像進行灰度化實驗,各算法的運行時間如表3所示。
表3 不同灰度化算法的運行時間
Tab.3 Running time of the different decolorization algorithms s
算法256×192320×240512×3841 024×768CIEY0.025 0.0440.103 0.381 Gooch496.569 1 184.733 7 914.752 >>5 hGrundland0.568 0.909 1.945 5.410Smith2.453 3.557 7.967 24.320 Lu20120.238 0.358 0.566 3.459 Lu20140.193 0.236 0.459 2.528 本文算法0.571 0.859 1.813 6.149
由表3可以看出,本文算法在計算效率方面并不占優(yōu)勢,僅優(yōu)于Smith和Gooch算法,這是由于本文算法中需要對圖像進行多尺度多方向分解和重構(gòu),消耗了計算時間,但隨著計算機硬件配置的提升和算法的不斷優(yōu)化,本文算法的計算效率也會得到相應(yīng)的提高,能夠較好地平衡灰度化效果和計算效率間的矛盾。