陳廣秋, 王冰雪, 劉 美, 劉廣文

(長春理工大學 電子信息工程學院, 長春 130022)

灰度圖像因具有能真正反映圖像特征、 信息量小、 系統(tǒng)處理效率高、 對傳輸帶寬及存儲空間要求較低等優(yōu)點, 在模式識別預處理[1]、 醫(yī)療病理診斷[2]和攝影藝術等領域應用廣泛. 彩色圖像灰度化是根據(jù)實際應用場景利用某種最佳映射函數(shù), 將彩色圖像中的像素值最優(yōu)地映射到對應的灰度級上, 實現(xiàn)三維圖像向二維圖像的轉換, 由于轉換過程會使像素的取值范圍減小, 因此不可避免地會丟失一些結構信息[3]. 常用的灰度化方法是采用固定權重對RGB通道進行加權求和, 如MATLAB軟件中的rgb2gray函數(shù)； 或直接利用某個色彩空間的亮度通道, 如HSI和CIELAB. 這些方法雖然簡單易實現(xiàn), 但信息丟失也較嚴重.

目前彩色圖像灰度化算法主要包括全局映射法、 局部映射法及混和映射法. 全局映射法是利用同一個映射函數(shù)對彩色圖像中所有像素進行灰度化映射, 以保持結構信息的完整性, 得到的圖像更自然, 視覺效果更好, 所以應用最廣泛. 這類算法主要包括基于優(yōu)化目標能量函數(shù)和圖像信息線性投影兩種, 前者通過最小化目標函數(shù)直接求解灰度圖像或映射函數(shù)參數(shù), 如Gooch等[4]利用灰度差與顏色差的最小二乘構造目標函數(shù), 采用共軛梯度算法求解以保持顏色對比度; Kim等[5]將顏色與灰度圖像之間的梯度差作為目標函數(shù), 映射函數(shù)是一種非線性參數(shù)模型, 通過最小化目標函數(shù)求解映射函數(shù)中的參數(shù); Zhou等[6]將灰度圖像與原圖像的顯著度構造對比度模型作為目標函數(shù), 采用線性組合RGB通道圖像作為映射函數(shù). 該類算法雖然能保留原圖像的對比度信息, 但由于需迭代優(yōu)化目標函數(shù), 復雜度較高, 因此不利于實際應用； 后者通過離散搜索的方式尋找最佳投影方向, 得到通道映射函數(shù)的權重, 如Chen等[7]為了獲得映射函數(shù)中的權重參數(shù)值, 通過優(yōu)化求解兩幅圖像特征值間的全局差分最小值; Liu等[8]將映射函數(shù)構造成兩部分和的形式, 一部分采用MATLAB中的rgb2gray函數(shù), 另一部分通過求解目標函數(shù)最小值獲得最佳投影方向, 得到權重; Nafchi等[9]在線性投影框架內利用Pearson相關系數(shù)直接求取映射函數(shù)權重, 得到灰度圖像的輸出. 該類算法實現(xiàn)簡單, 運算速度較快, 但由于相關系數(shù)只能反映圖像間結構的相似性, 對彩色圖像的亮度和對比度并不能最優(yōu)地映射到灰度圖像中, 因此輸出結果也并非最優(yōu)[10].

為了得到最優(yōu)的灰度圖像, 同時兼顧計算效率, 受文獻[9]啟發(fā), 本文提出一種基于結構信息相似度的線性投影灰度化算法, 通過度量RGB通道圖像與對比圖在相關性、 亮度和對比度方面的相似程度, 直接估計全局線性權重參數(shù), 避免了通過復雜的優(yōu)化迭代或收斂搜索算法求取最佳投影方向過程, 能更好地保持全局結構信息, 輸出圖像更自然, 更符合人的視覺感知.

1 算法基本原理

1.1 結構信息相似度

圖像的結構信息定義為表示場景中對象結構的屬性, 包括亮度、 對比度和結構, 文獻[11]整合了上述3種屬性, 提出了采用結構信息相似度(structural similarity, SSIM)客觀評價兩幅圖像間的相似程度. 設兩幅圖像分別為f,h, 則SSIM評價系統(tǒng)框圖如圖1所示.

圖1 結構信息相似度評價系統(tǒng)框圖

亮度、 對比度和結構比較函數(shù)分別定義為

其中：mf和mh為圖像f和h的均值, 表示圖像的整體亮度;sf和sh為圖像f和h的標準差, 表示圖像的整體對比度;sfh為圖像f和h的協(xié)方差, 表示兩幅圖像間的相關聯(lián)程度;E1,E2,E3是為了避免分母為零而引入的常數(shù). 均值、 標準差和協(xié)方差的計算公式分別為：

(4)

(5)

(6)

整合式(1)～(3), 圖像f和h的結構信息相似度(SSIM)定義為

SS(f,h)=(b(f,h))p·(r(f,h))q·(c(f,h))g,

(7)

其中參數(shù)p,q,g為常數(shù), 用以控制各部分在SS(f,h)中的比例, 其值大于零, 在實際應用中通常取p=q=g=1. 如果E3=E2/2, 則式(7)可表示為

(8)

其中: 第一項b(f,h)是度量圖像f與h間亮度接近程度的量, 取值范圍為[0,1], 只有當mf=mh時,b(f,h)=1； 第二項r(f,h)是度量圖像f與h間對比度相似程度的量, 取值范圍為[0,1], 只有當sf=sh時,r(x,y)=1； 第三項c(f,h)為相關系數(shù), 用以度量圖像f與h間的線性相關程度, 即結構的相似度, 取值范圍為[-1,1], 只有當hi=zfi+n時,c(f,h)=1(i=1,2,…,K),z>0,n為常數(shù). 所以SS(f,h)的取值范圍為[-1,1].

1.2 線性投影灰度化算法

人類視覺感知系統(tǒng)對圖像的亮度和對比度較敏感, 彩色圖像灰度化的目的是將彩色圖像中亮度、 對比度和細節(jié)信息最大限度地轉移到灰度圖像中, 生成一幅自然灰度圖像, 以滿足人類的視覺感知. 本文提出的灰度化算法屬于全局映射法, 映射函數(shù)為

Q(x,y)=ωRVR(x,y)+ωGVG(x,y)+ωBVB(x,y),

(9)

其中：Q表示灰度圖像;ωX,VX(X∈{R,G,B})分別為RGB通道的權重和強度值. 因此, 上述彩色圖像灰度化問題即轉化為求解映射函數(shù)中3個未知權重系數(shù)的問題. 如果表征結構信息的對比圖像已知, 則通道圖像與對比圖像的結構信息越相似, 表明該通道圖像所對應的權值越大. 基于此, 本文設計一種根據(jù)輸入圖像的RGB通道圖像與對比圖的結構信息相似度直接求解全局線性權重參數(shù)ωX的算法, 求解過程中無需迭代優(yōu)化目標能量函數(shù)或離散收斂搜索, 提高了求解權重參數(shù)的效率和全局最優(yōu)度, 保障了灰度化的效果. 算法實現(xiàn)步驟如下.

1) 對比圖的構造. 對比圖是一幅特征參考圖像, 需要盡可能多地保持彩色圖像的對比度和亮度信息. 在RGB圖像中, 通道圖像的像素取值范圍為[0,255], 則RGB圖像的像素取值達到16 777 216種, 從而需要所構造的對比圖應有盡可能多的取值, 以保持圖像的亮度、 對比度和結構細節(jié)信息, 所以利用圖像的均值和標準差構造對比圖. 設m(x,y)和s(x,y)分別為輸入圖像V(x,y)的平均圖和標準偏差圖, 則

m(x,y)=[VR(x,y)+VG(x,y)+VB(x,y)]/3,

(10)

(11)

m(x,y)的灰度取值有766種,s(x,y)的灰度取值有16 365種, 即從彩色圖像到灰度圖像的轉換過程中會丟失大量的結構信息(包括對比度和亮度). 為了減少信息損失, 將平均圖m(x,y)與標準偏差圖s(x,y)進行“與”運算, 構造一個既包含亮度信息又包含對比度信息的對比圖T(x,y), 即

T(x,y)=m(x,y)×s(x,y).

(12)

對比圖T(x,y)的灰度取值超過200萬種, 極大降低了轉換過程中信息的損失.T(x,y)的構造過程如圖2所示. 由圖2可見, 圖像T(x,y)能更好保留輸入圖像的對比度和亮度信息.

圖2 對比圖的構造過程

2) 結構信息相似度的計算. 利用式(8)分別計算RGB三通道圖像與對比圖T(x,y)之間的結構相似度, 得到SSRT,SSGT,SSBT, 則

TSS={SSRQ,SSGQ,SSBQ}.

(13)

3) 通道全局權重的計算. 對比圖像中保持了原圖像的亮度和對比度信息, 所以彩色圖像各通道與對比圖的結構信息相似度越高, 該通道圖像獲得的權重越高, 反之, 權重越小.

根據(jù)上述權重規(guī)則, 將通道圖像的SSIM模值映射到θX, SSIM值直接映射到ρX,X∈{R,G,B}, 計算公式如下：

(14)

(15)

ωX=|θX+min{θX,ρX}|,

(16)

2 實驗結果與分析

2.1 參數(shù)設定

2.2 不同灰度化算法的主觀評價分析

圖3 不同參數(shù)值的灰度化效果評價

(A) 原圖像; (B) Intensity算法; (C) Gooch算法; (D) Grundland算法;(E) Smith算法; (F) Seo算法; (G) Nafchi算法; (H) 本文算法.

由圖4可見, 7種算法都能較好地保持原圖像的整體結構特征, 但本文算法在對比度和結構細節(jié)保持方面有一定優(yōu)勢, 圖像更符合視覺觀察習慣. 第一幅圖像中Nafchi和Intensity算法并未體現(xiàn)3種辣椒的顏色差異,Gooch,Grundland和Seo算法結果出現(xiàn)一定程度的灰度失真, 本文算法能較好地保持對比度, 顏色差異體現(xiàn)較明顯； 第二幅圖像中Intensity,Gooch,Grundland和Nafchi算法都沒有很好地保持圖像中花和蝴蝶翅膀的對比度和細節(jié)信息； 第三幅和第四幅圖像中Intensity,Gooch,Grundland和Smith算法得到的灰度圖像丟失了較多的彩色圖像對比度信息,Seo算法雖然有所改善, 但仍能觀察到有信息丟失, 如在含有不同顏色段的第四幅圖像中, 左上角的淺綠色和灰色背景部分在灰度圖像中并沒有明顯的區(qū)分度,Nafchi和本文算法得到的灰度圖像均能較好地區(qū)分彩色圖像中各部分色彩和背景信息, 具有較好的對比度和視覺效果； 在含有數(shù)字“25”的第五幅圖像中,Smith算法得到的灰度圖像很難觀察出隱藏的數(shù)字,Nafchi和Gooch算法得到的結果中勉強能辨認出數(shù)字“2”, 但對數(shù)字“5”幾乎無法辨別,Intensity和Seo算法得到的結果有所改善, 能觀察出部分數(shù)字信息,Grundland和本文算法得到的結果中, 能清楚地觀察到所含有的數(shù)字, 很好地轉移了源圖像的亮度和對比度信息, 但本文算法的結果結構信息更豐富； 第六幅及其局部放大圖中,Gooch,Grundland,Smith和Seo算法得到的灰度圖像中并未表現(xiàn)出局部區(qū)域所存在的色差, 出現(xiàn)較明顯的失真現(xiàn)象,Intensity算法得到的結果色彩與飽和度較差,Nafchi和本文算法得到的灰度圖能體現(xiàn)出局部區(qū)域的色差, 但在視覺感知方面, 本文算法略優(yōu)于Nafchi算法.

為了證明本文算法具有較好的魯棒性, 實驗圖像集中另外10幅圖像的灰度化結果如圖5所示. 由圖4和圖5可見, 本文算法在灰度化過程中不僅能較好地保持原圖像的整體結構并體現(xiàn)色差的對比度, 且具有良好的整體視覺感知效果[19].

(A) 原圖像; (B) Intensity算法; (C) Gooch算法; (D) Grundland算法;(E) Smith算法; (F) Seo算法; (G) Nafchi算法; (H) 本文算法.

2.3 不同灰度化算法的客觀評價分析

當灰度化圖像間差異較小時, 視覺觀察很難給出準確的主觀評價, 需采用客觀評價方法對灰度化圖像進行定量分析. 本文客觀評價方法采用顯著圖結構信息相似度(saliencymapstructuralsimilarity,SM-SSIM)[20]、 顏色對比度保持率(CCPR)[14]、 顏色內容保真率(CCFR)[14]和調和平均值(E-Score)[14]4個評價指標.SM-SSIM表征彩色圖像顯著圖和灰度圖像顯著圖的結構信息相似程度, 其值越大越好；CCPR表征灰度圖像中對比度與輸入顏色的相似程度, 其值越大越好；CCFR表征灰度圖像中結構內容與輸入顏色的相似程度, 其值越大越好；E-Score是CCPR與CCFR的調和平均值, 其值越大越好. 表1列出了本文算法與其他6種對比算法對所選16幅測試圖像進行灰度化結果客觀評價指標的平均值, 其中CCPR,CCFR和E-Score是在閾值τ=15時所得平均值. 由表1可見, 本文算法在各類客觀評價指標中均最優(yōu), 與主觀評價結果一致, 說明本文算法具有一定的優(yōu)越性和穩(wěn)定性, 能更有效地保持輸入彩色圖像在灰度化前后的整體結構信息.

表1 不同灰度化算法實驗的客觀評價結果

圖6為各灰度化算法的CCPR(A),CCFR(B)和E-Score(C)的平均值隨閾值τ的變化曲線. 由圖6可見, 本文算法的CCPR,CCFR和E-Score值明顯優(yōu)于其他6種灰度化算法, 進一步表明本文算法能有效地保持輸入彩色圖像的整體結構信息.

圖6 各客觀評價指標隨閾值τ的變化曲線

為了說明本文算法在計算效率方面的優(yōu)勢, 在相同的測試條件下, 對本文算法與其他6種對比算法對4幅不同尺寸的圖像進行灰度化實驗, 各算法的運行時間列于表2. 實驗環(huán)境為Windows7操作系統(tǒng), CPU 2.4 GHz, 內存6 GB, 仿真軟件MATLAB 2016b. 由表2可見, 本文算法的計算效率低于權值固定的Intensity算法, 但優(yōu)于其他5種算法, 說明本文提出的灰度化算法能較好地平衡灰度化效果和計算效率間的矛盾, 能得到與對比度感知一致的灰度圖像.

表2 不同灰度化算法的運行時間(s)