張 義,宛 楠

(1.安徽工程大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 蕪湖 241000；2.皖南醫(yī)學(xué)院 醫(yī)學(xué)信息學(xué)院，安徽 蕪湖 241002)

機(jī)器視覺(jué)系統(tǒng)[1]的實(shí)現(xiàn)依賴于圖像處理、計(jì)算機(jī)視覺(jué)和控制理論等技術(shù).通常情況下設(shè)計(jì)的機(jī)器視覺(jué)系統(tǒng)需要補(bǔ)光，而光源也需要穩(wěn)定光照強(qiáng)度，尤其是在更多的噪聲干擾的情況下，獲得較好視覺(jué)效果的圖像難度很大，這大大限制了機(jī)器視覺(jué)系統(tǒng)應(yīng)用范圍.系統(tǒng)地解決機(jī)器視覺(jué)系統(tǒng)的難題需要具體地分析影響視覺(jué)效果的主要因素，在這些因素中最具有難度的是低照度下的圖像增強(qiáng)問(wèn)題.傳統(tǒng)的圖像增強(qiáng)方法有很多，利用它們所獲得的結(jié)果差強(qiáng)人意.Monika Agarwala[2]等提出了自適應(yīng)伽瑪校正的距離限權(quán)直方圖均衡化，較好地解決了低對(duì)比度醫(yī)學(xué)圖像增強(qiáng)過(guò)程中亮度無(wú)法保持和對(duì)比度增強(qiáng)過(guò)高的問(wèn)題.然而，所采用的醫(yī)學(xué)圖像并非彩色圖像，因而無(wú)法對(duì)顏色進(jìn)行還原，在進(jìn)行脊髓造影過(guò)程中獲得的圖像效果較差，且存在較多干擾.Sreenivasa Setty[3]等提出先利用對(duì)比度拉伸，再利用多尺度Retinex算法進(jìn)行圖像增強(qiáng).該方法能夠增強(qiáng)脊髓周圍區(qū)域組織的鋒利邊緣，且減少圖像的噪聲，尤其是高斯和斑點(diǎn)噪聲，提高了整體對(duì)比度.針對(duì)數(shù)字彩色圖像增強(qiáng)不能提供良好的動(dòng)態(tài)范圍壓縮，在彩色渲染方面容易失敗的問(wèn)題，Ming-Jung Seow[4]等提出可以利用同態(tài)濾波器進(jìn)行圖像增強(qiáng).為了避免色彩恢復(fù)失真，將原始圖像中每個(gè)像素的顏色關(guān)系表示為狀態(tài)空間中的吸引子，然后利用神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)特性作為聯(lián)想記憶，對(duì)同態(tài)濾波后的圖像像素的自然顏色特征進(jìn)行記憶恢復(fù).該算法獲得較好的彩色恢復(fù)效果，然而與其他算法相比沒(méi)有速度上的優(yōu)勢(shì).Sheng Zhong[5]等提出了一種基于小波分析的黑白圖像增強(qiáng)方法和一種新的偽彩色圖像處理方法.這些方法所獲得的增強(qiáng)圖像具有豐富的層次，算法提高了圖像信息熵達(dá)30%左右.然而由于波母函數(shù)的不同，選擇不同的波母函數(shù)所得到的結(jié)果也有差異，因而一致性不易保證.

圖像增強(qiáng)也是提高陰影圖像和低對(duì)比度圖像的感知質(zhì)量的過(guò)程，以便圖像能夠獲得更高的視覺(jué)效果.圖像采集設(shè)備所獲得的圖像本身存在各種噪聲干擾和環(huán)境約束，這導(dǎo)致圖像看上去有假邊緣或偽輪廓，這些虛假的特征將淹沒(méi)圖像目標(biāo)真正的特征.一般地，特征并不是存在于整個(gè)圖像中，而是在圖像的某一個(gè)局部位置，為了方便，通常把這種局部位置稱為視覺(jué)焦點(diǎn)區(qū)域.視覺(jué)焦點(diǎn)可以通過(guò)最新的技術(shù)-視覺(jué)注意機(jī)制[6]來(lái)找到.研究考慮了在實(shí)際低照度環(huán)境條件下如何提高視覺(jué)焦點(diǎn)提取的精度.因此，圖像增強(qiáng)是圖像視覺(jué)焦點(diǎn)提取之前的關(guān)鍵問(wèn)題.在真實(shí)的環(huán)境條件下，存在許多外部干擾，可能影響提取出視覺(jué)焦點(diǎn)區(qū)域.當(dāng)然，在過(guò)高照度下，通過(guò)視覺(jué)注意機(jī)制檢測(cè)后將得到大亮度的區(qū)域，圖像的亮度特征將被這些大亮度的區(qū)域所覆蓋.也就是說(shuō)，視覺(jué)焦點(diǎn)感知會(huì)由亮度不均勻?qū)е乱曈X(jué)誤差.同時(shí)，在調(diào)整亮度時(shí)，色彩特征檢測(cè)不受圖像增強(qiáng)算法的影響，這是提出新算法的原因.首先，在RGB-YCbCr[7]模型基礎(chǔ)上建立新映射模型.在針對(duì)亮度變量Y的微小調(diào)整中，可以得到Y(jié)CbCr中3個(gè)分量的相應(yīng)變化，而后應(yīng)用視覺(jué)注意理論檢測(cè)文中所提出的圖像增強(qiáng)算法，驗(yàn)證算法的魯棒性和運(yùn)行速度.

1 色彩空間模型

色彩空間模型(包括RGB、YCbCr和HSV等)被廣泛用于數(shù)字圖像處理.其中，YCbCr顏色空間保留了比任何其他顏色空間更好的亮度分量的細(xì)節(jié)信息，同時(shí)，不少文獻(xiàn)顯示了使用YCrCb信號(hào)時(shí)，人眼對(duì)色度的敏感性低于亮度，即不易在圖像增強(qiáng)過(guò)程中出現(xiàn)顏色失真現(xiàn)象.YCbCr是一種能夠在色彩處理和感知均勻性兩個(gè)方面獲得較好折衷的色彩空間，其中的色彩均被處理成色彩感知上有意義的信息.這樣，后續(xù)的圖像/視頻處理、傳輸和存儲(chǔ)等就在色彩感知上均具有了意義.YCbCr的可分離亮度信號(hào)(Y)可以以高分辨率或高帶寬傳輸，而兩個(gè)色度分量(Cb和Cr)可以通過(guò)多次采樣、壓縮或以其他方式被單獨(dú)處理，從而提高了系統(tǒng)效率.

由于定義YCbCr的方程是以旋轉(zhuǎn)整個(gè)標(biāo)準(zhǔn)RGB顏色立方體的方式形成的，因此可以將其縮放以適應(yīng)可變尺寸的YCbCr顏色立方體.在YCbCr顏色立方體中有一些點(diǎn)不能在相應(yīng)的RGB域中表示(至少不在標(biāo)準(zhǔn)的RGB范圍內(nèi))，因此，可以根據(jù)不同的標(biāo)準(zhǔn)定義改變YCbCr的形式.在ITU-RBT.601(也就是以前的CCIR 601)標(biāo)準(zhǔn)中，YCbCr是從RGB空間派生而來(lái)的，如式(1)所示：

(1)

JPEG的JFIF使用的YCbCr則按式(2)定義，其中Y、Cb和Cr取值在0～255范圍內(nèi)，

(2)

針對(duì)于以上的定義，轉(zhuǎn)換后的YCbCr從數(shù)值上隨著轉(zhuǎn)換方式的改變而不同，因而不具備一般性.為此，研究提出了抽象變換形式以便進(jìn)行統(tǒng)一的描述.

2 迭代自適應(yīng)算法

2.1 抽象色彩空間變換

定義1 (抽象變換形式)RGB和YCbCr的抽象顏色空間變換形式如下：

(3)

這里,

在圖像增強(qiáng)中，僅僅改善亮度分量不能獲得良好的性能，容易產(chǎn)生顏色失真現(xiàn)象.解決這一問(wèn)題的可行方法即在圖像亮度增強(qiáng)的同時(shí)加入色調(diào)不變約束和色相不變約束.色調(diào)和色相的定義如下：

(4)

(5)

2.2 色調(diào)、色相不變約束

(1)色調(diào)不變約束.假設(shè)色調(diào)保持常數(shù)α，則排除亮度干擾后，僅對(duì)顏色進(jìn)行恢復(fù)時(shí)將采用式(6)進(jìn)行推導(dǎo).

(6)

在增強(qiáng)圖像后，3個(gè)分量之間的新關(guān)系可以表示如下：

(7)

假設(shè)顏色平移的位移是線性的,就是ΔR=R′-R,ΔG=G′-G,ΔB=B′-B.假設(shè)：

(8)

鑒于二階微小量對(duì)全局的影響較小，為了簡(jiǎn)化起見(jiàn),這里忽略不計(jì).這樣式(8)可以展開(kāi)為：

[2RD11+(D12+D21)G+(D13+D31)B+2(T2A21+T3A31)]ΔR+[2GD22+(D12+D21)R+

(D23+D32)B+2(T2A22+T3A32)]ΔG+[2BD33+(D13+D31)R+(D23+D32)G+

2(T2A23+T3A33)]ΔB=0,

(9)

首先考慮一個(gè)簡(jiǎn)單的情況，即：

(10)

其中Cb不能為0.如果實(shí)際計(jì)算中確實(shí)為0，可令Cb=ε，其中的ε為不為0的小正數(shù).根據(jù)以上的變換，可得：

(11)

(A21k1-A31)ΔR+(A22k1-A32)ΔG+(A23k1-A33)ΔB=k2,

(12)

至此，由于色調(diào)與色相的限制，式(9)和式(12)用數(shù)學(xué)表達(dá)式闡述了其中的約束性.

(3)增量迭代模型.以下將利用拉格朗日極值求解方法推導(dǎo)出YCbCr隨著R分量迭代增量的模型.假設(shè)：

2RD11+(D12+D21)G+(D13+D31)B+2(T2A21+T3A31)=L1,

(13)

2GD22+(D12+D21)R+(D23+D32)B+2(T2A22+T3A32)=L2,

(14)

2BD33+(D13+D31)R+(D23+D32)G+2(T2A23+T3A33)=L3,

(15)

然后得到：

(16)

(17)

(4)迭代自適應(yīng)彩色圖像增強(qiáng).為了比較圖像增強(qiáng)方法的優(yōu)缺點(diǎn)，通常使用圖像質(zhì)量指標(biāo)嵌入這些算法本身.常見(jiàn)的圖像質(zhì)量指標(biāo)[8]主要包含7個(gè)指標(biāo)，即結(jié)構(gòu)化內(nèi)容(Structural Content，SC)，均方誤差(Mean Square Error，MSE)，峰值信噪比(Peak Signal to Noise Ratio，PSNR)，歸一化互相關(guān)(Normalized Cross-Correlation，NK)，平均差(Average Difference，AD)，最大差值(Maximum Difference，MD)和歸一化絕對(duì)誤差(Normalized Absolute Error，NAE).用粒子群優(yōu)化算法(Particle Swarm Optimization，PSO[9])找到最佳迭代步驟.迭代自適應(yīng)彩色圖像增強(qiáng)算法描述如下所示.

算法1 迭代自適應(yīng)彩色圖像增強(qiáng)算法

輸入A：一幅低照度彩色圖像；輸出EA：已增強(qiáng)的彩色圖像.

初始化:設(shè)定R分量的一個(gè)隨機(jī)初始偏移量.

①將原始圖像由RGB空間轉(zhuǎn)換為YCrCb彩色空間；

③分別計(jì)算A和EA的7個(gè)質(zhì)量指標(biāo)；

④在圖像增強(qiáng)時(shí)，使用PSO搜索最佳迭代次數(shù)τ；

⑥將增強(qiáng)后的圖像由YCrCb色彩空間轉(zhuǎn)換到 RGB空間；

⑦歸一化EA并輸出.

3 視覺(jué)注意機(jī)制

在機(jī)器視覺(jué)研究中，作為人類視覺(jué)系統(tǒng)(HVS)的視覺(jué)生物機(jī)制啟發(fā)式算法-視覺(jué)注意機(jī)制(VAM)越來(lái)越受到重視，許多專家將各種新穎的視覺(jué)注意機(jī)制模型應(yīng)用到不同的領(lǐng)域.經(jīng)典的視覺(jué)注意機(jī)制包括線性濾波器、“中心-周圍”差分計(jì)算和歸一化、多尺度融合歸一、線性組合和顯著性的競(jìng)爭(zhēng)焦點(diǎn)等步驟.首先，獲得的彩色圖像使用線性濾波器來(lái)降低噪聲.然后將濾波后的圖像發(fā)送到3個(gè)通道，以便并行獲得圖像的顏色、亮度和方向等信息.在不同的通道下，輸入圖像進(jìn)行低通濾波和亞采樣，在不同分辨率下利用Gabor濾波，從而形成不同層級(jí)的金字塔[10-11].在金字塔的不同層次上獲得顏色、亮度和4個(gè)方向(0度，45度，90度，135 度)特征，然后每個(gè)特征通道計(jì)算不同尺度下對(duì)應(yīng)顯著圖的中心環(huán)繞差異和歸一化.在合并和歸一化地圖后，3個(gè)通道中的每一個(gè)都可以獲得對(duì)應(yīng)的局部顯著圖.通過(guò)三通道輸出的線性組合，得到最終的顯著圖.根據(jù)經(jīng)典的Itti算法理論，在顯著圖中擁有最高值的區(qū)域是視覺(jué)關(guān)注的第一焦點(diǎn)區(qū)域，而后將此區(qū)域刪除，并在其他區(qū)域中尋找第二焦點(diǎn)區(qū)域、第三焦點(diǎn)區(qū)域等等.研究的核心內(nèi)容是如何獲得包括特征圖像在內(nèi)的合適的視覺(jué)焦點(diǎn).

4 實(shí)驗(yàn)和討論

為了驗(yàn)證算法的有效性和魯棒性，選擇卡內(nèi)基梅隆大學(xué)的姿態(tài)、照明和表情數(shù)據(jù)庫(kù)(CMU PIE，見(jiàn)圖1)作為測(cè)試圖像集.

圖1 PIE 圖像數(shù)據(jù)庫(kù)中的一些圖像

(1)平均偏差(Average Difference，AD).

(18)

(2)歸一化絕對(duì)誤差(Normalized Absolute Error， NAE).

(19)

(3)均方誤差(Mean Square Error，MSE).

(20)

(4)最大偏差(Maximum Difference， MD).

(21)

(5)歸一化互相關(guān)系數(shù)(Normalized Cross-Correlation， NK).

(22)

(6)峰值信號(hào)比(Peak Signal to Noise Ratio，PSNR).

(23)

(7)結(jié)構(gòu)化內(nèi)容(Structural Content，SC).

(24)

6次迭代后獲得的7種圖像質(zhì)量指標(biāo)如圖2所示.從圖2中可以看出，隨著迭代次數(shù)的增加，絕對(duì)誤差相差很大，圖像太亮，對(duì)比度不高，增強(qiáng)效果不佳.因此，為了達(dá)到更好的圖像客觀性，需要在合理的范圍內(nèi)搜索迭代次數(shù).研究還發(fā)現(xiàn)搜索過(guò)程等于獲得了圖3所示的最佳圖像熵.矩形框內(nèi)的值將是最佳的迭代次數(shù)范圍.采用粒子群優(yōu)化的生物激勵(lì)方法來(lái)搜索最佳迭代次數(shù)τ，經(jīng)過(guò)τ次迭代后，原始圖像與增強(qiáng)圖像的視覺(jué)焦點(diǎn)比較如圖4所示.從圖4中可以看出，增強(qiáng)圖像的視覺(jué)焦點(diǎn)包含了增強(qiáng)前提取的大部分視覺(jué)焦點(diǎn).結(jié)果表明，該算法對(duì)視覺(jué)焦點(diǎn)提取具有魯棒性，且具有光照不變性的特點(diǎn).

圖2 6次迭代后獲得的7種圖像質(zhì)量指標(biāo)圖3 熵空間中最佳迭代次數(shù)的選取

圖4 原始圖像與增強(qiáng)圖像的視覺(jué)焦點(diǎn)比較

為了驗(yàn)證文中算法在圖像增強(qiáng)前后焦點(diǎn)提取的準(zhǔn)確性，提出一種焦點(diǎn)覆蓋比作為測(cè)試指標(biāo)，即：

(25)

式中，i表示總數(shù)為N的圖像組的第i幅圖像；FO表示焦點(diǎn)覆蓋比；be和ae分別表示增強(qiáng)前和增強(qiáng)后.考慮到圖像增強(qiáng)算法集中的經(jīng)典算法，研究所提出的算法將與直方圖均衡化、對(duì)比度增強(qiáng)、同態(tài)濾波、小波變換進(jìn)行比較，運(yùn)行結(jié)果如表1所示.由表1可以看到，研究所提算法的焦點(diǎn)覆蓋比是最好的，超過(guò)直方圖均衡化近 30%，然而所消耗的時(shí)間遠(yuǎn)低于小波變換.這就證明了研究所提算法對(duì)視覺(jué)焦點(diǎn)提取的魯棒性性能較好，且具有快速的特性.

表1幾種圖像增強(qiáng)算法運(yùn)行結(jié)果比較

圖像增強(qiáng)算法 FO/%Time/ms圖像均衡化68130對(duì)比度增強(qiáng)73210同態(tài)濾波75360圖像增強(qiáng)算法 FO/%Time/ms小波變換821280研究所提算法97570

5 結(jié)論

研究提出的方法在低光照環(huán)境下，采用迭代自適應(yīng)彩色圖像增強(qiáng)方法，取得了較好的效果.大多數(shù)彩色圖像增強(qiáng)算法都是從灰度圖像增強(qiáng)中擴(kuò)展出來(lái)的，其中3條通道都進(jìn)行了相似的增強(qiáng)操作.由于需要在短時(shí)間內(nèi)處理大量的圖像數(shù)據(jù)，導(dǎo)致計(jì)算機(jī)性能低下.與其他方法相比，此方法取得了較好的效果.同時(shí)，采用閉環(huán)反饋增強(qiáng)控制，提高了圖像增強(qiáng)算法的魯棒性.目前，將該方法應(yīng)用于機(jī)器視覺(jué)中后，通過(guò)視覺(jué)注意機(jī)制提取圖像焦點(diǎn)，能夠保持圖像增強(qiáng)前后焦點(diǎn)差別不大.涉及的算法推導(dǎo)是建立在線性變換基礎(chǔ)上的，因而效果仍需進(jìn)一步改善，后續(xù)將建立非線性變換的迭代自適應(yīng)彩色圖像增強(qiáng)算法，為后續(xù)的跟蹤和識(shí)別工作奠定了基礎(chǔ).

[1] 施特格.機(jī)器視覺(jué)算法與應(yīng)用[M].北京：清華大學(xué)出版社,2008.

[2] MONIKA AGARWAL，RASHIMA MAHAJAN.Medical image contrast enhancement using range limited weighted histogram equalization[J].Procedia Computer Science,2018(125):149-156.

[3] S SETTY,N K SRINATH,M C HANUMANTHARAJU.An improved approach for contrast enhancement of spinal cord images based on multiscale retinex algorithm[J].International Journal of Imaging & Robotics,2014,13(2):112-125.

[4] M J SEOW,V K ASARI.Ratio rule and homomorphic filter for enhancement of digital colour image[J].Neurocomputing,2006,69(7-9):954-958.

[5] S ZHONG,X JIANG,J WEI,et al.Image enhancement based on wavelet transformation and pseudo-color coding with phase-modulated image density processing[J].Journal of Tianjin University of Technology,2012, 58(5):56-63.

[6] L MAGAZZINI,K D SINGH.Spatial attention modulates visual gamma oscillations across the human ventral stream[J].Neuroimage,2017(166)：219-229.

[7] X ZHU,R CHEN,H XIA,et al.Shadow removal based on YCbCr color space[J].Neurocomputing,2015(151):252-258.

[8] A SAHA,Q M J WU.Full-reference image quality assessment by combining global and local distortion measures[J].Signal Processing,2016,128(C):186-197.

[9] S KARTHEESWARAN.A data-parallelism approach for PSO-ANN based medical image reconstruction on a multi-core system[J].Informatics in Medicine Unlocked, 2017(8):21-31.

[10] X YU,X FEI.Target image matching algorithm based on pyramid model and higher moments[J].Journal of Computational Science,2017(21):189-194.

[11] W ZHAO,H LUO,J PENG,et al.Spatial pyramid deep hashing for large-scale image retrieval[J].Neurocomputing,2017,243(C):166-173.