彭瓊瑤,趙廣源,周炳,臧蘇東
(中國礦業(yè)大學,徐州江蘇,221000)
在災(zāi)害救援中,災(zāi)變區(qū)域救災(zāi)機器人的無人化探測和受災(zāi)人員搜救是急需解決的問題。而救災(zāi)機器人傳回的圖像是救災(zāi)人員做出決策的重要依據(jù)。目前,大多數(shù)相機都不是專門為低照度設(shè)計的,因捕獲圖像的質(zhì)量差而限制了救災(zāi)機器人的發(fā)展。紅外相機雖然可以紅外相機可以提高低光可見度,但其固有缺點是物體溫度必須高于環(huán)境溫度,這又限制了救災(zāi)機器人的避障功能。因此,對低照度圖像的有效增強是解決這一問題的關(guān)鍵。
低照度圖像增強有多種方法,為了保證良好的視覺效果,盡可能的保持圖像原有的彩色信息不變。因此,對彩色圖像,通常將 RGB 空間轉(zhuǎn)換到其他顏色空間,如 HSV、 CIELab顏色空間等,然后對反應(yīng)亮度信息的分量和飽和度分量分別做增強處理。 Retinex算法以美國國家航空航天局的 Jobson等人在 Land 的 Retinex 理論的基礎(chǔ)上提出算法為主要代表。 Jobson 及其合作者在前人探索的基礎(chǔ)上先后提出了單尺度 Retinex 算法及多尺度Retinex 算法, Stefano Marsi、汪榮貴、 Wang-Jun Kyung 等人都提出了相應(yīng)的改進算法,或擴展了算法的適用范圍,或增加了算法的自適應(yīng)性,或提高了算法的執(zhí)行效率。雖然這些算法可以較好的保持色彩信息,但算法復雜度過大,不適合于視頻序列的實時處理。蔡利梅等人根據(jù)RGB空間三分量相關(guān)性的特點,提出采用拋物線函數(shù)進行亮度增強,之后對RGB進行同比增強的方法,簡化了算法復雜度,運算速度快且增強效果良好。
近年來,圖像去霧技術(shù)快速發(fā)展,部分算法取得了較好的去霧效果,2011年, Dong Xuan 等人提出了一種新穎的想法:采用去霧技術(shù)來實現(xiàn)對低照度圖像的增強,通過對低照度圖像應(yīng)用反色操作,然后在反色的圖像上執(zhí)行霧度去除,再次執(zhí)行反色操作以獲得輸出圖像。 基于暗通道先驗的圖像去霧技術(shù)可以使圖像細節(jié)信息得到改善,但是對圖像整體亮度信息改善不足。
因此,本文基于以上增強方法,提出一種改進版的去霧算法,使得增強低照度圖像細節(jié)信息的同時增強整體圖像的亮度信息。實驗證明,該算法對低照度圖像,運算速度較快,并且增強后的細節(jié)信息恢復效果較好。
光照不充分是低照度圖像的最大特點,因此,處理低照度圖像的首要步驟就是增強像素的亮度。為了更好的獲得圖像的細節(jié)信息并根據(jù)災(zāi)變區(qū)圖像和帶霧圖像的相似點,我們擬先采用基于暗通道先驗的圖像去霧技術(shù)優(yōu)化基于色彩保持的低照度圖像增強技術(shù),以達到更好的增強效果。首先對低照度圖像執(zhí)行反色操作,然后在反色圖像基礎(chǔ)上執(zhí)行去霧操作,再執(zhí)行反色操作得到去霧后的原始圖像。之后,對去霧圖像執(zhí)行色彩空間轉(zhuǎn)換,我們使用的是YCbCr色彩空間,繼而根據(jù)拋物線獲取亮度增量,最后更改像素RGB的值,得到增強后的圖像。
(1)獲取反色圖
其中表示像素x一個顏色通道的強度,是反色圖像R的相同強度。
(2)在分別求出全局大氣光和透射率的初步估算值后,根據(jù)有霧成像模型,可以得到反轉(zhuǎn)后低照度圖像的復原圖像。如下
其中A是常數(shù),實驗結(jié)果表明,取值為1.06到1.08時可以取得相對較好的效果,為防止分母為零,我們引入透射率的下限值,我們這里取值為0.01,將所有小于該下限值的透射率記為t0,于是,上式可以修正為
至此已經(jīng)將低照度反色圖像中的霧霾去除,并且比較完整的保留了細節(jié)。
(3)接下來要對圖像再次執(zhí)行反色操作,得到我們經(jīng)過去霧預處理之后的低照度圖像。
處理低照度彩色圖像,最主要的就是對其亮度信息的增強,同時應(yīng)當盡可能保證其色彩不變。在Matlab中,工具箱直接將一幅RGB圖像表示為RGB值,或者間接將一幅索引圖象中的彩色信息表示為RGB的值,其中三維矢量[R G B]包含了顏色和亮度信息,直接增強會改變其色彩信息。但根據(jù) RGB空間的相關(guān)性,即如果兩點滿足那這兩點就有相同的顏色,表示亮度增益,將亮度信息單獨提取出來,計算出亮度增益,之后再對每個像素的RGB進行線性增強,即可實現(xiàn)提高亮度,不改變顏色信息的效果。
除RGB空間外,現(xiàn)有的色彩空間有NTSC、YCbCr、HSV、CMY、CMYK和HSI空間,其中YCbCr彩色空間廣泛應(yīng)用于數(shù)字視頻中,在這種格式中,亮度信息用單個分量Y來表示,彩色信息存儲為Cb和Cr兩個色差分量,輸入的RGB圖像可以是uint8類,uint16類或者double類,具有較好的適用性。
增強算法步驟
(1)色彩空間轉(zhuǎn)換
本文采用YCbCr空間來實現(xiàn)亮度與顏色的分離,其中Y為亮度信息,分量Cb是藍色分量和參考值的差,分量Cr是紅色分量的參考值的差,
原彩色圖可以灰度化為
(2)計算亮度增量
利用拋物線函數(shù)對亮度進行非線性增強:,亮度增量為:
(3)更改像素值
根據(jù)得到的亮度增量,對RGB的值進行線性增強。得到最終修改后的圖像。
(1)去霧算法中,計算透射率時,
為防止分母為零,我們引入透射率的下限值,我們這里取值為 0.01,將所有小于該下限值的透射率記為,于是,上式可以修正為
這樣不管取何值,分母都不會為0。
(2)對于低照度圖像的增強,采用拋物線函數(shù)。拋物線函數(shù)的特點是:斜率隨著灰度值變大而減小。所以,對極低灰度區(qū)的增強效果十分明顯,對中高灰度區(qū)的變換幅度不大,對高灰度區(qū)基本不變化,這樣可以保持圖像的。
常規(guī)辦法對亮度進行最終拉伸的時候,會出現(xiàn)較高的RGB的值會被拉伸到一個大于 255的數(shù)值,該現(xiàn)象被稱為Gamu問題。本文中采用拋物線進行增強,如果P取值為 128,那么即使取值為 255,根據(jù)的取值也只是255,不會出現(xiàn)超過灰度值的現(xiàn)象。
對本文的算法進行大量實驗,結(jié)果表明有較好的效果,現(xiàn)以對低照度圖像直接進行去霧操作,對低照度圖像直接進行拋物線增強,對低照度圖像執(zhí)行本文算法之后的效果圖進行比較。圖中(a)是原圖,(b)是直接進行拋物線增強的圖,低亮度得到了增強,高亮區(qū)基本不變,但有霧地區(qū)的增強效果不明顯,掩蓋了霧背后的信息。(c)是直接去霧之后的圖,在有霧地區(qū)取得較好的去霧效果,但是整幅圖像亮度低,可分辨性差。(d)是本文算法處理之后的圖,既使得亮度得到了增強,又對有霧地區(qū)進行了細節(jié)處理,運行速度較快,而且有較好的視覺效果。
盡管低照度圖像亮度改變比較直觀,為了客觀評價圖像的色彩保持、亮度改變、圖像分辨率,可以用SSIM指數(shù)進行估計。SSIM是一種基于結(jié)構(gòu)相似性的圖像質(zhì)量評價,自然圖像具有極高的結(jié)構(gòu)性,表現(xiàn)在圖像的像素之間存在很強的相關(guān)性。SSIM的測量系統(tǒng)可以得到相似度的測量可以由三種對比模塊組成,分別為:亮度、對比度、結(jié)構(gòu)。
表1 各處理圖像與原圖的SSIM系數(shù)
由于低照度圖像增強首要的是對亮度的增強,我們可以看出本文算法SSIM指數(shù)最低,亮度,對比度信息改變最大,實現(xiàn)了較好的增強效果。
對比結(jié)果圖中各個圖像,從主觀視覺效果和客觀數(shù)據(jù)都可以看出本文的算法相比于直接使用現(xiàn)有的去霧算法以及拋物線增強算法得到的圖像更清晰,細節(jié)信息得到了更好的體現(xiàn),亮度和對比度都有很大的提升;另外,由于拋物線函數(shù)是簡單的基本函數(shù),運算簡單;去霧技術(shù)和拋物線增強二者結(jié)合,算法復雜度低,運算速度較快,適合于視頻序列的實時處理。本文的算法在類似于煤礦井下的急需改善照度的場景中都有很好的應(yīng)用價值。
[1]Jianchao Yang, John Wright, Thomas Huang, and Yi Ma.IEEE Transactions on Image Processing (TIP), vol.19, issue 11, 2010.
[2]Tomer Peleg, Michael Elad.IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2014, 23 (6): 2569-82.
[3]K.He, J.Sun, and X.Tang.Single image haze removal using dark channel prior.In IEEE Conference on Computer Vision and Pattern Recognition(CVPR‘09), 2009, Pages 1956–1963 .
[4]A.Adler, Y.Hel-Or, and M.Elad, ―A shrinkage learning approach for single image super-resolution with overcomplete representations,in 11th European Conf.Computer Vision, 2010, pp.622–635.
[5]Rafael C.Gonzale z,Richard E.Woods.Digital Image Processing[M].第二版.北京: 電子工業(yè)出版社, 2003.Pages 30-33, 60-67, 247-248 .
[6]H.Ngo, L.Tao, M.Zhang, A.Livingston, and V.Asari.―A Visibility Improvement System for Low Vision Drivers by Nonlinear Enhancement of Fused Visible and Infrared Video,in Proc.IEEE Conf.Computer Vision and Pattern Recognition., San Diego,CA, Jun.2005, pp.25.
[7]G.Freedman and R.Fattal, ―Image and video upscaling from local self-examples,ACM Trans.Graph., vol.30, no.2, 2011, article no.12.