梁燕華,蘆君珂,田訓(xùn)鵬
(黑龍江科技大學(xué)電氣與控制工程學(xué)院,黑龍江 哈爾濱 150022)
煤炭是我國的主要能源,約占一次能源的60%[1],近幾年我國煤炭產(chǎn)量約達(dá)全球總產(chǎn)量的二分之一。根據(jù)煤礦井下安全事故的研究統(tǒng)計(jì),大部分煤礦存在監(jiān)管工作不到位、防護(hù)意識(shí)不足等問題,因此,當(dāng)?shù)V災(zāi)真實(shí)發(fā)生時(shí)不能及時(shí)應(yīng)對,并開展緊急營救工作。在智慧礦山技術(shù)飛速發(fā)展的當(dāng)下,煤礦井下引入了智能監(jiān)控系統(tǒng),使得監(jiān)管部門的繁重工作得到減輕,并且有效提升了工作質(zhì)量[2]。雖然監(jiān)控設(shè)備不能替代人工在礦井工作中的重要性,但其具有全天候?qū)ΦV井進(jìn)行監(jiān)控的優(yōu)勢。視頻監(jiān)控系統(tǒng)作為礦山安全的重要組成部分,對于工礦領(lǐng)域的安全工作至關(guān)重要。高清數(shù)字化設(shè)備的普及,進(jìn)一步促進(jìn)了煤礦井下視頻監(jiān)控領(lǐng)域的發(fā)展。礦井視頻監(jiān)控有利于更好地了解井下人員分布和設(shè)備運(yùn)行的狀況,是煤礦實(shí)現(xiàn)高效安全生產(chǎn)的重要一環(huán)[3]。煤礦井下的工作性質(zhì)和工作條件復(fù)雜,大多數(shù)區(qū)域沒有均勻的光照,只能依靠礦燈照明,導(dǎo)致監(jiān)控設(shè)備收集的圖像大多出現(xiàn)了過曝光的問題,并且會(huì)在煤礦井下各類生產(chǎn)設(shè)備運(yùn)行過程中導(dǎo)致空氣中懸浮粉塵、水汽等雜質(zhì),這些因素都嚴(yán)重影響了視頻監(jiān)控設(shè)備在煤礦井下采集圖像的質(zhì)量[4]。圖像質(zhì)量的高低直接影響到后續(xù)對井下設(shè)備工作情況的分析與決策,因此,對復(fù)雜環(huán)境下收集的圖像質(zhì)量進(jìn)行增強(qiáng)具有十分重要的實(shí)際意義。
由于傳統(tǒng)的暗通道先驗(yàn)算法具有簡單有效、修復(fù)速度快的優(yōu)點(diǎn),在井下圖像去霧方面應(yīng)用廣泛。由于煤礦井下光照不均,該算法會(huì)導(dǎo)致透射率分布估計(jì)不準(zhǔn)確,使圖像出現(xiàn)嚴(yán)重失真的問題,因此,在暗通道先驗(yàn)算法的基礎(chǔ)上,提出了改進(jìn)透射率分布估計(jì)的去霧算法對暗通道先驗(yàn)算法的透射率進(jìn)行進(jìn)一步優(yōu)化,通過融合暗通道可信度權(quán)值因子和最優(yōu)暗通道去霧圖像對透射率分布進(jìn)行修正。實(shí)驗(yàn)結(jié)果表明,改進(jìn)透射率分布估計(jì)的去霧算法在環(huán)境較暗處去霧效果好,適應(yīng)煤礦井下特殊環(huán)境需求,較好地保留了圖像的細(xì)節(jié)信息。
綜采工作面指的是煤礦井下綜合機(jī)械化設(shè)備的回采工作面。工作面的采煤設(shè)備是滾筒式采煤機(jī),工作面的運(yùn)輸設(shè)備是可彎曲的刮板輸送機(jī),工作面頂板的支護(hù)使用的是液壓支架,順槽采用的是帶式輸送機(jī)。煤礦綜采工作面環(huán)境復(fù)雜,主要存在以下三個(gè)方面的問題。
1)粉塵影響。滾筒式采煤機(jī)割煤是煤礦井下綜采工作面粉塵產(chǎn)生的主要源頭。由于采煤機(jī)的滾筒上安裝了多個(gè)截齒,導(dǎo)致了每一個(gè)截齒在碰撞到煤體時(shí)會(huì)發(fā)生破碎,大碎塊煤體掉落后,粉化核釋放崩出形成粉塵。采煤工作面粉塵產(chǎn)生的另一個(gè)源頭是采煤機(jī)割煤后煤塊掉落,碎煤塊掉落會(huì)與底板發(fā)生再次碰撞,產(chǎn)生大量粉塵,同時(shí)也會(huì)使底板本身殘留的粉塵再次飛揚(yáng)在空氣中[5]。
2)水汽影響。在煤礦井下綜采工作面粉塵防治技術(shù)的應(yīng)用中,噴霧降塵可以最大程度地降低粉塵產(chǎn)生量,所以該項(xiàng)技術(shù)成為現(xiàn)階段煤礦綜采工作面中常用的降塵手段。同時(shí),煤礦井下還會(huì)采用煤層注水技術(shù)進(jìn)行粉塵防治。這些防治手段使綜采工作面的空氣中存在大量的水汽。
3)光照影響。綜采工作面裝備中包括照明設(shè)備,但是由于照明設(shè)備分布不均勻,導(dǎo)致井下綜采工作面的光照分布不均勻,因此,視頻監(jiān)控系統(tǒng)采集的圖像存在低照度或者過曝光的情況。
在破煤、裝煤、運(yùn)煤等生產(chǎn)流程中,整個(gè)綜采工作面的環(huán)境變得十分復(fù)雜,嚴(yán)重影響視頻監(jiān)控系統(tǒng)的圖像采集質(zhì)量。井下綜采工作面設(shè)備如圖1 所示。
圖1 地下模擬礦井綜采工作面Fig.1 Fully mechanized mining face in underground simulation mine
為了方便檢測煤礦井下環(huán)境,保障施工安全,可利用圖像去霧的方法,目前主要有兩類方法應(yīng)用比較廣泛。第一類去霧算法是基于圖像增強(qiáng)技術(shù),如小波變換法、直方圖均衡化算法、Retinex 算法等。范偉強(qiáng)等[6]采用多尺度的小波分析方法對煤礦濃煙影像進(jìn)行了分析,利用貝葉斯方法對各個(gè)尺度上的高頻子圖的小波閾值進(jìn)行了調(diào)節(jié),然后利用小波重建的方法對各個(gè)尺度上的高頻子圖進(jìn)行了各個(gè)尺度上的小波重建,獲得一個(gè)強(qiáng)化的影像,通過調(diào)節(jié)影像的光度,獲得一個(gè)沒有濃煙的影像。郭瑞等[7]采用一種改良的單尺度Retinex 算法,對礦山中有霧的圖像進(jìn)行了增強(qiáng)去霧,實(shí)現(xiàn)了亮度增強(qiáng)與飽和度自適應(yīng)線性延伸。周旺[8]提出了一種基于均值濾波分頻的直方圖均衡法對圖像的高頻區(qū)域、低頻區(qū)域分別進(jìn)行直方圖均衡化處理和均值濾波處理,最后將低頻和高頻兩個(gè)區(qū)域進(jìn)行重構(gòu),該方法在解決均勻區(qū)域高增強(qiáng)問題方面效果顯著,并且減少了噪聲影響,但是會(huì)導(dǎo)致圖像部分細(xì)節(jié)丟失。第二類是基于物理模型的圖像去霧方法,通過對有霧環(huán)境下圖像質(zhì)量下降機(jī)制的研究,構(gòu)建有霧環(huán)境下的圖像散射建模,并充分發(fā)揮其對有霧環(huán)境的影響,實(shí)現(xiàn)有霧環(huán)境下的圖像恢復(fù)。邱根瑩[9]提出了暗通道先驗(yàn)算法,該算法通過觀察統(tǒng)計(jì)大量有霧測試圖像估算出粗略透射率以及大氣光的亮度等,通過大氣散射模型進(jìn)行復(fù)原得到無霧的清晰圖像。智寧等[10]將暗道的先驗(yàn)性和自適應(yīng)的雙邊濾波器相結(jié)合,給出了一種新的算法,該算法在暗通道先驗(yàn)理論的基礎(chǔ)上實(shí)現(xiàn)了效果更加明顯的圖像增強(qiáng),但會(huì)出現(xiàn)由于井下光源分布不均勻?qū)е聢D像亮度過暗以及細(xì)節(jié)丟失等問題。
對于井下復(fù)雜環(huán)境導(dǎo)致圖像質(zhì)量不佳的問題,解決途徑是降低綜采工作面生產(chǎn)設(shè)備所產(chǎn)生的霧氣對數(shù)字視頻監(jiān)控收集的圖像所造成的影響。改進(jìn)透射率分布估計(jì)的去霧算法改進(jìn)了暗通道先驗(yàn)去霧技術(shù),對透射率分布進(jìn)行了優(yōu)化處理,更好地解決了井下圖像的過曝光問題,使處理后的圖像保留更多的圖像細(xì)節(jié)。
在計(jì)算機(jī)視覺領(lǐng)域,大氣散射模型廣泛應(yīng)用于圖像去霧。MCCARTNEY 等[11]在對霧的生成原理進(jìn)行研究之后,提出了成像設(shè)備接收的光線一部分來自于反射光經(jīng)懸浮顆粒,光線散射衰減之后到達(dá)成像設(shè)備,而另一部分光線則直接進(jìn)入成像設(shè)備。NARASIMHAN等[12-13]在此理論的基礎(chǔ)上建立了大氣散射模型(圖2)。大氣散射物理模型由兩部分組成,第一部分是直接衰減項(xiàng)(Direct Attenuation),也稱為直接傳播,第二部分是大氣光照(Airlight)[14]。表示公式見式(1)。
圖2 大氣散射模型示意圖Fig.2 Schematic diagram of atmospheric scattering model
式中:I(x)為霧狀影像;J(x)為清晰影像;x為像素點(diǎn)在影像中的位置[15];A為大氣光值;t(x)為介質(zhì)傳輸圖,在大氣均勻的情況下為式(2)。
式中:β為大氣散射系數(shù);d(x)為場景與成像設(shè)備之間的距離,即場景深度。由式(2)可知,t(x)隨場景深度的增大而減小。
大氣散射光會(huì)導(dǎo)致圖像對比度下降,以及顏色失真等問題,去霧的目的則是通過單個(gè)圖像來準(zhǔn)確估計(jì)大氣光值A(chǔ)和介質(zhì)傳輸圖t(x),從而復(fù)原無霧圖像J(x)。
暗通道原理認(rèn)為無霧圖像在眾多淺色區(qū)域或明亮區(qū)域,R、G、B 三個(gè)顏色通道中最少會(huì)有一個(gè)顏色通道的亮度趨向于零,即式(3)。
式中:Jdark(x)為暗通道圖像;Ω(x)為以x為中心的小圖像塊;c為圖像的顏色通道[16]。根據(jù)暗通道先驗(yàn)理論得出式(4)。
式(4)的含義是:在三個(gè)通道窗口的位置上,以一個(gè)象素點(diǎn)x為圓心,取三個(gè)信道窗的極小值,并將這三個(gè)信道窗的極小值作為一個(gè)像素點(diǎn)x的黑暗信道的數(shù)值[17],如圖3 所示。
圖3 暗通道原理Fig.3 Dark channel principle
假設(shè)大氣光值A(chǔ)已知,局部區(qū)域 Ω(x)內(nèi)透射率保持不變,記作t(x),對式(1)兩邊同時(shí)除以Ac,c∈{R,G,B} 為某一顏色通道,兩邊同時(shí)做變換,根據(jù)式(3),得到式(5)。
根據(jù)式(4),利用已知的t(x)、A和I(x)計(jì)算J(x),見式(6)。
圖4 為暗通道先驗(yàn)算法執(zhí)行流程。傳統(tǒng)的暗通道先驗(yàn)算法在白天光照均勻時(shí)效果較好,由于煤礦井下光源分布不均勻,導(dǎo)致傳統(tǒng)的暗通道先驗(yàn)去霧算法透射率分布估計(jì)不準(zhǔn),使圖像出現(xiàn)色彩失真[18]、去霧效果差和過曝光等問題,因此,在暗通道先驗(yàn)算法的基礎(chǔ)上提出了一種改進(jìn)透射率分布的井下去霧算法,對透射率分布估計(jì)進(jìn)行進(jìn)一步優(yōu)化。
圖4 暗通道先驗(yàn)算法模型框架Fig.4 Model framework of dark channel apriori algorithm
為了對有霧環(huán)境下的井下圖像大氣光分布A(x,y)進(jìn)行估計(jì),使用了暗態(tài)點(diǎn)光源[19]模型。暗態(tài)點(diǎn)光源模型是先對有霧圖像I(x,y)進(jìn)行最小值濾波,得到暗通道圖像Id(x,y),再利用伽馬變換對其進(jìn)行灰度矯正,伽馬變換對于圖像明暗對比的增強(qiáng)有顯著效果,該過程處理公式見式(7)。
式中:γ為伽馬變換中的伽馬值;α為灰度縮放系數(shù),對圖像灰度進(jìn)行整體拉伸,取值通常為1;Vp(x,y)為暗態(tài)點(diǎn)光源模型。對其進(jìn)行高斯濾波后可以得到最終點(diǎn)光源模型。
有霧圖像的亮度分布Ib(x,y)見式(8)。
傳統(tǒng)的引導(dǎo)濾波會(huì)導(dǎo)致圖像的邊緣信息出現(xiàn)丟失,因此使用了聯(lián)合雙邊濾波[20]替代傳統(tǒng)引導(dǎo)濾波,既可以對目標(biāo)圖像進(jìn)行引導(dǎo)濾波,又可以獲得較好的邊緣保持效果。將Vp(x,y)作為目標(biāo)圖像,Ib(x,y)作為引導(dǎo)圖像,利用聯(lián)合雙邊濾波對井下有霧圖像的大氣光分布A(x,y)進(jìn)行估計(jì)。此時(shí)的大氣光分布主要保留點(diǎn)光源和光線覆蓋范圍以內(nèi)的信息,將其用于后續(xù)去霧處理可以改善圖像過暗以及失真問題。
由于煤礦井下大環(huán)境是比較黑暗的,而且光線也非常不均勻,因此,在對影像的透射系數(shù)分布進(jìn)行計(jì)算時(shí),存在著對其進(jìn)行t′(x,y)的估算值比較小的問題。為了解決這個(gè)問題,增加了暗通道可信度權(quán)值因子 ω以及最優(yōu)暗通道圖像來提高圖像的透射率分布精度。
3.2.1 暗通道可信度權(quán)值因子獲取
在HSV 彩色空間中,對井下有霧圖像I(x,y)進(jìn)行通道分割,得到飽和度圖像S(x,y)與亮度圖像V(x,y)影像,并對其進(jìn)行最大值濾波Smax(x,y)與最小值濾波Vmin(x,y)處理,由于圖像邊緣信息損失嚴(yán)重,使用聯(lián)合雙邊濾波對其細(xì)化得到。流程如圖5 所示。
圖5 暗通道可信度權(quán)值因子獲取流程圖Fig.5 Flow chart of obtaining dark channel credibility weight factors
再對暗通道可信度權(quán)值因子 ω進(jìn)行求取,計(jì)算見式(9)和式(10)。
式中:ω1為飽和度系數(shù);ω2為亮度系數(shù);k1和k2為縮放系數(shù)。
3.2.2 最優(yōu)暗通道去霧圖像獲取
構(gòu)建扇形模型,如圖6 所示,假定高斯平均衰減函數(shù)用于估計(jì)暗影區(qū)的極大值和極小值,利用幾何平均不等式對其進(jìn)行連續(xù)近似,從而得到最優(yōu)暗通道去霧圖像,記為J′(x,y)。
圖6 扇形模型示意圖Fig.6 Schematic diagram of sector model
為了防止逼近過程中產(chǎn)生溢出現(xiàn)象,使用相對劇烈的衰減 ρ1處理上邊界 min(Icmax(x,y)),相對平緩的ρ2處理下邊界 min(Icmin(x,y)),得到邊界估值見式(11)。
使用不等式形式進(jìn)行逼近,得到最優(yōu)暗通道去霧圖像J′(x,y),見式(12)。
3.2.3 改進(jìn)透射率分布獲取
結(jié)合井下大氣光分布A(x,y),以暗通道可信度權(quán)值因子 ω和最優(yōu)暗通道去霧圖像J′(x,y)為修改參數(shù),對透射率分布公式進(jìn)行了修改,得出式(13)。
式中,ψ為霧層保留參數(shù),用以保留有霧圖像中的少量霧氣,保證了圖像的真實(shí)性,在井下環(huán)境較暗的圖像處理中,一般取0.65。
在獲得井下大氣光分布A(x,y)和優(yōu)化透射率t′(x,y)后,對式(6)進(jìn)行改進(jìn)得到式(14)。
井下視頻監(jiān)控系統(tǒng)通過井下監(jiān)控設(shè)備采集到實(shí)時(shí)的圖像畫面,由于視頻監(jiān)控中的圖像畫面存在大量霧氣和水汽以及圖像亮度較暗的問題,導(dǎo)致圖像質(zhì)量較差。為了解決這些問題,在暗通道先驗(yàn)理論的基礎(chǔ)上,提出了改進(jìn)透射率分布估計(jì)的井下去霧算法,該算法包括三個(gè)主要的模塊,分別是井下環(huán)境光線分布估計(jì)、透射率分布估計(jì)和顏色校正。算法實(shí)現(xiàn)過程如圖7 所示,具體過程如下所述。
圖7 算法流程圖Fig.7 Flow chart of algorithm
在計(jì)算煤礦井下環(huán)境光照分布估計(jì)值時(shí),采用最小濾波器與伽馬變換相結(jié)合的方法,建立出暗態(tài)點(diǎn)光源模型,以該模型作為目標(biāo)圖像,使用亮度分布作為引導(dǎo)函數(shù),再經(jīng)聯(lián)合雙邊濾波估計(jì)井下有霧圖像的環(huán)境光分布。
將HSV 通道分出亮度通道和飽和度通道,分別進(jìn)行最大值濾波和最小值濾波處理,通過聯(lián)合雙邊濾波器進(jìn)行精細(xì)處理,獲得最優(yōu)暗通道去霧圖像。建立一個(gè)扇形模型,并利用高斯均函數(shù)作為邊界限制,得到最佳暗通道去霧圖像。結(jié)合井下環(huán)境光分布,利用修正參數(shù)對透射率分布進(jìn)行改進(jìn),再對有霧圖像進(jìn)行還原后獲取無霧圖像。
利用含霧圖像G 通道的最大灰度值求出景深圖像,與圖像R 通道和B 通道的最大灰度值相減,得到景深差分圖像,利用修正參數(shù),對R 通道和B 通道進(jìn)行色偏修正,將修正后的R 通道、G 通道、B 通道進(jìn)行融合,獲得顏色修正后的圖像。
為了驗(yàn)證改進(jìn)透射率分布估計(jì)的去霧算法的有效性,對煤礦井下大量的有霧圖像進(jìn)行了測試(由于篇幅有限,僅選擇3 張井下圖像進(jìn)行測試),同時(shí)與Retinex 去霧算法、暗通道先驗(yàn)算法進(jìn)行比較。仿真結(jié)果如圖8 所示。
圖8 仿真結(jié)果Fig.8 Results of simulation
由圖8 可知,Retinex 去霧算法在整體亮度方面有所提升,但是圖片清晰度不高,存在細(xì)節(jié)丟失問題,暗通道先驗(yàn)算法雖然達(dá)到了一定的去霧效果,但是在有點(diǎn)光源的圖像中存在嚴(yán)重過曝光的問題。改進(jìn)透射率分布估計(jì)的去霧算法在有點(diǎn)光源的圖像中沒有出現(xiàn)嚴(yán)重過曝光的現(xiàn)象,整體顏色沒有出現(xiàn)失真,很好地保留了圖像的細(xì)節(jié),對有霧圖像的處理優(yōu)于其他算法,圖像優(yōu)化效果整體更好。
為了驗(yàn)證改進(jìn)透射率分布估計(jì)去霧算法的優(yōu)越性,采用了峰值信噪比[21]、均值、標(biāo)準(zhǔn)差、平均梯度四種指標(biāo)對各類算法的去霧效果進(jìn)行客觀評(píng)價(jià),結(jié)果見表1。其中,峰值信噪比表示去霧圖像的失真性,數(shù)值越大,代表圖像失真越?。恍畔㈧乇硎緢D像含有的信息量,信息熵越大,表示圖像細(xì)節(jié)越豐富;標(biāo)準(zhǔn)差表示圖像對比度的高低,標(biāo)準(zhǔn)差值越大,圖像的細(xì)節(jié)越豐富[22];平均梯度數(shù)值用來表示圖像的清晰度水平,平均梯度數(shù)值越大,圖像的清晰度越高。
表1 算法質(zhì)量對比Table 1 Comparison of algorithm quality
由表1 可知,基于峰值信噪比、均值、標(biāo)準(zhǔn)差、平均梯度的參數(shù)對比,雖然Retinex 算法和對數(shù)增強(qiáng)算法處理后的圖像亮度明顯增高,但是亮度過高導(dǎo)致了圖像細(xì)節(jié)大量丟失,清晰度的提升也不夠明顯,而峰值信噪比和標(biāo)準(zhǔn)差的升高說明改進(jìn)透射率分布估計(jì)的去霧算法顯著提高了圖像清晰度,并有效解決了圖像的過曝光以及失真問題,更好地保留了圖像的層次和細(xì)節(jié)。
針對煤礦井下霧氣水汽較大和光源分布不均的特殊環(huán)境,提出了一種基于暗通道先驗(yàn)算法的改進(jìn)透射率分布估計(jì)井下圖像去霧算法,解決了傳統(tǒng)暗通道先驗(yàn)算法在光源分布不均的場景下存在的圖像光源區(qū)域紋理損壞嚴(yán)重的問題,引入暗態(tài)點(diǎn)光源模型對井下有霧圖像的大氣光分布進(jìn)行估計(jì),在此基礎(chǔ)上,采用暗通道可信度權(quán)值因子和最優(yōu)暗通道去霧圖像來改善圖像的透射率分布。實(shí)驗(yàn)結(jié)果表明:改進(jìn)透射率分布估計(jì)的井下圖像去霧算法在煤礦井下塵霧嚴(yán)重,光源分布不均的特殊環(huán)境中表現(xiàn)出良好的去霧效果,有效減少了圖像細(xì)節(jié)的丟失,去霧效果明顯,同時(shí)對場景亮度做到了一定的保留,與Retinex 算法和暗通道先驗(yàn)算法相比,本文算法在峰值信噪比、信息熵和平均梯度等方面有較大幅度提高,使得復(fù)原后的無霧圖像具有更加豐富的細(xì)節(jié)信息,去霧效果更好。