王樹(shù)奇,劉 貝,鄒 斐
(西安科技大學(xué) 通信與信息工程學(xué)院,陜西西安710054)
為了對(duì)煤礦井下安全生產(chǎn)人員進(jìn)行有效檢測(cè)與追蹤,必須克服礦井下光線不足,照度低且粉塵大對(duì)監(jiān)控圖像的影響問(wèn)題,因此低照度圖像的增強(qiáng)至關(guān)重要。本文研究的圖像增強(qiáng)算法和目標(biāo)檢測(cè)算法是在煤礦井下的環(huán)境中實(shí)現(xiàn)的。傳統(tǒng)的圖像增強(qiáng)方法[1]有頻域和空域增強(qiáng)兩種,主要方法有小波變換、Contourlet[2]變換等。高銀等提出了基于四階偏微分方程(PDE)模型的暗原色理論霧天圖像增強(qiáng)算法研究,這種模型在圖像增強(qiáng)的整體和細(xì)節(jié)方面效果較好[3]。LiYing等提出了一個(gè)參數(shù)化的新閾值函數(shù),,新閾值函數(shù)提高了去噪信號(hào)的信噪比,減小了均方誤差,能夠?qū)崿F(xiàn)對(duì)噪聲的邊緣抑制并且增加邊緣信息[4]。趙鴻圖等提出一種基于三次樣條插值的改進(jìn)去噪算法,解決了交替投影法存在的計(jì)算量大和收斂速度慢問(wèn)題[5]。夏欣雨等對(duì)模糊熵理論和小波分解進(jìn)行了研究,把原始圖像通過(guò)小波分解為高、低頻分量,對(duì)高低頻分量采用不同的算法處理進(jìn)行圖像增強(qiáng)[6],但是此類(lèi)算法在特定礦井環(huán)境中增強(qiáng)圖像效果不明顯。因此提出一種基于小波變換和暗原色先驗(yàn)去霧相融合的算法,不僅能解決光照不均,提高圖像對(duì)比度,而且有效抑制圖像噪聲,增強(qiáng)了圖像細(xì)節(jié),突出運(yùn)動(dòng)目標(biāo)的邊緣信息保持能力。
運(yùn)動(dòng)目標(biāo)檢測(cè)是將運(yùn)動(dòng)目標(biāo)從靜態(tài)背景中分離出來(lái)的技術(shù),是進(jìn)行視頻分析最關(guān)鍵的一步。目前運(yùn)動(dòng)目標(biāo)檢測(cè)算法主要有光流場(chǎng)法[7-8]、背景減除法[9-10]和幀間差分法[11-13]等,田小平等人在通過(guò)幀間差分法視頻圖像中檢測(cè)得到運(yùn)動(dòng)目標(biāo),并對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行了分類(lèi)[14];李曉瑜和馬大中針對(duì)光照突變產(chǎn)生的鬼影現(xiàn)象,采用三幀差分法融合高斯模型進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)[15];施龍超等人針對(duì)基于卡爾曼濾波的背景差分算法存在背景更新不自適應(yīng),對(duì)光照變化、物體移入移出敏感等問(wèn)題,提出了一種改進(jìn)的以分類(lèi)分塊為核心的背景差分算法[16]。Ridder與 Munkelt、Kirchner根據(jù)不同場(chǎng)景下光照強(qiáng)度的變化,提出了基于卡爾曼濾波的背景模型,提高了運(yùn)動(dòng)目標(biāo)的檢測(cè)效果[17];黃大衛(wèi)提出一種基于分塊模型更新的單高斯背景建模方法[18];張燕平等人引入了分塊建模的思想,提高了目標(biāo)檢測(cè)的速率[19];汪成亮等人通過(guò)減少了偵測(cè)掃描區(qū)域,并提出一種PCA-HOG描述子,從而提升了人體檢測(cè)速度[20];習(xí)通針對(duì)計(jì)算圖像中特定像素點(diǎn)的光流矢量,提出一種基于稀疏光流的目標(biāo)檢測(cè)算法[21]。實(shí)際場(chǎng)景中光流場(chǎng)檢測(cè)效果會(huì)受遮擋、多光源、透明性和噪聲等干擾因素影響,并且該方法計(jì)算量大;背景減除法會(huì)因背景的更新導(dǎo)致算法的復(fù)雜性增加,實(shí)時(shí)性變差;幀間差分法原理簡(jiǎn)單,魯棒性好,但是容易產(chǎn)生“空洞”。由于煤礦生產(chǎn)環(huán)境特殊,不僅井下燈光昏暗,而且具有粉塵,導(dǎo)致圖像中的運(yùn)動(dòng)目標(biāo)模糊和邊界不明顯等問(wèn)題,漏檢和誤檢率較高,為了避免產(chǎn)生"空洞"現(xiàn)象并且提取清晰的運(yùn)動(dòng)目標(biāo)輪廓,提出了一種基于混合高斯模型和三幀差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)方法,不僅可以消除因?yàn)楸尘案虏患皶r(shí)造成的圖像鬼影和空洞,而且能夠較好的保留被檢測(cè)目標(biāo)的邊緣輪廓。
一幅圖像經(jīng)過(guò)小波分解后,低頻分量代表對(duì)人體視覺(jué)成像影響較大的細(xì)節(jié)信息,高頻分量則包含著圖像邊緣信息和噪聲,通過(guò)暗原色先驗(yàn)知識(shí)對(duì)經(jīng)過(guò)小波分解后的低頻分量進(jìn)行去霧處理,并對(duì)高頻分量用半軟閾值濾波法進(jìn)行消噪,對(duì)兩個(gè)處理以后的分量進(jìn)行融合,實(shí)現(xiàn)增強(qiáng)后的圖像重構(gòu)。
圖像增強(qiáng)的算法步驟如下
1)輸入煤礦井下低照度圖像 f(x,y);
2)對(duì) f(x,y)進(jìn)行小波分解,獲得低頻分量 c1;
3)使用暗原色先驗(yàn)去霧算法對(duì)c1進(jìn)行去霧處理,得處理后的分量c3;
4)對(duì)低照度圖像f(x,y)小波分解得到的高頻分量c2采用半軟閥值法進(jìn)行消噪,得到處理后的分量c4;
5)融合分量c4和分量c3重構(gòu)圖像。
基于小波變換的礦井圖像增強(qiáng)算法流程如圖1所示。
圖1 基于小波變換的礦井圖像增強(qiáng)算法流程Fig.1 Flow chart ofmine image enhancement algorithm based on wavelet transform
單高斯模型對(duì)所有像素點(diǎn)顏色特征采用一個(gè)模板進(jìn)行匹配,實(shí)時(shí)更新處理完的每一幀背景,與當(dāng)前圖像進(jìn)行匹配,若匹配成功則為背景,匹配不成功則為前景[22]。自適應(yīng)混合高斯模型適用于多種不同光照強(qiáng)度的場(chǎng)景,整個(gè)模型的抗干擾能力得到極大的提高。
在混合高斯模型中,對(duì)每一個(gè)像素點(diǎn)建立多個(gè)不同的高斯模型
式中 ωi,t為高斯模型的權(quán)值;K為高斯模型個(gè)數(shù);K個(gè)權(quán)值的總和值為1;μi,t為i個(gè)高斯分布的均值;若假設(shè)每個(gè)像素點(diǎn)的RGB值是相互獨(dú)立的,那么為 t時(shí)刻的第 i個(gè)高斯分布
n為xt的維數(shù)值。
混合高斯背景建模[17]分為如下幾步
1)獲取當(dāng)前幀的像素值,用每個(gè)像素值與K個(gè)高斯背景模型進(jìn)行匹配
K值的大小直接影響最終的處理效果,K值越大,需要運(yùn)算的時(shí)間越長(zhǎng),所以在不同的運(yùn)算場(chǎng)景中應(yīng)選取合適的值,一般取值為[3,5];
2)若滿足式1),那么匹配成功,若不滿足:①當(dāng)k<K時(shí),增加一個(gè)新高斯分布;②當(dāng)k=K時(shí),用建立的新的高斯分布代替
3)原高斯背景模型中的均值和標(biāo)準(zhǔn)差不變,更新其它的高斯分布參數(shù)
θ為參數(shù)學(xué)習(xí)率,ε為學(xué)習(xí)速率并且0≤ε≤1. 匹配檢驗(yàn)后,更新同個(gè)像素的各個(gè)高斯分布權(quán)重
建立混合高斯模型時(shí),通常只用幾個(gè)高斯分布表示背景,前景則由剩余的表示,因?yàn)楸尘按嬖诔掷m(xù)的時(shí)間比前景久,所以在高斯混合模型中權(quán)重較大的分布表示背景部分。高斯模型建立完成后,每一個(gè)像素點(diǎn)都會(huì)按照優(yōu)先級(jí)的順序?qū)Ζ読,t進(jìn)行降序排列,將其中的前B個(gè)高斯分布作為背景像素的描述方式為
用xi,t與B個(gè)高斯分布進(jìn)行匹配,匹配成功為背景點(diǎn),匹配不成功為前景點(diǎn),通過(guò)這個(gè)流程能夠?qū)崿F(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)。
三幀差分法是對(duì)相鄰兩幀差分法的改進(jìn),通過(guò)對(duì)三幀視頻圖像連續(xù)進(jìn)行差分運(yùn)算,避免了兩幀差分法的弊端同時(shí)繼承了兩幀差分法優(yōu)勢(shì),原理如圖2所示。
圖2 三幀差分法關(guān)系Fig.2 Three-frame differencemethod relationship
如圖2,三幀差分法的關(guān)系,A,B,C分別為相鄰的不同三幀圖像,其中A圖像表示前一幀圖像,B圖像表示當(dāng)前幀圖像,而C表示下一幀圖像。把前一幀圖像與當(dāng)前幀圖像進(jìn)行異或運(yùn)算,得到新的圖像D;將B與C進(jìn)行異或運(yùn)算得到新圖像E;最后將D與E進(jìn)行與運(yùn)算得到新圖像F. 三幀差分法就是將當(dāng)前幀圖像與前一幀圖像的不同差分運(yùn)算得到新的幀圖像,經(jīng)過(guò)這樣運(yùn)算,可以得到更加清晰準(zhǔn)確的運(yùn)行目標(biāo)輪廓。
假設(shè)三幀圖像分別為 dk,d1k,d2k,將三幀不同的圖像分別進(jìn)行運(yùn)算,具體運(yùn)算方式如下
其中dk中像素值為255的是前景點(diǎn),其余是背景點(diǎn)。因?yàn)閳D像的概率密度函數(shù)近似接近于高斯分布,所以其閾值的設(shè)定可以依據(jù)3α準(zhǔn)則
α,μ分別為概率密度的均值和方差。像素領(lǐng)域的背景差分為
l1,l2為鄰域半徑,常取 1,2.
因此,通過(guò)將前一幀圖像與當(dāng)前幀圖像和下一幀圖像分別進(jìn)行相應(yīng)的差分運(yùn)算得到新的差分圖像后,然后進(jìn)行閾值和形態(tài)學(xué)的處理得到二值化圖像,將二值化圖像也進(jìn)行相應(yīng)的邏輯運(yùn)算從而判定分析檢測(cè)到目標(biāo)區(qū)域。
傳統(tǒng)高斯背景模型是對(duì)每一個(gè)像素點(diǎn)進(jìn)行多個(gè)高斯背景模型的建立,由于更新機(jī)制時(shí)間長(zhǎng),環(huán)境不同,場(chǎng)景也不停地變化,就會(huì)造成背景模型不能及時(shí)更新。并且煤礦井下視頻圖像顏色單一,目標(biāo)與背景顏色不宜區(qū)分,因此在運(yùn)動(dòng)目標(biāo)檢測(cè)時(shí)背景無(wú)法及時(shí)的提取和更新,則導(dǎo)致最終的檢測(cè)不準(zhǔn)確。
為了解決這個(gè)問(wèn)題,將每一幀視頻圖像連續(xù)分割成N*N的小塊;然后用每一小塊的像素均值分別來(lái)替代整塊的像素值,在此技術(shù)上進(jìn)行均值法建模,能夠大幅提高程序處理速度,方法如下
取視頻中任意點(diǎn),將(xm,ym)在t時(shí)刻對(duì)視頻按從上到下,從左到右的順序分成N*N大小的方塊。假設(shè)
其中 I(i,j,t)為 t時(shí)刻之前的像素值,改進(jìn)后的公式為
同樣對(duì)背景模型中匹配成功的高斯分布,其均值和方差也要進(jìn)行更新
改進(jìn)算法流程如圖3所示。
圖3 井下視頻運(yùn)動(dòng)目標(biāo)檢測(cè)算法流程Fig.3 Flow chart ofmine videomoving target detection algorithm
傳統(tǒng)的高斯背景模型的更新速率是統(tǒng)一的,因此背景模型不能得到及時(shí)的更新,從而造成實(shí)際場(chǎng)景未能實(shí)時(shí)變化,也就是說(shuō)真實(shí)的場(chǎng)景不能被表示,導(dǎo)致無(wú)法達(dá)到安全生產(chǎn)視頻監(jiān)控的要求。所以實(shí)際操作時(shí)需要根據(jù)圖像不同的塊特點(diǎn)選擇相應(yīng)的速率值。通常在初始化時(shí)取一個(gè)較大的T值來(lái)確定B值,對(duì)于單模態(tài)區(qū)域,使B=1更新速率θ賦值一個(gè)較小的值;對(duì)于多模態(tài)區(qū)域,通常B滿足1<B≤k,更新速率θ賦值一個(gè)較大的值。
對(duì)于監(jiān)控視頻場(chǎng)景中存在長(zhǎng)期靜止的物體,如果發(fā)生突然運(yùn)動(dòng),采用混合高斯模型對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)則容易出現(xiàn)檢測(cè)錯(cuò)誤,此外運(yùn)動(dòng)物體的陰影區(qū)域也很難建模,存在檢測(cè)精度達(dá)不到要求的問(wèn)題。三幀差分法則克服了該缺點(diǎn),對(duì)運(yùn)動(dòng)物體進(jìn)行建模時(shí)具有較好的效果,整個(gè)運(yùn)動(dòng)目標(biāo)的檢測(cè)精度和效率獲得極大提高。
改進(jìn)的混合高斯背景模型融入了三幀差分法的原理,首先對(duì)視頻序列進(jìn)行三幀差分,兩兩計(jì)算差分得到差分圖像,然后對(duì)得到的圖像采用改進(jìn)的混合高斯背景建模法分別進(jìn)行處理,將獲得的含有目標(biāo)的2個(gè)差分圖像進(jìn)行邏輯與運(yùn)算,最后經(jīng)過(guò)形態(tài)學(xué)處理,對(duì)其進(jìn)行去除噪聲和填充“空洞”,從而提取出礦井下的人員目標(biāo)。
通過(guò)VS2013與OpenCv2.4.9從主觀和客觀2個(gè)方面對(duì)改進(jìn)算法進(jìn)行仿真實(shí)驗(yàn),計(jì)算機(jī)主頻和內(nèi)存分別為3 GHz和3 GB,礦井視頻圖像增強(qiáng)仿真結(jié)果如圖4,圖5(a)~(b)所示,礦井視頻運(yùn)動(dòng)目標(biāo)檢測(cè)仿真結(jié)果如圖6(a)~(c)所示。
圖4 礦井視頻圖像增強(qiáng)仿真結(jié)果(一)Fig.4 Mine video image enhancement simulation results(一)
圖5 礦井視頻圖像增強(qiáng)仿真結(jié)果(二)Fig.5 Mine video image enhancement simulation results(二)
圖4(b)和圖5(b)中圖像的亮度明顯提升,圖像的紋理和邊緣更加清晰,行人的輪廓和支護(hù)的形狀更易分辨,不僅實(shí)現(xiàn)了圖像的消噪處理,而且增強(qiáng)了圖像的細(xì)節(jié)信息,而融合的暗原色先驗(yàn)算法也獲得除塵去霧的預(yù)期,為目標(biāo)檢測(cè)奠定了堅(jiān)實(shí)的基礎(chǔ)。
圖6 礦井視頻運(yùn)動(dòng)目標(biāo)檢測(cè)仿真結(jié)果Fig.6 Simulation results ofmine videomoving target detection
圖6(a)中的檢測(cè)結(jié)果邊界不完整而且存在嚴(yán)重的鬼影,圖6(b)中改進(jìn)的高斯背景建模方法性能有所改善,可是依然存在鬼影的現(xiàn)象,通過(guò)對(duì)視頻幀圖像進(jìn)行分塊處理來(lái)進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè),并改進(jìn)了更新速率,運(yùn)算量大幅度降低。文中改進(jìn)的高斯背景建模融合三幀差分法檢測(cè)結(jié)果如圖6(c)所示,運(yùn)動(dòng)目標(biāo)輪廓清晰,完整性好,有效地消除了高斯背景模型更新不及時(shí)所產(chǎn)生的鬼影現(xiàn)象,完整的保留了其檢測(cè)的目標(biāo)輪廓。
表1為高斯混合模型和改進(jìn)的高斯混合模型的誤檢率和漏檢率,可見(jiàn)文中算法對(duì)礦井環(huán)境下運(yùn)動(dòng)目標(biāo)檢測(cè)精確度顯著提升,對(duì)于誤檢和漏檢視頻信息進(jìn)行分析,原因是在視頻監(jiān)控中長(zhǎng)期靜止不動(dòng)的目標(biāo),突然發(fā)生運(yùn)動(dòng),則會(huì)導(dǎo)致混合高斯背景模型無(wú)法及時(shí)對(duì)背景進(jìn)行更新而造成的。
表1 3種算法的檢測(cè)結(jié)果Table 1 Test results of the three algorithms
建議的煤礦井下運(yùn)動(dòng)目標(biāo)檢測(cè)算法,能達(dá)到106 ms/幀的檢測(cè)效率,傳統(tǒng)的不采用三幀差分法進(jìn)行前景運(yùn)動(dòng)區(qū)域提取,其檢測(cè)效率高達(dá)550 ms/幀,本文算法提高約5倍左右,可以確保煤礦井下視頻實(shí)時(shí)監(jiān)測(cè)需求。
1)小波分解與暗原色先驗(yàn)去霧相融合的算法能夠有效去除圖像噪聲,淡化濃霧、提高圖像對(duì)比度以及解決光照不均等問(wèn)題。改進(jìn)的高斯背景模型融入三幀差分法,消除了高斯背景模型由于背景更新不及時(shí)而產(chǎn)生的鬼影現(xiàn)象,算法的運(yùn)算量降低,運(yùn)算速度有效提升,達(dá)到煤礦安全生產(chǎn)監(jiān)控目標(biāo)識(shí)別的實(shí)時(shí)性要求;
2)三幀差分法能準(zhǔn)確迅速的定位運(yùn)動(dòng)目標(biāo),將混合高斯背景模型與三幀差分法相融合能克服漏檢和誤檢等問(wèn)題,利用混合高斯背景模型獲得背景模板,處理中將當(dāng)前幀圖像中的背景進(jìn)行消除,然后選取合適的閾值,獲得了能夠抑制運(yùn)動(dòng)目標(biāo)陰影的前景圖像,算法檢測(cè)的運(yùn)動(dòng)目標(biāo)輪廓比較完整,能夠?qū)⒈尘昂湍繕?biāo)完整的區(qū)分出來(lái),為煤礦安全生產(chǎn)奠定良好的基礎(chǔ)。