朱振天，蘭 媛，2，胡天恩，唐 建，喬 葳，牛藺楷，2，王杰棟

(1.太原理工大學(xué) 機(jī)械與運(yùn)載工程學(xué)院，山西 太原 030024；2.新型傳感器與智能控制教育部(山西省)重點(diǎn)實(shí)驗(yàn)室，山西 太原 030024)

在煤炭篩選分級(jí)作業(yè)中，常常出現(xiàn)漏篩、錯(cuò)篩的問題，從而導(dǎo)致篩分效率不高。其中，煤顆粒在篩面上的運(yùn)動(dòng)情況對(duì)優(yōu)化篩分設(shè)備參數(shù)進(jìn)而提高篩分設(shè)備的篩分效率具有重要意義[1，2]。當(dāng)前，研究者對(duì)于篩分設(shè)備上物料運(yùn)動(dòng)情況的研究主要是以理論分析和數(shù)值模擬為主[3-5]。但實(shí)測(cè)的實(shí)驗(yàn)數(shù)據(jù)更為可靠和直觀，且能對(duì)相關(guān)理論分析和數(shù)值模擬研究起到驗(yàn)證性的作用[6]。

目前在工程領(lǐng)域?qū)τ陬w粒物料運(yùn)動(dòng)的實(shí)測(cè)實(shí)驗(yàn)主要是基于光學(xué)原理與數(shù)字圖像處理。基于光學(xué)原理的物料顆粒測(cè)速追蹤技術(shù)(如：PIV，PTV)[7，8]較多地應(yīng)用于流場(chǎng)顆粒物的運(yùn)動(dòng)分析，雖有成熟的商業(yè)產(chǎn)品，但其價(jià)格較為昂貴、系統(tǒng)復(fù)雜，不具有工程實(shí)用性。隨著機(jī)器視覺算法的不斷進(jìn)步，應(yīng)用基于數(shù)字圖像處理的方法對(duì)顆粒運(yùn)動(dòng)特性研究已經(jīng)成為趨勢(shì)。李耀民通過高速攝像機(jī)采集了農(nóng)用清選篩面上的大豆顆粒運(yùn)動(dòng)圖像，并基于顏色特征向量的Mean Shift算法對(duì)大豆顆粒進(jìn)行了追蹤[9]。王立軍利用高速攝像機(jī)采集了三種不同運(yùn)動(dòng)形式振動(dòng)篩上的玉米顆粒運(yùn)動(dòng)圖像，通過人眼對(duì)特定玉米顆粒進(jìn)行追蹤，對(duì)篩上玉米粒進(jìn)行了運(yùn)動(dòng)分析[10]。但是，目前大部分對(duì)于篩面上物料的運(yùn)動(dòng)實(shí)測(cè)主要是針對(duì)農(nóng)業(yè)工程領(lǐng)域。由于煤顆粒的形貌復(fù)雜，且在篩面上的運(yùn)動(dòng)速度較快，鮮有對(duì)煤用篩分設(shè)備上煤顆粒的運(yùn)動(dòng)情況的實(shí)測(cè)實(shí)驗(yàn)的研究。而在對(duì)篩面上煤顆粒運(yùn)動(dòng)分析進(jìn)行實(shí)測(cè)實(shí)驗(yàn)時(shí)，煤顆粒常會(huì)出現(xiàn)被遮擋的情況，這樣的情況將會(huì)影響對(duì)煤顆粒運(yùn)動(dòng)的實(shí)測(cè)分析。

針對(duì)以上問題，本文作者搭建模擬激振實(shí)驗(yàn)臺(tái)，采用高速攝像機(jī)對(duì)煤顆粒運(yùn)動(dòng)過程中被遮擋的情況進(jìn)行圖像采集，并應(yīng)用MATLAB軟件使用優(yōu)化參數(shù)的混合高斯背景模型與卡爾曼濾波相結(jié)合的方法對(duì)運(yùn)動(dòng)煤顆粒進(jìn)行檢測(cè)和遮擋追蹤。實(shí)驗(yàn)結(jié)果表明，本文使用的方法能夠較好地檢測(cè)和追蹤目標(biāo)煤顆粒，對(duì)煤顆粒被遮擋的情況具有追蹤魯棒性，得到了運(yùn)動(dòng)煤顆粒的形心位置信息，為煤顆粒運(yùn)動(dòng)的理論分析和數(shù)值模擬的相關(guān)研究提供實(shí)驗(yàn)驗(yàn)證的基礎(chǔ)。搭建的模擬激振實(shí)驗(yàn)臺(tái)的原理如圖1所示。

1 目標(biāo)煤顆粒檢測(cè)

1.1 基于引導(dǎo)濾波的圖像預(yù)處理

煤顆粒運(yùn)動(dòng)序列圖像由于受到采集環(huán)境等因素的影響，圖像會(huì)受到一定程度的噪聲干擾。所以，在對(duì)序列圖像中的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)前，需要對(duì)原始序列圖像進(jìn)行去除噪聲的預(yù)處理，為了減少圖像邊緣信息的丟失，采用具有保持邊緣特性的去除噪聲方法，從而在一定程度上減小噪聲干擾，提高目標(biāo)檢測(cè)效率。

引導(dǎo)濾波(Guided Filter，GF)[11]將需要處理的圖像自身作為引導(dǎo)圖像，通過引導(dǎo)圖像提供的信息來分辨邊緣和非邊緣，對(duì)煤顆粒的邊緣區(qū)域保持，非邊緣區(qū)域去噪。在本文中，為了提高運(yùn)動(dòng)煤顆粒前景檢測(cè)的準(zhǔn)確性，使用了具有保持圖像邊緣且在濾波細(xì)節(jié)上效果更好的引導(dǎo)濾波對(duì)原始序列圖像進(jìn)行去除噪聲預(yù)處理。

1.2 基于混合高斯模型的目標(biāo)煤顆粒檢測(cè)

當(dāng)前，對(duì)于運(yùn)動(dòng)圖像中目標(biāo)檢測(cè)常采用的方法有背景減除法[12]、幀間差分法[13]和光流法[14]等。其中，混合高斯模型(Gaussian Mixture Model，GMM)是背景減除法中應(yīng)用較為廣泛的方法，并能一定程度地減少背景擾動(dòng)。在本文采集的煤顆粒運(yùn)動(dòng)序列圖像中，由于激振實(shí)驗(yàn)臺(tái)在激振情況下會(huì)相對(duì)于固定位置的高速攝像機(jī)出現(xiàn)一定范圍的浮動(dòng)，從而背景出現(xiàn)一定程度的擾動(dòng)，且實(shí)驗(yàn)中使用了多點(diǎn)光源，煤顆粒的運(yùn)動(dòng)過程中存在陰影。針對(duì)以上情況，本文采用了對(duì)背景擾動(dòng)和噪聲干擾具有一定魯棒性的混合高斯模型法，通過優(yōu)化參數(shù)來對(duì)運(yùn)動(dòng)煤顆粒進(jìn)行檢測(cè)。

混合高斯模型法是一種基于像素統(tǒng)計(jì)信息的背景建模方法，為每個(gè)像素點(diǎn)建立K個(gè)高斯分布，通過概率分布來確定該像素是否為背景點(diǎn)，實(shí)現(xiàn)對(duì)前景區(qū)域的檢測(cè)。序列圖像t時(shí)刻(i，j)位置處的像素值It，(i，j)滿足的概率分布為：

η(It，(i，j)；μt，(i，j)，n，Σt，(i，j)，n)

(1)

ωt，(i，j)，n=(1-α)ωt-1，(i，j)，n+α

(2)

μt，(i，j)，n=(1-β)μt-1，(i，j)，n+βIt，(i，j)

(3)

β(It，(i，j)-μt，(i，j)，n)T(It，(i，j)-μt，(i，j)，n)

(4)

ωt，(i，j)，n=(1-α)ωt-1，(i，j)，n

(5)

如果當(dāng)前像素與所有K個(gè)高斯分布都不匹配，就選取小的權(quán)重值和大的方差值，并以該像素值作為均值來建立新的高斯分布，并以此新的高斯分布替換現(xiàn)有K個(gè)高斯分布中權(quán)重最小的分布。對(duì)K個(gè)高斯分布根據(jù)ω/σ值由小到大排序，并按下式選取前m個(gè)高斯分布為背景模型：

式中，T為背景分割閾值參數(shù)。

為了提取出目標(biāo)煤顆粒的前景掩碼，需要對(duì)混合高斯模型中的參數(shù)進(jìn)行優(yōu)化。本文中，建立的高斯模型個(gè)數(shù)K=3，將訓(xùn)練背景模型的初始視頻幀數(shù)TF取為運(yùn)動(dòng)圖像序列初始的前15幀。在訓(xùn)練過程中，自適應(yīng)地調(diào)整模型學(xué)習(xí)率α，調(diào)整方式為：α=1/TF，在第15幀之后，選取模型學(xué)習(xí)率α=0.005。選取背景分割閾值參數(shù)T=0.8，混合高斯模型的初始方差σ=2502。為了使各個(gè)高斯分布在更新過程中保持穩(wěn)定性，使用了K-means算法對(duì)參數(shù)進(jìn)行實(shí)時(shí)更新。利用得到的背景模型進(jìn)行背景減除，提取出運(yùn)動(dòng)煤顆粒的初始前景掩碼，并對(duì)前景掩碼進(jìn)行形態(tài)學(xué)填充空洞處理，得到較為完整的前景掩碼。根據(jù)檢測(cè)出的當(dāng)前t時(shí)刻的目標(biāo)前景掩碼，得到其最小外接矩形及當(dāng)前時(shí)刻的形心位置信息，并將其作為后續(xù)煤顆粒跟蹤算法中的觀測(cè)值。具體地，基于混合高斯模型的運(yùn)動(dòng)煤顆粒檢測(cè)流程如圖2所示。

圖2 基于混合高斯模型的運(yùn)動(dòng)煤顆粒檢測(cè)流程圖

2 基于卡爾曼濾波器的運(yùn)動(dòng)煤顆粒追蹤

2.1 卡爾曼濾波器

運(yùn)動(dòng)目標(biāo)追蹤常用的方法有卡爾曼濾波器、粒子濾波等?；诳柭鼮V波器的追蹤方法通過建立合理的運(yùn)動(dòng)模型，可以獲取目標(biāo)豐富的運(yùn)動(dòng)信息，根據(jù)運(yùn)動(dòng)目標(biāo)的當(dāng)前狀態(tài)對(duì)下一時(shí)刻的狀態(tài)進(jìn)行預(yù)估計(jì)，保證追蹤有效性，且對(duì)目標(biāo)發(fā)生遮擋的情況有較好的魯棒性[15]。通過高速攝像機(jī)采集到的煤顆粒運(yùn)動(dòng)圖像，由于幀率較高、幀間間隔較短，可以認(rèn)為煤顆粒在間隔時(shí)間內(nèi)作勻速直線運(yùn)動(dòng)。所以本文選用對(duì)于遮擋情況下運(yùn)動(dòng)煤顆粒追蹤更為高效的卡爾曼濾波器。

卡爾曼濾波器(Kalman Filter，KF)[16]能利用目標(biāo)檢測(cè)器得到的測(cè)量值對(duì)預(yù)測(cè)出的狀態(tài)值修正，提供可靠的狀態(tài)估計(jì)。設(shè)系統(tǒng)狀態(tài)方程和觀測(cè)方程如下：

Xt=At|t-1Xt-1+wt-1；Zt=HtXt+Vt

(7)

式中，Xt、Zt分別為t時(shí)刻的狀態(tài)向量、觀測(cè)向量，At|t-1為t-1時(shí)刻到t時(shí)刻的狀態(tài)轉(zhuǎn)移矩陣，Ht是t時(shí)刻的觀測(cè)矩陣，wt-1、Vt分別表示相互獨(dú)立的t-1時(shí)刻的過程噪聲和t時(shí)刻的觀測(cè)噪聲，Qt、Rt分別為t時(shí)刻的過程噪聲協(xié)方差矩陣和觀測(cè)噪聲協(xié)方差矩陣?？柭鼮V波器每次遞推過程中都可分為預(yù)測(cè)部分和更新部分?？柭鼮V波的算法遞推過程如下：

1)預(yù)測(cè)部分：狀態(tài)預(yù)測(cè)：

預(yù)測(cè)誤差協(xié)方差：

2)更新部分：更新卡爾曼濾波增益：

更新狀態(tài)：

更新預(yù)測(cè)誤差協(xié)方差：

2.2 遮擋煤顆粒的追蹤

結(jié)合優(yōu)化參數(shù)的混合高斯模型和卡爾曼濾波器的聯(lián)合算法對(duì)于運(yùn)動(dòng)煤顆粒的追蹤主要分為無遮擋追蹤和遮擋追蹤。

具體地，結(jié)合優(yōu)化參數(shù)的混合高斯模型法和卡爾曼濾波器的煤顆粒追蹤流程如圖3所示。

圖3 煤顆粒的追蹤流程圖

3 實(shí)驗(yàn)方案及結(jié)果分析

3.1 實(shí)驗(yàn)方案設(shè)計(jì)

本文搭建了模擬激振實(shí)驗(yàn)臺(tái)來采集煤顆粒被遮擋的運(yùn)動(dòng)序列圖像。實(shí)驗(yàn)所用煤顆粒樣本產(chǎn)自山西大同，粒徑為12mm。實(shí)驗(yàn)使用的操作系統(tǒng)為Windows10的便攜式電腦，千眼狼5KF20系列高速攝像機(jī)采集圖像。分析所用視頻圖像序列的幀數(shù)為150幀，每幀圖像的分辨率為596×832，基于MATLAB R2014a軟件進(jìn)行相關(guān)的圖像處理。搭建的模擬激振實(shí)驗(yàn)臺(tái)如圖4所示。

圖4 模擬激振實(shí)驗(yàn)臺(tái)

3.2 實(shí)驗(yàn)結(jié)果分析

分別使用三幀差分法和優(yōu)化參數(shù)的混合高斯模型法檢測(cè)出的運(yùn)動(dòng)煤顆粒的前景掩碼如圖5所示。

圖5 檢測(cè)出的前景掩碼

通過圖5分別對(duì)比視頻序列的第55幀、第125幀的原圖像(a)、(d)及分別使用三幀差法和優(yōu)化參數(shù)的混合高斯模型法提取出的前景掩碼圖(b)、(c)、(e)、(f)，可以發(fā)現(xiàn)，由于實(shí)驗(yàn)臺(tái)的背景出現(xiàn)一定程度的擾動(dòng)，三幀差分法在某些幀的圖像(如第55幀)中會(huì)將擾動(dòng)的背景像素點(diǎn)錯(cuò)誤檢測(cè)為前景像素點(diǎn)，且提取出的目標(biāo)煤顆粒的前景區(qū)域不完整，邊界殘缺、斷續(xù)，易出現(xiàn)區(qū)域空洞現(xiàn)象。本文使用的混合高斯模型通過優(yōu)化參數(shù)，可以較好地提取出運(yùn)動(dòng)目標(biāo)煤顆粒，對(duì)容易產(chǎn)生干擾的陰影和背景擾動(dòng)，以及每幀圖像中間位置的柱型遮擋物體具有較好的濾除作用。優(yōu)化參數(shù)的混合高斯模型法提取出的目標(biāo)煤顆粒前景掩碼比較完整，為后續(xù)目標(biāo)煤顆粒的追蹤提供很好的檢測(cè)數(shù)據(jù)。

采用卡爾曼濾波和粒子濾波追蹤煤顆粒在第69幀發(fā)生遮擋時(shí)的情況如圖6所示，可以看出，卡爾曼濾波器可以持續(xù)對(duì)煤顆粒進(jìn)行追蹤，而粒子濾波器則追蹤失敗。結(jié)合優(yōu)化參數(shù)的混合高斯模型法卡爾曼濾波器的追蹤算法，對(duì)采集的運(yùn)動(dòng)序列圖像中煤顆粒的追蹤情況如圖7所示。煤顆粒在未發(fā)生遮擋的第55幀，利用卡爾曼濾波器對(duì)由混合高斯模型法檢測(cè)到的目標(biāo)煤顆粒的形心位置進(jìn)行糾正，能較好地追蹤目標(biāo)煤顆粒。煤顆粒在第63幀和第84幀之間產(chǎn)生了遮擋的情況，卡爾曼濾波器通過對(duì)煤顆粒的形心位置進(jìn)行預(yù)測(cè)，在煤顆粒發(fā)生嚴(yán)重遮擋甚至完全遮擋的情況下仍能對(duì)其進(jìn)行持續(xù)追蹤，具有較好的追蹤魯棒性。煤顆粒在第84幀時(shí)，再次恢復(fù)無遮擋情況，此時(shí)結(jié)合優(yōu)化參數(shù)的混合高斯模型法和卡爾曼濾波器的追蹤算法仍能對(duì)煤顆粒進(jìn)行準(zhǔn)確追蹤。以采集圖像的左上角為坐標(biāo)原點(diǎn)建立絕對(duì)坐標(biāo)系，將通過本文使用的方法得到的運(yùn)動(dòng)煤顆粒的形心位置信息顯示如圖8所示。

圖6 卡爾曼濾波器(KF)和粒子濾波器(PF)對(duì)煤顆粒遮擋時(shí)的追蹤結(jié)果對(duì)比

圖7 卡爾曼濾波器(KF)對(duì)煤顆粒的追蹤

圖8 煤顆粒在第20～150幀的運(yùn)動(dòng)形心位置信息

從圖8可以看出，本文使用的結(jié)合優(yōu)化參數(shù)的混合高斯模型法和卡爾曼濾波的跟蹤算法對(duì)煤顆粒被遮擋的情況的追蹤具有較好的魯棒性，從而得到運(yùn)動(dòng)煤顆粒的形心位置信息。

4 結(jié) 語

本文搭建了模擬激振實(shí)驗(yàn)臺(tái)，采用了高速攝像機(jī)對(duì)激振過程中煤顆粒被遮擋情況下的圖像序列進(jìn)行采集，并基于MATLAB軟件對(duì)采集到的煤顆粒運(yùn)動(dòng)圖像進(jìn)行分析。首先使用了具有保持邊緣特性的引導(dǎo)濾波對(duì)圖像進(jìn)行去除噪聲預(yù)處理，再通過對(duì)混合高斯模型法的參數(shù)優(yōu)化，有效提取了運(yùn)動(dòng)煤顆粒的前景掩碼圖像，并使用卡爾曼濾波器對(duì)目標(biāo)煤顆粒追蹤，且對(duì)煤顆粒被遮擋的情況有較好的追蹤魯棒性。最后得到了運(yùn)動(dòng)煤顆粒較為可靠的形心位置信息，而煤顆粒的運(yùn)動(dòng)情況分析主要是通過其形心位置信息體現(xiàn)出來的。因此本文通過機(jī)器視覺的方法對(duì)運(yùn)動(dòng)煤顆粒的檢測(cè)和遮擋追蹤，為研究煤顆粒運(yùn)動(dòng)情況提供實(shí)測(cè)實(shí)驗(yàn)的基礎(chǔ)。