機(jī)械科學(xué)研究總院□胥新政 強(qiáng) 毅 王 欣
隨著我國(guó)工業(yè)技術(shù)的快速發(fā)展,市場(chǎng)對(duì)機(jī)械裝置精度要求越來越高。在實(shí)際生產(chǎn)中,機(jī)械零部件的圖像目標(biāo)提取技術(shù)影響著機(jī)械裝置的精度、運(yùn)動(dòng)性能及壽命。傳統(tǒng)人工測(cè)量方法的識(shí)別速度和精度易受人為因素影響,難以滿足高容量、高效率、高精度產(chǎn)品的測(cè)量需求。
機(jī)器視覺手段進(jìn)行零部件識(shí)別在工業(yè)領(lǐng)域應(yīng)用十分廣泛,其突出特點(diǎn)是識(shí)別過程采取非接觸、無損傷、高效率、低成本,成為當(dāng)前制造業(yè)重點(diǎn)領(lǐng)域核心應(yīng)用技術(shù)之一。圖像提取是機(jī)器視覺中的一個(gè)重要技術(shù)環(huán)節(jié)。本文基于運(yùn)動(dòng)目標(biāo)檢測(cè)理論,通過Matlab平臺(tái)和圖像采集系統(tǒng),對(duì)目前常用的動(dòng)態(tài)背景下混合高斯模型與靜態(tài)背景下背景差分法兩種圖像目標(biāo)快速提取方法進(jìn)行了比較分析和總結(jié),以期對(duì)基于機(jī)器視覺圖像目標(biāo)提取提供一定的理論參考。
運(yùn)動(dòng)目標(biāo)檢測(cè)是指通過計(jì)算機(jī)視覺的方法減除視頻中時(shí)間和空間上的冗余信息,有效地提取出發(fā)生空間位置變化的物體的過程。運(yùn)動(dòng)目標(biāo)檢測(cè)處于整個(gè)視頻采集系統(tǒng)的最底層,依據(jù)前景目標(biāo)所處的背景環(huán)境分為靜態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)和動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè),是各種后續(xù)高級(jí)應(yīng)用如目標(biāo)跟蹤、目標(biāo)分類、目標(biāo)行為理解等的基礎(chǔ)。近年來,為了適應(yīng)復(fù)雜多變的環(huán)境,學(xué)者們根據(jù)應(yīng)用領(lǐng)域、技術(shù)方法特點(diǎn)提出了眾多不同的運(yùn)動(dòng)目標(biāo)檢測(cè)的方法,如背景差分法、混合高斯模型等。
運(yùn)動(dòng)目標(biāo)視頻由很多幀的圖片構(gòu)成,可理解為一個(gè)三維數(shù)據(jù) X∈Rw×h×t。 其中, w、 h 分別代表視頻幀的長(zhǎng)、寬,t代表視頻幀的幀數(shù)。也可等價(jià)理解為逐幀圖片的集合,即X={x1,x2,……,xt}, 其中 xi∈Rw×h(i=1, 2, ……, t) 為一張長(zhǎng)寬分別為w、h的圖片。三維矩陣的每個(gè)元素 (代表各幀灰度圖上每個(gè)像素的明暗程度)為0到255之間的某一數(shù)值。該值越接近0,像素越黑暗;越接近255,像素越明亮。對(duì)灰度圖像二值化后得到二值化圖像,即所有灰度大于或等于閾值的像素被判定為屬于特定物體,其灰度值為255,否則這些像素點(diǎn)被排除在物體區(qū)域以外,灰度值為0,表示背景或者例外的物體區(qū)域,進(jìn)而整個(gè)圖像將呈現(xiàn)出明顯的黑白效果。
圖像采集系統(tǒng)主要由載物臺(tái)、攝像機(jī)、計(jì)算機(jī)、圖像采集卡和照明裝置等組成 (見圖1)。
在圖像采集時(shí),首先調(diào)整CCD攝像機(jī)的參數(shù)和LED燈的位置,保證載物臺(tái)上零件圖像的清晰度,保持不變;然后,進(jìn)行零件圖像采集;最后,通過圖像采集卡將樣本圖像轉(zhuǎn)存至計(jì)算機(jī),以備靜態(tài)背景下背景差分法、動(dòng)態(tài)背景下混合高斯模型的后續(xù)處理。
圖1 圖像采集系統(tǒng)
(1)靜態(tài)背景下背景差分法
1)原理與公式
背景差分法是采用圖像序列中的當(dāng)前幀和背景參考模型比較來檢測(cè)運(yùn)動(dòng)物體的一種最常用的方法,其性能依賴于所使用的背景建模技術(shù)。其原理是利用當(dāng)前圖像與背景圖像的差分以提取運(yùn)動(dòng)區(qū)域的一種運(yùn)動(dòng)檢測(cè)方法,即利用當(dāng)前圖像與背景圖像做差分,當(dāng)差分值高于設(shè)定的閾值時(shí),目標(biāo)即被檢測(cè)到。背景圖像狀態(tài)直接影響目標(biāo)檢測(cè)的精確性,保持靜態(tài)為理想狀態(tài)。
背景差分法公式見式 (1)、式 (2)。
式 (1) 中fk(x, y) 為當(dāng)前圖像幀, bk(x,y)為背景圖像幀;Dk(x,y)為幀差圖像。
式 (2)中Rk為二值化圖像,T為二值化設(shè)定閾值。
2)步驟與流程
第一步,背景圖像的建立。設(shè)f1,f2,……,fk為視頻圖像序列,按照多幀圖像平均法,圖像第k幀的背景圖像為:bk= (fk-n+1+fk-n+2+…+fk)/n(n≤k)。
其中,fk為第k幀圖像,bk為更新的背景圖像,n為更新背景圖像所需的幀數(shù),一般取n≥50 (100~200)。
第二步,差分圖像的獲取。對(duì)當(dāng)前幀圖像fk與背景圖像bk進(jìn)行差分計(jì)算,獲得前景差分圖像Dk。
第三步,運(yùn)動(dòng)目標(biāo)的檢測(cè)。對(duì)差分圖像Dk進(jìn)行二值化得到二值化圖像Rk。其中,當(dāng)某一連通區(qū)域面積大于設(shè)定的閾值時(shí),即為檢測(cè)目標(biāo)。
流程圖見圖2。
3)驗(yàn)證與分析
圖2 背景差分法基本流程圖
以圓柱螺旋壓縮彈簧 (見圖3)為例,對(duì)采集圖像 (見圖1)通過Matlab軟件實(shí)現(xiàn)背景差分后快速輸出了二值化圖像 (見圖3~圖6),該方法檢測(cè)快、易于實(shí)現(xiàn);從輸出的圖片可以明顯看到目標(biāo)圖像的輪廓和區(qū)域連通性得以較為完整地保留,效果較好。由于該法易受機(jī)械震動(dòng)等外界因素的干擾,所以在非運(yùn)動(dòng)目標(biāo)處檢測(cè)出偽運(yùn)動(dòng)目標(biāo)點(diǎn),影響后續(xù)過程中目標(biāo)輪廓的識(shí)別與測(cè)量精度。
圖3 彈簧實(shí)物圖
圖4 采集圖像
圖5 二值圖像1
圖6 二值圖像2
4)小結(jié)
背景差分法算法因計(jì)算量較少,故檢測(cè)速度快,易于實(shí)現(xiàn),且實(shí)時(shí)性強(qiáng)。由于該法是在靜態(tài)背景下實(shí)現(xiàn)的,其結(jié)果易受以下干擾因素影響:
第一,動(dòng)態(tài)背景干擾。場(chǎng)景中存在非前景目標(biāo)的細(xì)微運(yùn)動(dòng)情況,如載物臺(tái)、攝像機(jī)等產(chǎn)生的機(jī)械震動(dòng),即使程度輕微,也會(huì)使背景的模擬過程更加復(fù)雜,影響檢測(cè)結(jié)果的精度;
第二,光線變化干擾。在采集過程中,LED燈光照強(qiáng)度發(fā)生變化時(shí),會(huì)嚴(yán)重影響前景目標(biāo)的檢測(cè)效果。
(2)動(dòng)態(tài)背景下混合高斯模型
背景差分法在運(yùn)動(dòng)目標(biāo)檢測(cè)中廣泛應(yīng)用,因其對(duì)動(dòng)態(tài)場(chǎng)景變化 (如光照、外來事件等)較為敏感,故該法難以適應(yīng)動(dòng)態(tài)背境下 (如光線的突變,背景中運(yùn)動(dòng)目標(biāo)的短暫停滯問題、機(jī)械震動(dòng)等)的運(yùn)動(dòng)目標(biāo)檢測(cè)。而高斯混合模型能夠通過自身學(xué)習(xí)機(jī)制逐漸適應(yīng)動(dòng)態(tài)背景的變化。
1)原理與公式
高斯混合模型是一個(gè)將事物分解為若干的基于高斯概率密度函數(shù) (正態(tài)分布曲線)形成的模型。其基本原理是對(duì)視頻序列圖像中的每個(gè)像素點(diǎn)構(gòu)建K個(gè)高斯分布,同時(shí)用這K個(gè)高斯分布的加權(quán)和來描述視頻中的場(chǎng)景。
若每個(gè)像素點(diǎn)的像素值用變量Xi代表,其概率密度函數(shù)可由如下K個(gè)三維高斯函數(shù)表示,見式 (3)、式 (4)。
式 (3)中K是混合高斯模型中高斯分布的個(gè)數(shù),一般取 3~5;xt是像素在 t時(shí)刻的RGB值;n表示xt的維數(shù);wi,t表示時(shí)刻t混合高斯模型中第i個(gè)高斯分布的權(quán)系數(shù)的估計(jì)值,且是 t時(shí)刻的第 i個(gè)高斯分布;μi,t和Σi,t分別表示時(shí)刻t混合高斯模型中第i個(gè)高斯分布的均值向量和協(xié)方差矩陣;其中,(σi,t為協(xié)方差,I為單位矩陣)。
其中,i=1,2,……,K
在模型初始化時(shí),將新輸入的第一幀序列圖像中各像素點(diǎn)的顏色向量值作為該像素K個(gè)高斯分布的均值,而每個(gè)高斯分布的方差都取較大值且權(quán)重相同。
通常情況下K值越大,處理背景變化的能力就越強(qiáng),算法復(fù)雜度也會(huì)隨之加大,K的取值可以根據(jù)計(jì)算機(jī)的運(yùn)算能力和內(nèi)存空間適當(dāng)選取。但當(dāng)K大于一定值之后,算法處理能力并沒有明顯改善反而運(yùn)算速度降低很多,K一般取3~5。在這K個(gè)高斯分布中,一部分用于描述背景,另一部分用于描述前景,這相當(dāng)于對(duì)背景和前景同時(shí)構(gòu)建了模型,更有利于運(yùn)動(dòng)目標(biāo)的檢測(cè)。
2)背景模型參數(shù)更新
獲取的像素值xt與已存在的K個(gè)高斯分布匹配性的判斷。 若 xt滿足條件|xt-μi,t|≤2.5σi, 則該像素值與高斯分布匹配。若均不匹配,則用創(chuàng)建的高斯分布來代替優(yōu)先級(jí)1,2,3,……,K)最小的分布,并將新獲取的像素值xt作為新高斯分布的均值。
高斯分布權(quán)重,均值和方差分別按式 (5)、(6)、 (7)、 (8)更新。對(duì)于匹配的分布 Mk,t=1,否則Mk,t=0。而對(duì)于不匹配的分布,其均值和方差都維持不變。
其中α是自定義的混合高斯模型學(xué)習(xí)率,且0≤α≤1背景模型的更新速度取決于α值的取值。
背景模型結(jié)束更新后,按優(yōu)先級(jí)λi,t重新對(duì)K個(gè)高斯模型進(jìn)行排序,最后取前B個(gè)高斯分布用來生成背景,見式 (9)。
式 (9)中B表示排序后的K個(gè)高斯分布中的前B個(gè)高斯分布是否為該背景像素的最佳描述。T為設(shè)定的閾值 (0.5≤T≤1),T值較大時(shí),模型用多個(gè)高斯分布來描述背景,其抗干擾能力則強(qiáng),反之則弱,一般取經(jīng)驗(yàn)值0.85。
重新檢驗(yàn)t時(shí)刻每一個(gè)像素值Xt與前B個(gè)高斯分布的匹配關(guān)系,若與前B個(gè)高斯分布之一匹配,則該像素為背景點(diǎn),否則為前景,即運(yùn)動(dòng)物體。至此,實(shí)現(xiàn)了將運(yùn)動(dòng)目標(biāo)從背景中提取出來的目的。
3)驗(yàn)證與分析
同樣以圓柱螺旋壓縮彈簧為例,對(duì)采集圖像(見圖4)通過Matlab軟件應(yīng)用混合高斯模型輸出了二值化圖像 (見圖6);從輸出的圖片可以明顯看到,目標(biāo)圖像的輪廓和區(qū)域連通性也能夠較為完整地保留,且沒有偽運(yùn)動(dòng)目標(biāo)點(diǎn)。可見,高斯混合模型在動(dòng)態(tài)場(chǎng)景,即載物臺(tái)震動(dòng)引起背景變化的條件下,能夠較好地完成對(duì)圓柱螺旋壓縮彈簧的檢測(cè)。另外,具有一定程度的實(shí)效性,且應(yīng)用廣泛。
高斯混合模型因能實(shí)時(shí)更新背景模型,有效地克服動(dòng)態(tài)背景造成的微小擾動(dòng),如載物臺(tái)的震動(dòng)、攝像機(jī)的抖動(dòng)、LED光照變化等,從而避免了偽運(yùn)動(dòng)目標(biāo)點(diǎn)的出現(xiàn)。
4)小結(jié)
高斯混合模型對(duì)每個(gè)像素運(yùn)用混合高斯模型進(jìn)行建模,并且利用像素迭代進(jìn)行模型參數(shù)更新,從而有效地克服了背景圖像變化、光照漸變所帶來的擾動(dòng)。
由于算法復(fù)雜,動(dòng)態(tài)背景下高斯混合模型圖像目標(biāo)提取仍然存在一定的局限性:當(dāng)運(yùn)動(dòng)目標(biāo)灰度與背景相似時(shí),檢測(cè)前景的目標(biāo)輪廓不完整,使得漏檢率增大;靜止目標(biāo)或大而慢的運(yùn)動(dòng)目標(biāo)易被融入到背景模型中去,使得背景中出現(xiàn)“影子”現(xiàn)象;當(dāng)背景模型參數(shù)更新速度過快或者過慢時(shí),這容易導(dǎo)致前景圖像會(huì)出現(xiàn)一些不規(guī)則的偽前景,影響理想運(yùn)動(dòng)前景的提出。
本文基于機(jī)器視覺技術(shù),分別對(duì)背景差分法和高斯混合模型目標(biāo)圖像提取原理進(jìn)行了描述、驗(yàn)證和分析,并在廣泛閱讀國(guó)內(nèi)外大量相關(guān)文獻(xiàn)的基礎(chǔ)上,總結(jié)見下文。
靜態(tài)背景下背景差分法的優(yōu)點(diǎn)是檢測(cè)速度快,易于實(shí)現(xiàn),且實(shí)時(shí)性強(qiáng)。其結(jié)果易受動(dòng)態(tài)背景和光線變化干擾。
高斯混合模型通過自身學(xué)習(xí)機(jī)制能夠較好地適應(yīng)動(dòng)態(tài)背景的變化,具有一定的時(shí)效性。雖然,當(dāng)背景模型參數(shù)更新速度過快或者過慢時(shí),產(chǎn)生的偽前景影響運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果。但是,在圖像采集過程中,自適應(yīng)更新的高斯混合模型可以克服動(dòng)態(tài)背景造成的微小擾動(dòng),所輸出的二值圖像無偽運(yùn)動(dòng)目標(biāo)點(diǎn)。因此,高斯混合模型更適合基于機(jī)器視覺的目標(biāo)零部件檢測(cè)。該檢測(cè)方法實(shí)現(xiàn)了對(duì)機(jī)械零部件輪廓的有效提取,為機(jī)械零部件的數(shù)字化加工提供了理論參考。同時(shí),可推廣應(yīng)用到特種、復(fù)雜零件的輪廓識(shí)別研究、反求設(shè)計(jì)和特種加工中,從而提高特種零件輪廓識(shí)別速度、縮短其設(shè)計(jì)周期、提高其加工效率。