惠國(guó)保，李東波，童一飛，王引

(1.南京理工大學(xué)機(jī)械工程學(xué)院，江蘇南京210094;2.東南大學(xué)機(jī)械工程學(xué)院，江蘇南京211189)

隨著數(shù)控機(jī)床加工制造業(yè)的發(fā)展，以人為本的發(fā)展原則的深入貫徹，對(duì)數(shù)控加工安全性的要求不斷提高。一般數(shù)控機(jī)床加工安全方法有加機(jī)床防護(hù)罩或紅外線感應(yīng)裝置。機(jī)床防護(hù)罩因其簡(jiǎn)單有效而應(yīng)用比較普遍，但缺點(diǎn)有不利于觀察加工情況、笨重、材料費(fèi)和維修保養(yǎng)費(fèi)較高。紅外線感應(yīng)裝置近幾年應(yīng)用較多，但易受熱源光源、環(huán)境溫度和射頻輻射等影響。隨著計(jì)算機(jī)視覺(jué)的發(fā)展，將視覺(jué)監(jiān)控技術(shù)應(yīng)用于數(shù)控機(jī)床安全監(jiān)控是一個(gè)新的突破，不僅進(jìn)一步提升了數(shù)控機(jī)床的自動(dòng)化水平，而且視覺(jué)安全監(jiān)控不受環(huán)境的影響、成本低廉、效果明顯。

以傳統(tǒng)立柱式銑床為例，將CCD 相機(jī)安裝在主軸的前上方，實(shí)時(shí)捕獲工作臺(tái)、工件、刀具及周圍環(huán)境等信息，如圖1所示。

捕獲到圖像信息后，先將圖像分區(qū)，只對(duì)圖像中各個(gè)區(qū)域里的像素作為重點(diǎn)觀察對(duì)象。這些像素的像素值(灰度值或RGB 值)每幀是不一樣的，統(tǒng)計(jì)學(xué)上是服從正態(tài)分布。由于車間燈光和機(jī)床震動(dòng)等因素，使得一個(gè)像素在不同的條件下有不同的正態(tài)分布。在一般情況下將這些分布疊加在一起就構(gòu)成了該像素的背景模型，背景模型的參數(shù)就刻畫(huà)了這個(gè)像素特性［1］。

圖1 視覺(jué)監(jiān)控相機(jī)捕獲到的圖像及分區(qū)示意圖

通過(guò)算法，對(duì)每一幅所捕獲的圖像幀進(jìn)行學(xué)習(xí)，得到每個(gè)像素背景模型的參數(shù)估計(jì)。利用這個(gè)像素的背景模型，就可以預(yù)測(cè)下一個(gè)幀的像素值，再與下一幀實(shí)際的像素值比較，根據(jù)判定準(zhǔn)則，就可以判斷該像素值是屬于前景還是背景。無(wú)論是前景還是背景，新幀的像素值仍然可以作為該像素背景模型學(xué)習(xí)的材料，以更新背景模型。

這樣就能從復(fù)雜的背景中提取出前景。對(duì)分區(qū)好的圖像，在相應(yīng)的區(qū)域里檢測(cè)到一定量的前景像素，則視覺(jué)系統(tǒng)就會(huì)給數(shù)控系統(tǒng)發(fā)送出相應(yīng)的信號(hào)，實(shí)現(xiàn)計(jì)算機(jī)視覺(jué)對(duì)機(jī)床安全加工的監(jiān)控。下面首先簡(jiǎn)單介紹視頻圖像分區(qū)，接著介紹背景模型建立，然后再對(duì)背景模型分析，最后通過(guò)實(shí)驗(yàn)驗(yàn)證。

1 圖像分區(qū)

對(duì)圖像劃分區(qū)域，是為了實(shí)現(xiàn)視覺(jué)監(jiān)控多級(jí)響應(yīng)功能，方便對(duì)區(qū)域內(nèi)的像素構(gòu)建背景模型。假設(shè)圖像的坐標(biāo)原點(diǎn)在左上角，在視頻圖像中劃分出自由區(qū)域、觸及危險(xiǎn)報(bào)警區(qū)域和觸及運(yùn)行停止區(qū)域，如圖1所示。

(1)自由區(qū)域

該區(qū)域是操作員可自由活動(dòng)區(qū)域，這種情形下，視覺(jué)系統(tǒng)不會(huì)發(fā)送報(bào)警或停止運(yùn)行等信號(hào)。數(shù)控加工過(guò)程中，大多數(shù)加工狀態(tài)是處在這種情形下。如圖2所示。

圖2 運(yùn)動(dòng)前景自由區(qū)域

(2)觸及報(bào)警區(qū)域

當(dāng)人體某個(gè)部位觸及到該區(qū)域，視覺(jué)系統(tǒng)會(huì)發(fā)送危險(xiǎn)報(bào)警信號(hào)給數(shù)控系統(tǒng)，數(shù)控系統(tǒng)收到信號(hào)后，立即執(zhí)行喇叭報(bào)警。這種情況下，機(jī)床加工仍在運(yùn)行，但報(bào)警聲不斷，提示操作員注意安全。如圖3所示。

圖3 運(yùn)出前景在危險(xiǎn)報(bào)警區(qū)域

(3)觸及運(yùn)動(dòng)停止區(qū)域

在不聞報(bào)警的情況下，當(dāng)人體某部位觸及到該區(qū)域時(shí)，視覺(jué)系統(tǒng)就會(huì)給數(shù)控系統(tǒng)發(fā)送停機(jī)信號(hào)，數(shù)控系統(tǒng)收到該信號(hào)，立即停機(jī)，并保存好當(dāng)前加工狀況數(shù)據(jù)，處于待機(jī)狀態(tài)。有了這個(gè)監(jiān)控區(qū)域，才能徹底地避免人員的傷亡。如圖4所示。

圖4 運(yùn)動(dòng)前景在運(yùn)動(dòng)停止區(qū)域

總之，通過(guò)對(duì)監(jiān)控視頻圖像分區(qū)后，能使數(shù)控系統(tǒng)具有多級(jí)控制功能，只需重點(diǎn)觀察各分區(qū)內(nèi)像素的變化，大大提高計(jì)算效率。實(shí)際上，只建立觸及報(bào)警區(qū)域和觸及運(yùn)行停止區(qū)域兩個(gè)背景模型。為了實(shí)現(xiàn)對(duì)區(qū)域的靈活監(jiān)控，每塊區(qū)域的大小都是可以調(diào)整。

2 背景模型

2.1 背景模型建立

主要在監(jiān)控區(qū)域(報(bào)警區(qū)域和運(yùn)行停止區(qū)域)對(duì)每個(gè)像素背景學(xué)習(xí)，構(gòu)造背景模型。在該區(qū)域的每個(gè)像素值都是隨時(shí)間變化的，是一個(gè)序列。在不考慮燈光和機(jī)床震動(dòng)影響的情況下，像素值雖然是變化的，但是方差較小。若是黑白相機(jī)，像素值就是灰度值;若是彩色相機(jī)，則像素值是RGB 組成的向量。這里采用彩色圖像，而且假定RGB 三色相互獨(dú)立。對(duì)某一像素p 在任一時(shí)刻t 可以知道它的歷史像素值序列Sp，t，Sp，t= {Zp，1，Zp，2，…，Zp，t}，其中Zi是像素值，1≤i≤t。認(rèn)為這些數(shù)值服從高斯分布，其均值和方差分別為:

若考慮燈光、機(jī)床震動(dòng)等因素，就會(huì)有多個(gè)高斯分布，將這些高斯分布根據(jù)權(quán)重疊加在一起就構(gòu)成了該像素最終的背景模型，也即混合高斯模型［2］?；旌细咚鼓Ｐ偷母咚狗植紓€(gè)數(shù)由以下兩種情況確定:

(1)燈光變化。假設(shè)燈光照度穩(wěn)定的話，不開(kāi)機(jī)床燈和開(kāi)機(jī)床燈的兩種情況，就產(chǎn)生了兩個(gè)高斯分布。

(2)機(jī)床震動(dòng)。每臺(tái)機(jī)床震動(dòng)頻率不同，這種情況是客觀存在的。對(duì)一種機(jī)床，有其固定震動(dòng)頻率nm。相機(jī)拍攝圖片也有頻率(比如普通攝像機(jī)1 s 有30 幀)nc。當(dāng)然當(dāng)nm=nc是理想情況，攝像頭每次拍攝的照片都是機(jī)床相同位置，即每幀像素反映的背景是同一點(diǎn)。但實(shí)際上，這種理想情況幾乎不可能出現(xiàn)，要么nm＞nc，要么nm＜nc。下面分兩種情況進(jìn)行討論:

①當(dāng)nm＞nc時(shí)，機(jī)床震動(dòng)頻率大于拍攝頻率，一幀拍攝期間機(jī)床已經(jīng)震動(dòng)了幾個(gè)周期了，所以可以認(rèn)為每幀拍攝的圖片相同。這種情況下，最后背景模型總共有3 個(gè)高斯分布疊加。

②當(dāng)nm＜nc時(shí)，機(jī)床震動(dòng)頻率小于拍攝頻率，機(jī)床震動(dòng)一個(gè)周期期間拍攝了幾個(gè)幀。假如機(jī)床振幅為A，攝像機(jī)在一個(gè)震動(dòng)周期里的震速為在一個(gè)幀拍攝期間，振幅上移動(dòng)的距離為那么在機(jī)床一個(gè)震動(dòng)周期里拍攝了幀，取s 整數(shù)為[ s] 。這種情況下，最后背景模型總共有[ s] +2 個(gè)高斯分布疊加。

綜上分析，背景模型高斯分布個(gè)數(shù)為:

在實(shí)際中，像素的刷新值可能會(huì)改變高斯分布的個(gè)數(shù)，但最少不會(huì)低于K 個(gè)。

攝像機(jī)的每個(gè)幀都會(huì)刷新某像素點(diǎn)的值，這個(gè)新值要么是服從混合高斯模型的某個(gè)高斯分布，要么是不服從混合高斯模型的任一高斯分布。這時(shí)，就要以該像素值確定一個(gè)新的高斯分布，并疊加到混合高斯模型里。

所以就需要將像素值與這K 個(gè)高斯分布進(jìn)行匹配。所謂新像素值與某個(gè)高斯分布匹配是指該像素值在這個(gè)高斯分布標(biāo)準(zhǔn)偏差β 以內(nèi)。β 是指某個(gè)新數(shù)對(duì)某個(gè)高斯分布擾動(dòng)很小的閾值［3］。像素的新值是否能在背景模式里找到匹配的高斯分布，就要對(duì)新像素值Zp，t+1與這K 個(gè)高斯分布進(jìn)行匹配，直到與這K 個(gè)高斯分布匹配完為止。

如果Zp，t+1在背景模型里找不到一個(gè)分布與其匹配，由該像素值確定一個(gè)新的分布。這個(gè)新的高斯分布的均值為該新像素值，開(kāi)始時(shí)方差較大，權(quán)重較低，與其他新像素值能匹配上的概率很低。若這時(shí)混合高斯分布個(gè)數(shù)為K，且K =K +1，如果Zp，t+1能與背景模型中的一個(gè)高斯分布匹配起來(lái)，則背景模型高斯分布的權(quán)重就要重新定義。根據(jù)EM 算法［4］，在時(shí)刻t，假設(shè)第K 個(gè)分布的優(yōu)先權(quán)重為ωi，t(1 ＜i ＜K)，定義如下:

其中:σt是在時(shí)刻t 的協(xié)方差，而且∑iωi，t= 1 。

定義增量學(xué)習(xí)效率為ε，指某個(gè)分布與一個(gè)新像素值匹配的話，該分布的權(quán)重的變化值與原權(quán)重值的比值，即。

經(jīng)過(guò)一次學(xué)習(xí)，匹配上的分布的權(quán)重增加，未匹配上的其余分布權(quán)重相應(yīng)都有減少，同時(shí)改變了該像素背景模型。未匹配上的分布的均值和方差都不變，匹配上的第i 個(gè)分布的均值和方差更新如下:

其中:T 是確定背景模型的閾值。如果T 值越小，背景模型為單峰，指由權(quán)重最大的M 個(gè)分布組合為背景模型。如果T 值越大，反復(fù)的背景變化會(huì)引起多峰分布，這表示背景接受更大范圍色度的分割。

2.2 背景模型分析

這個(gè)背景模型的主要特點(diǎn)是當(dāng)某個(gè)前景變成背景時(shí)，它不會(huì)對(duì)已有背景模型造成改變。最初像素色度值被保留在混合背景模型里，直到這個(gè)像素值匹配的高斯分布的權(quán)重低于第K 個(gè)分布的權(quán)重時(shí)，或觀察到像素色度有新的變化時(shí)，背景模型才會(huì)變化［5］。所以，只要有足夠長(zhǎng)時(shí)間的背景學(xué)習(xí)，一個(gè)前景就會(huì)變?yōu)楸尘?或者，一個(gè)背景產(chǎn)生了運(yùn)動(dòng)，它就變成了前景，但仍然是以過(guò)去背景的均值和方差來(lái)描述分布的。新的前景權(quán)重越低，將會(huì)迅速地再次融入到背景中。與文獻(xiàn)［2］所提的方法不同的是高斯混合模型的分布個(gè)數(shù)是不固定的，根據(jù)新像素值與高斯分布匹配的結(jié)果確定新的混合模型高斯分布個(gè)數(shù)，而且，每個(gè)分布的權(quán)重也不是固定的，是根據(jù)排序自動(dòng)調(diào)整的。

當(dāng)某個(gè)分布趨于明顯，那么方差就會(huì)減小，權(quán)重值就會(huì)增大，在背景分布的排序中會(huì)趨向前列。背景模型高斯分布序列是一個(gè)有序的、開(kāi)放式的列表，其中最有可能成為背景的高斯分布仍保留前列，低概率不穩(wěn)定的背景分布排在后列，或許最終被新的分布取代而不能成為背景的分布。

在這個(gè)背景模型中，將影響背景模型的光度變化和機(jī)械振動(dòng)兩個(gè)因素考慮進(jìn)去了，所以該背景模型能適應(yīng)光度變化和機(jī)械振動(dòng)因素的影響。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)方法

為驗(yàn)證視覺(jué)監(jiān)控效果，模擬了簡(jiǎn)單的實(shí)驗(yàn)環(huán)境，如圖5所示。左邊圖像是分區(qū)后攝像機(jī)拍攝的圖像，右邊是左邊的視頻圖像經(jīng)過(guò)前景－背景處理后的效果圖，只對(duì)前景的像素進(jìn)行標(biāo)記，下面有模擬數(shù)控系統(tǒng)控制的兩個(gè)燈:危險(xiǎn)報(bào)警燈和運(yùn)行停止燈。

(1)當(dāng)手未觸及淺白色區(qū)域，即在自由區(qū)域內(nèi)時(shí)，視覺(jué)系統(tǒng)不發(fā)送任何信號(hào)給數(shù)控系統(tǒng)，即不做任何反應(yīng)，下面兩個(gè)燈為白色，如圖5所示。

圖5 自由區(qū)域活動(dòng)

(2)當(dāng)手觸及到危險(xiǎn)報(bào)警區(qū)域時(shí)，視覺(jué)系統(tǒng)發(fā)送危險(xiǎn)信號(hào)給數(shù)控系統(tǒng)，數(shù)控系統(tǒng)立即進(jìn)行報(bào)警，下面報(bào)警燈變紅，如圖6所示。

圖6 危險(xiǎn)報(bào)警區(qū)域活動(dòng)

(3)當(dāng)手觸及到運(yùn)行停止區(qū)域時(shí)，視覺(jué)系統(tǒng)會(huì)發(fā)送停止信號(hào)給數(shù)控系統(tǒng)，數(shù)控系統(tǒng)立即控制機(jī)床暫停加工，同時(shí)下面報(bào)警燈和停止等都亮，所圖7所示。

圖7 運(yùn)行停止區(qū)域活動(dòng)

在這種實(shí)驗(yàn)環(huán)境下，又對(duì)光照變化和機(jī)床震動(dòng)影響做了幾個(gè)實(shí)驗(yàn)，來(lái)論證視覺(jué)數(shù)控監(jiān)控技術(shù)在光照變化和機(jī)床震動(dòng)影響下的監(jiān)控效果，具體結(jié)果分析請(qǐng)見(jiàn)下節(jié)。

3.2 實(shí)驗(yàn)分析

下面對(duì)光照變化和機(jī)床震動(dòng)影響下的監(jiān)控效果進(jìn)行分析。

當(dāng)燈光變化大于CCD 感光臨界時(shí)，燈光亮度的變化幾乎對(duì)報(bào)警率沒(méi)有影響，即燈光亮度在CCD 感光臨界點(diǎn)以上的變化，并不影響已成的背景模型對(duì)前景和背景的判定，而且這種判定的準(zhǔn)確率還是相當(dāng)高的，能完全地將運(yùn)動(dòng)的前景辨別出來(lái);當(dāng)燈光亮度在CCD 感光臨界點(diǎn)以下，這種前景辨別就會(huì)有誤差，直到完全黑暗下不能辨別出前景來(lái)。通過(guò)實(shí)驗(yàn)數(shù)據(jù)得到亮度對(duì)報(bào)警率的影響，如圖8所示。

另一方面，當(dāng)機(jī)床震動(dòng)幅度大于分區(qū)尺寸時(shí)，分辨出的前景就會(huì)產(chǎn)生誤差，以至于震動(dòng)猛烈的機(jī)床前景分辨準(zhǔn)確率是零;當(dāng)機(jī)床震動(dòng)幅度小于圖像分區(qū)尺寸時(shí)，可以很好地分辨出前景來(lái)，而且準(zhǔn)確率也很高。通過(guò)實(shí)驗(yàn)數(shù)據(jù)得到機(jī)床震動(dòng)幅度對(duì)報(bào)警率的影響，如圖9所示。

圖8 亮度變化對(duì)報(bào)警率的影響

圖9 機(jī)床振幅度變化對(duì)報(bào)警率影響

通過(guò)以上分析，燈光亮度和機(jī)床震動(dòng)幅度能造成前景分辨較大誤差的范圍是十分狹小的，大多數(shù)機(jī)床加工的燈光亮度和震動(dòng)幅度分別是在前景可分辨的范圍內(nèi)，所以可以認(rèn)為該視覺(jué)監(jiān)控?cái)?shù)控系統(tǒng)不受光度變化和震動(dòng)幅度影響。

4 結(jié)論

提出的通過(guò)視覺(jué)監(jiān)控技術(shù)來(lái)實(shí)現(xiàn)數(shù)控安全機(jī)加工的方法，經(jīng)過(guò)實(shí)驗(yàn)論證，是可行的。建立好的背景模型是實(shí)現(xiàn)該技術(shù)的關(guān)鍵，而且能很好地適應(yīng)光度變化和機(jī)械震動(dòng)的影響，所以該技術(shù)具有能適應(yīng)一定環(huán)境影響的安全監(jiān)控功能。為了更好地將該技術(shù)應(yīng)用于實(shí)際，可以從像素值與高斯分布匹配角度繼續(xù)研究，建立更好的背景模型。

【1】SZELISKI R.Computer Vision-algorithms and Applications［M］.Springer，2010.

【2】KAEWTRAKULPONG P，BOWDEN R.An Improved Adaptive Background Mixture Model for Realtime Tracking with Shadow Detection［C］//Proceedings of the Second European Workshp on Advanced Video-Based Surveillance Systems，2001:135－14.

【3】OLIENSIS J.A Critique of Structure-from-motion Algorithms［J］.Computer Vision and Image Understanding，2000，80:172－214.

【4】BILMES J.A Gentle Tutorial of the EM Algorithm and Its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models［R］.Technical Report 97021，International Computer Science Institute，Berkeley，CA，USA，1997.

【5】BRADSKI G，KAEHLER Adrian.Learning OpenCV［M］.O＇REILLY Media Inc，2008.