蔡鑫垚，何開(kāi)紀(jì)，張晨陽(yáng)，李高平

(西南民族大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川 成都 610041)

我國(guó)是農(nóng)業(yè)大國(guó)，自古以來(lái)土地資源與氣候環(huán)境都很優(yōu)渥，適宜大面積種植農(nóng)作物，因此也很早就有以農(nóng)治國(guó)的傳統(tǒng)[1].現(xiàn)如今農(nóng)作物的采摘與分級(jí)揀選成為食品生產(chǎn)加工中不可或缺的重要環(huán)節(jié)，但以目前我國(guó)市場(chǎng)現(xiàn)狀來(lái)看，現(xiàn)有的果蔬分選機(jī)器絕大多數(shù)仍以一些較為粗略的特征作為分選指標(biāo)，例如大小、重量等.這樣一來(lái)由于機(jī)器的分選精確度較低，且成本昂貴，不適于中小型企業(yè)的配備.除此之外，大部分此類(lèi)設(shè)施的功能相對(duì)單一，只能對(duì)某一農(nóng)產(chǎn)品進(jìn)行分類(lèi)揀選，其操作的精準(zhǔn)度與效率都有待提高.由此，研制出一套造價(jià)低廉、易于操作同時(shí)高效而精確的果蔬采摘分揀設(shè)備勢(shì)在必行.

本文主要通過(guò)建立混合高斯背景模型與仿射變換模型，提取蔬菜水果分揀過(guò)程中所拍攝的監(jiān)控視頻中特定圖像的前景目標(biāo)，并將其數(shù)字化之后進(jìn)行圖像處理，以方便果蔬分選機(jī)器快速高效地識(shí)別蔬果圖像.目前生產(chǎn)中的很多果蔬分揀系統(tǒng)已經(jīng)具備功能較為完整的生產(chǎn)流水線(xiàn)，其組成子系統(tǒng)一般有運(yùn)輸系統(tǒng)、分揀系統(tǒng)、包裝系統(tǒng)、溯源系統(tǒng)等. 整條生產(chǎn)線(xiàn)核心分揀功能主要依靠工業(yè)機(jī)器人和視覺(jué)識(shí)別系統(tǒng)來(lái)完成[2].通過(guò)在分揀系統(tǒng)安裝攝像機(jī)進(jìn)行拍照，將影像數(shù)據(jù)數(shù)字化后，與前期所采集的圖像數(shù)據(jù)進(jìn)行對(duì)比分析，再由計(jì)算機(jī)做出相應(yīng)決策并控制機(jī)器執(zhí)行動(dòng)作，完成果蔬分揀的一系列實(shí)際操作[3].

在本文中主要考慮分揀系統(tǒng)在輸送果蔬的過(guò)程中，出現(xiàn)下述三種情況下前景目標(biāo)提取問(wèn)題:(1)在指定位置采集果蔬影像數(shù)據(jù)，即靜態(tài)背景下前景目標(biāo)的提取情況；(2)在運(yùn)行的傳送帶上采集果蔬影像數(shù)據(jù)，即動(dòng)態(tài)背景下前景目標(biāo)的提取情況；(3)在指定位置采集果蔬影像數(shù)據(jù)時(shí)，果蔬滾動(dòng)或攝像頭晃動(dòng)，即鏡頭晃動(dòng)或果蔬滾動(dòng)下前景目標(biāo)的提取.

1 前景目標(biāo)提取的理論基礎(chǔ)

1.1 靜態(tài)背景下前景目標(biāo)的提取

在指定位置采集果蔬影像數(shù)據(jù)相當(dāng)于在靜態(tài)背景下提取前景目標(biāo).對(duì)于這種情況我們可以選擇混合高斯背景模型來(lái)建模.混合高斯背景模型是一種基于像素樣本統(tǒng)計(jì)信息的背景表示方法，他的基本原理是先采集每個(gè)像素在一段較長(zhǎng)時(shí)間內(nèi)的大量樣本值的統(tǒng)計(jì)特征(如數(shù)量及其均值和方差)并利用多個(gè)高斯模型來(lái)表征，然后用重新獲取的圖像中像素點(diǎn)的特征來(lái)更新模型，并將其與原本圖像中每個(gè)像素點(diǎn)的混合高斯模型相匹配[4]，隨后用統(tǒng)計(jì)差分的方法確定目標(biāo)像素是背景點(diǎn)還是前景點(diǎn).

在果蔬分揀機(jī)器采集的影像數(shù)據(jù)中，視頻圖像可看做是由一個(gè)個(gè)像素點(diǎn)組成.而每一個(gè)像素點(diǎn)的灰度值在一系列圖像中的變化，可視作一個(gè)連續(xù)產(chǎn)生像素值的隨機(jī)過(guò)程，因此，可以將每個(gè)像素點(diǎn)的灰度值變化規(guī)律用高斯分布來(lái)描述.

而對(duì)于多模態(tài)的高斯分布模型，圖像中的每一個(gè)像素點(diǎn)具有不同的權(quán)值下的多個(gè)高斯分布.[5]我們將其疊加到模型中，使得產(chǎn)生像素灰度值的每個(gè)狀態(tài)可以具有與之相對(duì)應(yīng)的高斯分布，各個(gè)高斯分布的權(quán)重及其分布參數(shù)隨時(shí)間變化. 這里，假定圖像中像素點(diǎn)灰度值相互獨(dú)立并具有相同的方差.觀(guān)察得到隨機(jī)變量X 的觀(guān)測(cè)樣本數(shù)據(jù)集為t 時(shí)刻像素的樣本，則單個(gè)樣本點(diǎn)xt的混合高斯分布概率密度函數(shù)如下:

其中k 為分布模式總數(shù)，η ( xt，μi，t，τi，t)為t 時(shí)刻第i 個(gè)高斯分布，μi，t為其均值，τi，t為其協(xié)方差矩陣，δi，t為方差，I 為一維單位矩陣，ωi，t為t 時(shí)刻第i 個(gè)高斯分布的權(quán)重[6].

將每個(gè)新的像素值xt和當(dāng)前k 個(gè)模型進(jìn)行對(duì)比，直到找到與當(dāng)前模型均值偏差相匹配的分布模型，該均值偏差的范圍在2.5σ 內(nèi). 如果能偶找到滿(mǎn)足背景要求模式，則該像素點(diǎn)可劃分為圖像背景的類(lèi)別，不然則判定為前景目標(biāo). 隨后更新各模式的權(quán)值，并對(duì)各個(gè)模式的權(quán)重歸一化處理.[7]同時(shí)，未匹配模式的均值μ 與標(biāo)準(zhǔn)差σ 保持不變，匹配模式的更新參數(shù)的公式如下式所示:

如果上述步驟中沒(méi)有任何模式能與新的像素點(diǎn)成功匹配，則要換掉其中權(quán)重最小的模式，并取其均值為當(dāng)前像素灰度值，取其標(biāo)準(zhǔn)差為初始較大值，權(quán)重為較小值.每種模式根據(jù)公式w/α2降序排列，其中α 表示的是學(xué)習(xí)速率，即靠前的模式是具有較大權(quán)重和較小標(biāo)準(zhǔn)差的模式.

這里選擇滿(mǎn)足(7)式的前B 個(gè)模式作為背景點(diǎn)，參數(shù)T 表示背景所占比例[8]

1.2 動(dòng)態(tài)背景下前景目標(biāo)的提取

在實(shí)際分揀過(guò)程中，在傳送帶上采集果蔬影像數(shù)據(jù)時(shí)，背景模型往往是多模態(tài)的，對(duì)于種多模態(tài)場(chǎng)景下的前景目標(biāo)提取，適宜用多個(gè)高斯分布的概率模型來(lái)描述背景.這里采用改進(jìn)的高斯混合背景模型實(shí)現(xiàn)背景建模.該方法的優(yōu)點(diǎn)在于不僅能不斷更新背景模型，而且能直接在新的一幀圖像中識(shí)別背景目標(biāo)點(diǎn)[9]，這樣一來(lái)就省去了對(duì)差分計(jì)算的需要，提升了檢測(cè)過(guò)程效率和準(zhǔn)確性. 該算法的基本思想是:對(duì)所采集的視頻圖像中每個(gè)像素灰度值建模，觀(guān)測(cè)一定時(shí)間內(nèi)各個(gè)高斯分布的持續(xù)變動(dòng)的差異，來(lái)判別更符合背景的高斯分布. 更接近的分布即判定為背景模型.而圖像中灰度值不能與該高斯分布相匹配的像素點(diǎn)即為是背景目標(biāo)點(diǎn).具體計(jì)算方法如下:

假設(shè)在較長(zhǎng)一段時(shí)間內(nèi)檢測(cè)到坐標(biāo)為(x0，y0)的像素點(diǎn)灰度值為:

按上述方法對(duì)其進(jìn)行建模，對(duì)新一幀圖像中的像素點(diǎn)(x0，y0，t)，將它的灰度值與現(xiàn)有的k 個(gè)高斯分布相比較，由此判斷他們是否匹配，若是，則該像素點(diǎn)即被判別為為背景點(diǎn)[10].

若存在與像素點(diǎn)(x0，y0，t)匹配的高斯分布，則對(duì)背景模型中原有各個(gè)參數(shù)進(jìn)行更新

這里只針對(duì)匹配成功的高斯分布，若像素點(diǎn)均不符合與原有的k 個(gè)高斯分布，則相應(yīng)參數(shù)保持不變；ρ為參數(shù)學(xué)習(xí)速率，定義為:

類(lèi)似地，添加以該像素的灰度值作均值的新的高斯分布，來(lái)替換原始的k 個(gè)高斯分布中具有概率和權(quán)重均為最小的分布.從而將其更新為具有更大方差與更低權(quán)重的新的背景模型.如此便實(shí)現(xiàn)了高斯混合模型的更新.

由此可見(jiàn)，建立混合高斯模型的方法，能夠?qū)?chǎng)景的動(dòng)特性較為完整地表征出來(lái)，同時(shí)可以在保證效率與準(zhǔn)確度的條件下適應(yīng)背景環(huán)境的變化，例如光照強(qiáng)度的改變、小幅度畫(huà)面振動(dòng)等情況.

1.3 鏡頭晃動(dòng)或果蔬滾動(dòng)下前景目標(biāo)的提取

在果蔬分揀系統(tǒng)運(yùn)作的過(guò)程中，當(dāng)監(jiān)控?cái)z像頭發(fā)生輕微震動(dòng)或果蔬滾動(dòng)時(shí)，會(huì)引發(fā)采集圖像中相連續(xù)的幀與幀之間背景的運(yùn)動(dòng)速度的變化.這種非線(xiàn)性的變化通常將其分為繞軸旋轉(zhuǎn)和沿軸平移兩種情況.對(duì)此，對(duì)獲取的視頻圖像采用全局運(yùn)動(dòng)補(bǔ)償?shù)姆椒ǎ词紫葘?dòng)態(tài)背景轉(zhuǎn)化為靜態(tài). 其步驟大致為:首先獲取某一特征點(diǎn)或特征區(qū)域的運(yùn)動(dòng)情況，再利用回歸算法計(jì)算參數(shù)的最優(yōu)解來(lái)估計(jì)全局運(yùn)動(dòng)的參數(shù)，再進(jìn)行背景目標(biāo)點(diǎn)與模型的匹配.在背景為動(dòng)態(tài)的視頻圖像中，攝像設(shè)備位置的變化會(huì)導(dǎo)致視頻畫(huà)面中某一像素點(diǎn)從在第k -1 幀中的處移動(dòng)到第k 幀( xk，yk)處，圖中像素點(diǎn)坐標(biāo)的改變情況應(yīng)當(dāng)存在某種變換模型，我們假設(shè)這種模型為( xk，yk).不同的運(yùn)動(dòng)狀態(tài)對(duì)應(yīng)不同的模型，所以，建立相對(duì)準(zhǔn)確的描述運(yùn)動(dòng)狀態(tài)的參數(shù)模型是找到圖像中像素點(diǎn)對(duì)應(yīng)坐標(biāo)變化規(guī)律的必要前提.仿射變換模型是現(xiàn)有模型中較能有效地描述攝像設(shè)備位置變動(dòng)所引發(fā)的圖像背景的變化的一種模型.[11]該模型中的6 個(gè)參數(shù)如下:

其中，r 為縮放參數(shù)，θ 為旋轉(zhuǎn)角度， (c，d)分別為圖像沿水平與豎直方向的偏移量.

圖像數(shù)據(jù)的多尺度特征的主要思想是將尺度參數(shù)引入處理圖像數(shù)據(jù)的的模型中，綜合所獲得的多尺度特征以深度挖掘圖像信息. Lowe 發(fā)表于1999 年的尺度不變特征轉(zhuǎn)換算法，選取高斯差分DoG(Difference of Gaussian)尺度空間得到的最大值點(diǎn)作為特征點(diǎn)，不僅提升了運(yùn)算效率，而且對(duì)圖像的尺度、角度、光照等多種變化情況適應(yīng)度較高.其在各種尺度空間中表達(dá)式如下:

其中，σ 是尺度空間因子，L 為圖像的尺度空間.針對(duì)兩個(gè)相近的尺度空間之差可得到一個(gè)近似的圖像LoG 卷積運(yùn)算:

檢測(cè)每組相鄰DoG 圖像之間極值點(diǎn). 具體方法為:對(duì)待測(cè)點(diǎn)及其周?chē)狞c(diǎn)(即相同尺度空間下待測(cè)點(diǎn)四圍的8 個(gè)點(diǎn)及相鄰尺度空間的圖像中的2 ×9個(gè)，共26 個(gè)點(diǎn))來(lái)進(jìn)行對(duì)比分析.選擇對(duì)比過(guò)程中的極大值或極小值點(diǎn)作為備選的特征點(diǎn).

通過(guò)上述方法可得到一組備選特征點(diǎn)集，但仍然會(huì)有“偽極值點(diǎn)”的出現(xiàn).這是由于在離散空間中進(jìn)行檢測(cè)，運(yùn)算結(jié)果存在誤差，因而為了降低誤差，仍然需要為極大值或極小值點(diǎn)多次進(jìn)行精準(zhǔn)確定.精確的極值點(diǎn)應(yīng)為X0＋X.即該極值點(diǎn)的值為:

除此之外，圖像邊緣的像素點(diǎn)也屬于易受噪聲干擾的不確定的極值點(diǎn)，而且DoG 算子對(duì)圖像的邊緣適用度較低，所以仍需刪掉圖像的邊緣上的點(diǎn). 通常情況下，穿過(guò)邊緣的方向主曲率較大，而沿邊緣的方向上主曲率較小，因此，邊緣線(xiàn)上的極值點(diǎn)的主曲率最大值和最小值的比率大于其它位置.

用一個(gè)2×2 的Hessian 矩陣[12]可以計(jì)算主曲率:

H 的特征值和主曲率成正比.這里參考Harris 算法，設(shè)α、β 分別為H 的最大特征值和最小特征值，γ＝α/β[13]，通常設(shè)閾值γ0＝10，如果:

則保留該極值點(diǎn)，否則丟棄.

2 實(shí)驗(yàn)結(jié)果分析

2.1 前景目標(biāo)提取的實(shí)現(xiàn)

本次實(shí)驗(yàn)所使用的水果(獼猴桃)由蔬果市場(chǎng)隨機(jī)購(gòu)買(mǎi)所得，并通過(guò)紙帶模擬傳送帶，手機(jī)拍攝獲取圖像.手機(jī)型號(hào)為iPhone SE，攝像頭為1200 萬(wàn)像素.對(duì)上述模型的求解，首先我們調(diào)用了Python cv2 模塊，把視頻按幀數(shù)讀取，用高斯背景分離將每一幀的前景目標(biāo)提取出來(lái).

①靜態(tài)背景下前景目標(biāo)的提取.基于混合高斯模型，得出的靜態(tài)背景下前景目標(biāo)(獼猴桃)的提取結(jié)果如圖1 所示.

圖1 靜態(tài)背景下前景目標(biāo)的提取Fig.1 Extraction of foreground objects in static background

從圖1 可以看出模型提取的前景目標(biāo)顯示不完全，但背景處理得比較干凈，噪點(diǎn)較少.此模型雖然以犧牲目標(biāo)像素完整性為代價(jià)對(duì)圖像的背景進(jìn)行了高度的降噪處理，但同時(shí)也保證了對(duì)圖像的前景目標(biāo)的有效提取，使得提取的圖像更加準(zhǔn)確.

②動(dòng)態(tài)背景下前景目標(biāo)的提取.通過(guò)抖動(dòng)紙帶及添加微小障礙物來(lái)模擬動(dòng)態(tài)背景，基于改進(jìn)后的混合高斯模型，得出的動(dòng)態(tài)背景下前景目標(biāo)(獼猴桃)的提取結(jié)果如圖2 所示.

圖2 動(dòng)態(tài)背景下前景目標(biāo)的提取Fig.2 Extraction of foreground targets in dynamic background

由圖2 可以看出，通過(guò)對(duì)混和高斯背景模型的改進(jìn)，對(duì)動(dòng)態(tài)背景做處理之后，能夠得出一個(gè)圖像較為完整且邊緣較為清晰的結(jié)果.但是圖像中仍有少數(shù)的噪點(diǎn)存在，且前景目標(biāo)的邊緣特征沒(méi)有問(wèn)題一顯示的結(jié)果明顯.說(shuō)明該改進(jìn)模型對(duì)處理動(dòng)態(tài)背景下的前景目標(biāo)的檢測(cè)與提取能夠做到比較有效的從動(dòng)態(tài)背景中提取出目標(biāo)，但仍有缺陷，也可能是在對(duì)模型的改進(jìn)中導(dǎo)致了這個(gè)有悖于求解初衷的效果，仍需完善.

③鏡頭晃動(dòng)下前景目標(biāo)的提取.在提取晃動(dòng)攝像頭情況下的視頻前景目標(biāo)時(shí)，用Python-OpenCV 進(jìn)行每一幀的讀取并保存，對(duì)第一幀的背景進(jìn)行特征點(diǎn)提取，后面每一幀特征點(diǎn)與第一幀背景特征點(diǎn)進(jìn)行旋轉(zhuǎn)角度比較，然后通過(guò)仿射變換，對(duì)當(dāng)前幀進(jìn)行修正，修正后的每一幀另外保存，基本矯正了圖片偏移角度的問(wèn)題，再把矯正過(guò)的圖片轉(zhuǎn)換為視頻.

鏡頭晃動(dòng)或果蔬滾動(dòng)背景下前景目標(biāo)(獼猴桃)的提取結(jié)果如圖3 所示.

圖3 鏡頭晃動(dòng)下前景目標(biāo)的提取Fig.3 Extraction of foreground targets under lens shaking

由圖可以看出，畫(huà)面相比原視頻截圖穩(wěn)定了許多，基本修正了畫(huà)面旋轉(zhuǎn)的問(wèn)題. 再通過(guò)混和高斯背景模型下的Matlab 編碼運(yùn)算，提取到了比較清晰的前景目標(biāo)；但相較于靜態(tài)圖像提取出的前景目標(biāo)模糊了一些.因?yàn)楫?dāng)圖像存在縮放等尺度改變的情況時(shí)，DoG 算法的尺度不變性很好，所以往后在這種情況下要考慮使用其他算法來(lái)彌補(bǔ)這種情況下DoG 算法的不足，比如SUSAN 算法.

針對(duì)以上實(shí)驗(yàn)結(jié)果，該方法同樣適用于其他果蔬，特別是形狀、紋理完全不同的果蔬，該方法能夠進(jìn)行較好的識(shí)別，以滿(mǎn)足蔬果實(shí)際分揀中對(duì)前景目標(biāo)提取的需求.

2.2 與其他方法對(duì)比結(jié)果

針對(duì)該問(wèn)題，有其他方法可以達(dá)到類(lèi)似的效果.如二幀差分法、單高斯模型和VIBE 模型等.二幀差分法是背景差分法中的一種，主要原理是通過(guò)視頻圖像中相鄰兩幀圖像像素值的差分運(yùn)算來(lái)獲取運(yùn)動(dòng)目標(biāo)的輪廓[14]，由此實(shí)現(xiàn)前景目標(biāo)的提取. 單高斯模型SGM(Single Gaussian background model)適用于單一背景的場(chǎng)景[15].主要采用參數(shù)迭代的方法，對(duì)視頻圖像中像素點(diǎn)灰度值的變化看作是不斷產(chǎn)生像素點(diǎn)的隨機(jī)過(guò)程[16]. 基于像素模型的背景建模算法VIBE(Visual background extractor)采用背景幀的像素樣本構(gòu)成像素的背景模型，然后將輸入幀的像素值與之匹配，根據(jù)預(yù)設(shè)閾值判定該像素點(diǎn)是否屬于背景點(diǎn)并用匹配上的像素點(diǎn)更新其背景模型[17].

針對(duì)于上述三種模型，通過(guò)Matlab 編程實(shí)現(xiàn)上述三種模型的結(jié)果通過(guò)一系列的圖片如圖4 所示:

圖4 其他方法提取前景目標(biāo)的效果Fig.4 Other methods to extract the effect of the foreground target

如圖4 所示，在相機(jī)不帶抖動(dòng)、靜態(tài)背景下，單高斯法和VIBE 算法的提取結(jié)果明顯優(yōu)于二幀差分法，然而，參考多模態(tài)的視頻圖像提取結(jié)果，混合高斯背景模型效果更優(yōu).

在以上幾種方法里，二幀差分法雖然算法邏輯簡(jiǎn)單、計(jì)算效率高，且算法采用連續(xù)的兩幀圖像相減來(lái)計(jì)算前景目標(biāo)，適應(yīng)性較好，然而它的缺點(diǎn)是不能一次提取所有相關(guān)特征點(diǎn)，導(dǎo)致提取的目標(biāo)出現(xiàn)內(nèi)部空隙；此外，在進(jìn)行連通域處理后雖然消除了大部分噪點(diǎn)，但是降噪的同時(shí)會(huì)去掉一些緩慢移動(dòng)的目標(biāo)，不利于低速移動(dòng)目標(biāo)的提取.而高斯背景建模方法中采用單模態(tài)分布，不能很好地適應(yīng)背景點(diǎn)的值分布較分散的情況.VIBE 算法采用初始化單幀圖像，然后對(duì)后續(xù)圖像序列進(jìn)行前景目標(biāo)提取的操作，因此具有初始化速度快、內(nèi)存消耗少和占用資源少等優(yōu)點(diǎn)[18]，但算法自身也存在著局限性，主要有鬼影、和運(yùn)動(dòng)目標(biāo)不完整等問(wèn)題.

3 結(jié)論

為了采集蔬菜水果分揀過(guò)程中監(jiān)控視頻圖像中的前景目標(biāo)，運(yùn)用成熟的仿射變換模型和混合高斯背景模型，并結(jié)合機(jī)器學(xué)習(xí)與模式識(shí)別手段所建立的算法，實(shí)現(xiàn)了前景目標(biāo)(獼猴桃)的提取，所采用的算法可靠、準(zhǔn)確，能夠滿(mǎn)足蔬果實(shí)際分揀中對(duì)前景目標(biāo)提取的需求.