張 帆，楊 勇，駱少明，黃 福，成克強

1. 廣東技術(shù)師范大學(xué) 機電學(xué)院，廣州 510665； 2. 工業(yè)和信息化部電子第五研究所，廣州 510610

植物工廠在未來城市農(nóng)業(yè)現(xiàn)代化建設(shè)中發(fā)揮著重要作用．我國是蔬菜栽培的農(nóng)業(yè)生產(chǎn)大國，但不是農(nóng)業(yè)生產(chǎn)強國，確保新鮮水果和蔬菜的安全高效供給面臨巨大的挑戰(zhàn)[1-2]．目前，我國蔬菜的栽植量巨大，60%以上蔬菜種植采用育苗移栽，傳統(tǒng)的移栽作業(yè)方式要求大量的手工作業(yè)，制約了蔬菜栽培的發(fā)展[3]．設(shè)施園藝智能化是當(dāng)前包括中國在內(nèi)的世界農(nóng)業(yè)智能化裝備的研發(fā)熱點和產(chǎn)業(yè)升級重點[4-6]，自動化作業(yè)可以解放人的手工勞動，在保持質(zhì)量穩(wěn)定的同時使作業(yè)速度成倍提高，但目前距離產(chǎn)業(yè)化應(yīng)用仍存在目標(biāo)檢測、 種苗識別等技術(shù)瓶頸需要突破[7].

發(fā)芽率是采購種子時計算成本的重要依據(jù)，對研究農(nóng)作物適宜的環(huán)境條件亦有意義．由于穴盤播種普遍存在空穴問題，為保證出苗率，一般在1個穴位里放多粒種子，甚至通過補種獲得整齊一致的穴盤苗[8]．補種雖然可以提高穴盤的使用效率，但浪費種子，效率低，只適合人工操作，影響發(fā)芽率測算，也制約了移栽效率[9-10]．隨著計算機視覺和圖像處理技術(shù)的進(jìn)步，實施單粒精量播種有利于在線檢測種子的發(fā)芽率和提高移栽效率[11-12]．現(xiàn)代檢測技術(shù)已經(jīng)形成了自動化操作，逐步替代了人工目測的傳統(tǒng)檢測方法，產(chǎn)品的檢測效率極大提高[13-14]．目前，機器視覺已應(yīng)用到農(nóng)業(yè)生產(chǎn)的多個檢測環(huán)節(jié)，如：種子的篩選和質(zhì)量檢驗[15]、 蔬菜生長狀況的監(jiān)測[16]、 蔬菜秧苗形態(tài)測量[17]、 蔬菜新鮮度分級[18]、 雜草的檢測[19]等．配置視覺的檢測系統(tǒng)可在線監(jiān)測穴盤苗的發(fā)芽生長情況，不受空穴問題影響.

本文設(shè)計的基于機器學(xué)習(xí)的發(fā)芽率在線視覺檢測系統(tǒng)，是基于機器學(xué)習(xí)的圖像特征提取方法和分類方法[20-22]，實現(xiàn)對穴盤苗發(fā)芽階段的圖像檢測[23-25]； 基于多視圖定位原理，提出融合不同視角的檢測結(jié)果計算穴孔的可信度； 最后對系統(tǒng)進(jìn)行試驗，驗證了穴盤苗檢出率、 穴位檢出率和誤檢率等詳細(xì)指標(biāo).

1 系統(tǒng)簡介

1.1 系統(tǒng)整體組成

穴盤苗發(fā)芽率在線視覺檢測系統(tǒng)如圖1所示，主要由傳送控制系統(tǒng)、 支撐架、 移栽機構(gòu)、 夾持手爪、 檢測相機、 穴盤和傳送帶組成．在育苗室，穴盤苗通過上料機推送至傳送帶后隨傳動帶運動，檢測相機對穴盤苗進(jìn)行拍照，采集圖像并輸送至計算節(jié)點．計算節(jié)點對發(fā)芽種苗進(jìn)行圖像識別，計算出種子的發(fā)芽情況和生長姿態(tài)以及所在的穴孔并保存記錄.

圖1 穴盤苗發(fā)芽率在線視覺檢測系統(tǒng)示意圖

1.2 設(shè)計要求和工作原理

植物工廠是設(shè)施園藝的高級形式，由于種子出苗率的問題，在育苗階段要檢測發(fā)芽率、 生長情況和種苗的位置信息，一般設(shè)施園藝生產(chǎn)中使用 “單機檢測”或“人工檢測”，這種方式存在性能瓶頸，制約了穴盤的輸送速度，無法滿足高速的需求．從規(guī)模效率的角度出發(fā)，在線視覺檢測具有高速、 非接觸式的優(yōu)點，滿足植物工廠大規(guī)模、 高速、 高精度檢測的需求.

穴盤苗發(fā)芽率在線視覺檢測系統(tǒng)工作原理是通過將多個視圖檢測結(jié)果融合達(dá)到提高檢測精度，同時估算種苗所在穴位的效果，主要包括多相機采集圖像、 網(wǎng)絡(luò)傳輸、 機器學(xué)習(xí)方法快速檢測和多視圖檢測結(jié)果融合算法等環(huán)節(jié).

2 穴盤苗視覺檢測

2.1 穴盤苗圖像

從油麥菜種子的穴盤苗圖像可觀測到發(fā)芽的情況，如圖2所示．圖片來自于頂部視角拍攝．穴盤是黑色塑料制品，共有72個穴孔，采取6×12排列，每個穴孔放有1棵種子在椰糠混合土栽培基質(zhì)中.

圖2 穴盤苗的頂視圖

客觀存在各個穴孔發(fā)芽情況不一致及空穴的現(xiàn)象．種子發(fā)芽除了本身發(fā)育完全的內(nèi)在條件外，還受到外部環(huán)境條件的影響，外部環(huán)境條件包括水分、 氧氣、 溫度、 光線等，對應(yīng)的種苗發(fā)芽的不同階段在圖像上也呈現(xiàn)不同的效果，過早可能葉片還沒有展開，過晚有的種苗已經(jīng)長出多片葉子．種苗發(fā)芽的方向和姿態(tài)、 發(fā)芽的進(jìn)度是系統(tǒng)檢測發(fā)芽率的重要影響因素.

2.2 圖像預(yù)處理

2.2.1 檢測種苗

種苗在顏色和形狀上與背景存在明顯的差異，用顏色特征可以區(qū)分種苗與背景，作為檢測種苗的依據(jù)，這種用顏色特征的方法具有較高的魯棒性．通常相機采集的彩色圖像為RGB模型，不能直接使用，要轉(zhuǎn)換為在植物葉片檢測中廣泛使用的HSV模型．本文先將獲得的彩色圖像進(jìn)行顏色模型轉(zhuǎn)換，然后將提取種苗所擁有的綠色并過濾掉綠色以外的顏色.

2.2.2 顏色模型轉(zhuǎn)換

對人而言，最直觀的顏色模型是HSV(Hue色相、 Saturation飽和度、 Value/Brightness亮度，也叫HSB)模型，HSV模型是由A. R. Smith在1978年創(chuàng)建的一種顏色空間，也稱六角錐體模型．在自然界單色光有自己獨特的光譜特征，HSV模型中H表示色彩信息，即光譜顏色所在的位置，提取種苗的綠色要選擇對應(yīng)的H值； 飽和度S是一個比例值，表示所選顏色的純度和該顏色最大的純度之間的比率；V表示色彩的明亮程度，與光強度無直接關(guān)系．用H和S表示顏色距離，對于不同的彩色區(qū)域，混合H與S變量，根據(jù)劃定的閾值就可以進(jìn)行簡單快速的顏色分割．在HSV色域中，色調(diào)H用角度表示，取值范圍為H∈[0°，360°]，從紅色開始按逆時針方向計算，紅色為0°，綠色為120°，藍(lán)色為240°； 飽和度S取值范圍為S∈[0.0，1.0]； 亮度V取值范圍為V∈[0.0，1.0].

彩色圖像從RGB模型轉(zhuǎn)換為HSV模型，計算方法如下：

首先，將圖像的RGB值做歸一化處理，即將每個通道的取值范圍由(0～255)映射到(0～1.0)，新的RGB模型計算，如公式(1)所示.

(1)

取新的R′G′B′模型的最大值Cmax和最小值Cmin，如公式(2)所示：

Cmax=max(R′，G′，B′)

Cmin=min(R′，G′，B′)

(2)

求最大值與最小值的差，如公式(3)所示.

Δ=Cmax-Cmin

(3)

公式(4)～(6)分別計算H，S和V的值.

(4)

(5)

V=Cmax

(6)

2.2.3 彩色圖像灰度化

種苗的顏色是綠色，與穴盤、 基質(zhì)以及其他設(shè)備的顏色有明顯的區(qū)別，因此利用HSV模型對綠色的連續(xù)表示，將綠色從背景顏色中提取出來，提取后的圖像只包含綠色和去除背景部分的黑色，將綠色替換成白色就可以獲得灰度圖，效果如圖3所示.

圖3 不同相機的檢測結(jié)果

2.3 穴盤苗視覺檢測

2.3.1 穴盤苗的圖像質(zhì)量和目標(biāo)檢測方法

由于種苗發(fā)芽生長的姿態(tài)不同，機器要像人一樣快速準(zhǔn)確檢測種苗是一項具有挑戰(zhàn)性的工作．在基于特征的目標(biāo)檢測研究上，局部歸一化的方向梯度直方圖(Histograms of Oriented Gradient，HOG)相比于傳統(tǒng)的小波、 SIFT、 形狀上下文方法有更好的表現(xiàn)[24]．HOG特征檢測種苗的基本原理是利用圖像的梯度和邊緣方向的密度分布描述圖像中種苗的外觀和形狀，HOG特征檢測種苗的方法是提取紋理特征，不受顏色變化影響，對光照變化、 陰影等噪聲具有較好的魯棒性．HOG只能用于彩色圖像或灰度圖，無法用于二值圖.

提取HOG特征后就需要進(jìn)行分類，使用核方法的SVM是目前廣泛使用的分類器，在圖像分類任務(wù)上有很好的性能表現(xiàn)．SVM是在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上發(fā)展起來的機器學(xué)習(xí)算法，以結(jié)構(gòu)風(fēng)險最小化原理為準(zhǔn)則，能夠有效解決過擬合、 落入局部極值和“維數(shù)災(zāi)難”等問題，在解決小樣本、 非線性、 高維空間模式識別問題中表現(xiàn)出良好的推廣性和較好的分類準(zhǔn)確性.

2.3.2 多視圖融合定位

發(fā)芽種苗所在的穴位是一項重要的信息，可根據(jù)多視圖檢測結(jié)果分析得出．之所以采用多視圖，一方面是視覺檢測存在漏檢和誤檢； 另一方面則是由于種苗生長方向的不確定性以及拍照角度的問題，檢測結(jié)果誤判種苗落在其他穴孔上.

標(biāo)準(zhǔn)統(tǒng)一的工業(yè)產(chǎn)品使用單個攝像頭即可完成準(zhǔn)確的檢測，但應(yīng)用在種苗的穴位判斷上，單個相機的檢測結(jié)果不足以獲得好的漏檢率和誤判率，如圖3所示．通過頂視圖觀察，種苗的葉片在邊界上，根系則可能是在上部分穴位，也可能是在下部分穴位，即使圖像檢測成功，仍然不能判斷穴位； LT(左前)視圖和RT(右前)視圖觀察種苗葉片在下部分穴位，根據(jù)圖像檢測結(jié)果判斷穴位是誤判； LB(左后)視圖和RB(右后)視圖觀察種苗葉片在上部分穴位，根據(jù)圖像檢測結(jié)果判斷穴位是正確的．利用多個相機從不同視角采集圖像信息進(jìn)行融合后判斷，不僅減少漏檢，還可減小誤判幾率.

多視圖融合判斷穴位算法描述如下：

if detctor(TOP) at border：

ret1=0.6

ret2=check_location (LT | RT | LB | RB)

ret3=check_ neighbors (TOP)

location_dependability=ret1+ ret2+ ret3

else if detctor(TOP) at center：

ret1=high_location_dependability(TOP)

ret2=high_location_dependability(LT | RT | LB | RB)

location_dependability=ret1+ ret2

else：

if detctor (LT | RT | LB | RB) at border：

location_dependability=low_location_dependability(LT | RT | LB | RB)

else ifdetctor(LT | RT | LB | RB) at center：

location_dependability=high_location_dependability(LT | RT | LB | RB)

else：

NULL，NO Seedling

3 試驗與結(jié)果分析

3.1 穴盤苗發(fā)芽檢測試驗

3.1.1 試驗方案

為測試多視圖融合下的發(fā)芽檢測效果，本文采用小樣本訓(xùn)練算法，然后分別對采集的5個視圖圖像進(jìn)行檢測，如圖4所示．試驗的穴盤共有72個穴位，其中左下方的1個穴位空著作為標(biāo)記，有9個穴位的種子沒有發(fā)芽，因此最終有62個穴位的種子成功發(fā)芽．5個方向的檢測試驗得到的成功率各不相同，LT視圖檢測到42個，RT視圖檢測到44個，TOP視圖檢測到40個，LB視圖檢測到39個，RB視圖檢測到33個，分別對應(yīng)圖4的LT，RT，TOP，LB和RB子圖.

圖4 種苗檢測結(jié)果

3.1.2 結(jié)果與分析

由試驗結(jié)果可以得到，單個相機的檢測發(fā)芽率與實際發(fā)芽率存在較大偏差，存在漏檢問題，所以穴盤苗的檢出率低．單個視圖檢測算法優(yōu)化只能減小漏檢，但不能消除漏檢，而且減少漏檢的同時會導(dǎo)致誤檢增多．本文探討多視圖信息融合的方法提升檢測效果，在無誤檢的前提下減少漏檢，因此進(jìn)一步做了穴盤苗定位試驗.

3.2 穴盤苗定位試驗

3.2.1 試驗方案

多視圖檢測結(jié)果畫矩形框，框的中心分別用不同的符號表示．符號“*”表示TOP視圖檢測結(jié)果框的中心，符號“o”表示LT和RT視圖檢測結(jié)果框的中心，符號“+”表示LB和RB視圖檢測結(jié)果框的中心，配上穴盤苗原圖作為對比，檢測結(jié)果疊加效果如圖5所示．種子沒有發(fā)芽的9個穴位分別是K1，I4，I5，G4，F(xiàn)3，E4，E6，C5和A4.

圖5 多視圖檢測結(jié)果疊加對比

3.2.2 結(jié)果與分析

表1 穴位有種苗的可信度

4 結(jié) 論

本文設(shè)計了一種基于機器學(xué)習(xí)的穴盤苗發(fā)芽率在線視覺檢測系統(tǒng)，通過多視圖融合可以顯著地提高穴位的檢出率．首先，使用顏色空間模型對輸入穴盤苗圖像進(jìn)行變換預(yù)處理，并歸一化到統(tǒng)一的尺寸； 然后，在預(yù)處理后的圖像上制作訓(xùn)練集和測試集，為了提高運算速度，采用基于HOG特征和SVM分類器的方法，提取HOG特征，送入支撐向量機進(jìn)行分類； 最后，將單視圖檢測結(jié)果匯聚疊加，用多視圖融合方法計算每個穴位的可信度，根據(jù)可信度判定待移栽的穴位．試驗結(jié)果表明，單視圖的檢出率較低，但通過多視圖融合的方法不僅提高了檢出率，而且有效減少了誤檢率和漏檢率，該算法能較好地完成穴盤苗的目標(biāo)檢測，準(zhǔn)確地定位發(fā)芽幼苗的穴位，同時多視圖檢測與傳統(tǒng)單視圖檢測需要停頓相比，在實時檢測的效率上有明顯的改進(jìn)，具有一定的應(yīng)用價值.