沈曉晨　李霞　王維新

摘要：針對采棉機(jī)械手棉花識別定位難的問題，提出一種基于機(jī)器視覺的棉花識別與定位方法，搭建出雙目立體視覺系統(tǒng)，在此基礎(chǔ)上通過相機(jī)標(biāo)定、圖像采集、圖像處理、特征提取等過程，計算得出棉株的深度信息以及其成熟棉花的三維信息，其深度平均誤差值為255 mm，單位坐標(biāo)誤差均值為（28 mm，-14 mm，-135 mm）。結(jié)果表明，基于雙目立體視覺對棉株上的成熟棉花進(jìn)行三維空間上的識別定位是可行的。

關(guān)鍵詞：棉花采摘機(jī)器人；雙目立體視覺；成熟棉花；圖像分割；識別定位；深度信息；三維信息

中圖分類號： S22591文獻(xiàn)標(biāo)志碼：

文章編號：1002-1302（2017）16-0185-04

收稿日期：2016-03-31

基金項目：國家自然科學(xué)基金（編號：51405312）。

作者簡介：沈曉晨（1991—），男，湖北襄陽人，碩士研究生，主要從事圖像處理。E-mail：510134974@qqcom。

通信作者：李霞，博士，副教授，主要從事機(jī)械設(shè)計及其自動化研究。E-mail：lixia0415@163com。

棉花是我國重要的工業(yè)基礎(chǔ)及戰(zhàn)略物資，也是廣大棉農(nóng)脫貧致富的重要作物，在農(nóng)業(yè)生產(chǎn)中占有重要的經(jīng)濟(jì)地位。新疆由于具備獨(dú)特的光熱資源，已成為全國最大的商品棉生產(chǎn)基地[1-3]。新疆棉花總產(chǎn)量、國內(nèi)銷售量以及出口量連續(xù)多年位居全國之首，已經(jīng)成為當(dāng)?shù)氐闹еa(chǎn)業(yè)[4]。新疆與國外的棉花種植模式差別較大，棉花品種不同，且國產(chǎn)采棉機(jī)的采摘效率不太理想，而由于進(jìn)口采棉機(jī)價格成本太高、零配件價格高、維修費(fèi)用高、服務(wù)不及時等因素的影響，農(nóng)民接受不了，難以推廣[5]，因此棉花采收一直是制約新疆棉花發(fā)展和經(jīng)濟(jì)效益提高的重要因素之一。根據(jù)目前情況，亟需研究出機(jī)械化、智能化的棉花采摘機(jī)器人，新疆的棉花種植區(qū)域比較集中，具有農(nóng)業(yè)機(jī)械化、智能化的發(fā)展優(yōu)勢，因此充分利用先進(jìn)技術(shù)和裝備并結(jié)合人工采摘和機(jī)械化采摘的優(yōu)點(diǎn)，開發(fā)一種新型的棉花收獲智能機(jī)已成為當(dāng)前的緊迫任務(wù)。其中視覺系統(tǒng)主要解決的是棉花自動識別與定位，也是機(jī)械化、智能化棉花采摘機(jī)器人的關(guān)鍵難題。

目前，在果蔬收獲機(jī)器人工作方面已有多國展開了研究，美國學(xué)者Schertz和Brown于1968年首次提出使用機(jī)器人來完成一些采摘作業(yè)的思想，Takahashi等依據(jù)蘋果在雙目立體視覺系統(tǒng)中左右圖像對中的視差，利用三維空間分割將2幅圖像合成1幅中心圖像[7-9]。Kondo等用4個光源以及3個攝像機(jī)組成了草莓采摘機(jī)器人[10]，雖然國內(nèi)在農(nóng)業(yè)采摘機(jī)器人領(lǐng)域開展研究比較晚，但發(fā)展速度快，目前已獲得很多研究成果。劉兆祥等根據(jù)蘋果樹的反射光譜特性，利用激光的反射差異和三角測量原理實(shí)現(xiàn)蘋果的識別與定位[11]。劉坤等為準(zhǔn)確識別自然環(huán)境中被遮擋的棉花，提出了使用隨機(jī)Hough變換來識別棉花的方法[12]。趙杰文等選取HIS色彩空間的H通道對田間的番茄采用閾值分割的方法進(jìn)行識別。徐惠榮等利用顏色信息差來進(jìn)行識別柑橘，同時在順光、逆光的情況下進(jìn)行了柑橘的識別研究[14]。在棉花圖像分割方面，王勇等分析了棉田環(huán)境中不同對象在幾種常用色彩空間下的顏色特征，提出了一種采用R-B色差模型的分割策略[15]。韋皆頂?shù)冗x取HSV色彩空間中的S通道對棉花進(jìn)行閾值分割[16]。

本研究基于機(jī)械視覺對成熟棉花進(jìn)行識別定位，以期為實(shí)現(xiàn)成熟棉花的機(jī)械手采摘提供參考。

1材料與方法

11設(shè)備與材料

采用1對維視圖像的MV-VS 078FM/FC高速工業(yè)CCD攝像機(jī)作為實(shí)時計算機(jī)視覺系統(tǒng)的圖像采集設(shè)備，該攝像頭采用高速USB 20接口，焦距≥20 mm，視野角度≥50°，圖像輸出格式為RGB24（24位真彩色），動態(tài)捕獲存儲格式為AVI；計算機(jī)采用惠普臺式液晶電腦，其基本配置為220 GHz主頻，400 GB的內(nèi)存，1 024 MB的顯卡，640 G硬盤，CPU為Intel（R）Core（TM）2DuoCPU T6670，電腦的操作系統(tǒng)為Window XP專業(yè)版32位SP3（DirectX90c）；數(shù)據(jù)處理采用Excel 2007，圖像處理軟件為Matlab 2015b。試驗(yàn)所用的棉花棉株均來自于石河子大學(xué)惠遠(yuǎn)種業(yè)試驗(yàn)田，所有棉株均含有不少于3個成熟棉花，且具有普遍性。成熟棉株圖像采集于2013年10月。

12方法

在實(shí)驗(yàn)室環(huán)境下，將采集的成熟棉花棉株置于栽盆中，在32 W熒光燈照射下，以栽盆為基準(zhǔn)中心，間隔不同距離多次采集，由于采棉機(jī)械手最優(yōu)采棉距離在550～650 mm之間，所以在此范圍內(nèi)隨機(jī)從6個距離點(diǎn)采集成熟棉花圖像。每個距離點(diǎn)采集3組，共36幅圖像，并對采集的棉花圖像利用Matlab軟件編寫好的GUI進(jìn)行圖像處理。

2雙目立體視覺

21雙目視覺原理

雙目立體視覺指的是仿照人類雙眼感知距離的方法，以實(shí)現(xiàn)機(jī)械視覺對三維信息的感知，通常基于三角測量的方法，利用2個或多個攝像頭對同一景物從不同位置形成圖像，從而通過視差恢復(fù)距離信息。雙目立體視覺模型一般可分為匯聚式立體視覺模型和平行式立體視覺模型。由于平行式立體視覺模型需要相機(jī)與其光軸絕對平行，而這在實(shí)驗(yàn)室條件下很難實(shí)現(xiàn)，所以一般多采用匯聚式立體視覺模型進(jìn)行立體視覺的運(yùn)用。在該模型下空間內(nèi)的任意一點(diǎn)P（X，Y，Z）過C1、C2攝像頭拍攝圖像的投影點(diǎn)像素坐標(biāo)分別為P1（u1，v1）、P2（u2，v2），假設(shè)P1、P2的坐標(biāo)點(diǎn)已知，則可以利用攝像頭的內(nèi)部參數(shù)和外部參數(shù)反求出P點(diǎn)的世界坐標(biāo)，即為P=M1-1P1和P=M2-1P2。M1、M2的計算公式分別為：

[JZ（]M1=[JB（[]ax1γ1uo100ay1vo100010[HL）]]；[JZ）][JY]（1）

[JZ（]M2=[JB（[][HL（4]ax2γ2uo200ay2vo200010[HL）]] [JB（[]RT01]。[JZ）][JY]（2）

式中：ax1、ay1、ax2、ay2分別為攝像頭C1、C2在x軸和y軸上的焦距；γ1、γ2分別為攝像頭C1、C2的不垂直因子；（uo1，vo1）、（uo2，vo2）分別為攝像頭C1、C2光軸像素坐標(biāo)；R、T分別為旋轉(zhuǎn)矩陣和平移矩陣。

22相機(jī)標(biāo)定

相機(jī)標(biāo)定在于獲取精確的相機(jī)內(nèi)部參數(shù)（焦距、失真系數(shù)、不垂直因子）以及外部參數(shù)（旋轉(zhuǎn)矩陣、平移矩陣）。本次標(biāo)定試驗(yàn)采用Jean-Yves Bouguet的 Camera Calibration Toolbox-Standard Version和 Stereo CameraCalibration Toolbox攝像機(jī)標(biāo)定工具箱進(jìn)行雙目攝像頭標(biāo)定，先用左右2個CCD攝像機(jī)從不同位置采集10對標(biāo)定板圖像；然后利用Camera Calibration Toolbox-Standard工具箱分別讀入左右CCD攝像機(jī)采集的標(biāo)定板圖像（圖1）；最后采用交互式的角點(diǎn)區(qū)域提取方法，利用Matlab軟件對標(biāo)定板圖像進(jìn)行自動角點(diǎn)檢測，得到左/右攝像頭內(nèi)部參數(shù)，并通過Camera Calibration Toolbox-Standard工具箱得到校正后的左/右攝像頭外部參數(shù)（表1）。

注：平移向量與旋轉(zhuǎn)向量皆為右攝像頭相對于左攝像頭的位置關(guān)系。

3圖像分割與特征點(diǎn)匹配

31棉花圖像分割

棉花的圖像分割作為識別定位的預(yù)先處理，其質(zhì)量直接決定后序的識別定位效果，圖像分割是把圖像分成各具特性的區(qū)域并提取出所需目標(biāo)的技術(shù)和過程，以便棉花采摘機(jī)器人的視覺識別系統(tǒng)根據(jù)對圖像的理解進(jìn)行作業(yè)。圖像分割是圖像識別和分析的首要問題，因此圖像分割技術(shù)一直受到研究者們的高度重視，現(xiàn)已提出了上千種分割算法，目前分割方法主要有閾值分割方法、聚類分割法[17]、區(qū)域增長法[18]、基于邊緣檢測的圖像分割方法[19]和基于神經(jīng)網(wǎng)絡(luò)的圖像分割方法[20]等。由于計算機(jī)的智能程度和速度還遠(yuǎn)沒有達(dá)到人的水平，到現(xiàn)在為止圖像分割問題還不存在一個通用的方法，也不存在一個判斷分割是否成功的客觀標(biāo)準(zhǔn)。圖像分割的任務(wù)是把圖像中感興趣的目標(biāo)區(qū)域提取出來，本研究中的圖像分割是把成熟棉花從其自然背景中提取并標(biāo)記出來。利用成熟棉花果實(shí)與周圍環(huán)境顏色特征的差異性，主要采用基于Eckhorn的貓視覺皮層模型的圖像分割方法——基于脈沖耦合神經(jīng)網(wǎng)絡(luò)（pulse coupled neural net），并顯示了其優(yōu)越性。最初的分割數(shù)學(xué)方程描述如公式（3）所示：

3）式中：Fij表示第（i，j）個神經(jīng)元的第n次輸入；β為連接系數(shù)；Sij表示外部輸入激勵信號，即點(diǎn)（i，j）對應(yīng)像素的灰度值；M為連接矩陣的元素；Lij（n）為連接輸入；VL為連接幅度常數(shù)；Uij（n）為內(nèi)部活動項；αθ為迭代衰減時間常數(shù)；θij（n）為動態(tài)闊值；Vθ為連接權(quán)放大系數(shù)；Yij（n）為神經(jīng)元的輸出。但由于基于脈沖耦合神經(jīng)網(wǎng)絡(luò)（PNCC）的圖像分割，圖像的層次性被極大地削弱了，且對圖像后續(xù)的處理造成了麻煩。因此，本研究通過其高β值對傳統(tǒng)的PNCC進(jìn)行改進(jìn)，改進(jìn)后的脈沖耦合神經(jīng)網(wǎng)絡(luò)（PNCC）的圖像分割數(shù)學(xué)方程描述如公式（4）所示：

式中：U（n）為內(nèi)部活動項；θ（n）為動態(tài)闊值；D（n）表示第n次脈沖反饋輸入矩陣；L為線性連接通道輸出矩陣；Cij（n）表示非線性輸出矩陣；Yij為神經(jīng)元的脈沖輸出矩陣。

基于PNCC[21]的多值分割法對R-B灰度圖進(jìn)行分割試驗(yàn)，圖像分割結(jié)果如圖2所示。通過大量的試驗(yàn)可以看出，采用基于PNCC的多值分割法，圖像分割的分割率≥9168%，并且有效保留了圖像的層次性。

32成熟棉花目標(biāo)的特征點(diǎn)匹配

立體匹配即在左圖像和右圖像中分別找出真實(shí)世界中的某一點(diǎn)在2個攝像機(jī)成像平面上的匹配投影點(diǎn)。主要方法是依據(jù)目標(biāo)物體的顏色、幾何形狀等特征，從立體視覺系統(tǒng)左、右攝像機(jī)同時拍攝的一組圖像中通過某個特征從一副圖像的某點(diǎn)搜素另一幅圖像的匹配點(diǎn)。為了使匹配的過程達(dá)到一定的抗噪能力[22-23]，同時減少歧義性，提出了特征匹配。由于不受灰度的影響，所以抗干擾性較強(qiáng)，同時計算量小、速度快，滿足了相同的實(shí)時性。特征點(diǎn)的選取和匹配，是利用雙目立體視覺技術(shù)獲得目標(biāo)物體三維信息的關(guān)鍵。成熟棉花在攝像機(jī)成像的投影近似一個標(biāo)準(zhǔn)的圓形，所以其在二維圖像的形心基本是在攝像機(jī)平面上投影所形成的標(biāo)準(zhǔn)圓形的圓心，因此左右圖像上的圓心是一對最佳的匹配點(diǎn)，同時也是棉花采摘過程中理想的采摘點(diǎn)，因此可以直接提取并用于三維信息的計算。利用左、右攝像機(jī)采集圖像中成熟棉花投影圓心的提取結(jié)果如圖3所示。

4成熟棉花定位

41棉株深度信息

對分割好的圖像進(jìn)行進(jìn)行特征點(diǎn)匹配，等距的3組6幅圖像的特征點(diǎn)坐標(biāo)取均值，以減小偶然誤差，處理完成得到6組不同距離的成熟棉花特征點(diǎn)數(shù)據(jù)。現(xiàn)取每個特征點(diǎn)的1對左右匹配點(diǎn)P1、P2數(shù)據(jù)，利用相機(jī)標(biāo)定得到的投影矩陣M1、M2，反求出特征點(diǎn)的世界坐標(biāo)（X，Y，Z），Z即為棉株的深度信息。試驗(yàn)數(shù)據(jù)見表2，計算出來的深度誤差值平均為 255 mm，可以滿足采棉機(jī)械手對不同棉株深度精確的要求。

42同一棉株不同位置成熟棉花的定位識別

由于棉株上存在多個棉桃，因而采棉機(jī)械手須要知曉棉株上對應(yīng)成熟棉花的多個特征點(diǎn)的坐標(biāo)，其精準(zhǔn)度直接由機(jī)械視覺機(jī)構(gòu)給定的匹配點(diǎn)空間坐標(biāo)的誤差值決定。本研究對同一棉株不同位置的成熟棉花定位識別，任取一個等距的組，其特征點(diǎn)的計算坐標(biāo)與實(shí)際坐標(biāo)如表3所示，得到其平均坐標(biāo)誤差值為（28 mm，-14 mm，-135 mm），表明滿足同一棉株不同位置的棉花識別定位的精確度要求。

5結(jié)論

在分析研究成熟棉花視覺系統(tǒng)設(shè)計要求的基礎(chǔ)上，建立了適合本研究所使用的雙目立體視覺系統(tǒng)，搭建了試驗(yàn)平臺，

并對雙目相機(jī)攝像頭進(jìn)行了標(biāo)定，用標(biāo)定好的相機(jī)對棉花圖像進(jìn)行采集，提出了一種基于PNCC的多值分割法。在相機(jī)標(biāo)定及目標(biāo)識別的基礎(chǔ)上，利用基于形心特征匹配方法來實(shí)現(xiàn)果實(shí)目標(biāo)的匹配，并利用雙目立體視覺原理對基于空間點(diǎn)三維信息的計算進(jìn)行研究，對棉花特征點(diǎn)進(jìn)行深度恢復(fù)，實(shí)現(xiàn)棉株空間的初步定位，并進(jìn)一步對棉株上的成熟棉花進(jìn)行坐標(biāo)定位。結(jié)果表明，該定位方法具有很高的精確度，能夠滿足采棉機(jī)械手的定位要求。

因此，基于機(jī)器視覺對棉株上的成熟棉花進(jìn)行三維空間上的識別定位是可行的，在后期的研究過程中，將采取更規(guī)范的試驗(yàn)操作以減小其識別定位的偶然誤差、提高成熟棉花的識別定位精度，使得采棉機(jī)械手采棉作業(yè)的識別定位更加精準(zhǔn)。

參考文獻(xiàn)：

新疆年鑒社 新疆年鑒2011[M] 北京：中國統(tǒng)計出版社，2011

新疆統(tǒng)計局 新疆統(tǒng)計年鑒2011[M] 新疆：新疆生產(chǎn)建設(shè)新疆年鑒社，2011

[3]李生軍 棉花收獲機(jī)械化[M] 新疆：新疆科學(xué)技術(shù)出版社，2008

[4]中華人民共和國農(nóng)業(yè)部采棉機(jī)作業(yè)質(zhì)量：NY/T 1133—2006[S] 2006

[5]耿端陽，張鐵中，羅輝，等 我國農(nóng)業(yè)機(jī)械發(fā)展趨勢分析[J] 農(nóng)業(yè)機(jī)械學(xué)報，2004，35（4）：208-210

[6]Kondo N，Nishitsuji Y，Ling P P，et al Visual feedback guided robotic cherry tomato harvesting[J] Transactions of the Asae，1996，39（6）：2331-2338

[7]Takahashi T，Zhang S，Sun M，et al New method of image processing for distance measurement by a passive stereo vision[C] An ASAE Meeting Presentation，1998

[8]Takahashi T，Zhang S H，F(xiàn)ukuchi H，et al Binocular stereo vision system for measuring distance of apples in orchard（Part 1）—Method due to composition of left and rightimages[J] Journal of the Japanese Society of Agricultural Machinery，2000，62（1）：89-99

[9]Takahashi T，Zhang S，F(xiàn)ukuchi H，et al Binocular stereo vision system for measuring distance of apples in orchard（Part 2）—Analysis of and solution to the correspondence problem[J] Journal of the Japanese Society of Agricultural Machinery，2000，62（3）：94-102

[10]Kondo N，Ninomiya K，Hayashi S，et al A new challenge of robot for harvesting strawberry grown on table top culture[C] ASAE Annual International Meeting，2005

[11]劉兆祥，劉剛，喬軍 蘋果采摘機(jī)器人三維視覺傳感器設(shè)計[J] 農(nóng)業(yè)機(jī)械學(xué)報，2010，41（2）：171-175

[12]劉坤，費(fèi)樹岷，汪木蘭，等 基于改進(jìn)隨機(jī)Hough變換的棉桃識別技術(shù)[J] 農(nóng)業(yè)機(jī)械學(xué)報，2010，41（8）：160-165

[13]趙杰文，劉木華，楊國彬 基于HIS顏色特征的田間成熟番茄識別技術(shù)[J] 農(nóng)業(yè)機(jī)械學(xué)報，2004，35（5）：122-124，135

[14]徐惠榮，葉尊忠，應(yīng)義斌 基于彩色信息的樹上柑橘識別研究[J] 農(nóng)業(yè)工程學(xué)報，2005，21（5）：98-101

[15]王勇，沈明霞，姬長英 采摘期成熟棉花不同部位顏色識別分析[J] 農(nóng)業(yè)工程學(xué)報，2007，23（4）：183-185

[16]韋皆頂，費(fèi)樹岷，汪木蘭，等 基于HSV彩色模型的自然場景下棉花圖像分割策略研究[J] 棉花學(xué)報，2008，20（1）：34-38

[17]徐德，譚民，李原 機(jī)器人視覺測量與控制[M] 北京：國防工業(yè)出版社，2011：35-36

[18]宋村夫 基于雙目立體視覺的催淚彈智能化發(fā)射系統(tǒng)設(shè)計[D] 長沙：國防科學(xué)技術(shù)大學(xué)，2011

[19]王星，劉金義 基于HSI的彩色圖像二值化技術(shù)研究[J] 科學(xué)技術(shù)與工程，2011，11（19）：4609-4611

[20]楊轉(zhuǎn) 基于HSI顏色模型的雜草與 土壤背景分割方法研究[J] 河北農(nóng)業(yè)大學(xué)學(xué)報，2011，34（4）：124-127

[21]趙小川 現(xiàn)代數(shù)字圖像處理技術(shù)提高及應(yīng)用案例詳解[M] 北京：北京航空航天大學(xué)出版社，2012

[22]鄧姿 基于立體視覺的三維粒子圖像處理[D] 大連：大連理工大學(xué)，2006

[23]胡新宇 基于機(jī)器視覺的家蠶微粒子圖像識別方法的研究[D] 武漢：武漢理工大學(xué)，2011