孫 力，蔡健榮，李永平，趙杰文，袁雷明

(1.江蘇大學食品與生物工程學院，江蘇 鎮(zhèn)江 212013;2.寧波大紅鷹學院，浙江 寧波 315175)

視覺系統(tǒng)作為采摘機器人的一個重要組成部分，其主要任務包括采摘目標的識別、定位及相關特征的提取.目前，雙目立體視覺技術、超聲成像技術和激光掃描成像等三維成像技術得到了廣泛的關注與研究.

雙目立體視覺技術［1－4］通過適合的顏色空間對果實進行識別，并利用Hough變換、分水嶺算法及幾何學方法有效地處理了果實的重疊與遮擋現(xiàn)象，最后立體匹配算法實現(xiàn)對果實的定位.由于遮擋和光線變化導致同一目標在雙目圖像中所提取區(qū)域存在差異性，致使目標深度信息不準確，同時立體匹配算法復雜、耗時.

超聲成像技術和激光掃描成像技術等傳統(tǒng)有源定位裝置［5－6］通過獲取每個像素信息的三維圖像，通過對果實表面的三維特征及光譜吸收特性的分析，實現(xiàn)對果實的識別與定位，研究表明，上述方法定位精度較高，但實時性較差、成本高，難以推廣.

TOF 三維成像技術［7－8］以其成像速度快、定位精度高和價格低廉等優(yōu)點在在環(huán)境感知、導航及目標跟蹤識別等領域得到了廣泛應用.文中擬采用TOF三維成像技術獲取自然生長柑橘樹的反射光強度信息和三維信息，并對信息進行預處理，運用圖像處理技術對深度信息進行濾波去噪，并分割出柑橘果實區(qū)域，并結合場景三維信息，獲取柑橘中心的三維坐標及其半徑值.

1 材料與方法

1.1 圖像采集

試驗采用MESA公司第4代時間飛行原理相機(SR4000)采集圖像.處理與分析圖像的計算機Pentium(R)Dual E2200，主頻 2.2 GHz，內(nèi)存 2.00 GB，操作系統(tǒng)Microsoft Windows XP，圖像采集與處理軟件開發(fā)平臺為Microsoft Visual Studio 2008、QT 4.6.4、Halcon 9.0 和 Swissranger API.采集地點:江蘇省鎮(zhèn)江市世業(yè)洲果園.

1.2 信息的采集與處理

TOF相機的測量主要利用了光的物理傳播特性.紅外光發(fā)射器向目標場景發(fā)出余弦調(diào)制信號，經(jīng)場景中物體反射后被光探測器接收，通過“四點測量法［9］”計算出各像素點處的三維信息與反射光幅值.

計算機通過實時采集處理程序獲取系統(tǒng)校正后的三維笛卡兒坐標矩陣(深度圖，矩陣尺寸為176×144)及代表反射光幅值的強度圖.通過式(1)將各測試點到相機平面的深度信息轉換為灰度圖像各像素的灰度值，實現(xiàn)三維數(shù)據(jù)的可視化.

式中:g(i，j)表示灰度圖像的灰度值;Z(i，j)表示傳感器獲取的深度值.

為了減小由連續(xù)的深度信息轉換至離散化的灰度值時產(chǎn)生的誤差，灰度圖像的像素類型選擇為16位，圖像中各像素點的三維坐標以數(shù)據(jù)庫形式保存.

強度圖中各像素灰度值代表了光探測器接收發(fā)射光的幅值，與物距、光譜發(fā)射率等因素相關，由于幅值的衰減與距離的平方成正比關系［10］，在對柑橘識別過程中，需將采集得到的強度信息結合深度信息通過式(2)進行校正，以消除物距對強度圖灰度值產(chǎn)生的影響.

式中:A'(i，j)為校正后的強度值;A(i，j)為原始強度值.經(jīng)過預處理之后的強度圖與深度圖如圖1所示.圖1a中白色區(qū)域的產(chǎn)生是因為樹枝與相機之間距離過近，導致曝光過度，該部分無柑橘存在，不影響柑橘識別.

圖1 采集系統(tǒng)圖像

1.3 自適應濾波模型

TOF成像效果受攝像機內(nèi)在因素和環(huán)境因素影響［11］，所捕獲的數(shù)據(jù)通常受噪聲污染，在距離連續(xù)區(qū)域會存在由系統(tǒng)噪聲產(chǎn)生的“毛刺”，而在物體邊緣區(qū)域會存在由混合像素引起的邊緣模糊性.為了同時實現(xiàn)對距離連續(xù)區(qū)域的平滑處理與邊緣區(qū)域的增強處理，提出了應用各向異性擴散與沖擊濾波耦合的濾波模型.模型方程如式(3)所示:

其中:u(x，y)為圖像函數(shù);u0(x，y)為初始含噪圖像;sgn()是符號函數(shù);函數(shù)g()為邊緣停止函數(shù)(定義見式4);div為散度算子;Δ是Laplace算子;▽為梯度算子;C1，C2為模型各項系數(shù)，用于調(diào)節(jié)各項的權值，取值均為1.

其中K為反差常數(shù)，取值為100.

模型前半部分Fdiffusion為 Perona-Malik(PM)各向異性模型［12］，其基本原理:首先利用梯度算子來辨別由噪聲引起的梯度變換和由邊緣引起的圖像梯度變換，然后用鄰域加權平均去除由噪聲引起的小梯度變換，同時保留由邊緣引起的大梯度變換，這個過程迭代進行，直至圖像中的噪聲去除;模型后半部分Fshock為沖擊濾波模型［13］，屬于形態(tài)學圖像增強，Laplace算子用于檢測邊緣區(qū)域，當結果是負值時，該像素周圍用膨脹算法，當結果是正值時，該像素周圍用腐蝕算法，通過迭代操作，在邊界處產(chǎn)生不連續(xù)性.模型在平坦區(qū)域時，沖擊濾波模型被抑制，主要表現(xiàn)為各向異性平滑;而在邊緣區(qū)域時，則主要表現(xiàn)為沖擊濾波邊緣增強.圖2為濾波前后對比效果圖，從切面深度曲線可以看出，在深度連續(xù)區(qū)域的“毛刺”得到了平滑處理，使柑橘表面深度連續(xù)性更強，同時，邊緣區(qū)域還得到了保留，后續(xù)應用深度信息進行識別與定位時，可靠性更強.

圖2 自適應濾波效果對比圖

2 柑橘的識別與定位

2.1 圖像分割

柑橘的識別與定位流程如圖3所示.

圖3 柑橘識別與定位流程圖

TOF相機發(fā)射光波長為850 nm，在此波段下，柑橘果實與樹葉、樹枝及土壤等其他物質(zhì)的光譜吸收特性存在差異［14］.柑橘邊緣區(qū)域光線折射現(xiàn)象比較嚴重，在強度圖上表現(xiàn)為灰度值較小，且與樹葉、樹枝等背景區(qū)域的灰度值區(qū)分度不強.因此，首先對幅值圖進行固定閾值的分割(設定閾值為12000～20000)，提取柑橘表面折射現(xiàn)象不明顯的區(qū)域，采用四鄰域順序法檢測連通區(qū)域，并通過面積閾值(設定閾值為25像素)去除噪聲小區(qū)域.由于去除噪聲干擾后得到的柑橘區(qū)域小于果實的實際區(qū)域，為了較完整的提取柑橘區(qū)域，分別對強度圖和深度圖進行區(qū)域生長處理，選取強度圖閾值分割得到區(qū)域的中心為種子點，相似性準則為某個像素歸入生長區(qū)域后，該區(qū)域平均灰度值與歸入前的平均灰度值小于設定的閾值(強度圖區(qū)域生長閾值設為3750，深度圖區(qū)域生長閾值設為1200)，當沒有像素滿足歸入條件時，停止區(qū)域生長，最后對生長區(qū)域進行面積閾值處理，保留區(qū)域面積大于30個像素的區(qū)域.由于對強度圖進行區(qū)域生長時得到的區(qū)域會將相鄰柑橘的區(qū)域歸并入同一個生長區(qū)域，而通過深度圖進行區(qū)域生長時得到的區(qū)域會將貼附于柑橘表面的樹葉歸并入同一個生長區(qū)域，因此，取兩部分生長區(qū)域的交集作為識別得到的目標區(qū)域，并以提取區(qū)域的距離極差和距離方差作為約束條件，去除由樹葉產(chǎn)生的噪聲.對約束條件下得到的區(qū)域取最小外接圓，并計算圓的中心點與半徑.根據(jù)前期對108個柑橘的測量，其半徑范圍為2.3～5.0 cm，以此為半徑閾值，對最小外接圓區(qū)域進行進一步篩選，篩選后的最小外接圓則被認定是柑橘本體區(qū)域.

2.2 三維信息的獲取

TOF相機的成像原理類似于小孔成像，根據(jù)相似三角形原理，可得到柑橘半徑的計算公式:

式中:Rcm為計算得到的柑橘半徑;Di為TOF相機像素間距;Rpx為最小外接圓的像素半徑;f為TOF相機焦距;z為物距.

通過查閱TOF相機產(chǎn)品參數(shù)，并結合式(1)可得到半徑值與深度圖像灰度值和像素半徑之間的關系式:

2.3 結果與分析

圖4為柑橘識別過程示例，其三維特征值見表1.

圖4 柑橘識別過程圖

表1 柑橘特征參數(shù) cm

在示例圖像中包括了遮擋(2號、4號和7號)、粘連(4號和5號)和重疊(3號、5號和6號)等影響果實識別的多種情況.通過對強度圖的處理，分割得到6個區(qū)域(圖4a)，其中7號柑橘由于遮擋嚴重，可見面積少，以面積閾值去除噪聲時被剔除.由于在柑橘邊緣部位光線折射嚴重，其強度信息與柑橘中間部位的強度信息差異明顯，因此，粘連和重疊柑橘被分割成不同區(qū)域.6個區(qū)域在通過后續(xù)處理，分割得到的區(qū)域均滿足距離極差、距離方差與半徑值3個約束條件，正確識別為柑橘區(qū)域.

試驗共對9棵自然生長的柑橘樹進行圖像采集，共有45個柑橘，采集的圖像中包含了果實遮擋、重疊、粘連等生長狀態(tài).用上述算法對果實進行識別，識別的柑橘總數(shù)為39，未識別的柑橘為13.3%，誤識別為柑橘的有0.經(jīng)過觀察，6個未被識別的柑橘中，其中3個柑橘由于距離過遠或遮擋嚴重，被面積閾值去除;1個柑橘被樹枝中間遮擋，分割成2個單獨部分，被面積閾值去除;1個未完全識別整體，半徑過小被剔除;1個柑橘未通過距離極差的約束條件.在識別過程中未發(fā)現(xiàn)由于果實重疊或粘連而產(chǎn)生誤識別，表明算法有一定的魯棒性.在QT平臺下，圖像采集、自適應濾波算法、示例圖片的識別與定位耗時分別約為18，44和23 ms.

在離線條件下，以激光測距儀(Hilt PD 30)測量的距離作為標準距離，TOF深度圖在0.5～2.0 m的范圍內(nèi)其誤差范圍為－8～12 mm.應用上述算法，對20個不同程度遮擋的柑橘進行預測半徑值與實際半徑值比對，由于遮擋程度等因素的影響，最大誤差達到了－13 mm，當不存在遮擋現(xiàn)象時，誤差為－4 mm，平均誤差為－7.4 mm.半徑的預測值均比實際值偏小，其原因為TOF圖像像素分辨率較低，而柑橘邊緣區(qū)域產(chǎn)生的混合像素無法精確提取，導致得到的面積偏小.

3 結論

1)有效地融合了強度信息和深度信息，實現(xiàn)了對自然生長柑橘的實時識別與定位.

2)對深度圖進行了各向異性擴散與沖擊濾波耦合濾波處理，抑制了由系統(tǒng)產(chǎn)生的噪聲，增強圖像邊緣區(qū)域.

3)通過閾值分割、區(qū)域生長、區(qū)域最小外接圓等算法將柑橘從背景中分割出，識別率與定位精度較高.

4)圖像的采集與處理均在QT平臺上完成，每幅圖片耗時均小于100 ms，可滿足機器人實時識別柑橘的速度要求.

5)TOF三維成像技術無法獲取柑橘的成熟度，且圖像分辨率較低，在后續(xù)研究中，將利用可見光圖像的顏色信息與高分辨率彌補TOF三維成像技術在柑橘識別與定位中存在的不足.

References)

［1］司永勝，喬 軍，劉 剛，等.蘋果采摘機器人果實識別與定位方法［J］.農(nóng)業(yè)機械學報，2010，40(9):148－153.Si Yongsheng，Qiao Jun，Liu Gang，et al.Recognition and location of fruits for apple harvesting robot［J］.Transactions of the Chinese Society for Agricultural Machinery，2010，40(9):148－153.(in Chinese)

［2］蔡健榮，周小軍，王 鋒，等.柑橘采摘機器人障礙物識別技術［J］.農(nóng)業(yè)機械學報，2009，40(11):171－175.Cai Jianrong，Zhou Xiaojun，Wang Feng，et al.Obstacle identification of citrus harvesting robot［J］.Transactions of the Chinese Society for Agricultural Machinery，2009，40(11):171－175.(in Chinese)

［3］蔣煥煜，彭永石，應義斌.雙目立體視覺技術在果蔬采摘機器人中的應用［J］.江蘇大學學報:自然科學版，2008，29(5):377－380.Jiang Huanyu，Peng Yongshi，Ying Yibin，et al.Binocular stereo vision applied to harvesting robots［J］.Journal of Jiangsu University:Natural Science Edition，2008，29(5):377－380.(in Chinese)

［4］呂 強.柑橘采摘機器人工作場景信息感知技術與路徑規(guī)劃研究［D］.鎮(zhèn)江:江蘇大學食品與生物工程學院，2010.

［5］Tanigaki K，F(xiàn)ujiura T，Akase A.Cherry-harvesting robot［J］.Computers and Electronics in Agriculture，2008，63:65 －72.

［6］Jiménez A R，Ceres R，Pons J L.A vision system based on a laser range-finder applied to robotic fruit harvesting［J］.Machine Vision and Applications，2000，11(6):321－329.

［7］Erz M，Radiometric B.Radiometric and spectrometric calibrations，and distance noise measurement of ToF cameras［C］∥Dynamic 3D Imaging.2009:28－41.

［8］Frank M，PIaue M，Rapp H，et al.Theoretical and experimental error analysis of continuous-wave time-offlight range cameras［J］.Optical Engineering，2009，48(7):32－45.

［9］PMD Technologies GmbH.Novel pixel architecture with inherent background suppression for 3D time-of-flight imaging［R］.SPIE，2005.

［10］Feynman R P，Leighton R B，Sands M.The Feynman Lectures on Physics［M］.2nd ed.［S.l.］:Addison-Wesley，2005.

［11］Huhle B，Schairer T，Jenke P，et al.Fusion of range and color images for denoising and resolution enhancement with a non-local filter［J］.Computer Vision and Image Understanding，2010，114:1336－1345.

［12］Catté F，Lions P L，Morel M，et al.Image selective smoothing and edge detection by nonlinear diffusion［J］.SIAM Journal on Numerical Analysis，1992，29(1):182－193.

［13］Osher S，Rudin L I.Feature-oriented image enhancement using shock filters［J］.SIAM Journal on Numerical Analysis，1990，27(4):919 －940.

［14］Sharma Y K，Surana S S L，Singh R K，et al.Spectral studies of erbium doped soda lime silicate glasses in visible and near infrared regions［J］.Optical Materials，2007，29(6):598－604.