楊奕銘 陳鳳 蔡婷 宋懷波

摘要：受采摘作業(yè)及風力等因素影響，果實目標多處于振蕩狀態(tài)，實現(xiàn)振蕩影響下果實目標的自動識別與快速跟蹤是提升果實采摘機器人采摘效率、果實表型最佳監(jiān)測幀選取的關(guān)鍵。為了實現(xiàn)振蕩影響下果實目標的準確識別與跟蹤，提出了一種基于YCbCr顏色空間的果實目標自動識別方法;在此基礎上，利用Meanshift算法實現(xiàn)了振蕩果實軌跡跟蹤;最后，通過對振蕩果實運動軌跡跟蹤結(jié)果得到果實的運動速度及加速度曲線，可為采摘機器人判定最佳采摘時機、最佳果實表型監(jiān)測幀篩選奠定基礎。結(jié)果表明，Meanshift跟蹤方法適合于振蕩果實目標的自動跟蹤，可為提高振蕩果實采摘效率和果實的生長狀態(tài)無損監(jiān)測提供借鑒。

關(guān)鍵詞：蘋果;振蕩;Meanshift;運動曲線;果實目標自動識別;果實軌跡跟蹤

中圖分類號： TP391.4? 文獻標志碼： A

文章編號：1002-1302（2020）14-0261-07

受到自然環(huán)境下風力以及采摘作業(yè)等外界干擾因素影響，果實目標多處于振蕩狀態(tài)，如何選擇合適的采摘時機及采摘位置已成為影響果實采摘機器人工作效率的關(guān)鍵[1-4]。實現(xiàn)振蕩影響下果實目標的準確跟蹤并獲得其運動軌跡，有助于進一步提升對果實目標的感知效率，對于提高果實生長狀態(tài)的監(jiān)測水平、推進采摘機器人的實用化具有重要的研究意義。

在復雜的果實生長環(huán)境下，振蕩果實目標的識別與跟蹤是制約果實目標準確感知的關(guān)鍵影響因素之一。圖像分割的傳統(tǒng)方法主要有邊界檢測法[5]、區(qū)域法[6-8]、閾值法[9]等。另外，還有基于分類技術(shù)的圖像分割方法產(chǎn)生的分類器：訓練支持向量機（support vector machines，簡稱SVM）[10]、神經(jīng)網(wǎng)絡（neural networks）[11]等。相對于其他目標分割，果實分割具有背景復雜，光照不均，果實形狀、顏色、大小不一，易受枝葉遮擋等特點。在作物識別方面，國內(nèi)外均展開了研究并取得大量成果[12-16]。王帆等通過顏色、質(zhì)地和形狀的三維特征，實現(xiàn)了果實的分離，提取區(qū)域與果實目標區(qū)域相比，順光下相對誤差、圓心相對誤差和半徑相對誤差的平均值為3.59%、4.76%和2.60%，逆光下分別為10.77%、16.77%和11.49%[17]。Bulanon等采用分區(qū)域提取而后合并的圖像分割方法，實現(xiàn)了綠色果實目標的分割，分割準確率為88%[18]。Lucas等提出了基于閾值分割的蘋果目標分割方法，效果顯著[19]。Linker等的方法可獲得果園中蘋果的數(shù)量，能檢測到超過85%的蘋果[20]。He等提出了一種基于改進LDA分類器的綠色荔枝識別方法，識別率可達80.4%[21]。

在運動目標跟蹤方面，視頻目標跟蹤即在一系列圖像中獲取準確、魯棒的確定感興趣目標的位置和運動軌跡[22]。通過目標建?；蛴行П磉_和在幀圖像中的相似度匹配即可達到跟蹤目標的目的。在目標的有效表達和相似度匹配方面，目標跟蹤主要有基于區(qū)域、特征、輪廓和模型的目標跟蹤算法[23-29]。在果實的自動識別和跟蹤領域，李國利等提出一種基于單目視覺與超聲檢測的振蕩果實采摘識別與定位方法，采摘成功率為86%[30]。呂繼東等通過FFT建模和單目視覺分別獲得果實的振蕩周期和深度信息，采摘成功率達到84%[31]。王輝等通過單、雙目視覺組合設計了蘋果作業(yè)機器人識別與定位系統(tǒng)[32]。Jiménez等通過Ac4000-LIR型激光測距儀對目標進行掃描再進行圖像處理來檢測果實，然后獲得果實的三維位置，試驗結(jié)果表明，定位精度為10 mm[33]。Tanigaki等通過用紅外激光和紅色激光同時掃描櫻桃，通過三角測量的方法，利用位置敏感器件（position sensitive detector，簡稱PSD）的2個電極的電流比值來獲得掃描點到傳感器的距離，設計了一套櫻桃采摘機器人3-D視覺系統(tǒng)[34]。

在果實軌跡跟蹤過程中，若對視頻幀中的所有內(nèi)容進行匹配，勢必會加多冗余信息和加長處理時間。若能采用一定的預估算法預先估計目標可能出現(xiàn)的位置，則能達到減小搜索范圍、縮短處理時間、提升采摘效率的目的。鑒于Meanshift算法[35]能優(yōu)化搜索方向的特點，本研究采用Meanshift目標跟蹤方法來獲得振蕩蘋果的二維位置信息。同時，為了避免在跟蹤果實前需要人工輔助選擇目標的缺陷，進一步提高方法的自適應性和實用性，本研究提出在首幀圖像中基于YCbCr顏色空間的目標自動分割算法，以期實現(xiàn)振蕩果實目標的自動識別和軌跡跟蹤。

1 材料與方法

1.1 試驗材料

本試驗所用果實振蕩視頻均拍攝于自然環(huán)境下處于采摘期的蘋果，拍攝時間為2017年8月22日，拍攝時為晴朗天氣，風力為2級，拍攝地點為西北農(nóng)林科技大學北校區(qū)園藝學院蘋果園。拍攝相機為Canon EOS 700D單反相機，幀速率為25幀/s，共拍攝不同環(huán)境下的果實振蕩視頻26段，視頻圖像分辨率為1 920 pixel×1 088 pixel。所拍攝視頻的具體信息見表1。由于錄制視頻時處于蘋果園內(nèi)的自然環(huán)境中，分別在不同的時間段進行錄制，果實振蕩的拍攝效果會受光照、風力、農(nóng)事操作、外來障礙物等影響。太陽直射角不同以及可能會受到云團的遮擋，導致光照過強或過弱和由于光照強度驟變而出現(xiàn)顏色不均的現(xiàn)象。風力大小和農(nóng)事操作會導致出現(xiàn)葉片遮擋、果實運動幅度過大而脫離視野、攝像機抖動等問題。此外，若攝像機在果實振蕩時無法對果實進行聚焦，則會出現(xiàn)目標果實模糊的問題。上述情況都可能會對目標果實的跟蹤產(chǎn)生干擾。

本研究所有程序均在MATLAB環(huán)境下運行，編程硬件為華碩W519L筆記本電腦，內(nèi)存4 GB，主頻3.0 GHz。

1.2 方法

1.2.1 待跟蹤區(qū)域的自動識別方法

要實現(xiàn)振蕩目標果實軌跡跟蹤，需要首先確定待跟蹤目標，現(xiàn)有研究多使用人工輔助標記的方式進行首幀待選目標的處理，雖然算法跟蹤效率高，但由于需要人工干預，算法的自適應能力不強。由于處于采摘期的蘋果與背景的差異較大，在特定顏色空間下即可分割出果實。圖像的R、G、B顏色分量相關(guān)性較高，受光照影響較大，不利于果實分割。為減小光照對果實分割的影響，本研究選擇受光照影響較小的顏色分量分割果實。HSI或HSV顏色空間的H分量與光照無關(guān)，但從RGB顏色空間轉(zhuǎn)換到HSV或HSI顏色空間計算復雜，而且分割噪聲較多。在YCbCr顏色空間中，亮度分量與顏色分量相互垂直，在光照差異較大的情況下，Cb和Cr分量仍能保持較小的變化，且從RGB顏色空間到Y(jié)CbCr顏色空間的轉(zhuǎn)換較簡單，所以選擇YCbCr顏色空間[36]。YCbCr顏色空間廣泛地應用于視頻圖像中，亮度信息用分量Y來表示，Cb和Cr則為藍色和紅色的濃度偏移量成分。其中，YCbCr顏色空間與RGB空間的數(shù)學關(guān)系如公式（1）所示：

各顏色分量下的果實圖像見圖1，其中，圖1-a為視頻分解后的首幀圖像，圖1-b為Y分量下的目標圖像，圖1-c為Cb分量下的目標圖像，圖1-d為Cr分量下的目標圖像，可見在Cr顏色分量下果實最明顯，所以本研究選擇利用Cr顏色分量蘋果目標。在Cr顏色空間下對圖像進行Otsu自適應二值化處理，經(jīng)形態(tài)學處理去除小噪聲，最后選出面積最大的的區(qū)域作為目標區(qū)域，從圖2可以看出，在YCbCr顏色空間下可以較好地實現(xiàn)果實目標的準確分割，為后續(xù)果實目標的識別與準確跟蹤奠定了基礎。

1.2.2 Meanshift算法原理

Meanshift是指一個偏移的均值向量[37]，是一種基于核概率密度估計的快速模式匹配算法。在目標跟蹤中，通過目標檢測或者手動的方式確定目標，用核函數(shù)直方圖來描述目標，然后用相同的方法計算核函數(shù)加權(quán)下當前幀對應候選模型窗口的直方圖分布，對目標模型和候選模型進行相似度度量，并沿著相似度的梯度方向迭代搜索目標位置，直到滿足一定條件時停止迭代，位置迭代的過程就是不斷尋找概率密度局部最大值的過程。其跟蹤過程如下[38]：

1.2.2.1 建立目標模型

1.2.2.2 建立候選模型

1.2.2.3 相似性函數(shù)

目標跟蹤的問題變成尋找一個新的位置y使q[DD（-1][HT6]^[DD）]u和p[DD（-1][HT6]^[DD）]u（y）最相似。用Bhattacharyya系數(shù)作為相似性度量函數(shù)。系數(shù)定義如公式（4）所示：

1.2.2.4 定位目標

2 結(jié)果與分析

2.1 基于Meanshift算法的果實目標跟蹤

跟蹤區(qū)域自動分割后，進行Meanshift迭代，方框向果實重心所在位置移動，最后移動到果實所在位置。在下一幀圖像中用上一幀圖像的最終迭代位置作為初始迭代位置。圖3為一段成功實現(xiàn)果實軌跡跟蹤的4幀抽樣系列。矩形框所包含果實是對圖2檢測目標的跟蹤結(jié)果。從圖3可以看出，首幀圖像中基于YCbCr顏色空間分割后，基于Meanshift的目標跟蹤方法能有效跟蹤振蕩果實。

2.2 振蕩果實運動軌跡的獲取

在軌跡跟蹤過程中，每一幀圖像迭代結(jié)束后，可獲得包含果實的矩形框中心所在位置。根據(jù)每一幀圖像中矩形框中心所在位置，可獲得果實位置相對初始果實的距離。其計算如公式（6）所示：

由于幀頻為29.86幀/s，所以dt=1/30。由公式（6）至公式（8）獲得的振蕩果實運動曲線、速度曲線、加速度曲線分別見圖4至圖6。圖4中曲線表示視頻的每一幀中，包含目標振蕩果實的矩形框中心相對首幀圖像矩形框中心的距離。從圖3可以看出，矩形框中心位置可近似表示蘋果中心所在的位置。

圖5為根據(jù)圖4和公式（7）所獲得的速度曲線。x軸、y軸分別表示幀數(shù)和速度。其中紅色虛線代表水平方向速度，而藍色曲線代表垂直方向速度。同理，根據(jù)圖5和公式（8）可獲得圖6所表示的果實加速度曲線，x軸、y軸分別表示幀數(shù)和加速度。其中紅色虛線代表水平方向加速度，而藍色曲線代表垂直方向加速度。圖4至圖6的結(jié)果說明，基于Meanshift的果實軌跡跟蹤方法具有較好的魯棒性。

2.3 試驗結(jié)果分析

本試驗材料為自然光照條件下處于采摘期的蘋果。振蕩果實的速度大小為0的幾個時刻中，加速度變化最緩慢時刻的圖像幀即可作為果實最佳采摘幀的候選，也可為果實表型監(jiān)測幀的篩選提供借鑒。根據(jù)振蕩果實的速度、加速度曲線，即可得到最佳的待采摘幀或果實表型監(jiān)測幀?？梢姡O果采摘機器人在實際的采摘過程中，若能成功地實現(xiàn)振蕩果實的軌跡跟蹤，就能根據(jù)果實振蕩的先驗知識，及時判斷出果實振蕩的類型，然后估計出最佳的采摘時間和采摘位置。果實目標的跟蹤結(jié)果也可為果實表型信息的自動監(jiān)測奠定基礎。

不同的參數(shù)條件下，部分振蕩果實的目標跟蹤效果見表2。為測試不同情況下的果實軌跡跟蹤的效果，按照光照強度的不同、果實是否脫離視野、視頻長度、振蕩頻率4個指標選取蘋果振蕩視頻片段來進行測試。

本試驗共選取7段蘋果振蕩視頻片段進行了試驗，其中有4段視頻能成功實現(xiàn)果實軌跡的跟蹤。試驗結(jié)果表明，視頻長度及振蕩頻率的變化不會影響振蕩果實軌跡的跟蹤，而光照強度會影響果實目標的識別，果實脫離視野會造成果實目標無法繼續(xù)跟蹤。在光照強度弱且果實不脫離視野時跟蹤率能達到100%，能很好地跟蹤果實目標。光照強度的瞬間變化會導致目標顏色、紋理等信息的丟失，在此情況下難以實現(xiàn)果實目標的跟蹤。若光照強度弱但果實脫離視野時則跟蹤率為24.59%，跟蹤效果略差。因此，光照強度和果實目標是否脫離視野是影響果實跟蹤的重要因素。沒有實現(xiàn)振蕩果實軌跡跟蹤的例子見圖7，其中圖7-a為沒能正確識別目標的情況，圖7-b為沒能正確跟蹤目標的情況。

3 結(jié)論

為了實現(xiàn)自然生長環(huán)境下的果實目標跟蹤，本研究在YCbCr顏色空間下，實現(xiàn)了首幀待監(jiān)測目標的自動選擇，并利用Meanshift算法對不同振蕩頻率下的果實目標進行了跟蹤測試，試驗結(jié)果表明，該方法可以得到較好的跟蹤結(jié)果，主要結(jié)論如下：（1）結(jié)合首幀目標自動檢測與Meanshift跟蹤技術(shù)，可以較好地實現(xiàn)振蕩影響的果實目標跟蹤，果實目標的自動跟蹤可為果實的自動采摘、果實表型的自動監(jiān)測奠定基礎。（2）在弱光條件下Meanshift算法基本可以跟蹤到果實目標，但是在強光條件下Meanshift算法對果實目標的跟蹤效果不理想，尚需進一步改進。

參考文獻：

[1]Zhang L B，Yang Q H，Bao G J，et al. Overview of research on agricultural robots in China[J]. International Journal of Agricultural and Biological Engineering，2008，1（1）：12-21.

[2]Kondo N，Ting K C. Robotics for bioproduction systems[M]. New York：ASAE Publication，1998：231-251.

[3]Baeten J，Donné K，Boedrij S，et al. Autonomous fruit picking machine：a robotic apple harvester[C]//Field and service robotics.Berlin，Heildelberg：Springer，2008：531-539.

[4]Zhao D A，Lv J D，Ji W，et al. Design and control of an apple harvesting robot[J]. Biosystems Engineering，2011，110（2）：112-122.

[5]Larry S D. A survey of edge detection techniques[J]. Computer Graphics and Image Processing，1975，4（3）：248-270.

[6]Adams R，Bischof L. Seeded region growing[J]. IEEE Trans on Pattern Analysis and Machine Intelligence，1994，16（6）：641-647.

[7]Meyer F. Skeletons and watershed lines in digital spaces[C]//Proceedings of SPIE.Society of Photo-optical Instrumentation Engineers，1990：85-102.

[8]Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems，Man，and Cybernetics，1979，9（1）：62-66.

[9]Vapnik V N，Vapnik V. Statistical learning theory[M]. New York：Wiley，1998.

[10]田有文，李天來，李成華，等. 基于支持向量機的葡萄病害圖像識別方法[J]. 農(nóng)業(yè)工程學報，2007，23（6）：175-180.

[11]Atsumi M . Saliency-based scene recognition based on growing competitive neural network[C]//Systems，man and cybernetics IEEE Xplore，2003.

[12]Mcdonald T，Chen Y R. Application of morphological image processing in agriculture[J]. Transactions of the ASAE，1990，33（4）：1346-1352.

[13]Franz E，Gebhardt M R，Unklesbay K B. Shape description of completely visible and partially occluded leaves for identifying plants in digital images[J]. Transactions of the ASAE，1991，34（2）：673-681.

[14]Nandi C S，Tudu B，Koley C. A machine vision technique for grading of harvested mangoes based on maturity and quality[J]. IEEE Sensors Journal，2016，16（16）：6387-6396.

[15]Humphries S，Simonton W. Identification of plant parts using color and geometric image data[J]. Transactions of the ASAE，1993，36（5）：1493-1500.

[16]Rakun J，Stajnko D，Zazula D. Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry[J]. Computers and Electronics in Agriculture，2011，76（1）：80-88.

[17]王 帆，呂繼東，申根榮，等. 基于CLAHE和開閉運算的綠色蘋果圖像分割[J]. 計算機測量與控制，2017，25（2）：141-145.

[18]Bulanon D M，Kataoka T，Ota Y，et al. AE-automation and emerging technologies：a segmentation algorithm for the automatic recognition of Fuji apples at harvest[J]. Biosystems Engineering，2002，83（4）：405-412.

[19]Lucas B D，Kanade T. An iterative image registration technique with an application to stereo vision[C]//Proc. of international joint conference on artificial intelligence. San Francisco：Morgan Kaufmann Publishers Inc，1981：285-289.

[20]Linker R，Cohen O，Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture，2012，81：45-57.

[21]He Z L，Xiong J T，Rui L，et al. A method of green litchi recognition in natural environment based on improved LDA classifier[J]. Computers and Electronics in Agriculture，2017，140：159-167.

[22]Yilmaz A，Javed O，Shah M. Object tracking：a survey[J]. ACM Computing Surveys，2006，38（4）：1-45.

[23]Jepson A D，F(xiàn)leet D J，El-Maraghi T F. Robust online appearance models for visual tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（10）：1296-1311.

[24]Lowe D G. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision，2004，60（2）：91-110.

[25]Zhu G P，Zeng Q S，Wang C H. Efficient edge-based object tracking[J]. Pattern Recognition，2006，39（11）：2223-2226.

[26]Kass M，Witkin A，Terzopoulos D. Snakes：active contour models[J]. International Journal of Computer Vision，1988，1（4）：321-331.

[27]Paragios N，Deriche R. Geodesic active contours and level sets for the detection and tracking of moving objects[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（3）：266-280.

[28]Kwon J，Lee K M. Visual tracking decomposition[C]//IEEE computer society conference on computer vision and pattern recognition.San Francisco：Institude of Electrical and Electronics Engineers，2010：1269-1276.

[29]吳俊杭，曾窕俊，馬本學，等. 基于歷史幀路徑搜索的紅棗動態(tài)圖像采集[J]. 江蘇農(nóng)業(yè)科學，2019，47（10）：219-223.

[30]李國利，姬長英，顧寶興. 基于單目視覺與超聲波檢測的振蕩果實采摘識別與定位[J]. 農(nóng)業(yè)機械學報，2015，46（11）：1-8.

[31]呂繼東，趙德安，姬 偉，等. 蘋果采摘機器人對振蕩果實的快速定位采摘方法[J]. 農(nóng)業(yè)工程學報，2012，28（13）：48-53，293.

[32]王 輝，毛文華，劉 剛，等. 基于視覺組合的蘋果作業(yè)機器人識別與定位[J]. 農(nóng)業(yè)機械學報，2012，43（12）：165-170.

[33]Jiménez A R，Ceres R，Pons J L. A vision system based on a laser range-finder applied to robotic fruit harvesting[J]. Machine Vision and Applications，2000，11（6）：321-329.

[34]Tanigaki K，F(xiàn)ujiura T，Akira A，et al. Cherry-harvesting robot[J]. Computers and Electronics in Agriculture，2008，63（1）：65-72.

[35]Hsia C，Liou Y，Chiang J. Directional prediction CamShift algorithm based on adaptive search pattern for moving object tracking[J]. Journal of Real - Time Image Processing，2016，12（1）：183-195.

[36]Shaik K B，Ganesan P，Kalist V，et al. Comparative study of skin color detection and segmentation in HSV and YCbCr color space[J]. Procedia Computer Science，2015，57：41-48.

[37]Fukunaga K，Hostetler L. The estimation of the gradient of a density function，with applications in pattern recognition[J]. IEEE Transactions on Information Theory，1975，21（1）：32-40.

[38]Bao H Y，De X Z，Kui F，et al. Video tracking of human with occlusion based on MeanShift and Kalman filter[J]. Applied Mechanics and Materials，2013，380-384：3672-3677.

收稿日期：2019-11-07

基金項目：國家重點研發(fā)計劃（編號：2019YFD100072）;國家高技術(shù)研究發(fā)展計劃（863計劃）（編號：2013AA10230402）;陜西省農(nóng)業(yè)科技創(chuàng)新與攻關(guān)項目（編號：2016NY-157）;中央高?；究蒲袠I(yè)務費項目（編號：2452016077）。

作者簡介：楊奕銘（1999—），男，廣東惠州人，主要從事數(shù)字圖像處理研究。E-mail：y352184741@163.com。

通信作者：宋懷波，博士，副教授，博士生導師，主要從事數(shù)字圖像處理研究。E-mail：songyangfeifei@163.com。