任會 朱洪前

摘? 要： 為了更好地解決自然條件下目標橘子的遮擋、重果問題，采用深度學(xué)習(xí)的方法對目標橘子進行識別，并用傳統(tǒng)的目標識別算法與Faster-RCNN兩種方法進行對比實驗。根據(jù)大量的數(shù)據(jù)對比可知，傳統(tǒng)的目標識別方法對自然光照敏感，對遮擋、重果的識別效果不佳，泛化能力及魯棒性較差。而Faster-RCNN算法對光照及枝葉遮擋的識別更友好，更符合采橘機器人實際采摘的需要。深度學(xué)習(xí)方法有望在采橘機器人目標識別中得到更廣泛的應(yīng)用。

關(guān)鍵詞： 目標識別; 傳統(tǒng)算法; 深度學(xué)習(xí); 采橘機器人

中圖分類號：520.2040 ?????????文獻標識碼：A???? 文章編號：1006-8228（2021）01-57-04

Research on the method of identifying target orange with deep learning

Ren Hui， Zhu Hongqian

（Central South University of Forestry and Technology， Changsha， Hunan 410004， China）

Abstract： In order to better solve the problem that the target orange is covered by something or overlapped in natural condition， this paper uses the deep learning method to recognize the target orange， and makes the comparative experiment between the traditional target recognition algorithms and the Faster-RCNN method. According to a large number of data comparison， the traditional target recognition methods are sensitive to natural light， the recognition effect on covered or overlapped fruit is not so good， and have poor generalization ability and robustness. The Faster-RCNN algorithm is more suitable to recognize the light and branch covered fruit， which is more in line with the actual needs of orange picking robot. Deep learning methods are expected to be more widely used in the target identification of orange picking robot.

Key words： target identification; traditional algorithm; deep learning; orange picking robot

0 引言

橘子的采摘作業(yè)環(huán)境較為復(fù)雜，自動化程度低，其采摘作業(yè)往往都是人工的，勞動強度大，且耗費大量的人工成本。而我國農(nóng)業(yè)勞動力逐漸向社會其他產(chǎn)業(yè)轉(zhuǎn)移，同時人口老齡化問題日趨嚴重，勞動力缺乏[1-2]。由于柑橘產(chǎn)量大，成熟期集中，季節(jié)性強，如果能在柑橘的生產(chǎn)過程中使用機器人進行采摘作業(yè)并對果實進行分揀，不僅可以降低勞動強度，節(jié)省有限的勞動力資源，同時也能節(jié)約人工成本，提高勞動生產(chǎn)率[3]。

在自然條件下的目標橘子的識別，易受光照、角度、遮擋、設(shè)備等影響。傳統(tǒng)的目標識別算法基于手工特征配合機器學(xué)習(xí)的方法。深度學(xué)習(xí)利用其強大的特征學(xué)習(xí)能力，GPU的高速計算以及計算機硬件成本的降低等優(yōu)勢，在目標檢測任務(wù)中得到大量應(yīng)用[4]。2012年以前，目標檢測主要利用Haar、HOG（方向梯度直方圖）、LBP（局部二值模式）等手工特征和AdaBoost、SVM（Support Vector Machine）、DPM（Deformable Part Model）等機器學(xué)習(xí)方法。從2012年奪得ImageNet大型圖像分類冠軍的AlexNet[5]開始[6]，卷積神經(jīng)網(wǎng)絡(luò)在圖像分類展現(xiàn)出了無與倫比的潛力。CNN成為視覺處理最重要的工具[7]，隨后基于CNN的目標檢測與識別也逐漸取代了之前方法的目標檢測與識別，相比與傳統(tǒng)圖像處理的目標檢測與識別，基于CNN的目標檢測與識別無論在準確性和實時性上都取得了全面領(lǐng)先。目前基于深層卷積神經(jīng)網(wǎng)絡(luò)的目標檢測與辨識總體可分為如下幾大類[8]：①基于區(qū)域選擇的目標檢測與識別算法。其中代表性的有R-CNN，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN。②基于回歸的目標檢測與識別算法。具有代表性的是YOLO，SSD。③基于搜索的目標檢測與識別算法。具有代表性的有基于增強學(xué)習(xí)的目標檢測與識別，基于視覺注意的AttentionNet。本文針對自然場景下的目標橘子運用兩種識別模式，基于傳統(tǒng)的目標識別方法在實驗基礎(chǔ)上選擇最佳效果方案，深度學(xué)習(xí)算法的應(yīng)用，本文使用Faster-RCNN這一經(jīng)典算法對目標橘子進行識別。對于光照遮擋等效果較好，在一定程度上彌補了傳統(tǒng)的目標識別算法的局限性。

1 傳統(tǒng)目標檢測

對于傳統(tǒng)的目標檢測算法，一般是對圖像進行預(yù)處理，接著利用邊緣檢測等相關(guān)算子對目標圖像的特征進行提取和識別。圖像預(yù)處理可增強圖像識別的對比度，突出目標特征，便于后面特征的提取。常用的預(yù)處理算法有：雙邊濾波、直方圖濾波、中值濾波等方法，圖像分割需要對目標特征進行提取，典型的是對顏色、形狀、紋理等特征提取，常用的特征提取算子有：形態(tài)學(xué)運算、K-Means聚類、Canny邊緣檢測算子、Hough變換等。

以橘子識別為例，常用的算法用法設(shè)計流程如圖1所示。

1.1 顏色空間轉(zhuǎn)換

圖像在不同的顏色空間下的色彩感知度不同，為了突出目標的顏色特征，通常會將圖像轉(zhuǎn)換到特定的顏色空間下。常用的顏色通道有RGB、HSV、Lab、YCrCb[9]。由大量實驗效果可知，在大多數(shù)情況下，特定通道下的視覺表達效果比直接灰度化處理后的效果明顯。圖2為r、g、b通道效果圖。可以直觀得得出目標在r通道下效果最佳。

1.2 圖像增強

常用的果實圖像預(yù)處理算法主要有直方圖均衡化、均值濾波、中值濾波等，這些算法在一定程度上能夠去除背景噪音，弱化自然光線對圖像的影響，改善圖像細節(jié)與質(zhì)量[10]。本文對比了同態(tài)濾波、中值濾波處理效果，圖3為原圖，圖4為同態(tài)濾波處理效果圖，圖5為中值濾波處理效果圖。觀察圖片，可知這兩種濾波的特點：同態(tài)濾波提高了圖像的對比度和亮度，中值濾波對邊緣信息的保護效果較好。在實際圖像處理中，根據(jù)每幅圖像的特點選擇對應(yīng)的處理方法能達到更好的表達效果。

1.3 圖像分割與特征提取

分割圖像，可根據(jù)目標的顏色、形狀、紋理等特征，簡單地說，也是一個標記的過程。特征提取常用的算子有canny等邊緣檢測算子和K-Means聚類、分水嶺算法等基于顏色的特征提取方法，提取特征后一般用SUSAN、SUFT等算子對其進行特征匹配與特征提取。圖6為用Hough變換識別到的實驗效果圖，對于單個果實的識別效果較好。

對于單個果實且無遮擋的目標圖像[11]，傳統(tǒng)的算法能勝任圖像識別的要求，但要在特定的實驗環(huán)境中，光照影響較大，且需要手動實時調(diào)參，泛化能力及魯棒性較差。傳統(tǒng)識別算法中的識別效果基本取決于人工設(shè)計的特征提取算法是否合理。但在實際應(yīng)用中，橘子背景較為復(fù)雜，存在枝葉遮擋、重果、光照等問題，這些傳統(tǒng)的目標識別算法提取的特征不足以作為各種分類器分類的最佳依據(jù)，存在漏判及錯判。圖7所示為因枝葉遮擋引起的漏判，圖8所示為因光照導(dǎo)致錯判。

2 深度學(xué)習(xí)

深度學(xué)習(xí)利用多層非線性信息處理來實現(xiàn)有監(jiān)督或者無監(jiān)督的特征提取和轉(zhuǎn)換、模式分析和分類，用來解釋如圖像、聲音、文本的數(shù)據(jù)[12]。其中很多算法都是以無監(jiān)督學(xué)習(xí)的形式出現(xiàn)，能被應(yīng)用于其他算法無法企及的無標簽數(shù)據(jù)，這一類數(shù)據(jù)比有標簽的數(shù)據(jù)更為豐富，也更容易獲得。近年來，深度學(xué)習(xí)憑借較強的特征學(xué)習(xí)能力廣泛應(yīng)用于圖像目標檢測中。處理流程主要分為以下步驟：圖片收集、標注清洗、訓(xùn)練模型、模型的評估與優(yōu)化。

本文選用了較為典型的Faster-RCNN模型來識別橘子，并在Tensorflow框架下完成。Faster-RCNN中的核心RPN（Region Proposal Network）區(qū)域生成網(wǎng)絡(luò)在feature maps基礎(chǔ)上生成proposals，并采用softmax得到anchor屬于物體或背景的概率，相比CNN系列其他的網(wǎng)絡(luò)模型，減少了參數(shù)量和預(yù)測時間，大幅加快了訓(xùn)練速度。其各網(wǎng)絡(luò)主要結(jié)構(gòu)都由卷積層、激勵層、池化層、RPN 層、ROI Align 層及全連接層構(gòu)成。實驗中模型的學(xué)習(xí)率為0.0002，在Win10系統(tǒng)下進行。

2.1 圖像收集

深度學(xué)習(xí)需要對模型進行多次訓(xùn)練，需要收集大量的數(shù)據(jù)，并對目標打標。橘子較為常見，圖像收集工作較為簡單，本文的圖像來源于兩處：一為相機拍攝的圖像，二是在網(wǎng)頁上爬取的橘子圖像，同時通過旋轉(zhuǎn)、噪聲處理等方法擴充了數(shù)據(jù)。圖像中一小部分的背景較為簡單，無明顯枝葉或重果遮擋等問題。大部分的圖像背景則較為復(fù)雜，有光照、遮擋問題。Faster RCNN在RNN的基礎(chǔ)上改進，支持輸入任意大小的圖像，實驗中共收集到503幅圖像，并將所有圖像統(tǒng)一像素為1280*960。

2.2 清洗標注

部分爬取的圖像可能會不符合要求，因此在訓(xùn)練前，需要篩選一下數(shù)據(jù)集，并在標注前需對數(shù)據(jù)進行清洗。在逐一篩選中，去除不相關(guān)圖像后，對圖像按數(shù)字序號命名。為了檢驗實驗效果，本文按照8：2將數(shù)據(jù)集分為訓(xùn)練集與測試集。清洗后，利用LabelImg標注軟件對目標橘子打標簽，實驗共計標記有3381個對象，本文使用POSCAL VOC2007的數(shù)據(jù)集格式。

2.3 模型訓(xùn)練

Faster R-CNN的主要步驟為[13]。

⑴ 提取特征：利用卷積神經(jīng)網(wǎng)絡(luò)進行特征提取。

⑵ 生成候選區(qū)：利用RPN 生成k個不同大小和比例的候選區(qū)域，即anchor框。

⑶ pooling：ROI Pooling 利用 RPN 生成的候選區(qū)域和卷積神經(jīng)網(wǎng)絡(luò)提取到的共享特征圖得到固定大小的候選區(qū)域特征圖（proposal feature map）。

⑷ 獲取要分類的目標：利用softmax對proposals 進行具體類別的分類，利用邊框回歸獲得物體的精確位置。

Faster-RCNN的RPN框架利用神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)，充分利用了feather maps的價值，與selective search的滑動窗口選擇的方法相比，效率更高。通過xml_to_csv.py文件和generate_tfrecord.py文件將標注格式xml文件修改成TensorFlow的標準格式.tfrecord。并標記訓(xùn)練的目標標記名，搭建好網(wǎng)絡(luò)環(huán)境后開始進行訓(xùn)練。本次實驗訓(xùn)練迭代80k步，在數(shù)據(jù)訓(xùn)練中采用了斷點訓(xùn)練。圖9顯示訓(xùn)練30k過程中的loss值變化，波動較大且訓(xùn)練效果不佳，圖10顯示訓(xùn)練80k的過程變化，呈趨于平穩(wěn)的趨勢。

2.4 模型評估

訓(xùn)練結(jié)束后，在測試集里選取圖像進行實驗檢測。本文針對兩種研究方法進行了大量的數(shù)據(jù)對比，表1為選取的8張圖像的對比數(shù)據(jù)。相同的圖像用兩種方法得出的效果數(shù)據(jù)。其中有6幅圖像有不同程度的遮擋、重果現(xiàn)象，其余兩幅圖上的橘子沒有遮擋及重果現(xiàn)象。這些數(shù)據(jù)表明，傳統(tǒng)方法在增強預(yù)處理且無遮擋的情況下，對于模糊的目標識別包括小目標的識別效果比深度學(xué)習(xí)處理效果更好，但深度學(xué)習(xí)對遮擋、重果問題更友好，這是自然條件下摘取果實面臨的挑戰(zhàn)之一。在處理中，我們可適當?shù)丶哟髮D像的預(yù)處理強度，與傳統(tǒng)算法融合運用。

表1中：numbers為圖像中的果實數(shù)量，numbers1為利用傳統(tǒng)算法識別的數(shù)量;numbers2為利用Faster-RCNN算法識別的數(shù)量;covered為圖像中是否有遮擋、重果現(xiàn)象。T表示有遮擋及重果，F(xiàn)則表示圖像中目標無遮擋、重果現(xiàn)象。

3 結(jié)束語

傳統(tǒng)的圖像識別算法已研究多年，但依賴于特定的應(yīng)用場景，需要手動調(diào)參，泛化能力及魯棒性較差，對于采橘機器人，無法滿足自然條件下的采摘作業(yè)任務(wù)，不能滿足實際需求。隨著深度學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)作為人工智能重要的研究方向 通過對圖像數(shù)據(jù)的學(xué)習(xí)，自主的發(fā)現(xiàn)圖像的特征，成為廣泛研究的對象。文中利用Faster-RCNN訓(xùn)練，對于枝葉遮擋、重果處理較好。相較于傳統(tǒng)的識別效果，識別率提升了26%。但對于小目標的識別效果不佳，需加強學(xué)習(xí)。本文的實驗數(shù)據(jù)與迭代次數(shù)太少，需進行完善。根據(jù)大量的實驗數(shù)據(jù)對比，對于自然場景下的采摘機器人目標識別應(yīng)用深度學(xué)習(xí)的算法效果更好。

參考文獻（References）：

[1] 王偉斌.采摘機器人目標識別及定位研究[D].西安理工大學(xué)碩士學(xué)位論文，2017.

[2] 張鐵中，楊麗，陳兵旗，張賓.農(nóng)業(yè)機器人技術(shù)研究進展[J].中國科學(xué)：信息科學(xué)，2010.40（S1）：71-87

[3] 李揚.基于雙目視覺的柑橘采摘機器人目標識別及定位技術(shù)研究[D].重慶理工大學(xué)碩士學(xué)位論文，2017.

[4] 王立豪.基于深度學(xué)習(xí)的目標檢測研究與實現(xiàn)[D].西安電子科技大學(xué)碩士學(xué)位論文，2019.

[5] Krizhevsky A，Sutskever I，Hinton G E.ImageNet Classification with Deep Convolutional Neural Networks[C].International Conference on Neural Information Processing Systems.Curran Associates Inc.2012.

[6] 饒倩，文紅，喻文等.基于超像素的人工神經(jīng)網(wǎng)絡(luò)圖像分類[J].計算機與現(xiàn)代化，2013.12：98-101，105

[7] 唐亞陽，劉宇.中國網(wǎng)絡(luò)文化20年研究綜述[J].湖南大學(xué)學(xué)報（社會科學(xué)版），2014.28（5）：131-135

[8] 楊家啟.基于深度學(xué)習(xí)的目標檢測與識別[D].哈爾濱工程大學(xué)碩士學(xué)位論文，2019.

[9] 呂繼東.蘋果采摘機器人視覺測量與避障控制研究[D].江蘇大學(xué)碩士學(xué)位論文，2012.

[10] 夏雪，丘耘，王健等.果園環(huán)境下蘋果偵測與定位方法研究現(xiàn)狀與展望[J].中國農(nóng)業(yè)科技導(dǎo)報，2017.19（2）：65-74

[11] 賈偉寬.基于智能優(yōu)化的蘋果采摘機器人目標識別研究[D].江蘇大學(xué)碩士學(xué)位論文，2016.

[12] Bengio Y， Courville A， Vincent P. Representation learning：A review and new perspectives[J].Pattern Analysis and Machine Intelligence， IEEE Transactions on，2013.35（8）：1798-1828

[13] 曹燕，李歡，王天寶.基于深度學(xué)習(xí)的目標檢測算法研究綜述[J].計算機與現(xiàn)代化，2020.5：63-69

收稿日期：2020-08-10

作者簡介：任會（1994-），女，江蘇連云港市人，中南林業(yè)科技大學(xué)2018級碩士研究生，主要研究方向：圖像處理，目標識別。