彭彥昆，孫 晨，趙 苗

蘋果品質動態(tài)無損感知及分級機器手系統(tǒng)

彭彥昆，孫 晨，趙 苗

（1. 中國農業(yè)大學工學院，北京 100083；2. 國家農產品加工技術裝備研發(fā)分中心，北京 100083）

為了實現靈活高效的蘋果多品質指標檢測分級，基于機器視覺技術及可見/近紅外光譜技術，開發(fā)了用于蘋果內外部品質無損感知及分級的機器手系統(tǒng)。機器手系統(tǒng)采用六軸機械臂搭載自行研發(fā)的末端執(zhí)行器，末端執(zhí)行器上裝載有光學傳感器與抓取結構，可以抓取流水線上的蘋果并同時采集蘋果的光譜進行糖度檢測。使用CMOS相機采集蘋果圖像，訓練并使用PP-YOLO深度學習目標檢測模型處理采集的蘋果圖像，計算蘋果的坐標位置實現蘋果的動態(tài)定位，并獲取蘋果的果徑大小、著色度信息實現外部品質檢測。采集蘋果樣本光譜，結合不同的光譜預處理方式，利用偏最小二乘（Partial Least-Square，PLS）方法進行建模分析。試驗結果表明，使用PP-YOLO目標檢測算法處理圖像和計算蘋果位置，其識別速度為38幀/s，極大地提高了檢測速度。使用歸一化光譜比值法（Normalized Spectral Ratio，NSR）作為預處理算法的糖度建模結果較佳。采用NSR+CARS（Competitive Adaptive Reweighted Sampling，競爭性自適應重加權算法）作為機器手的動態(tài)光譜模型效果較佳，該動態(tài)光譜模型相關系數為0.958 9，驗證均方根誤差RMSEV（Root Mean Squared Error of Validation）為0.462 7%，與靜態(tài)下建立的模型相比，機器手在動態(tài)狀態(tài)下采集光譜對所建立的預測模型的預測效果影響較小。對整體機器手系統(tǒng)進行了試驗驗證，機器手在工作時能夠無損傷地抓取蘋果，給出果徑大小、著色度、糖度3個檢測指標并依據指標自動劃分等級，然后依據等級信息分級。隨后測定了3個指標的實測值與預測值進行分析，果徑大小的預測相關系數為0.977 2，均方根誤差為1.631 5 mm；著色度的預測相關系數為0.967 4，均方根誤差為5.973 4%；糖度的預測相關系數為0.964 3，均方根誤差為0.504 8%，預測結果與真實值均具有較強的線性關系和較低的預測誤差，機器手系統(tǒng)分級正確率為95%，完成一顆蘋果的定位、抓取、檢測、分級和放置的時間約為5.2 s，具有較好的工作可靠性，研究結果可為蘋果多品質指標的高效檢測提供參考。

機器視覺；可見/近紅外光譜；蘋果；無損感知；分級；機器手系統(tǒng)

0 引 言

中國作為農業(yè)大國，是世界上蘋果種植面積和產量最高的國家[1]，隨著人們生活水平的提高，消費者越來越看重蘋果的品質，蘋果品質的優(yōu)劣直接影響消費者的購買行為。從產量看，中國蘋果產量高，但是國際市場競爭力不足，中國蘋果經過商品化處理的數量僅占總產量的8%，而波蘭、美國等蘋果貿易大國基本實現了100%的蘋果采后處理[2]，采后分級處理是制約中國蘋果產業(yè)發(fā)展的重要因素，主要原因是中國果品的自動化分級處理程度仍處于較低水平[3]。

國外對水果分級的研究相比國內起步較早，已有成熟的水果檢測分級產品，如美國的OSCARTM型和MERLIN型高速球形水果分級生產線[4]，可以實現果實大小、顏色、外部缺陷、內部缺陷等指標檢測分級，自動化程度較高。國內對水果品質檢測技術也已有較多研究[5-10]，對水果內部品質進行無損檢測多應用可見/近紅外光譜技術，外部品質檢測一般應用計算機視覺/機器視覺技術。

糖度是蘋果重要的內部品質指標，對于蘋果糖度的測定，傳統(tǒng)檢驗方法是利用化學方法進行破壞性試驗，而可見/近紅外光譜分析技術突破了化學檢驗的局限性，具有快速、無損、簡便、精確等優(yōu)點。在蘋果可見/近紅外光譜分析中，主要定量建模方法有偏最小二乘法、多元線性回歸、支持向量機回歸和主成分回歸等。樊書祥等[11]針對蘋果產地差異對蘋果可溶性固形物近紅外光譜模型的影響進行了研究。郭志明等[12]為提高近紅外模型對蘋果品質指標的檢測精度，利用提取特征變量的方法對蘋果檢測模型進行優(yōu)化。果徑大小、重量、顏色、外部缺陷等是蘋果重要的外部品質指標，Sofu等[13]設計了一種基于機器視覺的蘋果自動分揀系統(tǒng)，可根據蘋果的大小、顏色、重量及外部缺陷進行分級。黃辰等[14]提出改進的三層Canny邊緣檢測算法來提取蘋果輪廓，融合判別樹對蘋果果徑、缺陷面積、色澤等特征的初步判斷以及采用粒子群參數優(yōu)化的支持向量機對果形、果面紋理、顏色分布等特征的分級結果實現了對蘋果的精確分級。

目前，蘋果的無損檢測分級設備主要有便攜式檢測設備和在線式檢測設備，喬鑫等[15]發(fā)明了一種手機聯用的蘋果糖度便攜式無損檢測裝置，但是便攜式設備依賴人工操作，無法實現大批量自動化檢測分級。在線式檢測分級設備能實現大批量檢測分級，但是一般在線式設備體積較大，機械結構復雜，價格昂貴[16]，并且能夠同時檢測內外部多品質指標的分級檢測設備還比較少。李龍等[17]設計了蘋果內外品質在線式無損檢測分級系統(tǒng)，使用近紅外檢測模塊和機器視覺模塊，檢測指標包括蘋果可溶性固形物含量及外部損傷，系統(tǒng)體積小，結構簡單，檢測速度快，但是檢測后缺乏自動化分級環(huán)節(jié)。目前國內外應用于水果內部及外部品質檢測的分級機構類型主要有料斗翻轉式[18-19]、氣吹式[20-21]、機械手抓取式[22]等；在蔬菜分級領域，最新的研究采用了托架式分級機構對水培生菜進行分級[23]，實現了對水培生菜檢測分級一體化，極大地提高了分選的機械化程度。隨著機器人技術的不斷發(fā)展，機械臂在農業(yè)生產、工業(yè)制造、物流運輸、醫(yī)療設備等方面的應用越來越廣泛，其具有靈活度高、自由度高的特點，不僅能應用于蘋果的采摘收獲[24]，而且將其應用于蘋果的檢測分級也能使得分級更加輕柔靈活[25]。為解決國內市場上蘋果檢測與分級裝箱設備分立，多為外部品質指標分級，外部品質結合內部品質檢測分級設備少，且機械結構復雜等難題，實現靈活高效的蘋果多品質指標檢測和分級一體化，本研究基于機器視覺技術及可見/近紅外光譜技術，在實驗室前期研究[26]的基礎上，對機器手系統(tǒng)的目標檢測算法進行了優(yōu)化，提高了視覺系統(tǒng)的檢測速度以及識別準確率；對末端執(zhí)行器的整體結構進行調整優(yōu)化，使得機器手系統(tǒng)在動態(tài)狀態(tài)下采集光譜更穩(wěn)定，對糖度的預測效果更佳。能夠實現蘋果的糖度、果徑大小、著色度在線檢測與分級，擬為蘋果多品質指標的高效檢測提供參考。

1 材料與方法

1.1 材料

試驗材料為購于北京當地一家超市的紅富士蘋果，選取了200個沒有損傷和缺陷的樣本，運回實驗室，對樣本進行表面清潔和編號，保存在冰箱冷藏室內，在進行試驗之前取出蘋果樣本，將蘋果樣本在室溫25℃下放置24 h，使蘋果溫度與室溫一致，避免溫度因素對試驗結果造成影響。取其中160個蘋果樣本用于糖度建模，另外40個樣本用于分級試驗，驗證機器手檢測分級功能。

使用CMOS相機在不同場景下拍攝了200張包含蘋果的照片，部分照片如圖1所示，將照片尺寸統(tǒng)一修改為（512×512）像素，然后使用圖像標注軟件Labelme對數據集內圖片進行人工標注。之后對這200張標記過的圖片進行數據增強處理，數據增強方式包括隨機旋轉、隨機裁剪、顏色變換、高斯噪聲、縮放，最終獲得了一個3 000張圖像的數據集。該數據集用于深度學習神經網絡的訓練。

圖1 數據集部分圖片

1.2 機器手動態(tài)檢測分級系統(tǒng)

1.2.1 系統(tǒng)結構組成

本文設計的機器手動態(tài)檢測分級系統(tǒng)由一臺六自由度機械臂、機械臂控制器、傳送帶、CMOS相機、機械臂末端執(zhí)行器、計算機及控制軟件組成，其結構如圖2所示。選用六自由度的機械臂而沒有選用高效的delta機械臂，一是因為delta雖然在分揀小型零件時非常靈活高效，但是蘋果體積對delta機械臂來說是比較大的分揀對象；二是因為為了實現抓取-檢測-分級-裝箱一體化，要將蘋果分為三個等級，裝到三個不同的箱子里，機械臂需要將蘋果從傳送帶上移動較大的距離，但是delta機械臂的工作空間較小，因此整體設計方案選用六自由度機械臂。

整體架構在前期的工作[26]基礎上進行了進一步改進，實現了從靜態(tài)檢測到動態(tài)抓取檢測分級及裝箱。機械臂本體質量為13 kg，最大載荷3 kg，最大伸展距離624 mm，機械臂控制器分別與計算機和機械臂本體連接，接收計算機發(fā)送的移動指令，控制機械臂本體各軸電機轉動。機械臂末端軸與末端執(zhí)行器之間使用螺栓連接，組成機器手。本文設計的末端執(zhí)行器上搭載了抓取蘋果的夾持機構和可見/近紅外光譜采集結構，用于抓取蘋果的同時采集蘋果的可見/近紅外光譜。使用傳送帶輸送蘋果用于模擬蘋果采后處理動態(tài)流水線，蘋果被朝向一致地排布在輸送帶上，果梗和花萼的軸線處于水平方向上，以便于夾持機構抓取蘋果的赤道部位并采集赤道部位光譜。CMOS相機固定在傳送帶上方，與機械臂的關系屬于“eye-to-hand”形式，即“眼在手外”，此種布置方式的優(yōu)勢在于，相機能夠獲得較大的視野，且相機視野不隨機械臂運動而改變，當機械臂運動時不會脫離視場，具有較高的工作效率。CMOS相機用于采集圖像和獲取蘋果的外觀信息及位置信息，相機與機器手之間經過手眼標定，可以將相機坐標系中的蘋果位置坐標轉換為機器手坐標系中的坐標。相機配合深度學習模型對蘋果進行實時識別定位，計算機根據蘋果位置信息及傳送帶的運輸速度計算出合適的抓取位置坐標，再向機器手發(fā)送抓取指令完成抓取及后續(xù)檢測分級操作。編寫的控制軟件用于控制檢測分級全過程并將檢測分級結果實時顯示在軟件界面上。

圖2 機器手系統(tǒng)結構圖[26]

1.2.2 機器手手眼標定

相機用于采集圖像并進行蘋果坐標位置檢測及外部品質檢測，但是相機的圖像坐標系與機械手的坐標系是兩個不同的坐標系，同一個蘋果在兩個坐標系下的位置坐標是不同的。為了讓機械手成功抓取蘋果，需要將相機坐標系下的蘋果坐標轉化成機械手坐標系下的坐標，因此，還需要進行“手眼標定”。相機鏡頭軸線處于豎直方向，且機械手底座、傳送帶都是水平安裝、相機、機械臂底座、傳送帶的相對高度是一定的，因此，只需要對圖像坐標系和機械手坐標系進行二維平面之間的標定。

標定的本質是對兩個坐標系的仿射變換，需要得到兩個坐標系之間的仿射變換矩陣，該矩陣可由式（1）表示，由于只進行二維仿射變換，因此矩陣最后一行為“0”，“0”，“1”。為了便于矩陣運算，假定圖像坐標系內的某一點坐標用（X，Y，1）表示，假設該點在機械手坐標系下坐標為（X，Y，1），兩個坐標與矩陣之間的關系可以表示為公式（2）。

由公式可知，機械手坐標系下的蘋果坐標只需通過矩陣與圖像坐標系下的坐標進行運算即可求得，因此，使用三組對應點的坐標即可求取矩陣中的a～f各參數。使用硬紙板和打印有若干黑色圓點的白紙制成標定板，如圖3所示。

圖3 標定板

在機械臂末端軸上安裝標定針，利用機械臂示教器手動控制機械臂和標定針移動，因為機械手在抓取蘋果時末端軸軸線應保持豎直，因此標定過程中使機械臂末端軸軸線始終保持豎直向下，當標定針接觸到標定點的圓心位置時，記錄此時機械臂的坐標，依次走完3個點。再利用軟件HALCON通過圖像處理的方法得到這3個點在相機坐標系下的坐標。將得到的對應的三組機械手坐標系坐標和相機坐標系坐標代入公式（2），即可求解仿射變換矩陣。由此，完成了相機坐標系到機械手坐標系的轉換。

1.2.3 末端執(zhí)行器

末端執(zhí)行器集成了抓取蘋果和內部品質檢測功能，末端執(zhí)行器上搭載了抓取蘋果的夾持機構和可見/近紅外光譜采集結構，可見/近紅外光譜結構位于末端執(zhí)行器內部，可實現抓取蘋果的同時采集可見/近紅外光譜，通過對采集到的光譜進行分析從而進一步得到蘋果的內部品質信息。末端執(zhí)行器夾持蘋果由一對齒輪齒條驅動的手指完成，末端執(zhí)行器在抓取蘋果時，需要保證無損抓取蘋果[27]，夾持機構使用基于魚鰭結構[28]的軟橡膠兩指結構完成抓取和釋放蘋果的動作，在夾持蘋果時軟橡膠直接接觸蘋果表面，不會對蘋果表面造成損傷。使用了步進電機驅動齒輪齒條副及與之相連的手指，達到兩指結構開合的動作，完成蘋果的抓取和釋放?？梢?近紅外光譜采集結構由光源、光學傳感器、光纖探頭等部分組成，其結構可參考此前的工作[26]。末端執(zhí)行器底部具有微動開關，當機器手帶動末端執(zhí)行器貼近蘋果表面時，微動開關被觸發(fā)并向計算機發(fā)送信號，光譜采集結構采集蘋果樣本的可見/近紅外光譜。在試驗研究中采用了我團隊先前開發(fā)的末端執(zhí)行器[26]，在其基礎上對可見/近紅外模塊進行優(yōu)化、優(yōu)化了光譜采集策略，配合機器手的抓取動作，調整積分時間，提高光譜采集的穩(wěn)定性；整體結構進行細化，對驅動手指開閉的齒輪架進行重新設計優(yōu)化，對手指與傳動齒條間的固定支撐結構重新設計，進一步提高結構的穩(wěn)定性以及工作的可靠性，實物圖如圖4所示。末端執(zhí)行器質量為1.5 kg，長度約為20 cm，寬度約為2 cm，高度約為13 cm，單次張開或閉合耗時約0.5 s。

圖4 末端執(zhí)行器

1.2.4 控制軟件的實現

基于Python語言，利用PyQt5平臺，編寫了上位機控制軟件，軟件的主要功能包括圖像采集、目標檢測、圖像處理、機械臂通信及控制、末端執(zhí)行器控制、光譜采集及分級結果顯示等，軟件界面如圖5所示。當機器手系統(tǒng)啟動時，傳送帶開始以設定的速度輸送蘋果，CMOS相機開始采集圖像并傳回計算機軟件，軟件通過調用PP-YOLO訓練的目標檢測模型計算蘋果的實時位置，并計算合適的抓取位置。機械臂在抓取蘋果時，需要考慮機械臂最大的工作范圍，需要確保機械臂在抓取時，處于安全的工作范圍。因此，在傳送帶上設定了一段安全的抓取范圍，當目標檢測模型檢測到蘋果進入安全抓取范圍時，會記錄這一時刻蘋果的坐標位置（,）及果徑大?。╩m），根據公式（3）計算機器手的抓取坐標（，，）。

式中為機器手由初始位運動到蘋果抓取區(qū)域范圍的一般用時，經試驗約為0.5 s，v為傳送帶輸送速度，mm/s；為傳送帶相對地面高度，mm；為機械臂底座相對地面高度，mm。需要注意的是，抓取點為末端執(zhí)行器的抓取中心應到達的點，已考慮末端執(zhí)行器長度的偏移量。然后將抓取位置信息發(fā)送給機械臂控制器，從而控制機器手抓取傳送帶上的蘋果。在末端執(zhí)行器靠近蘋果的同時微動開關被觸發(fā)，信號由與微動開關相連的單片機發(fā)送給上位機軟件，軟件控制光譜采集結構采集蘋果的可見/近紅外光譜，調用上位機中的糖度光譜預測模型計算蘋果糖度值，實現蘋果內部品質的檢測。

圖5 控制軟件界面

1.3 基于PP-YOLO的目標識別算法

為了提高檢測分級效率，本文設計了在動態(tài)流水線上使用機器手系統(tǒng)完成蘋果檢測分級的方案。在動態(tài)流水線上實現使用機器手抓取蘋果是一個關鍵環(huán)節(jié)，而得到準確的蘋果位置信息是實現抓取的第一步，因此蘋果位置動態(tài)識別至關重要。

為了實現蘋果位置動態(tài)識別，本文使用了PP-YOLO目標檢測算法，PP-YOLO是在YOLOv3基礎上改進得到的目標檢測算法，檢測速度更快，精度更高，也更輕量化，更加適用于實時檢測場景。PP-YOLO結合了現有的幾乎不增加模型參數和觸發(fā)器的技術，在幾乎恒速的條件下盡可能地提高了檢測器的精度。PP-YOLO使用改進后的ResNet50-vd替換了原YOLOv3中的DarkNet-53，數據增強只使用mix-up方法，使得PP-YOLO的訓練和推理效率更高。圖6是PP-YOLO的整體結構。

1.4 圖像處理

蘋果的外部品質檢測通過圖像處理實現，外部品質指標包括果徑大小和著色度。在使用PP-YOLO檢測模型進行目標檢測后，已經得到蘋果的外接矩形的坐標，可以進一步計算出蘋果在圖像中的果徑大小，在相機和傳送帶相對固定后，對圖像坐標系下蘋果的直徑與蘋果直徑的實際測量值之間的關系進行標定，從而根據圖像中蘋果直徑推算蘋果實際直徑。對于富士蘋果而言，蘋果的著色度可定義為蘋果表面紅色部分面積占整個蘋果表面積的比例，在本文中，對蘋果顯露在相機視野中的一面進行著色度計算，用蘋果的一部分表面著色度情況預測整體著色度，在后續(xù)研究中將使用機械結構使蘋果翻滾，以獲得蘋果全表面圖像，進一步提高著色度檢測的預測準確度及精度。圖像處理過程如圖7所示，在進行目標檢測后，需要更加精確提取蘋果的表面區(qū)域，對蘋果矩形區(qū)域范圍內的圖像進行灰度化處理及二值化處理，采用了膨脹的圖像形態(tài)學處理，得到蘋果表面的感興趣區(qū)域圖像。相機采集到的圖像為RGB彩色圖像，使用OpenCV庫中的“cvtColor”方法將圖像轉換到HSV色彩空間，編寫程序遍歷HSV色彩空間圖像對應的感興趣區(qū)域中的每一個像素點，提取每個像素點的、、三個通道的值，判斷像素點是否為紅色像素，根據紅色像素點數量占蘋果表面像素點數量的百分比計算其著色度。

注：C1～C5代表骨干網絡ResNet50-vd的5個尺寸不同的卷積層，其尺寸、通道數、卷積層數都不同；P3～P5代表經由特征金字塔網絡生成的三個尺寸不同的特征金字塔層。

圖7 圖像處理過程

1.5 蘋果內部品質檢測模型的建立

蘋果的光譜由機器手末端執(zhí)行器抓取蘋果的同時采集，末端執(zhí)行器上裝載的光學傳感器（STS-NIR型，Ocean Optics，USA）采集蘋果的可見/近紅外光譜，其尺寸為40 mm×42 mm×24 mm，質量為68 g，光學分辨率為0.5 nm，采集的波長范圍為650～1 100 nm，光學傳感器對每個樣本的采光譜部位采集5次取平均光譜。所有用于建模的樣本采集完靜態(tài)光譜后采集動態(tài)光譜。樣本先在機器手處于靜態(tài)狀態(tài)下采集光譜，采集時手動將蘋果貼近末端執(zhí)行器，觸發(fā)微動開關從而采集光譜，隨后再采集機器手動態(tài)抓取蘋果狀態(tài)下的光譜，蘋果由傳送帶輸送，機器手抓取蘋果的同時采集光譜，如圖8所示。當傳送帶傳送速度在0～0.15 m/s范圍內時，機器手系統(tǒng)能保證準確抓取。分別采集靜態(tài)光譜和動態(tài)光譜進行建模分析是為了比較這兩種采集狀態(tài)下光譜及建立的模型是否會存在較大差異，從而探究機器手在正常的動態(tài)工作狀態(tài)下是否會對采集光譜環(huán)節(jié)造成影響。光譜數據所使用的預處理方式包括無預處理（None）、標準正態(tài)變換（Standard Normal Variate transform，SNV）、歸一化光譜比值法[29]（Normalized Spectral Ratio，NSR）。

圖8 光譜的動態(tài)采集

在光譜數據采集完成后，根據標準NY/T 2637—2014中的方法[30]，使用數字折光儀測定蘋果的糖度值。從蘋果樣本赤道上的光譜采集部位削去果皮，取出適量果肉，將果肉榨出果汁并搖勻，將果汁滴入數字折光儀，測定糖度值并記錄，后續(xù)用于建立蘋果糖度的可見/近紅外預測模型。蘋果直徑一般被定義為蘋果沿赤道方向的直徑，利用游標卡尺測定其果徑的真實值，用于驗證果徑大小的預測情況。利用標準比色板進行著色度的感官評定，用于驗證著色度的預測情況。用于試驗的200個蘋果樣本的糖度在8.1%～15.5%之間，果徑大小在62.5～93.5mm之間，著色度范圍在10.1%～99.5%之間。

1.6 機器手系統(tǒng)工作流程

機器手系統(tǒng)的工作流程如圖9所示。

圖9 機器手系統(tǒng)工作流程圖

2 結果與分析

2.1 PP-YOLO模型訓練與驗證結果

將數據集圖片輸入網絡進行訓練，訓練集和測試集的比例為7∶3。模型訓練的運行環(huán)境：GPU: Tesla V100，Video Mem: 16 GB，設置基礎學習率為0.001 5，batchsize設置為8，迭代輪數epoch設置為500輪，迭代完成后保存最終模型，訓練總耗時約20 h。

模型的精準率為0.965 5，召回率為1，準確率為0.998 4，該模型對蘋果的正確識別率達到100%，實際識別時的效果如圖10所示，模型能對蘋果的位置信息進行畫框標注，其畫框準確性與人工標注效果十分接近，模型識別效果良好。模型的檢測速度為38幀/s，能夠實現對蘋果位置坐標的實時監(jiān)測，滿足機器手系統(tǒng)的工作要求。

a. 真實結果b. 預測結果 a. True valueb. Predicted value

2.2 蘋果糖度建模與模型評價

圖11為160個樣本采集的靜態(tài)光譜和動態(tài)光譜及對應的預處理后的光譜。

a. 靜態(tài)原始光譜b. 動態(tài)原始光譜c. 靜態(tài)SNV光譜 a. Static raw spectrumb. Dynamic raw spectrac. Static SNV spectrum

d. 動態(tài)SNV光譜e. 靜態(tài)NSR光譜f. 動態(tài)NSR光譜 d. Dynamic SNV spectrae. Static NSR spectrumf. Dynamic NSR spectra

使用偏最小二乘回歸算法分別建立了靜態(tài)光譜與糖度值、動態(tài)光譜與糖度值的模型，將160個樣本按照3∶1的比例隨機劃分為校正集和驗證集，為了評價模型效果，使用了校正集相關系數（R）、校正集均方根誤差（Root Mean Squared Error of Calibration，RMSEC）、驗證集相關系數（R）、驗證集均方根誤差（Root Mean Squared Error of Validation，RMSEV）等參數評價模型。蘋果糖度的可見/近紅外光譜建模結果如表1所示。相比于原始光譜建模，SNV預處理和NSR預處理均能起到提升建模效果的作用，NSR預處理取得了較佳建模結果，靜態(tài)光譜建模結果整體略好于動態(tài)光譜建模結果。機器手在動態(tài)工作狀態(tài)下采集光譜建模結果和靜態(tài)狀態(tài)下相比有所降低，但相差不大，因此動態(tài)光譜所建模型可以用于機器手工作狀態(tài)下預測蘋果內部品質。

表1 蘋果糖度靜態(tài)和動態(tài)采光譜建模結果

在NSR預處理的動態(tài)光譜模型基礎上進行了進一步優(yōu)化，分別使用競爭性自適應重加權算法（Competitive Adaptive Reweighted Sampling，CARS）[31]和變量組合種群分析（Variable Combination Population Analysis，VCPA）[32]對NSR預處理光譜進行了特征波長篩選。

使用CARS篩選到的特征波長數量為39個，VCPA篩選到的特征波長數量為10個，圖12a、12b分別為CARS和VCPA篩選到的特征波長點在NSR光譜曲線上的分布情況，可以看出兩種方法篩選到的特征波長一部分具有相近的波長范圍，但是VCPA將特征波長的空間壓縮得更小，特征波長數量少于CARS。

使用NSR預處理結合特征波長篩選方法進行建模，NSR+CARS的建模結果為：R=0.974 9，RMSEC= 0.313 8%，R=0.970 5，RMSEV=0.366 8%；NSR+VCPA的建模結果為：R=0.972 0，RMSEC=0.334 9%，R= 0.967 5，RMSEV=0.401 1%。經過特征波長篩選，建模結果有所提升，CARS篩選的特征波長建模結果好于VCPA，因此使用NSR+CARS模型作為最終機器手系統(tǒng)工作時的糖度預測模型。

2.3 裝置驗證結果

為了驗證機器手系統(tǒng)動態(tài)檢測分級性能，進行了分級試驗。將NSR預處理的動態(tài)光譜模型置入上位機，可以在機器手系統(tǒng)進行動態(tài)抓取檢測時供上位機控制軟件調用，以實現蘋果內部品質的動態(tài)檢測。

使用了40個樣本用于分級試驗。機器手系統(tǒng)根據果徑大小、著色度、糖度將蘋果品質分為3個等級，3個等級的要求參考了GB/T 10651—2008鮮蘋果標準中對富士蘋果的品質要求的規(guī)定，并根據實際的檢測情況加以修改，市面上售賣的富士蘋果的果徑大小一般在60～100 mm之間，據此劃分了3個等級的果徑大小閾值，富士蘋果大多數以紅色為主，優(yōu)等蘋果的著色度在90%以上，著色度75%以下的蘋果在視覺上花紋較多，據此劃分了著色度的等級閾值，在試驗過程中測定的蘋果糖度的范圍一般在8%～15%之間，據此劃定了糖度的等級閾值，蘋果各等級對品質指標的要求如表2所示。

圖12 特征波長篩選結果

表2 蘋果品質綜合分級方式

若蘋果的三個指標檢測結果分屬不同等級，則蘋果最終的等級按照最低的等級確定，例如，蘋果果徑屬于一級，著色度屬于一級，糖度屬于二級，則該蘋果屬于二級，依此類推。

試驗流程和機器手系統(tǒng)工作流程一致，蘋果樣本使用傳送帶輸送，蘋果運動到相機視野內后，目標檢測模型對圖像進行處理，實時追蹤蘋果的坐標位置，同時，控制軟件計算蘋果的果徑大小和著色度。當蘋果運動到適合機器手抓取的區(qū)域范圍，控制軟件計算抓取點坐標，將坐標發(fā)送給機械臂控制器，機器手移動到抓取點，蘋果觸碰微動開關，觸發(fā)手指的抓取動作并完成光譜采集，光譜數據被代入模型進行計算，得到糖度預測值?？刂栖浖鶕麖酱笮?、著色度、糖度等信息判斷蘋果所屬等級，控制機器手將蘋果裝入不同的等級箱中，完成分級。在使用機器手系統(tǒng)完成分級后，對40個樣本的果徑、著色度、糖度進行了測量并記錄，隨后使用游標卡尺測量蘋果樣本的果徑大小，使用標準比色板進行著色度感官評定，使用數字折射儀測定蘋果糖度值，記錄蘋果的品質指標實際測定值與實際等級。機器手系統(tǒng)對蘋果樣本品質指標檢測結果如圖13所示，蘋果樣本的等級檢測結果如表3所示。

圖13 機器手系統(tǒng)對蘋果樣本品質指標檢測結果

表3 機器手系統(tǒng)對蘋果樣本等級的檢測結果

從表3中可以看出，在所有蘋果樣本中，有2個樣本實際等級與機器手系統(tǒng)的分級結果不一致，分別是樣本4號和24號，是由于機器手系統(tǒng)的著色度檢測結果比實際著色度值偏大造成的，其余38個樣本的分級結果正確，分級正確率為95%。對蘋果果徑大小、著色度、糖度的實測值與預測值進行分析，果徑大小的預測相關系數為0.977 2，均方根誤差為1.631 5 mm；著色度的預測相關系數為0.967 4，均方根誤差為5.973 4%；糖度的預測相關系數為0.964 3，均方根誤差為0.504 8%，果徑大小、著色度、糖度的預測結果與真實值均具有較強的線性關系和較低的預測誤差。在機器手工作過程中，機器手能夠準確穩(wěn)固地抓取蘋果，并能夠成功裝箱，每顆蘋果從識別到裝箱的分級平均用時為5.2 s，滿足動態(tài)分級的需求。在后續(xù)的研究中，可以對機械臂的運動軌跡及抓取策略進行優(yōu)化，也可以考慮應用更加高速靈活的機械臂，并使用多臺機械臂同時工作，以提高機器手系統(tǒng)整體的工作效率。

3 結 論

1）本研究針對富士蘋果的內外部品質指標研發(fā)了動態(tài)無損感知及分級機器手系統(tǒng)，系統(tǒng)由機械臂、機械臂控制器、CMOS相機、末端執(zhí)行器、計算機及控制軟件等部分組成，將靈活高自由度的機械臂與蘋果檢測分級相結合，實現了高效靈活的蘋果檢測分級。應用機器視覺技術檢測蘋果的果徑大小及著色度，應用可見/近紅外光譜技術檢測蘋果的糖度，基于PP-YOLO網絡結構訓練識別追蹤蘋果位置的深度學習模型，其精準率為0.965 5，召回率為1，準確率為0.998 4，模型檢測速度為38 幀/s，具有良好的檢測識別效果。

2）比較了機器手靜態(tài)采集光譜及動態(tài)采集光譜條件下蘋果糖度的建模結果差異，結果表明，在使用NSR（Normalized Spectral Ratio，歸一化光譜比值法）預處理光譜后建模結果較佳，靜態(tài)光譜模型R為0.960 2，RMSEV（Root Mean Squared Error of Validation，驗證均方根誤差）為0.450 1%，動態(tài)光譜模型R為0.958 9，RMSEV（Root Mean Squared Error of Validation，驗證均方根誤差）為0.462 7%，相比于靜態(tài)光譜，機器手動態(tài)狀態(tài)下采集光譜對模型的預測效果存在一定影響，但影響較小，動態(tài)狀態(tài)下所建模型可以滿足機器手系統(tǒng)工作需要。采用不同的特征波長篩選方法對動態(tài)光譜模型進行了優(yōu)化，得到了結果較佳的NSR（Normalized Spectral Ratio，歸一化光譜比值法）+CARS（Competitive Adaptive Reweighted Sampling，競爭性自適應重加權算法）動態(tài)光譜模型，R=0.970 5，RMSEV=0.366 8%，該模型被選為機器手系統(tǒng)工作時的糖度預測模型。

3）對裝置的試驗驗證結果表明，機器手對蘋果具有較高的抓取成功率，能夠成功抓取所有移動狀態(tài)下的蘋果樣本，對蘋果的果徑大小、著色度、糖度3個指標劃定了等級閾值，機器手系統(tǒng)分級正確率為95%，完成一顆蘋果分級的時間約為5.2 s，裝置具有較好的可靠性和實用性。

本文將糖度作為內部品質檢測指標，將果徑大小和著色度作為外部品質檢測指標，在下一步工作中可以增加內部品質指標，例如酸度、水心病，也可以增加外部品質指標，例如蘋果外部損傷。檢測分級速度受制于機械臂運動速度，今后可應用更加高速靈活的機械臂，并使用多臺機械臂同時工作，以提高檢測分級效率。

[1] 趙德英，袁繼存，徐鍇，等. 近10年來國內外蘋果產銷分析[J]. 中國果樹，2016(3)：87-93.

Zhao Deying, Yuan Jicun, Xu Kai, et al. Apple production and sales analysis at home and abroad in the past 10 years[J]. China Fruits, 2016(3): 87-93. (in Chinese with English abstract)

[2] 劉夢琪，趙俊曄. 中國蘋果產品出口現狀、競爭力分析及提升對策[J]. 中國食物與營養(yǎng)，2018，24(6)：47-51.

Liu Mengqi, Zhao Junye. Export status, competitiveness and promotion countermeasures of apple products in China[J]. Food and Nutrition in China, 2018, 24(6): 47-51. (in Chinese with English abstract)

[3] 曹玉棟，祁偉彥，李嫻，等. 蘋果無損檢測和品質分級技術研究進展及展望[J]. 智慧農業(yè)，2019，1(3)：29-45.

Cao Yudong, Qi Weiyan, Li Xian, et al. Research progress and prospect on non-destructive detection and quality grading technology of apple[J]. Smart Agriculture, 2019, 1(3): 29-45. (in Chinese with English abstract)

[4] 應義斌，饒秀勤，趙勻，等. 機器視覺技術在農產品品質自動識別中的應用研究進展[J]. 農業(yè)工程學報，2000，16(3)：4-8.

Ying Yibin, Rao Xiuqin, Zhao Yun, et al. Advance on application of machine vision technique to automatic quality identification of agricultural products[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2000, 16(3): 4-8. (in Chinese with English abstract)

[5] 郭志明，王郡藝，宋燁，等. 手持式可見近紅外蘋果品質無損檢測系統(tǒng)設計與試驗[J]. 農業(yè)工程學報，2021，37(22)：271-277.

Guo Zhiming, Wang Junyi, Song Ye, et al. Design and experiment of the handheld visible-near infrared nondestructive detecting system for apple quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 271-277. (in Chinese with English abstract)

[6] 孫豐剛，王云露，蘭鵬，等. 基于改進YOLOv5s和遷移學習的蘋果果實病害識別方法[J]. 農業(yè)工程學報，2022，38(11)：171-179.

Sun Fenggang, Wang Yunlu, Lan Peng, et al. Identification of apple fruit diseases using improved YOLOv5s and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(11): 171-179. (in Chinese with English abstract)

[7] 畢淑慧，李雪，申濤，等. 基于多模型證據融合的蘋果分類方法[J]. 農業(yè)工程學報，2022，38(13)：141-149.

Bi Shuhui, Li Xue, Shen Tao, et al. Apple classification based on evidence theory and multiple models[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(13): 141-149. (in Chinese with English abstract)

[8] 馮海寬，楊福芹，楊貴軍，等. 基于特征光譜參數的蘋果葉片葉綠素含量估算[J]. 農業(yè)工程學報，2018，34(6)：182-188.

Feng Haikuan, Yang Fuqin, Yang Guijun, et al. Estimation of chlorophyll content in apple leaves base on spectral feature parameters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(6): 182-188. (in Chinese with English abstract)

[9] 張海輝，陳克濤，蘇東，等. 基于特征光譜的蘋果霉心病無損檢測設備設計[J]. 農業(yè)工程學報，2016，32(18)：255-262.

Zhang Haihui, Chen Ketao, Su Dong, et al. Design of nondestructive detection device for moldy core in apples based on characteristic spectrum[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(18): 255-262. (in Chinese with English abstract)

[10] Fan S, Li J, Xia Y, et al. Long-term evaluation of soluble solids content of apples with biological variability by using near-infrared spectroscopy and calibration transfer method[J]. Postharvest Biology and Technology, 2019, 151:79–87.

[11] 樊書祥，黃文倩，郭志明，等. 蘋果產地差異對可溶性固形物近紅外光譜檢測模型影響的研究[J]. 分析化學，2015，43(2)：239-244.

Fan Shuxiang, Huang Wenqian, Guo Zhiming, et al. Assessment of influence of origin variability on robustness of near infrared models for soluble solid content of apples[J]. Chinese Journal of Analytical Chemistry, 2015, 43(2): 239-244. (in Chinese with English abstract)

[12] 郭志明，黃文倩，陳全勝，等. 近紅外光譜的蘋果內部品質在線檢測模型優(yōu)化[J]. 現代食品科技，2016，32(9)：147-153.

Guo Zhiming, Huang Wenqian, Chen Quansheng, et al. Model optimization for the on-line inspection of internal apple quality by shortwave near-infrared spectroscopy[J]. Modern Food Science and Technology, 2016, 32(9): 147-153. (in Chinese with English abstract)

[13] Sofu M M, Er O, Kayacan M C, et al. Design of an automatic apple sorting system using machine vision[J]. Computers and Electronics in Agriculture, 2016, 127: 395-405.

[14] 黃辰，費繼友. 基于圖像特征融合的蘋果在線分級方法[J]. 農業(yè)工程學報，2017，33(1)：285-291.

Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285-291. (in Chinese with English abstract)

[15] 喬鑫，彭彥昆，王亞麗，等. 手機聯用的蘋果糖度便攜式檢測裝置設計與試驗[J]. 農業(yè)機械學報，2020，51(s2)：491-498.

Qiao Xin, Peng Yankun, Wang Yali, et al. Design of portable device for testing sugar content of apples combined with mobile phones[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(s2): 491-498. (in Chinese with English abstract)

[16] 潘圓媛，劉燕德，孫旭東. 水果內部品質近紅外動態(tài)在線檢測研究進展[J]. 激光與紅外，2010，40(8)：805-810.

Pan Yuanyuan, Liu Yande, Sun Xudong. Research progress of on-line detection of fruit quality using near infrared spectroscopy[J]. Laser& Infrared, 2010, 40(8): 805-810. (in Chinese with English abstract)

[17] 李龍，彭彥昆，李永玉. 蘋果內外品質在線無損檢測分級系統(tǒng)設計與試驗[J]. 農業(yè)工程學報，2018，34(9)：267-275.

Li Long, Peng Yankun, Li Yongyu. Design and experiment on grading system for online non-destructive detection of internal and external quality of apple[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 267-275. (in Chinese with English abstract)

[18] 孫凱，閆學慧，朱榮勝. 圓形水果自動分選和貼標簽機的設計與應用[J]. 食品與機械，2018，34(8)：79-84.

Sun Kai, Yan Xuehui, Zhu Rongsheng. Design and application of round fruit sorting and labeling machine[J]. Food and Machinery, 2018, 34(8): 79-84. (in Chinese with English abstract)

[19] 常漢. 水心病蘋果水心程度與可溶性固形物含量在線無損檢測方法與分級裝備研究[D]. 杭州：浙江大學，2021.

Chang Han. Research and Development of On-line Non-destructive Detecting Method and Grading Equipment of Apple Watercore and Soluble Solids Content[D]. Hangzhou：Zhejiang University，2021.

[20] 于大國，趙明，Shi Yijun，等. 基于比重和圖像的核桃內部品質無損檢測與分選[J]. 農業(yè)機械學報，2021，52(7)：373-378，357.

Yu Daguo, Zhao Ming, Shi Yijun, et al. Internal quality nondestructive detection and sorting principle of walnut based on density and digital image[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(7): 373-378, 357. (in Chinese with English abstract)

[21] 劉民法. 基于機器視覺技術的紅棗自動化分級機的結構設計研究[D]. 銀川：寧夏大學，2015.

Liu Minfa. Structure Design Study on the Automated Classifier of Red Jujubes Based on Machine Vision Technique[D]. Yinchuan: Ningxia University, 2015. (in Chinese with English abstract)

[22] 彭彥昆，馬營，李龍. 蘋果內部品質分級機械手設計與試驗[J]. 農業(yè)機械學報，2019，50(1)：307-312.

Peng Yankun, Ma Ying, Li Long. Design and experiment of apple internal quality sorting manipulator[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(1): 307-312. (in Chinese with English abstract)

[23] Wu Z, Yang R, Gao F, et al. Segmentation of abnormal leaves of hydroponic lettuce based on DeepLabV3+ for robotic sorting [J]. Computers and Electronics in Agriculture, 2021, 190: 106443.

[24] Bu L, Chen C, Hu G, et al. Design and evaluation of a robotic apple harvester using optimized picking patterns [J]. Computers and Electronics in Agriculture, 2022, 198: 107092.

[25] Li L. Design and trajectory planning of six axis robot based on food industry[J]. The Food Industry, 2020, 41(6), 237–240.

[26] Zhao M, Peng Y, Li L. A robot system for the autodetection and classification of apple internal quality attributes[J]. Postharvest Biology and Technology, 2021, 180, 111615.

[27] 苗玉彬，鄭家豐. 蘋果采摘機器人末端執(zhí)行器恒力柔順機構研制[J]. 農業(yè)工程學報，2019，35(10)：19-25.

Miao Yubin, Zheng Jiafeng. Development of compliant constant-force mechanism for end effector of apple picking robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(10): 19-25. (in Chinese with English abstract)

[28] Crooks W, Vukasin G, O’Sullivan M, et al. Fin ray effect inspired soft robotic gripper: From the robosoft grand challenge toward optimization[J]. Frontiers in Robotics and AI, 2016, 2016(3): 1-9.

[29] Li L, Peng Y, Yang C, et al. Optical sensing system for detection of the internal and external quality attributes of apples[J]. Postharvest Biology and Technology, 2020, 162: 111101.

[30] 中華人民共和國農業(yè)部. 水果和蔬菜可溶性固形物含量的測定折射儀法：NY/T 2637—2014[S]. 中國：中國標準出版社，2015.

[31] 宋華魯，閆銀發(fā)，宋占華，等. 利用介電參數和變量篩選建立玉米籽粒含水率無損檢測模型[J]. 農業(yè)工程學報，2019，35(20)：262-272.

Song Hualu, Yan Yinfa, Song Zhanhua, et al. Nondestructive testing model for maize grain moisture content established by screening dielectric parameters and variables[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(20): 262-272. (in Chinese with English abstract)

[32] 孫宗保，王天真，劉小裕，等. 高光譜結合波長選擇算法串聯策略檢測調理牛排新鮮度[J]. 光譜學與光譜分析，2020，40(10)：3224-3229.

Sun Zongbao, Wang Tianzhen, Liu Xiaoyu, et al. Detection of prepared steaks freshness using hyperspectral technology combined with wavelengths selection methods combination strategy[J]. Spectroscopy and Spectral Analysis, 2020, 40(10): 3224-3229. (in Chinese with English abstract)

Dynamic nondestructive sensing and grading manipulator system for apple quality

Peng Yankun, Sun Chen, Zhao Miao

(1.,,100083,; 2.-,100083,)

Flexible and efficient detection and classification were here proposed for the multiple quality index of the apple. In this study, a manipulator system was also developed with nondestructive sensing and grading for the internal and external quality of apple using machine vision and visible and Near-Infrared (Vis/NIR) spectroscopy. A six-Degree of Freedom (DOF) mechanical arm was used to equip a self-designed end effector in the system. Specifically, the end effector was loaded with the optical sensor and grasping structure, in order to capture the Vis/NIR spectrum of the apple. A manipulator was obtained to combine the end effector with the mechanical arm. The apple was first grabbed on the assembly line, and then the spectrum of the apple was collected at the same time for sugar content detection. The spectra of apple samples were collected in the static and dynamic states. Some spectral preprocessing was implemented for the modeling and analysis using the Partial Least Squares (PLS). A CMOS camera was selected to collect the images for the dynamic positioning and external quality detection of apples. A target detection model of PP-YOLO deep learning was trained on the apple images to calculate the coordinate position of the apple for the fruit diameter and coloration. The experimental results show that the Normalized Spectral Ratio (NSR) preprocessing performed the best in the static and dynamic states. The best performance was achieved in the dynamic spectral model of the manipulator using the NSR and Coherent Anti-Stokes Raman Scattering (CARS). The correlation coefficient,R, was 0.958 9 in the dynamic spectral model, where the Root Mean Square Error (RMSE) was 0.462 7%. There was less influence on the prediction model. The overall manipulator system was verified in the field test. The manipulator was used to flexibly grab the apples without damage during work. Three detection indicators were also given for the fruit diameter, coloring degree, and sugar content. An automatic grading was then implemented, according to the indicators. As such, the apples were finally placed into the corresponding level box in terms of the grade information. A comparison was also made between the measured and predicted values of the three indexes. The predicted correlation coefficient of apple diameter, coloring degree, and sugar content were 0.977 2, 0.967 4, and 0.964 3, respectively, with the RMSE of 1.631 5 mm, 5.973 4%, and 0.504 8%, respectively. There was a strong linear relationship between the prediction and actual value, indicating a lower prediction error than before. The maximum classification accuracy was up to 95% in the manipulator system. The grading system of the mechanical arm was taken about 5.2 s to realize the positioning, grasping, detection, classification, and placement of an apple, indicating better reliability.

machine vision; vision and visible and Near-Infrared spectroscopy; apple; nondestructive sensing; grading; manipulator system

10.11975/j.issn.1002-6819.2022.16.032

TP23；S237

A

1002-6819(2022)-16-0293-11

彭彥昆，孫晨，趙苗. 蘋果品質動態(tài)無損感知及分級機器手系統(tǒng)[J]. 農業(yè)工程學報，2022，38(16)：293-303.doi：10.11975/j.issn.1002-6819.2022.16.032 http://www.tcsae.org

Peng Yankun, Sun Chen, Zhao Miao. Dynamic nondestructive sensing and grading manipulator system for apple quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 293-303. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.032 http://www.tcsae.org

2022-04-24

2022-08-07

國家重點研發(fā)計劃項目( 2016YFD0400905-05)

彭彥昆，教授，博士生導師，研究方向為農畜產品無損檢測技術與裝置研發(fā)。Email：ypeng@cau.edu.cn