彭彥昆，孫 晨，劉 樂(lè)，李 陽(yáng)

蘋(píng)果外部缺陷全表面在線(xiàn)檢測(cè)分選裝置研發(fā)

彭彥昆，孫 晨，劉 樂(lè)，李 陽(yáng)

（1. 中國(guó)農(nóng)業(yè)大學(xué)工學(xué)院，北京 100083；2. 國(guó)家農(nóng)產(chǎn)品加工技術(shù)裝備研發(fā)分中心，北京 100083）

中國(guó)是水果消費(fèi)大國(guó)，但在水果產(chǎn)后檢測(cè)裝備方面相對(duì)滯后。針對(duì)目前在線(xiàn)檢測(cè)裝置無(wú)法采集蘋(píng)果全表面圖像信息且無(wú)法精確計(jì)算缺陷面積的問(wèn)題，該研究以表面缺陷面積的快速檢測(cè)為主要目標(biāo)，提出蘋(píng)果全表面圖像合成算法，設(shè)計(jì)了一套蘋(píng)果外部品質(zhì)在線(xiàn)檢測(cè)及分級(jí)裝置。該研究以蘋(píng)果為例，基于球模型提出蘋(píng)果全表面圖像合成算法、缺陷面積校正算法精確計(jì)算蘋(píng)果的表面缺陷面積。通過(guò)試驗(yàn)驗(yàn)證，對(duì)蘋(píng)果表面圖像進(jìn)行分割合成后，整體的圖像的漏檢率為0。提出缺陷面積校正算法，可以計(jì)算圖像中位于任意位置的蘋(píng)果缺陷真實(shí)面積，選取了120個(gè)樣本進(jìn)行驗(yàn)證，其中擦傷樣本、碰傷樣本、痘斑病樣本、表面腐敗樣本各30個(gè)。4種表面損傷面積的預(yù)測(cè)值和真實(shí)值的決定系數(shù)2均在0.97以上，均方根誤差（Root Mean Squared Error, RMSE）在4 mm2以下。在偏角試驗(yàn)中，4種表面損傷面積的預(yù)測(cè)值和真實(shí)值的決定系數(shù)2均在0.974 2以上，RMSE在6.304 4 mm2以下。裝置檢測(cè)蘋(píng)果的速度為2個(gè)/s，評(píng)級(jí)準(zhǔn)確率為95%。研究結(jié)果表明，檢測(cè)與蘋(píng)果評(píng)級(jí)精度較高，工作較為穩(wěn)定，實(shí)現(xiàn)了蘋(píng)果外部缺陷的檢測(cè)與分級(jí)評(píng)價(jià)，可為蘋(píng)果的外部品質(zhì)檢測(cè)提供技術(shù)支撐。

機(jī)器視覺(jué)；農(nóng)產(chǎn)品；無(wú)損檢測(cè)；蘋(píng)果外部品質(zhì)；在線(xiàn)式裝置

0 引 言

隨著人們生活水平的提高，消費(fèi)者對(duì)于水果的品質(zhì)越來(lái)越看重，以蘋(píng)果為例，中國(guó)是最大的蘋(píng)果生產(chǎn)和消費(fèi)國(guó)[1]，蘋(píng)果年產(chǎn)量和種植面積均居世界首位[2]。據(jù)聯(lián)合國(guó)糧食及農(nóng)業(yè)組織（Food and Agriculture Organization of the United Nations，F(xiàn)AO）統(tǒng)計(jì)：2020年，中國(guó)的蘋(píng)果產(chǎn)量是排名第二的美國(guó)的9倍以上。雖然中國(guó)的蘋(píng)果產(chǎn)量和出口量均居世界第一，但中國(guó)蘋(píng)果出口量與產(chǎn)量的比值卻遠(yuǎn)低于世界平均水平8%[3]。這主要是因?yàn)橹袊?guó)在蘋(píng)果產(chǎn)后檢測(cè)分級(jí)、研發(fā)及應(yīng)用方面相對(duì)滯后，高品質(zhì)的蘋(píng)果與品質(zhì)較差的蘋(píng)果沒(méi)有進(jìn)行分級(jí)區(qū)分，導(dǎo)致產(chǎn)品的附加值降低，嚴(yán)重制約了中國(guó)蘋(píng)果產(chǎn)業(yè)鏈的發(fā)展。因此，大力推行水果產(chǎn)后檢測(cè)分級(jí)，提高產(chǎn)品的附加值，對(duì)于推進(jìn)水果產(chǎn)業(yè)的發(fā)展以及促進(jìn)經(jīng)濟(jì)發(fā)展具有重要意義。

針對(duì)蘋(píng)果外部品質(zhì)檢測(cè)，機(jī)器視覺(jué)技術(shù)已成為重要的檢測(cè)手段之一。主要分為兩類(lèi)，一是機(jī)器學(xué)習(xí)技術(shù)[4-9]，二是傳統(tǒng)的圖像處理技術(shù)[10-13]。機(jī)器學(xué)習(xí)技術(shù)不僅包含支持向量機(jī)、決策樹(shù)、隨機(jī)森林算法等一些優(yōu)秀的傳統(tǒng)方法，目前新興的深度學(xué)習(xí)技術(shù)也是機(jī)器學(xué)習(xí)技術(shù)的一大主要分支，其主要是通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取圖像的特征信息，再根據(jù)特征信息進(jìn)行識(shí)別分級(jí)[14]，主要應(yīng)用于圖像的識(shí)別分類(lèi)。李學(xué)軍等[15]提出了一種判別樹(shù)和改進(jìn)支持向量機(jī)決策融合的蘋(píng)果分級(jí)方法,可以較為有效地進(jìn)行蘋(píng)果分級(jí)。周勝安等[16]為增強(qiáng)小型缺陷的檢出能力，對(duì)MobileNetV3模塊進(jìn)行改進(jìn)，并對(duì)CenterNet的預(yù)檢測(cè)階段進(jìn)行優(yōu)化，結(jié)果顯示其改進(jìn)后的模型對(duì)缺陷直徑大于4 mm的缺陷檢出效果較為優(yōu)異。李龍等[17]使用支持向量機(jī)（Support Vector Machines, SVM）對(duì)蘋(píng)果外部缺陷進(jìn)行判別，正確率為97%。Pande等[18]基于卷積神經(jīng)網(wǎng)絡(luò)使用Inception V3模型將蘋(píng)果分為4級(jí)，分級(jí)準(zhǔn)確率為90%。傳統(tǒng)的圖像處理技術(shù)主要有圖像濾波、圖像增強(qiáng)、霍夫變換等，黃辰等[19]提出改進(jìn)的三層Canny邊緣檢測(cè)算法來(lái)提取蘋(píng)果輪廓，采用判別樹(shù)對(duì)蘋(píng)果果徑、缺陷面積、色澤等特征進(jìn)行分級(jí)判斷。談?dòng)⒌萚20]融合顏色特征與重量特征，優(yōu)化權(quán)值系數(shù)提高分級(jí)準(zhǔn)確率，分級(jí)正確率為87%。Zhang等[21]使用壓力傳感器測(cè)量果重，并與圖像技術(shù)相結(jié)合設(shè)計(jì)分選裝置，綜合分級(jí)正確率為89.71%。李龍等[22]利用啞鈴式滾子及大津法、高斯濾波等方法，對(duì)蘋(píng)果表面損傷進(jìn)行檢測(cè)，其檢測(cè)正確率達(dá)到94%。Yang等[23]基于多特征與加權(quán)均值聚類(lèi)方法，提出融合顏色與果徑特征的分級(jí)算法，檢測(cè)分級(jí)正確率為96%。孫豐剛等[24]基于改進(jìn)的YOLOv5s模型，結(jié)合遷移學(xué)習(xí)方法對(duì)蘋(píng)果果實(shí)的病害進(jìn)行檢測(cè)識(shí)別，使得其檢測(cè)精度在原模型結(jié)果上提升8.5%，實(shí)現(xiàn)了在占用較少的計(jì)算資源的情況下對(duì)蘋(píng)果病害進(jìn)行快速準(zhǔn)確地識(shí)別。Zhang等[25]使用結(jié)合了近紅外編碼的點(diǎn)陣列結(jié)構(gòu)光及快速亮度校正的機(jī)器視覺(jué)系統(tǒng)來(lái)識(shí)別有缺陷的蘋(píng)果。Chopra等[26]結(jié)合分光光度法與機(jī)器視覺(jué)，在對(duì)1 366個(gè)蘋(píng)果數(shù)據(jù)的訓(xùn)練后，分級(jí)準(zhǔn)確率為82%。

上述研究中，大多是通過(guò)單相機(jī)獲取果品的圖像，無(wú)法獲得到果品的全表面圖像，另外以上兩類(lèi)檢測(cè)方法在進(jìn)行檢測(cè)時(shí)無(wú)法做到精確計(jì)算缺陷面積，所以無(wú)法根據(jù)損傷面積大小對(duì)蘋(píng)果進(jìn)行精確分級(jí)。為解決現(xiàn)今蘋(píng)果檢測(cè)中無(wú)法實(shí)現(xiàn)全表面品質(zhì)完整檢測(cè)問(wèn)題和蘋(píng)果缺陷面積無(wú)法精確計(jì)算的問(wèn)題，筆者提出一種針對(duì)蘋(píng)果全表面圖像合成方法及缺陷面積校正算法，該算法能夠?qū)崿F(xiàn)對(duì)如蘋(píng)果、梨、番茄、柑橘等水果全表面圖像的獲取以及對(duì)表面缺陷面積的精確計(jì)算。本研究以蘋(píng)果作為研究對(duì)象，獲取蘋(píng)果的全表面圖像，對(duì)蘋(píng)果的外部缺陷面積進(jìn)行精確計(jì)算，并根據(jù)缺陷面積大小對(duì)蘋(píng)果進(jìn)行精確分級(jí)，以期為蘋(píng)果的外部品質(zhì)檢測(cè)提供參考。

1 材料與方法

1.1 試驗(yàn)材料

在表面缺陷面積校正算法的驗(yàn)證中，分別購(gòu)買(mǎi)擦傷缺陷蘋(píng)果30個(gè)、痘斑病缺陷樣本30個(gè)，自行制備碰傷樣本30個(gè)、表面腐敗樣本30個(gè)。共計(jì)120個(gè)表面缺陷樣本進(jìn)行缺陷面積校正算法的驗(yàn)證。試驗(yàn)中的蘋(píng)果均收集自北京美廉美超市及周邊水果市場(chǎng)。缺陷面積的真實(shí)值測(cè)定方式為將蘋(píng)果缺陷的形心正對(duì)相機(jī)鏡頭，并將其固定在距離相機(jī)鏡頭15 cm處的臺(tái)面上，在采集圖像后經(jīng)過(guò)圖像處理方式，將缺陷的像素面積轉(zhuǎn)換為實(shí)際面積，以此方法測(cè)定缺陷的實(shí)際面積，用于缺陷面積的校正算法驗(yàn)證。

購(gòu)買(mǎi)并挑選100個(gè)樣本進(jìn)行分級(jí)試驗(yàn)，其中特等樣本30個(gè)，一等樣本40個(gè)，二等樣本30個(gè)用于驗(yàn)證分級(jí)的準(zhǔn)確性。分級(jí)標(biāo)準(zhǔn)可根據(jù)實(shí)際需求靈活調(diào)整，本研究根據(jù)蘋(píng)果外觀標(biāo)準(zhǔn)以及表面缺陷面積自行設(shè)定了標(biāo)準(zhǔn)進(jìn)行試驗(yàn)，如表1所示。

表1 蘋(píng)果分級(jí)標(biāo)準(zhǔn)

1.2 系統(tǒng)設(shè)計(jì)

蘋(píng)果外部品質(zhì)在線(xiàn)檢測(cè)與分級(jí)裝置可以分為檢測(cè)單元與分級(jí)單元。在線(xiàn)檢測(cè)裝置的傳動(dòng)單元包括：電機(jī)、傳動(dòng)齒輪、傳動(dòng)鏈、果杯。選擇鏈傳動(dòng)作為傳動(dòng)方式具有工作可靠，效率高的優(yōu)點(diǎn)。電機(jī)為鏈條提供動(dòng)力，鏈條通過(guò)支撐橫桿帶動(dòng)果杯運(yùn)動(dòng)。為盡可能降低圖像采集過(guò)程中的抖動(dòng)，故將張緊邊布置在上方，且設(shè)置張緊輪。圖像采集單元包括：相機(jī)、光源、暗箱、位置傳感器等。暗箱的作用是屏蔽外部雜光的影響，為圖像采集提供穩(wěn)定的環(huán)境。光源分為上下光源，上光源布置在暗箱頂部，此布置可以有效避免下相機(jī)采集到的圖像出現(xiàn)過(guò)曝現(xiàn)象，且光源選擇為紅光光源。圖像分析單元主要由計(jì)算機(jī)及人機(jī)交互軟件組成，對(duì)相機(jī)采集到的圖像進(jìn)行分析以及結(jié)果顯示。圖1為蘋(píng)果外部品質(zhì)在線(xiàn)式檢測(cè)裝置結(jié)構(gòu)圖。本研究使用筆記本計(jì)算機(jī)作為處理工具，CPU為英特爾i7-9750H。裝置的總質(zhì)量為169 kg，尺寸為1 300 mm× 480 mm×1 220 mm，電機(jī)型號(hào)為6IK200GN-CF，額定功率為200 W，額定電流2.5 A。

使用Visual Studio 2015軟件的微軟基礎(chǔ)類(lèi)庫(kù)（MFC）基于對(duì)話(huà)框建立人機(jī)交互軟件程序的框架部分；使用OpenCV 3.0.0作為圖像處理部分的函數(shù)庫(kù)；使用Arduino 1.8.13 編寫(xiě)下位機(jī)軟件。數(shù)據(jù)分析基于Matlab 2018a軟件完成。

在分級(jí)過(guò)程中，蘋(píng)果被隨意放置在圖1a所示的透明果杯中，由傳送鏈條輸送進(jìn)入暗箱進(jìn)行全表面圖像的采集和檢測(cè)。圖像采集由圖1b所示分布的相機(jī)完成，1號(hào)相機(jī)位于蘋(píng)果正上方，2、3、4號(hào)相機(jī)則在蘋(píng)果下方同一平面，相互之間呈120°分布，4個(gè)相機(jī)整體呈正四面體分布，分別位于正四面體4個(gè)頂點(diǎn)處，樣本位于正四面體中心位置。檢測(cè)裝置的實(shí)物圖如圖1c所示。4個(gè)相機(jī)采集到的圖像會(huì)直接輸入到計(jì)算機(jī)，利用蘋(píng)果全表面圖像合成算法將采集到的圖像進(jìn)行分割，再在分割完成后的圖像中計(jì)算蘋(píng)果表面缺陷面積。計(jì)算機(jī)結(jié)合制定的分級(jí)標(biāo)準(zhǔn)給出等級(jí)信息，最后將等級(jí)信息發(fā)送給單片機(jī)，由單片機(jī)控制自行設(shè)計(jì)的分級(jí)機(jī)構(gòu)實(shí)現(xiàn)對(duì)蘋(píng)果的分級(jí)。

蘋(píng)果分級(jí)機(jī)構(gòu)如圖1d所示，主要由兩部分組成：①傳動(dòng)部分，主要包含電機(jī)、傳送帶等，其主要作用是為裝置提供動(dòng)力，帶動(dòng)蘋(píng)果前進(jìn)；②分級(jí)部分，主要包括到位傳感器、控制板、旋轉(zhuǎn)電磁鐵、通道開(kāi)關(guān)等。其主要作用是監(jiān)測(cè)蘋(píng)果的位置信息，根據(jù)人機(jī)交互軟件的等級(jí)序列控制旋轉(zhuǎn)電磁鐵開(kāi)合進(jìn)行分級(jí)。

在分級(jí)過(guò)程中，旋轉(zhuǎn)電磁鐵帶動(dòng)通道開(kāi)關(guān)抬起，蘋(píng)果在重力作用下，滾落到分級(jí)通道內(nèi)，待蘋(píng)果通過(guò)開(kāi)關(guān)后，旋轉(zhuǎn)電磁鐵反轉(zhuǎn)，帶動(dòng)開(kāi)關(guān)關(guān)閉，完成蘋(píng)果分級(jí)過(guò)程。此分級(jí)機(jī)構(gòu)設(shè)計(jì)有3個(gè)分級(jí)通道，可以對(duì)3個(gè)級(jí)別的蘋(píng)果進(jìn)行分級(jí)，若需要分更多等級(jí)，可增加通道個(gè)數(shù)達(dá)到分級(jí)目的。

1.3 果杯材料折射試驗(yàn)

在系統(tǒng)設(shè)計(jì)中，相機(jī)的布置在空間結(jié)構(gòu)上對(duì)稱(chēng)，但是由于透明果杯的存在，使得2、3、4號(hào)相機(jī)在采集圖像時(shí)需要透過(guò)果杯。當(dāng)下方光線(xiàn)從空氣中穿過(guò)透明樹(shù)脂再次進(jìn)入空氣時(shí)會(huì)發(fā)生折射現(xiàn)象，會(huì)導(dǎo)致光線(xiàn)的傳播方向發(fā)生變化。若折射明顯，則會(huì)導(dǎo)致上下方相機(jī)拍攝到的圖像的差異過(guò)大，不利于進(jìn)行缺陷面積的計(jì)算，所以需要通過(guò)試驗(yàn)的方式對(duì)果杯的折射現(xiàn)象進(jìn)行研究。

為保證試驗(yàn)情況貼合實(shí)際應(yīng)用場(chǎng)景，故以蘋(píng)果果徑尺寸范圍為參考，購(gòu)買(mǎi)直徑分別為55、65、75、85、95、105 mm的白色樣本球。在不透過(guò)果杯與透過(guò)果杯兩種情況下分別采集圖像，對(duì)比圖像中球模型的直徑差異，計(jì)算果杯的折射情況。對(duì)每個(gè)樣本球分別在兩種情況下采集3次圖像，將3次直徑測(cè)量結(jié)果求平均值，測(cè)量結(jié)果如表2所示。

圖1 蘋(píng)果外部品質(zhì)在線(xiàn)檢測(cè)裝置結(jié)構(gòu)圖

分析表2中的數(shù)據(jù)可以發(fā)現(xiàn)，當(dāng)樣本球的直徑較小時(shí)，整體的誤差在3%左右，隨著樣本球直徑的增大，整體的誤差呈現(xiàn)逐漸降低的趨勢(shì)，在樣本球直徑為105 mm時(shí)誤差為2.46%。隨著樣本球的增大折射后的光線(xiàn)進(jìn)入相機(jī)鏡頭的路徑要更短，這也就是誤差隨直徑增大有減小趨勢(shì)的原因。現(xiàn)實(shí)情況中，大部分蘋(píng)果的果徑集中在65～95 mm之間，包含于此試驗(yàn)的直徑范圍。所以透過(guò)果杯拍攝蘋(píng)果圖像的誤差會(huì)在3%以下。此結(jié)果證明果杯材料折射對(duì)整體測(cè)量結(jié)果的影響較小。

表2 果杯折射試驗(yàn)球模型直徑數(shù)據(jù)

1.4 光源選型

由于整個(gè)設(shè)備的圖像采集模塊位于暗箱中，為保證采集圖像的亮度和清晰度滿(mǎn)足處理的要求，需要在暗箱中設(shè)立光源模塊。而合理選擇特定波長(zhǎng)的光源可以增大圖像中缺陷與正常組織的對(duì)比度，對(duì)提高檢測(cè)精度有重要作用。因此，為確定正常組織與缺陷差異較大的波長(zhǎng)范圍，購(gòu)買(mǎi)50個(gè)蘋(píng)果樣本進(jìn)行試驗(yàn)。先對(duì)蘋(píng)果的固定標(biāo)記點(diǎn)采集正常組織的光譜，采集完光譜后，取25個(gè)蘋(píng)果在標(biāo)記點(diǎn)制造機(jī)械損傷，另外25個(gè)蘋(píng)果在標(biāo)記點(diǎn)進(jìn)行表面真菌感染。真菌感染與碰傷48 h后采集50個(gè)蘋(píng)果標(biāo)記點(diǎn)的光譜信息，對(duì)比二者光譜差異。

圖2a中深色光譜曲線(xiàn)為正常蘋(píng)果組織的光譜曲線(xiàn)，淺色光譜曲線(xiàn)為缺陷蘋(píng)果組織的光譜曲線(xiàn)。通過(guò)圖像可以看出在500～800 nm波長(zhǎng)之間，兩種顏色光譜存在明顯差異，波長(zhǎng)為400～500 nm和800～1 100 nm波段時(shí)，二者光譜信息區(qū)分不明顯。為進(jìn)一步確定具體的差異較大波段，分別對(duì)正常組織和表面缺陷組織的光譜信息進(jìn)行平均，二者平均光譜的差值如圖2b所示，二者光譜的反射率差值500～630 nm之間差異逐漸增大，在630 nm處差值最大，在630～730 nm之間較大，且在630與730 nm處有兩個(gè)峰值，差異明顯。在730 nm之后的波段中二者平均光譜差異較小。差異較大波段630～730 nm屬于紅光波段（625～740 nm）范圍。由此證明在紅色光源的照射下缺陷組織與正常組織差異明顯，所以由此試驗(yàn)確定蘋(píng)果外部品質(zhì)在線(xiàn)檢測(cè)及分級(jí)裝置的光源為紅光光源。

1.5 蘋(píng)果全表面圖像合成算法

目前在線(xiàn)水果外部品質(zhì)檢測(cè)中，無(wú)論是兩相機(jī)或者三相機(jī)都無(wú)法對(duì)水果的全表面圖像進(jìn)行采集，只能采集到85%～90%的近似全表面，因此容易造成水果品質(zhì)的誤判，無(wú)法對(duì)水果的外部品質(zhì)做出準(zhǔn)確的評(píng)定。而且在線(xiàn)式水果外部品質(zhì)檢測(cè)中，在對(duì)采集到的外部品質(zhì)進(jìn)行圖像處理過(guò)程中，并不涉及圖像的合成，只是簡(jiǎn)單對(duì)每一幅圖像進(jìn)行處理，這容易導(dǎo)致計(jì)算機(jī)處理了大量的重復(fù)信息，大大降低計(jì)算效率。

蘋(píng)果圖像中若有過(guò)多的重復(fù)信息，對(duì)缺陷識(shí)別以及缺陷面積計(jì)算的準(zhǔn)確率有著較大影響，且可能出現(xiàn)同一缺陷在多幅圖像中同時(shí)存在的情況，大大降低外部品質(zhì)評(píng)測(cè)的準(zhǔn)確性。所以提出基于4相機(jī)采集結(jié)構(gòu)的全圖像合成算法，此算法以球模型為計(jì)算本體，通過(guò)將球體的全表面信息分割為4個(gè)區(qū)域，計(jì)算4個(gè)區(qū)域的分界線(xiàn)位置，并將其轉(zhuǎn)換到像素坐標(biāo)上，完成圖像的分割。其處理流程如圖3所示。

圖3 圖像處理流程圖

首先對(duì)采集到的圖像進(jìn)行灰度化、去噪聲等預(yù)處理，再利用大津法進(jìn)行二值化處理，最后利用蘋(píng)果全表面圖像合成算法對(duì)4個(gè)相機(jī)采集到的圖像進(jìn)行分割。

圖4 蘋(píng)果分割效果圖

圖4a展示了全表面合成算法對(duì)蘋(píng)果圖像進(jìn)行分割的俯視圖，圖4b展示了全表面合成算法對(duì)蘋(píng)果圖像進(jìn)行分割的主視圖，圖中的編號(hào)分別對(duì)應(yīng)4個(gè)相機(jī)所采集到的圖像進(jìn)行分割后在蘋(píng)果上的位置。在實(shí)物圖上的分割效果如圖4c，圖4d所示：圖4c展示了4個(gè)相機(jī)采集到的對(duì)應(yīng)的原始圖像，對(duì)蘋(píng)果的全表面信息進(jìn)行分割。分割后所得的4個(gè)區(qū)域如圖4d所示。

注：xoy平面為蘋(píng)果赤道平面，z軸為地軸；XOY平面為相機(jī)所在平面，Z軸為垂直于XOY平面向上的軸；θ為相機(jī)拍攝角度與赤道面夾角，(°)；l1，l2為分割邊緣線(xiàn)，l3為赤道線(xiàn)。

圖5展示了2、3、4號(hào)相機(jī)所對(duì)應(yīng)的圖像表達(dá)示意圖，、、分別表示以球心為原點(diǎn)的相機(jī)坐標(biāo)系，、、分別表示以球心為原點(diǎn)的相實(shí)物坐標(biāo)系，通過(guò)求取二者轉(zhuǎn)換關(guān)系完成分割邊緣的求解。

=（5）

式中、、分別表示以球心為原點(diǎn)，將球坐標(biāo)系繞軸旋轉(zhuǎn)形成的以相機(jī)與幾何中心連線(xiàn)為軸的坐標(biāo)系；表示蘋(píng)果的像素半徑，pixel；表示上方相機(jī)與下方相機(jī)的重合視野的中間點(diǎn)與幾何中心的連線(xiàn)相對(duì)于蘋(píng)果的赤道面的夾角，(°)；表示攝像模塊的中軸線(xiàn)相對(duì)于蘋(píng)果的赤道面的夾角，(°)。將蘋(píng)果表面實(shí)際坐標(biāo)按照轉(zhuǎn)換方式可轉(zhuǎn)換到像素坐標(biāo)中。式（1）～（3）為球表面的分割線(xiàn)公式，通過(guò)式（4）～（6）完成到相機(jī)坐標(biāo)系的轉(zhuǎn)換，舍棄變量便得到圖像坐標(biāo)中的表達(dá)式，上方相機(jī)按照下方相機(jī)做大視野角的緯度信息進(jìn)行分割，分割圖像為以形心為中心的圓，半徑為cos。

為驗(yàn)證分割方法的準(zhǔn)確性，設(shè)計(jì)使用直徑分別為55、65、75、85、95 mm的模型球進(jìn)行分割試驗(yàn)。每個(gè)球模型分別取3次圖像，利用3次圖像中像素點(diǎn)個(gè)數(shù)的平均值代表試驗(yàn)結(jié)果。利用分割后與分割前像素點(diǎn)的個(gè)數(shù)與位置的對(duì)比，計(jì)算漏檢率和重復(fù)率，以這兩個(gè)參數(shù)來(lái)評(píng)價(jià)分割的精確度。其中，漏檢率表示未檢測(cè)到的像素點(diǎn)個(gè)數(shù)占總像素點(diǎn)個(gè)數(shù)的比例；重復(fù)率表示所有檢測(cè)出來(lái)的像素點(diǎn)個(gè)數(shù)與未漏檢的像素點(diǎn)個(gè)數(shù)之差占未漏檢的像素點(diǎn)個(gè)數(shù)的比例。結(jié)果如表3所示。取平均果徑為60、70、80和90 mm的蘋(píng)果，重復(fù)上述試驗(yàn)后，得到表4數(shù)據(jù)。

表3 分割試驗(yàn)結(jié)果

注：表中分割后像素點(diǎn)的個(gè)數(shù)取3次計(jì)算的平均值。下同。

Note: The number of pixels after segmentation in the table is the average of three calculations. The same below.

表3中的數(shù)據(jù)顯示：隨著球模型直徑的增大分割后的重復(fù)率逐漸降低，在55～95 mm的球模型試驗(yàn)中，重復(fù)率由3.38%下降到0.69%，漏檢率均為0。表4中的數(shù)據(jù)顯示在60～90 mm的蘋(píng)果試驗(yàn)中，重復(fù)率由5.93%下降到2.95%，漏檢率為0。無(wú)論是球試驗(yàn)還是蘋(píng)果試驗(yàn)中，此算法漏檢率均為0。在蘋(píng)果試驗(yàn)中，重復(fù)率高于球模型的試驗(yàn)結(jié)果。這是由于蘋(píng)果并不是標(biāo)準(zhǔn)球體，所以與球模型相比試驗(yàn)結(jié)果相對(duì)較差。這兩個(gè)試驗(yàn)證明此分割方法分割后可獲取全表面圖像，且蘋(píng)果圖像不存在漏檢區(qū)域，算法用于全表面分割可靠性高。

表4 非對(duì)稱(chēng)式分割蘋(píng)果試驗(yàn)結(jié)果

針對(duì)蘋(píng)果的全表面檢測(cè)，果?；ㄝ嗟臋z測(cè)是一個(gè)難題。本文所提出的全表面圖像合成算法在解決果?；ㄝ嗟膯?wèn)題上采取的策略是：根據(jù)所檢測(cè)到的損傷的相對(duì)位置進(jìn)行判斷，若在檢測(cè)中存在有兩處損傷的位置是相對(duì)的，則判斷為果梗和花萼，不計(jì)入損傷。這一部分的檢測(cè)還存在一些漏洞，如有些蘋(píng)果外形略微畸形，果梗花萼不在相對(duì)位置時(shí)，可能會(huì)出現(xiàn)檢測(cè)判斷失誤的情況，這也是本研究下一步推進(jìn)解決的問(wèn)題。

1.6 蘋(píng)果缺陷面積校正算法

當(dāng)蘋(píng)果存在缺陷，利用其圖像信息對(duì)缺陷進(jìn)行面積計(jì)算時(shí)，如果僅僅計(jì)算原圖像中的缺陷面積是不準(zhǔn)確的。圖像中缺陷的真實(shí)面積與缺陷所在圖像中的位置有關(guān)，必須要考慮缺陷部分與相機(jī)之間的偏角的影響。例如若缺陷存在于圖像的邊緣位置，則在圖像中占據(jù)的像素?cái)?shù)量會(huì)少，但并不代表其真實(shí)面積比較小。所以不考慮缺陷部分與相機(jī)之間的偏角，直接進(jìn)行圖像中缺陷面積的計(jì)算，進(jìn)而對(duì)蘋(píng)果進(jìn)行評(píng)級(jí)，這樣的做法是不準(zhǔn)確的。針對(duì)此問(wèn)題，提出一種基于圖像處理的蘋(píng)果缺陷面積校正算法。利用球模型推導(dǎo)校正算法用于蘋(píng)果的缺陷校正。

該方法分兩步對(duì)缺陷面積進(jìn)行校正。首先，根據(jù)缺陷的經(jīng)度跨度與經(jīng)度位置對(duì)缺陷面積進(jìn)行經(jīng)度方向的校正。其次，根據(jù)缺陷的緯度跨度與緯度位置對(duì)缺陷面積進(jìn)行緯度方向的校正。首先計(jì)算缺陷所在每個(gè)像素行的圓心角，根據(jù)圓心角與該像素行切面的半徑計(jì)算得到此像素行處缺陷的實(shí)際長(zhǎng)度。其次，由于兩個(gè)像素行之間的距離并不是0，所以需要計(jì)算每?jī)蓚€(gè)像素行之間的實(shí)際距離a，以此進(jìn)行緯度方向的拉伸校正[27]。

圖6a為模型球示意圖，圖6b為B-B向視圖，圖6c為A-A向視圖，圖6d為像素行間距校正模型示意圖。

l=·（8）

式中為處的樣本半徑，mm；1為1在半徑方向上的投影長(zhǎng)度，mm；1為1與1的夾角，(°)；2為2在半徑方向上的投影長(zhǎng)度，mm；2為2與的夾角，(°)；為位置缺陷弧長(zhǎng)所對(duì)應(yīng)的圓心角，(°)；為位置缺陷校正弧長(zhǎng)，mm；3為某一行缺陷所在的緯度位置，3為3與2的夾角，(°)；3、4分別為3在水平半徑和豎直半徑上的投影長(zhǎng)度，mm。通過(guò)計(jì)算不同行的弧長(zhǎng)，可以得到整個(gè)缺陷的不同像素行的弧長(zhǎng)。l為第行像素的拉伸長(zhǎng)度，mm；為校正后的缺陷尺寸，mm2。

注：a1為A1在半徑方向上的投影長(zhǎng)度，mm；a2為A2在半徑方向上的投影長(zhǎng)度，mm；a3、a4分別為A3在水平半徑和豎直半徑上的投影長(zhǎng)度，mm；α1為OA1與OP1的夾角，(°)；α2為OA2與OP的夾角，(°)；α3為OA3與OP2的夾角，(°)；r為A處的樣本半徑，mm；A1、A2為缺陷所在的經(jīng)度位置，A3為某一行缺陷所在的緯度位置。P1，P2為赤道上的點(diǎn)，分別靠近缺陷的經(jīng)度位置和緯度位置。Ai+1對(duì)應(yīng)圖6c中點(diǎn)O，Aii對(duì)應(yīng)A3，AiAii對(duì)應(yīng)a4，ai對(duì)應(yīng)OA3。

1.7 檢測(cè)分選裝置流程

裝置的檢測(cè)流程如圖7所示，當(dāng)檢測(cè)裝置上的傳感器檢測(cè)到蘋(píng)果經(jīng)過(guò)時(shí)，會(huì)將信號(hào)傳遞給計(jì)算機(jī)，接著，計(jì)算機(jī)給相機(jī)發(fā)送采集指令，隨后將采集到的圖像進(jìn)行全表面合成及缺陷面積校正，并給出預(yù)測(cè)的計(jì)算結(jié)果。最后，根據(jù)計(jì)算結(jié)果劃分蘋(píng)果等級(jí)，再將等級(jí)信息發(fā)送至單片機(jī)，由單片機(jī)控制分級(jí)機(jī)構(gòu)實(shí)現(xiàn)分級(jí)。

圖7 檢測(cè)分選裝置流程圖

2 結(jié)果與分析

為驗(yàn)證本文針對(duì)蘋(píng)果檢測(cè)任務(wù)所設(shè)計(jì)方法的有效性。對(duì)缺陷面積校正的檢測(cè)準(zhǔn)確度進(jìn)行外部驗(yàn)證。

2.1 缺陷面積檢測(cè)結(jié)果的驗(yàn)證

為驗(yàn)證此模型的正確性，首先利用理想的球模型代替蘋(píng)果進(jìn)行試驗(yàn)。通過(guò)制作缺陷張貼在球體表面的方式進(jìn)行試驗(yàn)。

該試驗(yàn)分為以下兩個(gè)部分：1）果徑對(duì)蘋(píng)果缺陷面積校正算法的影響。2）缺陷位置對(duì)蘋(píng)果缺陷面積校正算法的影響。

試驗(yàn)1：制作6個(gè)大小不同、形狀相同的“缺陷”，準(zhǔn)備樣本球的直徑分別為60、70、80、90、100 mm的5個(gè)試驗(yàn)樣本球。試驗(yàn)過(guò)程如下：先將面積為18 mm2的“缺陷”分別張貼在5個(gè)樣本球的表面的相同位置（偏角為10°），采集一輪預(yù)測(cè)面積的數(shù)據(jù)，再依次將其他“缺陷”置于不同直徑的樣本球表面，采集預(yù)測(cè)面積數(shù)據(jù)，共采集30個(gè)數(shù)據(jù)。通過(guò)計(jì)算校正后的缺陷面積，驗(yàn)證此算法是否適用于不同果徑的樣本。其經(jīng)過(guò)校正前后對(duì)比結(jié)果如表5所示。

此試驗(yàn)結(jié)果顯示，在經(jīng)過(guò)校正后，除了第一組變異系數(shù)稍大，達(dá)到了9.41%，其余五組變異系數(shù)均小于6%，此外，各組標(biāo)準(zhǔn)差均有降低，這表明在經(jīng)過(guò)校正以后，預(yù)測(cè)的結(jié)果與實(shí)測(cè)值更為接近，預(yù)測(cè)值更為穩(wěn)定。綜合分析上述試驗(yàn)，得出結(jié)論：蘋(píng)果缺陷面積校正算法適用于不同直徑的球模型，且樣本的直徑參數(shù)對(duì)此校正算法影響不大。

在實(shí)際采集蘋(píng)果圖像進(jìn)行檢測(cè)的過(guò)程中，會(huì)出現(xiàn)缺陷位置形心與相機(jī)鏡頭不是正對(duì)著的情況。形心與相機(jī)鏡頭之間的偏角對(duì)缺陷面積的檢測(cè)也有影響。為了驗(yàn)證該算法對(duì)與形心與鏡頭在不同偏角處的校正效果，設(shè)計(jì)了試驗(yàn)2進(jìn)行驗(yàn)證。

試驗(yàn)2：為驗(yàn)證缺陷的位置對(duì)算法校正值的影響。制作6個(gè)等級(jí)形狀相同的“缺陷”，并將其分別張貼在80 mm樣本球的10°、20°、30°、40°、50°的偏角處，每個(gè)角度處采集一次數(shù)據(jù)。此試驗(yàn)共采集30個(gè)數(shù)據(jù)，計(jì)算校正后的面積，分析缺陷的相對(duì)位置對(duì)此校正算法的影響，見(jiàn)表6。

表5 試驗(yàn)1缺陷驗(yàn)證試驗(yàn)對(duì)比結(jié)果

表6 試驗(yàn)2偏角驗(yàn)證試驗(yàn)對(duì)比結(jié)果

此試驗(yàn)結(jié)果顯示，在經(jīng)過(guò)校正后，6個(gè)缺陷的變異系數(shù)均小于9%，且6個(gè)缺陷的標(biāo)準(zhǔn)差對(duì)比校正前數(shù)據(jù)都有較大幅度的降低，在前5個(gè)等級(jí)的缺陷中，校正后的標(biāo)準(zhǔn)差均小于8 mm2。第6組的標(biāo)準(zhǔn)差相比前5組的結(jié)果較差，這是由于缺陷面積較大，無(wú)法貼緊樣本表面導(dǎo)致，但相比于校正前依然有較好的結(jié)果。綜合分析上述試驗(yàn)，得出結(jié)論：蘋(píng)果缺陷面積校正算法適用于不同偏角位置的缺陷面積計(jì)算。

針對(duì)蘋(píng)果表面缺陷面積檢測(cè)做實(shí)際的試驗(yàn)驗(yàn)證。在線(xiàn)檢測(cè)裝置蘋(píng)果缺陷面積校正算法精度驗(yàn)證分為2個(gè)驗(yàn)證試驗(yàn)：蘋(píng)果缺陷面積校正算法的擦傷、碰傷、痘斑病、表面腐敗樣本的缺陷面積校正試驗(yàn)；蘋(píng)果缺陷面積校正算法的擦傷、碰傷、痘斑病、表面腐敗樣本在不同偏角位置的缺陷面積校正試驗(yàn)。

從圖8的結(jié)果中可以看出，經(jīng)過(guò)校正算法校正以后，4種情況下的表面缺陷面積的預(yù)測(cè)值與實(shí)測(cè)值的決定系數(shù)2均在0.97以上，均方根誤差（Root Mean Squared Error, RMSE）整體在4 mm2以下，整體的校正效果較好。在試驗(yàn)過(guò)程中發(fā)現(xiàn)，當(dāng)相機(jī)鏡頭與缺陷形心之間的夾角變大時(shí)，預(yù)測(cè)值與實(shí)測(cè)值的誤差大小也會(huì)相應(yīng)地增大。為探究缺陷位于不同位置時(shí)算法校正的效果以及驗(yàn)證算法的校正穩(wěn)定性，針對(duì)4種不同的表面損傷情況，分別各選取6個(gè)蘋(píng)果樣本進(jìn)行驗(yàn)證試驗(yàn)。首先，按照前文中的測(cè)定實(shí)際損傷面積的方法測(cè)定損傷的實(shí)際面積大小，接著將缺陷置于不同偏角處（10°、20°、30°、40°、50°）進(jìn)行圖像采集，采集圖像時(shí)，控制缺陷的形心與相機(jī)鏡頭之間的夾角與對(duì)應(yīng)的偏角角度相等。采集完圖像以后，利用圖像校正算法對(duì)圖像進(jìn)行校正再計(jì)算其缺陷面積。最后，將實(shí)際測(cè)得的值與不同偏角處的預(yù)測(cè)值進(jìn)行對(duì)比，結(jié)果如圖9所示。

圖8 4種缺陷校正后預(yù)測(cè)效果圖

從圖9可以看出，4種缺陷部分面積檢測(cè)的結(jié)果在經(jīng)過(guò)校正以后，預(yù)測(cè)值與實(shí)測(cè)值的誤差整體在7 mm2以下。表7、8、9、10展示了試驗(yàn)對(duì)比結(jié)果。以表7為例，表7展示了6個(gè)用于試驗(yàn)的蘋(píng)果樣本在不同偏角處預(yù)測(cè)得到的表面擦傷面積的平均值與其實(shí)際值的對(duì)比結(jié)果，以及矯正前后檢測(cè)的缺陷面積的大小、變異系數(shù)等的對(duì)比。表8、9、10分別展示了碰傷樣本、痘斑病樣本以及表面腐敗樣本的對(duì)比試驗(yàn)結(jié)果。

圖9 4種缺陷偏角試驗(yàn)校正預(yù)測(cè)效果圖

表7 擦傷樣本面積校正后試驗(yàn)結(jié)果

表8 碰傷樣本面積校正后試驗(yàn)結(jié)果

表9 痘斑病樣本面積校正后試驗(yàn)結(jié)果

表10 表面腐敗樣本面積校正后試驗(yàn)結(jié)果

對(duì)比試驗(yàn)前后的試驗(yàn)結(jié)果可以看出，使用校正算法以后的計(jì)算結(jié)果比使用算法校正之前更接近真實(shí)值，其最大變異系數(shù)為10.15%，預(yù)測(cè)結(jié)果較穩(wěn)定。

總結(jié)此次試驗(yàn)結(jié)果：30個(gè)擦傷樣本預(yù)測(cè)值與真實(shí)值的2為0.978 7，RMSE為3.577 4 mm2，偏角試驗(yàn)中2為0.975 8，變異系數(shù)最大值為8.51%，RMSE為3.466 3 mm2；30個(gè)碰傷樣本預(yù)測(cè)值與真實(shí)值的2為0.973 0，RMSE為3.981 9 mm2，偏角試驗(yàn)中2為0.974 2，變異系數(shù)最大值為9.98%，RMSE為4.062 4 mm2；30個(gè)痘斑病樣本預(yù)測(cè)值與真實(shí)值的2為0.970 8，RMSE為3.836 6 mm2，偏角試驗(yàn)中2為0.977 9，變異系數(shù)最大值為7.57%，RMSE為3.895 3 mm2；30個(gè)表面腐敗樣本預(yù)測(cè)值與真實(shí)值的2為0.981 2，RMSE為3.178 1 mm2，偏角試驗(yàn)中2為0.974 8，變異系數(shù)最大值為10.15%，RMSE為6.304 4 mm2。以上試驗(yàn)結(jié)果表明，該缺陷面積校正算法在不同的偏角處所計(jì)算出的預(yù)測(cè)值與實(shí)際值的相關(guān)系數(shù)較高，整體誤差和變異系數(shù)在可接受的范圍內(nèi)，對(duì)于缺陷面積的計(jì)算起到了一定的校正效果。

2.2 蘋(píng)果外部品質(zhì)分級(jí)試驗(yàn)

2.2.1 蘋(píng)果分級(jí)標(biāo)準(zhǔn)

參考NY/T439-2001蘋(píng)果外觀等級(jí)標(biāo)準(zhǔn)[28]，結(jié)合樣本的外觀品質(zhì)參數(shù)分布，提出基于缺陷面積的蘋(píng)果等級(jí)分級(jí)標(biāo)準(zhǔn)。針對(duì)表面缺陷面積的分級(jí)沒(méi)有特定的標(biāo)準(zhǔn)，在實(shí)際應(yīng)用時(shí)，可以根據(jù)不同的需要，靈活調(diào)整。

2.2.2 蘋(píng)果分級(jí)結(jié)果

使用100個(gè)樣本進(jìn)行評(píng)級(jí)試驗(yàn)，其中特等樣本30個(gè)，一等樣本40個(gè)，二等樣本30個(gè)。試驗(yàn)結(jié)果如表11所示。100個(gè)樣本的驗(yàn)證試驗(yàn)中，檢測(cè)速度可以達(dá)到2個(gè)/s，其中評(píng)級(jí)正確95個(gè)，評(píng)級(jí)錯(cuò)誤5個(gè)，總體評(píng)級(jí)正確率為95%。由于預(yù)測(cè)值與實(shí)際值之間存在一定的誤差，使得在實(shí)際驗(yàn)證時(shí)造成錯(cuò)誤評(píng)級(jí)，但誤差整體偏小，處于可以接受的范圍。

表11 蘋(píng)果評(píng)級(jí)試驗(yàn)結(jié)果

3 結(jié) 論

本研究基于圖像處理技術(shù)，以蘋(píng)果表面缺陷面積為檢測(cè)參數(shù)進(jìn)行了無(wú)損檢測(cè)研究，并研發(fā)了用以檢測(cè)蘋(píng)果表面缺陷在線(xiàn)檢測(cè)及分級(jí)裝置。主要研究?jī)?nèi)容及結(jié)論如下：

1）設(shè)計(jì)研發(fā)了蘋(píng)果外部品質(zhì)全表面在線(xiàn)檢測(cè)分選裝置。以蘋(píng)果為研究對(duì)象，提出全表面圖像合成算法，獲取蘋(píng)果全表面圖像信息；提出缺陷面積校正算法，用于解決蘋(píng)果經(jīng)緯度跨度及位置對(duì)缺陷面積的預(yù)測(cè)所產(chǎn)生的影響，并進(jìn)行動(dòng)態(tài)試驗(yàn)驗(yàn)證，試驗(yàn)結(jié)果表明，在蘋(píng)果直徑及損傷位置偏角變化的情況下，該缺陷面積算法有較好的校正效果，能夠提高對(duì)于表面缺陷面積的檢測(cè)精度。

2）利用未參與建模的樣本對(duì)研發(fā)的蘋(píng)果外部品質(zhì)在線(xiàn)檢測(cè)裝置的缺陷面積校正算法以及分級(jí)結(jié)果進(jìn)行了獨(dú)立外部驗(yàn)證。檢測(cè)結(jié)果顯示，經(jīng)過(guò)缺陷校正算法的校正，預(yù)測(cè)值與實(shí)測(cè)值的總體決定系數(shù)2在0.97以上，均方根誤差RMSE在4 mm2以下；在偏角試驗(yàn)中，預(yù)測(cè)值與實(shí)測(cè)值的總體決定系數(shù)2在0.974 2以上，均方根誤差RMSE在6.304 4 mm2以下。在100個(gè)樣本的分級(jí)驗(yàn)證試驗(yàn)中，整體正確率為95%。在實(shí)際的檢測(cè)分級(jí)試驗(yàn)中，檢測(cè)速度可以達(dá)到2個(gè)/s，滿(mǎn)足實(shí)際的檢測(cè)需求。測(cè)試結(jié)果顯示優(yōu)化后裝置的各項(xiàng)性能均穩(wěn)定可靠。

此蘋(píng)果外部缺陷全表面在線(xiàn)檢測(cè)分選裝置針對(duì)蘋(píng)果的缺陷面積檢測(cè)結(jié)果以及分級(jí)效果均較好。所提出的全表面缺陷面積檢測(cè)算法在檢測(cè)試驗(yàn)中獲得了較好的結(jié)果，研發(fā)的裝置對(duì)于蘋(píng)果的檢測(cè)分級(jí)提供了一種理論方法和技術(shù)方案。

[1] 張彪. 中國(guó)蘋(píng)果產(chǎn)業(yè)近7年產(chǎn)量、加工和貿(mào)易狀況分析[J]. 中國(guó)果樹(shù)，2018(4)：106-108.

Zhang Biao Analysis on the output, processing and trade of China’s apple industry in recent seven years[J]. China Fruits, 2018(4): 106-108. (in Chinese with English abstract)

[2] 趙德英，袁繼存，徐鍇，等. 近10年來(lái)國(guó)內(nèi)外蘋(píng)果產(chǎn)銷(xiāo)分析[J]. 中國(guó)果樹(shù)，2016(3)：87-93.

Zhao Deying, Yuan Jicun, Xu Kai, et al. Apple production and sales analysis at home and abroad in the past 10 years[J]. China Fruits, 2016(3): 87-93. (in Chinese with English abstract)

[3] 龐桂娟，張復(fù)宏，宋曉麗. 我國(guó)蘋(píng)果產(chǎn)業(yè)轉(zhuǎn)型升級(jí)路徑與對(duì)策[J]. 合作經(jīng)濟(jì)與科技，2018，598(23)：24-27.

Pang Guijuan, Zhang Fuhong, Song Xiaoli. Path and countermeasures for transformation and upgrading of China's apple industry[J]. Cooperative Economy and Science and Technology, 2018, 598(23): 24-27. (in Chinese with English abstract)

[4] Fan S, Liang X, Huang W, et al. Real-time defects detection for apple sorting using NIR cameras with pruning-based YOLOV4 network[J]. Computers and Electronics in Agriculture, 2022, 193: 106715.

[5] Xin Y, Ma S, Wei Y, et al. Detection of apple surface defect based on YOLOv3[Z]. 2021 ASABE Annual International Virtual Meeting. St. Joseph, MI; ASABE. 2021: 1.

[6] Wang Z, Jin L, Wang S, et al. Apple stem/calyx real-time recognition using YOLO-v5 algorithm for fruit automatic loading system[J]. Postharvest Biology and Technology, 2022, 185: 111808.

[7] Fan S, Li J, Zhang Y, et al. Online detection of defective apples using computer vision system combined with deep learning methods[J]. Journal of Food Engineering, 2020, 286: 110102.

[8] Zhao M, Peng Y, Li L. A robot system for the autodetection and classification of apple internal quality attributes[J]. Postharvest Biology and Technology, 2021, 180: 111615.

[9] 彭彥昆，孫晨，趙苗. 蘋(píng)果品質(zhì)動(dòng)態(tài)無(wú)損感知及分級(jí)機(jī)器手系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(16)：293-303.

Peng Yankun, Sun Chen, Zhao Miao. Dynamic nondestructive sensing and grading manipulator system for apple quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 293-303. (in Chinese with English abstract)

[10] 邵志明，王懷彬，董志城，等. 基于近紅外相機(jī)成像和閾值分割的蘋(píng)果早期損傷檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(S1)：134-139.

Shao Zhiming, Wang Huaibin, Dong Zhicheng, et al. Early bruises detection method of apple surface based on near infrared camera imaging technology and image threshold segmentation method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(S1): 134-139. (in Chinese with English abstract)

[11] 陳艷軍，張俊雄，李偉，等. 基于機(jī)器視覺(jué)的蘋(píng)果最大橫切面直徑分級(jí)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(2)：284-288.

Chen Yanjun, Zhang Junxiong, Li Wei, et al. Grading method of apple by maximum cross-sectional diameter based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(2): 284-288. (in Chinese with English abstract)

[12] 樊澤澤，柳倩，柴潔瑋，等.基于顏色與果徑特征的蘋(píng)果樹(shù)果實(shí)檢測(cè)與分級(jí)[J].計(jì)算機(jī)工程與科學(xué)，2020，42(9)：1599-1607.

Fan Zeze, Liu Qian, Chai jiewei ,et al. Apple detection and grading based on color and fruit-diameter.[J]. Computer Engineering and Science, 2020, 42(9): 1599-1607. (in Chinese with English abstract)

[13] 張彥斐，劉茗洋，宮金良，等. 基于兩級(jí)分割與區(qū)域標(biāo)記梯度Hough圓變換的蘋(píng)果識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(19)：110-121.

Zhang Yanfei, Liu Mingyang, Gong Jinliang, et al. Apple recognition based on two-level segmentation and region-marked gradient Hough circle transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(19): 110-121. (in Chinese with English abstract)

[14] 田有文，吳偉，盧時(shí)鉛，等. 深度學(xué)習(xí)在水果品質(zhì)檢測(cè)與分級(jí)分類(lèi)中的應(yīng)用[J]. 食品科學(xué)，2021，42(19)：260-270.

Tian Youwen, Wu Wei, Lu Shiqian, et al.Application of deep learning in fruit quality detection and grading[J]. Food Science, 2021, 42(19): 260-270. (in Chinese with English abstract)

[15] 李學(xué)軍，程紅. 基于決策融合的蘋(píng)果分級(jí)檢測(cè)關(guān)鍵技術(shù)研究[J]. 食品與機(jī)械，2020，36(12)：136-140.

Li Xuejun, Cheng Hong. Study on key technologies for apple grading detection based on decision fusion method[J]. Food & Machinery, 2020, 36(12): 136-140. (in Chinese with English abstract)

[16] 周勝安，黃耿生，張譯勻，等.基于深度學(xué)習(xí)的水果缺陷實(shí)時(shí)檢測(cè)方法[J]. 食品與機(jī)械，2021，37(11)：123-129.

Zhou Sheng’an, Huang Gengsheng, Zhang Yijun, et al. Real time detection method of fruit defects based on deep learning[J]. Food & Machinery, 2021, 37(11): 123-129. (in Chinese with English abstract)

[17] 李龍，彭彥昆，李永玉，等.基于紋理和梯度特征的蘋(píng)果傷痕與果梗/花萼在線(xiàn)識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49(11)：328-335.

Li Long, Peng Yankun, Li Yongyu, et al. Online identification of apple scarring and stems/calyxes based on texture and edge gradient features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(11): 328-335. (in Chinese with English abstract)

[18] Pande A, Munot M, Sreeemathy R, et al. An efficient approach to fruit classification and grading using deep convolutional neural network[C]//2019 IEEE 5th International Conference for Convergence in Technology (I2CT). IEEE, 2019: 1-7.

[19] 黃辰，費(fèi)繼友. 基于圖像特征融合的蘋(píng)果在線(xiàn)分級(jí)方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2017，33(1)：285-291.

Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285-291. (in Chinese with English abstract)

[20] 談?dòng)ⅲ檶毰d，姬長(zhǎng)英，等. 基于顏色和重量特征的蘋(píng)果在線(xiàn)分級(jí)系統(tǒng)設(shè)計(jì)[J]. 計(jì)算機(jī)工程與應(yīng)用，2016，52(2)：219-222.

Tan Ying, Gu Baoxing, Ji Changying, et al. Design of on-line apple grading system based on color and weight[J]. Computer Engineering and Applications, 2016, 52(2): 219-222. (in Chinese with English abstract)

[21] Zhang Q, Gu B, Ji C, et al. Design and experiment of an online grading system for apple[J]. Journal of South China Agricultural University, 2017, 38(4): 117-124.

[22] 李龍，彭彥昆，李永玉. 蘋(píng)果內(nèi)外品質(zhì)在線(xiàn)無(wú)損檢測(cè)分級(jí)系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(9)：267-275.

Li Long, Peng Yankun, Li Yongyu. Design and experiment on grading system for online non-destructive detection of internal and external quality of apple[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 267-275. (in Chinese with English abstract)

[23] Yang Y, Velastin S A, Fei Y. Automatic grading of apples based on multi-features and weighted K-means clustering algorithm[J]. Information Processing in Agriculture, 2020, 7(4): 556-565.

[24] 孫豐剛，王云露，蘭鵬，等. 基于改進(jìn)YOLOv5s和遷移學(xué)習(xí)的蘋(píng)果果實(shí)病害識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(11)：171-179.

Sun Fenggang, Wang Yunlu, Lan Peng, et al. Identification of apple fruit diseases using improved YOLOv5s and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(11): 171-179. (in Chinese with English abstract)

[25] Zhang C, Zhao C, Huang W, et al. Automatic detection of defective apples using NIR coded structured light and fast lightness correction[J]. Journal of Food Engineering, 2017, 203: 69-82.

[26] Chopra H, Singh H, Bamrah M S, et al. Efficient fruit grading system using spectrophotometry and machine learning approaches[J]. IEEE Sensors Journal, 2021, 21(14): 16162-16169.

[27] Liu L, Peng Y, Li L. Accurate conversion method of surface bruise size in on-line detection of spherical fruit[C]//2021 ASABE Annual International Meeting. American Society of Agricultural and Biological Engineers, USA, 2021.

[28] 中華人民共和國(guó)農(nóng)業(yè)部. 蘋(píng)果外觀等級(jí)標(biāo)準(zhǔn)：NY/T 439-2001[S]. 北京：中國(guó)標(biāo)準(zhǔn)出版社，2001.

Development of full-surface online detection and sorting device for external defects of apples

Peng Yankun, Sun Chen, Liu Le, Li Yang

(1.,,100083,; 2.-,100083,)

Testing equipment is still lacking on the fruits post-production, particularly in a major fruit consuming of China. The current online device cannot fully meet to collect the full surface image information of spherical fruits, leading fail to accurately calculate the defect area. This study aims to rapidly and accurately detect the surface defect area of spherical fruits. The full surface image synthesis and defect area correction were proposed using the ideal ball model. A series of online detection and grading device were designed for the external quality of spherical fruits. This device was also different from the traditional full-surface detection device. Specifically, four cameras were used to collect images at the same time to obtain the full surface images of spherical fruits. The collected images were used to synthesize and correct, in order to obtain more accurate values of the surface defect area. Taking the apple as an example, an online detection device was designed to explore the best excitation light source required for the apple image acquisition. The refraction effect was then evaluated to clarify the influence on the fruit cup material. Then, the ball model was established to accurately calculate the surface defect area of apples using the apple full surface image synthesis and the defect area correction. A series of experiments were carried out to verify after segmentation and synthesis of the apple surface image, indicating no missing rate in the overall images. A defect area correction was proposed to calculate the real area of apple defects at any position in the image. 120 samples were selected for verification, including 30 scratch samples, 30 bruise samples, 30 spot samples, and 30 surface corruption samples, respectively. The determination coefficient (2) was 0.978 7 between the predicted and the real value of the scratch sample defect area, where the Root Mean Squared Error (RMSE) was 3.577 4 mm2,2was 0.975 8 in the deflection angle experiment , and the RMSE was 3.466 3 mm2. The2was 0.973 0 between the predicted and the real value for the defect area of the impact sample, where the RMSE was 3.981 9 mm2, the2was 0.974 2 in the deflection angle experiment, and the RMSE was 4.062 4 mm2. The2was 0.970 8 between the predicted and real value for the defect area of the speckled spot sample, where the RMSE was 3.836 6 mm2, and the2was 0.977 9 in the deflection angle experiment, the RMSE was 3.895 3 mm2. In the surface corruption sample defect area, the2was 0.981 2 between the predicted and real values, the RMSE was 3.178 1 mm2, whereas, the2was 0.974 8 in the deflection angle experiment, and the RMSE was 6.304 4 mm2. The detection speed of the device was 2 apples/s, the rating accuracy was 95%, indicating a higher detection and apple rating accuracy than before. The relatively stable running was realized for the detection and grading evaluation of external defects of apples. The finding can provide technical support for the external quality detection of spherical fruits.

machine vision; agricultural products; nondestructive testing; apple external quality; online device

10.11975/j.issn.1002-6819.2022.23.028

S237

A

1002-6819(2022)-23-0266-10

彭彥昆，孫晨，劉樂(lè)，等. 蘋(píng)果外部缺陷全表面在線(xiàn)檢測(cè)分選裝置研發(fā)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(23)：266-275.doi：10.11975/j.issn.1002-6819.2022.23.028 http://www.tcsae.org

Peng Yankun, Sun Chen, Liu Le, et al. Development of full-surface online detection and sorting device for external defects of apples[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(23): 266-275. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.23.028 http://www.tcsae.org

2022-07-26

2022-10-27

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2021YFD1600101-06）

彭彥昆，教授，博士生導(dǎo)師，研究方向?yàn)檗r(nóng)畜產(chǎn)品無(wú)損檢測(cè)技術(shù)與裝備。Email：ypeng@cau.edu.cn