徐賽，陸華忠，王旭，丘廣俊，梁鑫，王陳

1(廣東省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)質(zhì)量標(biāo)準(zhǔn)與監(jiān)測(cè)技術(shù)研究所，廣東 廣州，510640)2(廣東省農(nóng)業(yè)科學(xué)院，廣東 廣州，510640)

隨著消費(fèi)者對(duì)水果品質(zhì)有了更高要求，水果品質(zhì)檢測(cè)越來越重要。傳統(tǒng)的感官評(píng)定法[1]和理化指標(biāo)識(shí)別法[2]費(fèi)時(shí)費(fèi)力、需要專業(yè)人員操作，且破壞浪費(fèi)果實(shí)，只適合抽檢，無法用于保證果園大批量果實(shí)品質(zhì)。無損檢測(cè)技術(shù)[3]是一種智能、快速、非破壞的檢測(cè)方法，可借助傳送帶流水線式檢測(cè)每一個(gè)水果的品質(zhì)狀態(tài)，較傳統(tǒng)方法具有明顯優(yōu)勢(shì)，在當(dāng)今水果產(chǎn)業(yè)具有廣泛市場(chǎng)需求，然而此方法尚存在不足。

目前應(yīng)用最為廣泛、穩(wěn)定的無損檢測(cè)技術(shù)為機(jī)器視覺技術(shù)[4]和可見/近紅外光譜技術(shù)。其中，機(jī)器視覺技術(shù)主要通過工業(yè)相機(jī)獲取水果的外部特征，對(duì)顏色[5]、紋理[6]、果形[7]等外觀品質(zhì)進(jìn)行評(píng)價(jià)，該技術(shù)準(zhǔn)確度高且低成本?？梢?近紅外光譜技術(shù)側(cè)重于內(nèi)部品質(zhì)，根據(jù)可見/近紅外光在水果上透射或者反射后攜帶的水果內(nèi)部品質(zhì)特征，可對(duì)水果果肉糖度[8]、水份[9]、缺陷[10]等風(fēng)味品質(zhì)進(jìn)行識(shí)別?？梢?近紅外光譜技術(shù)成本相對(duì)適中，在大部分小型薄皮水果上已取得了較好的檢測(cè)效果。因此其對(duì)于大型厚皮水果內(nèi)部特征信息獲取較困難，檢測(cè)精度通常較低，是當(dāng)今該技術(shù)的應(yīng)用瓶頸之一。

有研究認(rèn)為多源信息融合可借助多種檢測(cè)手段，從多角度、多方面獲取被測(cè)樣本特征信息，是提高無損檢測(cè)精度的一項(xiàng)有效方法[11-13]。本項(xiàng)目組研究發(fā)現(xiàn)其也有降低識(shí)別精度的風(fēng)險(xiǎn)，保證新增信息與檢測(cè)目標(biāo)的相關(guān)性是有效融合關(guān)鍵[14]。此外，多源信息融合無疑會(huì)增加檢測(cè)成本，可能造成實(shí)用性差，因此需要保證新增信息來源低成本性。長期以來，業(yè)內(nèi)專家致力于研究內(nèi)部特征無損檢測(cè)信號(hào)與內(nèi)部品質(zhì)的直接映射關(guān)系，忽略了外部信息與內(nèi)部品質(zhì)的間接相關(guān)特性。機(jī)器視覺技術(shù)若能有效提供與水果內(nèi)部品質(zhì)相關(guān)的特征，一方面能對(duì)其他水果內(nèi)部品質(zhì)檢測(cè)方法形成補(bǔ)充信息，提高檢測(cè)精度；另一方面可能直接形成一種低成本的水果內(nèi)部品質(zhì)無損檢測(cè)方法。此研究具有重要意義。

柚是中國的傳統(tǒng)水果，種植面積與產(chǎn)量居世界第一。由于我國柚均以散戶種植為主，種植標(biāo)準(zhǔn)不統(tǒng)一，造成品質(zhì)良莠不齊，主要受粒化程度、可溶性固形物(total soluble solid，TSS)含量和水分影響，嚴(yán)重阻礙產(chǎn)業(yè)發(fā)展[15-17]，市場(chǎng)亟需開發(fā)內(nèi)部品質(zhì)無損檢測(cè)技術(shù)。但柚果皮厚果大，且果肉有囊皮包裹，產(chǎn)業(yè)已有無損檢測(cè)裝備調(diào)研和項(xiàng)目組前期實(shí)驗(yàn)均發(fā)現(xiàn)了可見/近紅外光譜對(duì)其內(nèi)部品質(zhì)檢測(cè)精度不高的現(xiàn)象。因此，本研究主要探究柚果視覺特征與內(nèi)部品質(zhì)相關(guān)特性，以驗(yàn)證機(jī)器視覺技術(shù)用于水果內(nèi)部品質(zhì)無損檢測(cè)精度提升或直接用于水果內(nèi)部品質(zhì)無損檢測(cè)的可行性，為水果品質(zhì)無損檢測(cè)領(lǐng)域的進(jìn)一步發(fā)展提供參考與新思路。

1 材料與方法

1.1 實(shí)驗(yàn)材料

實(shí)驗(yàn)柚果采于廣東省梅州市果園，品種為密柚。為盡可能使實(shí)驗(yàn)樣本覆蓋整個(gè)采收期(2019年8～10月)，將采摘時(shí)間均分5次，每次14個(gè)，共采摘柚果70個(gè)。每次采摘后立即運(yùn)送到廣州實(shí)驗(yàn)室，次日進(jìn)行采樣。

1.2 儀器與方法

1.2.1 視覺圖像采集

柚果視覺圖像獲取采用實(shí)驗(yàn)室自搭建的機(jī)器視覺圖像采集平臺(tái)，搭載DFK 33GP006工業(yè)RGB相機(jī)(德國，The Imaging Source公司)與8 mm M0814-MP鏡頭(日本，CBC公司)，2個(gè)環(huán)形光源(1.92 W)分別在柚果兩側(cè)上方呈入射角45°照射，2個(gè)條形光源(0.96 W)從柚果兩側(cè)呈15°照射用于消除柚果透射到底板的背景陰影。為減少外界光干擾，檢測(cè)在暗箱中進(jìn)行。為更好地觀察柚果視覺特征并固定姿態(tài)，將柚果倒放在尺寸小于柚果的圓形托盤上，獲取柚果視覺圖片。

1.2.2 視覺特征提取

實(shí)驗(yàn)共提取柚果20種視覺特征，包括4種尺寸特征、12種顏色特征和4種紋理特征。其中，尺寸特征包括縱徑(F1)、橫徑(F2)、縱橫徑比(F3)和面積(F4)；顏色特征包括R、G、B灰度分別的一階、二階和三階形態(tài)(F5～F13)、H、V、S灰度(F14～F16)；紋理特征包括對(duì)比度(F17)、相關(guān)度(F18)、能量(F19)和粗糙度(F20)。其中縱徑、橫徑、縱橫徑比和面積特征均用像素點(diǎn)的數(shù)量表征。R、G、B灰度分別的一階、二階和三階形態(tài)分別為特征區(qū)域R、G、B灰度平均值、方差和偏離度。H、V、S灰度即特征區(qū)域的H、V、S灰度平均值。紋理對(duì)比度、相關(guān)度、能量和粗糙度分別表示特征區(qū)域的清晰和銳利程度、縱橫灰度的相似度、灰度共生矩陣平方和、以及粗糙程度。為方便表達(dá)，上述視覺特征在本文依次用F1～20標(biāo)記。

實(shí)驗(yàn)采集的柚果原圖如圖1-a所示。尺寸特征有效提取的關(guān)鍵是準(zhǔn)確定位目標(biāo)輪廓。通過對(duì)比，R通道的灰度值能最好的反應(yīng)柚果與背景差異(圖1-b)，閾值設(shè)置為0.27進(jìn)行二值化處理，得到柚果的粗略輪廓區(qū)域(圖1-c)，再通過目標(biāo)區(qū)域提取消除周圍因反光造成的噪聲點(diǎn)，連續(xù)像素>6 000的予以保留，否則消除，較好地提取了柚果的目標(biāo)區(qū)域(圖1-d)。整果顏色和紋理特征數(shù)據(jù)量過大，實(shí)際應(yīng)用運(yùn)算效率低，且柚果表面特征分布相對(duì)均勻，因此采用特定區(qū)域特征表達(dá)整果特征。而倒放柚果中間高四周低，造成中間位置較亮，四周相對(duì)較暗，結(jié)合實(shí)際情況，本實(shí)驗(yàn)選取中心位置左右側(cè)光線相對(duì)均勻的兩個(gè)區(qū)域(以中心點(diǎn)為原點(diǎn)，X方向長度-1/3～-2/3和1/3～2/3處，Y軸方向-1/5～1/5處，如圖1-e所示)，以左右區(qū)域特征的平均值作為柚果的對(duì)應(yīng)特征值。

a-原圖；b-R灰度；c-二值化；d-目標(biāo)提取；e-特征區(qū)域選取圖1 柚果視覺特征區(qū)域定位過程Fig.1 The process of pomelo vision features location

1.2.3 柚果實(shí)際尺寸、粒化程度、TSS含量、含水率測(cè)量

采用游標(biāo)卡尺測(cè)量柚果實(shí)際橫徑(立放水平方向的最大長度)和縱徑(立放豎直方向的最大長度)。采用目前廣泛使用的柚果硬粒化評(píng)級(jí)方法[18]，將柚果縱切8瓣，觀察硬粒化面積相對(duì)總面積的占比R來評(píng)判其硬?；潭?。其中0級(jí)為無硬?；?，R=0%；1級(jí)為輕度硬?；?，040%。隨后，取出柚果果肉，一半用于打漿、紗布過濾得到果汁，采用PAL-1數(shù)字光學(xué)折射儀(日本，ATAGO公司)測(cè)量其TSS值，每個(gè)樣本測(cè)量3次取平均值。采用電子天枰測(cè)量另一半果肉鮮重G鮮，以及60 ℃、20 h下烘箱干燥后的重量G干，柚果含水率計(jì)算如公式(1)所示：

(1)

1.2.4 數(shù)據(jù)分析方法

相關(guān)關(guān)系是一個(gè)復(fù)雜的映射過程，可以是線性的，也可以是非線性的，需要多方面挖掘。本研究采用線性相關(guān)分析(linear correlation analysis，LCA)[19]、典型相關(guān)分析(canonical correlation analysis，CCA)[20]和互信息理論(mutual information analysis，MIA)[21]。其中，LCA僅關(guān)注線性相關(guān)關(guān)系，通過求解2組待分析向量之間的線性擬合系數(shù)(regression coefficient，R2)表示。CCA主要關(guān)注線性相關(guān)關(guān)系，也可以表達(dá)少量的非線性相關(guān)特性，通過求解兩組待分析向量之間的皮爾遜相關(guān)系數(shù)的絕對(duì)值|λ|表示。MIA主要關(guān)注非線性相關(guān)特性，也可表達(dá)少量的非線性相關(guān)特性，通過求解2組待分析向量之間的互信息值MI表示。R2、|λ|和MI的定義域均為(0，1)，對(duì)于這一定義域的相關(guān)關(guān)系標(biāo)簽X(R2、|λ|和MI)，通常0

2 結(jié)果與分析

2.1 視覺圖像獲取精度分析

為保證本研究機(jī)器視覺特征采集的準(zhǔn)確、有效性，柚果橫徑、縱徑的像素值與實(shí)際值的LCA線性擬合結(jié)果分別如圖2-a和圖2-b所示，其擬合系數(shù)R2分別達(dá)到了0.981 7和0.961 3，具有極強(qiáng)的線性相關(guān)特性。因此，本研究采集到的柚果視覺數(shù)據(jù)可穩(wěn)定有效地反映柚果實(shí)際特征情況。

a-橫徑；b-縱徑圖2 柚果橫、縱徑像素值與實(shí)際值的線性擬合度Fig.2 Linear fitting degree of pixel value and actual length of pomelo transverse and vertical diameters, respectively

2.2 LCA

柚果20種機(jī)器視覺特征(F1～F20)分別與硬粒程度、TSS含量和含水率的相關(guān)特性LCA分析結(jié)果如表1所示。所有柚果所有視覺特征與內(nèi)部品質(zhì)指標(biāo)的擬合系數(shù)R2均小于0.4，線性相關(guān)不顯著。

表1 柚果視覺特征與內(nèi)部品質(zhì)間相關(guān)性的LCA分析結(jié)果Table 1 LCA results of vision features and internal qualities of pomelo

2.3 CCA

柚果20種機(jī)器視覺特征(F1～F20)分別與硬粒程度、TSS含量和含水率的相關(guān)特性CCA分析結(jié)果如表2所示。所有柚果視覺特征與內(nèi)部品質(zhì)指標(biāo)之間的CCA相關(guān)系數(shù)|λ|均小于0.4，CCA相關(guān)特性不顯著。但對(duì)比純線性相關(guān)特性(表1)，CCA相關(guān)特性明顯強(qiáng)于LCA相關(guān)特性。CCA主要關(guān)注線性相關(guān)特性，但也具備反映少量非線性相關(guān)特性的能力?？梢姡止曈X特征與內(nèi)部品質(zhì)之間存在非線性相關(guān)特性，需采用側(cè)重非線性相關(guān)特性的方法進(jìn)一步分析。

表2 柚果視覺特征與內(nèi)部品質(zhì)間相關(guān)性的CCA分析結(jié)果Table 2 CCA results of vision features and internal qualities of pomelo

2.4 MIA

MIA主要關(guān)注非線性相關(guān)特性，具有反映少量線性相關(guān)特性的能力。為進(jìn)一步探究柚果視覺特征與內(nèi)部品質(zhì)之間的非線性相關(guān)特性，柚果20種機(jī)器視覺特征F1～F20分別與硬粒程度、TSS含量和含水率的相關(guān)特性MIA分析結(jié)果如表3所示。柚果視覺特征F5～F15、F17、F9～F20與硬粒程度之間的MIA相關(guān)性不顯著(MI值<0.4)，其余特征均與硬粒程度顯著相關(guān)(0.4≤MI<0.7)。柚果視覺特征F5、F8～F15和F17與TSS含量顯著相關(guān)(0.4≤MI<0.7)，其余特征與TSS含量相關(guān)性極其顯著(MI≥0.7)。柚果視覺特征F5、F8～F15和F17與含水率顯著相關(guān)(0.4≤MI<0.7)，其余特征與含水率相關(guān)性極其顯著(MI≥0.7)。柚果視覺特征與TSS含量以及含水率的MIA相關(guān)特性大于與硬粒程度的相關(guān)特性。MIA分析結(jié)果進(jìn)一步證明柚果視覺特征與內(nèi)部品質(zhì)指標(biāo)之間的非線性相關(guān)特性強(qiáng)于線性相關(guān)特性。柚果視覺特征可為內(nèi)部品質(zhì)無損檢測(cè)提供有益的信息補(bǔ)充。為進(jìn)一步驗(yàn)證與柚果內(nèi)部品質(zhì)不同顯著相關(guān)程度的視覺特征在實(shí)際分類識(shí)別中發(fā)揮的作用，尚需分別采用上述視覺特征對(duì)柚果內(nèi)部品質(zhì)進(jìn)行建模識(shí)別分析。

表3 柚果視覺特征與內(nèi)部品質(zhì)間相關(guān)性的MIA分析結(jié)果Table 3 MIA results of vision features and internal qualities of pomelo

2.5 視覺特征對(duì)內(nèi)部品質(zhì)的檢測(cè)

2.5.1 視覺特征對(duì)硬粒程度檢測(cè)

柚果視覺全特征(F1～F20)對(duì)硬粒程度的PLSR識(shí)別結(jié)果如圖3-a所示，驗(yàn)證集硬粒程度預(yù)測(cè)值與實(shí)際值的R2僅為0.091 3，無法較好地進(jìn)行識(shí)別。由于柚果視覺特征與硬粒程度之間主要為非線性相關(guān)，參考表3去除相關(guān)性不顯著特征，保留顯著相關(guān)視覺全特征對(duì)硬粒程度的識(shí)別結(jié)果如圖3-b所示。雖然去除冗余特征后，對(duì)硬粒程度的識(shí)別精度有所提高，驗(yàn)證集硬粒程度預(yù)測(cè)值與實(shí)際值的R2提升至0.120 5，但識(shí)別效果仍然不佳。項(xiàng)目組前期研究也發(fā)現(xiàn)了機(jī)器視覺與硬?；潭鹊南嚓P(guān)關(guān)系較為微弱，但與可見/近紅外光譜形成信息融合仍然可以輕微提升柚果硬?；潭鹊淖R(shí)別精度[24]。

a-視覺全特征；b-顯著相關(guān)視覺全特征圖3 基于視覺特征的柚果硬粒程度的PLSR檢測(cè)Fig.3 PLSR detection of pomelo granulation degree based on vision features

2.5.2 視覺特征對(duì)TSS檢測(cè)

柚果視覺全特征(F1～F20)對(duì)TSS含量的PLSR識(shí)別結(jié)果如圖4-a所示，訓(xùn)練集和驗(yàn)證集TSS含量預(yù)測(cè)值與實(shí)際值的R2分別為0.659 9和0.508 2，具有一定識(shí)別效果(R2>0.4)。為嘗試精簡數(shù)據(jù)結(jié)構(gòu)，提高實(shí)際應(yīng)用的運(yùn)算效率，參考表3去除顯著相關(guān)特征，僅保留極其顯著相關(guān)視覺特征對(duì)柚果TSS含量的識(shí)別結(jié)果如圖4-b所示，訓(xùn)練集和驗(yàn)證集的識(shí)別精度均有所下降。因此，顯著相關(guān)特征中包含較多柚果TSS含量識(shí)別有益信息，采用視覺全數(shù)據(jù)對(duì)柚果TSS含量進(jìn)行識(shí)別為較優(yōu)方案?？梢?，柚果視覺特征不僅包含較豐富的TSS含量識(shí)別有益信息，還可形成一種柚果TSS含量低成本的粗略智能識(shí)別方法。曹樂平等[25]研究發(fā)現(xiàn)采用機(jī)器視覺可以有效檢測(cè)溫州蜜柑(小型水果，已有效果較好的其他檢測(cè)方法)的糖度，本研究證明了機(jī)器視覺特征在柚果(大型厚皮水果，缺少效果較好的檢測(cè)方法)內(nèi)部品質(zhì)檢測(cè)的上的作用，更為領(lǐng)域所需。

a-視覺全特征；b-顯著相關(guān)視覺全特征圖4 基于視覺特征的柚果TSS含量的PLSR檢測(cè)Fig.4 PLSR detection of pomelo TSS based on vision features

2.5.3 視覺特征對(duì)含水率檢測(cè)

柚果視覺全特征(F1～F20)對(duì)含水率的PLSR識(shí)別結(jié)果如圖5-a所示，訓(xùn)練集和驗(yàn)證集TSS含量預(yù)測(cè)值與實(shí)際值的R2分別為0.704 5和0.667 6，對(duì)于一種低成本的機(jī)器視覺外部特征采集方法而言，已具有較好的粗略識(shí)別效果。為嘗試精簡數(shù)據(jù)結(jié)構(gòu)，提高實(shí)際應(yīng)用的運(yùn)算效率，參考表3去除顯著相關(guān)特征，僅保留極其顯著相關(guān)視覺特征對(duì)柚果含水率的識(shí)別結(jié)果如圖5-b所示，訓(xùn)練集和驗(yàn)證集的識(shí)別精度均有所下降。因此，顯著相關(guān)視覺特征中也包含較多柚果含水率識(shí)別有益信息，采用視覺全數(shù)據(jù)對(duì)柚果含水率進(jìn)行識(shí)別為較優(yōu)方案?？梢?，柚果視覺特征不僅包含較豐富的含水率識(shí)別有益信息，還可形成一種柚果含水率低成本的粗略智能識(shí)別方法。

a-視覺全特征；b-顯著相關(guān)視覺全特征圖5 基于視覺特征的柚果含水率的PLSR檢測(cè)Fig.5 PLSR detection of pomelo water content based on vision features

3 結(jié)論

機(jī)器視覺是一種廣泛使用的外觀品質(zhì)特征獲取技術(shù)，本文證明了其獲取柚果外部品質(zhì)特征的準(zhǔn)確有效性。柚果外部視覺特征與內(nèi)部品質(zhì)線性相關(guān)特性不強(qiáng)，但具有顯著的非線性相關(guān)關(guān)系，包含內(nèi)部品質(zhì)識(shí)別的有益信息。其原因在于水果是一種有生命的活體，內(nèi)外品質(zhì)之間存在一定的聯(lián)系，這與傳統(tǒng)地通過外觀經(jīng)驗(yàn)判斷內(nèi)部品質(zhì)好壞做法相符。本文的PLSR建模識(shí)別結(jié)果進(jìn)一步驗(yàn)證了柚果視覺特征不僅包含較豐富的內(nèi)部品質(zhì)識(shí)別有益信息，還可形成一種低成本的TSS含量、含水率粗略智能識(shí)別方法。參考本研究基礎(chǔ)，下一步研究工作可將視覺特征與光譜特征進(jìn)行有機(jī)融合，通過大量的對(duì)比與驗(yàn)證分析，形成一種基于多源信息融合的柚果內(nèi)部品質(zhì)高精度識(shí)別方法。

本研究對(duì)柚果20種外部視覺特征(縱徑、橫徑、縱橫徑比、面積、R、G、B灰度分別的一階、二階和三階形態(tài)、H、V、S灰度、對(duì)比度、相關(guān)度、能量、粗糙度)與3種主要內(nèi)部品質(zhì)(硬粒程度、TSS和含水率)之間的線性/非線性關(guān)聯(lián)特性進(jìn)行了分析，并基于不同相關(guān)程度的視覺特征對(duì)內(nèi)部品質(zhì)進(jìn)行了建模識(shí)別。

柚果橫、縱徑像素值與實(shí)際值的線性擬合結(jié)果表明，本研究的采集的柚果視覺圖像可較好反映其真實(shí)特征情況。LCA和CCA分析結(jié)果表明，柚果全部視覺特征與內(nèi)部品質(zhì)指標(biāo)的線性相關(guān)均不顯著，但柚果視覺特征與內(nèi)部品質(zhì)之間存在非線性相關(guān)特。MIA分析結(jié)果進(jìn)一步證明了，柚果視覺特征與內(nèi)部品質(zhì)指標(biāo)之間具有較強(qiáng)的非線性相關(guān)特性。其中，柚果視覺特征F5、F8～15、F17、F19～F20與硬粒程度之間的非線性相關(guān)不顯著，其余特征均與硬粒程度顯著非線性相關(guān)。柚果視覺特征F5、F8～15和F17與TSS含量和含水率均顯著非線性相關(guān)，其余特征與TSS含量和含水率的非線性相關(guān)均極其顯著。柚果視覺特征可為內(nèi)部品質(zhì)無損檢測(cè)提供有益的信息補(bǔ)充。

采用柚果視覺全特征與僅用顯著相關(guān)特征對(duì)其硬粒程度識(shí)別結(jié)果均不佳。采用柚果視覺特征對(duì)其TSS含量和含水率進(jìn)行粗略識(shí)別均是可行的，其中全特征識(shí)別效果要優(yōu)于僅用極其顯著相關(guān)特征的識(shí)別效果。實(shí)際應(yīng)用中，一方面可采用機(jī)器視覺特征為柚果硬粒化程度、TSS含量和含水率的其他檢測(cè)方法提供有益的融合信息，但機(jī)器視覺特征與硬粒程度的相關(guān)性較弱，作為融合信息的性價(jià)比不高；另一方面可基于機(jī)器視覺技術(shù)形成低成本的便攜式柚果TSS含量和含水率粗略檢測(cè)設(shè)備。本研究也為其他水果內(nèi)部品質(zhì)無損檢測(cè)技術(shù)的提升提供參考與新思路。