趙 敏 王成榮 李 苒

目前,中國水果分級主要采用人工方法,主觀性強(qiáng)、效率低、誤差大[1]。蘋果分級通常以果徑、果型、色澤、酸甜度等指標(biāo)作為分級標(biāo)準(zhǔn),國外分級系統(tǒng)較為成熟,如美國的MERLIN型、OSCARTM型等水果分級生產(chǎn)線,這些設(shè)備更適用于軸對稱形狀的水果分級,但造價成本較高[2]。由于獨(dú)特的水土條件,新疆阿克蘇蘋果有明顯的“高低肩”現(xiàn)象,如果仍采用以往的分級標(biāo)準(zhǔn),往往會產(chǎn)生因測量位置不同導(dǎo)致蘋果大小不同的現(xiàn)象[3]。

隨著機(jī)器視覺、機(jī)器學(xué)習(xí)技術(shù)的快速發(fā)展,無損、非接觸式水果質(zhì)量估計方法備受關(guān)注[4]。何婷婷等[5]采用伽馬變換圖像預(yù)處理和閾值圖像分割方法得到番茄二值圖像信息,但該方法對水果擺放位置要求較高,并不適用于隨機(jī)分布在傳送帶上的水果應(yīng)用場景;張立杰等[6]利用兩通道圖像融合深度圖像以提高蘋果分級效率;Huynh等[7]選取頂部圖像投影面積和圖像長短軸作為圖像特征;李頎等[8]采用最小外接矩形法以得到最大縱徑、最大橫徑圖像特征。但上述方法只利用了蘋果圖像部分特征,蘋果分級分類準(zhǔn)確率還需進(jìn)一步研究。何進(jìn)榮等[9]利用多卷積神經(jīng)網(wǎng)絡(luò)對圖像信息進(jìn)行學(xué)習(xí),蘋果分級準(zhǔn)確率達(dá)97.84%;Demir等[10]使用多元線性回歸和神經(jīng)網(wǎng)絡(luò)模型對杏仁等進(jìn)行質(zhì)量預(yù)估,并驗證了該方法的有效性。但神經(jīng)網(wǎng)絡(luò)超參數(shù)配置情況直接決定了蘋果質(zhì)量估計的效率和準(zhǔn)確性。

研究擬以阿克蘇蘋果質(zhì)量估計分級為例,對圖像信息獲取、圖像特征選取和圖像信息學(xué)習(xí)進(jìn)行分析,建立蘋果圖像采集系統(tǒng),利用改進(jìn)的離散蝗蟲優(yōu)化算法(grasshopper optimization algorithm,GOA)[11-14]優(yōu)化圖像特征最佳子集目標(biāo)函數(shù),并采用蝗蟲優(yōu)化算法優(yōu)化后的RBF(radial basis function)神經(jīng)網(wǎng)絡(luò)[15-16]進(jìn)行學(xué)習(xí)、訓(xùn)練,最終得到蘋果預(yù)估結(jié)果,以期為快速、無損、高準(zhǔn)確率檢測蘋果質(zhì)量提供依據(jù)。

1 蘋果圖像信息獲取

建立基于機(jī)器視覺的蘋果圖像信息獲取模型(圖1),該模型主要包括蘋果圖像采集模塊、圖像預(yù)處理模塊、目標(biāo)區(qū)域分割模塊、特征提取模塊、最佳特征子集選取模塊和質(zhì)量估計模塊等。

圖1 蘋果圖像信息獲取模型

1.1 蘋果圖像采集

建立蘋果圖像采集視覺系統(tǒng),采用PVC黑色發(fā)泡板制作暗箱,在暗箱的頂部、側(cè)面(右側(cè),平行傳輸帶前進(jìn)方向)中心位置,以及傳輸帶前進(jìn)方向左右30°、60°方向,共放置6個大恒圖像工業(yè)相機(jī)模組(分辨率1 080,供電電壓5 V)(見圖2)。每個攝像機(jī)配置一個LED補(bǔ)光燈(額定功率6 W)。搭建基于MPI(message passing interface)通信協(xié)議,由6個從節(jié)點(diǎn)、1個主節(jié)點(diǎn)組成的并行計算機(jī)系統(tǒng)。6個攝像機(jī)通過USB3.0接口分別與6個從節(jié)點(diǎn)連接,拍攝的圖片以“.JPG”格式保存,1個從節(jié)點(diǎn)負(fù)責(zé)處理1個攝像機(jī)采集到的圖片信息,主節(jié)點(diǎn)主要完成圖像特征選取和圖像信息學(xué)習(xí)等任務(wù),以提高圖像信息處理效率。

圖2 圖像采集攝像頭與MPI并行計算機(jī)

1.2 圖像預(yù)處理與目標(biāo)區(qū)域分割

對攝像機(jī)采集到的原始圖像進(jìn)行灰度化處理,并利用中值濾波算法進(jìn)行預(yù)處理,以降低圖像的噪聲。采用文獻(xiàn)[4]提出的改進(jìn)Canny算子提取蘋果輪廓,進(jìn)一步降低光線噪聲影響。利用形態(tài)學(xué)進(jìn)行填充操作,得到蘋果區(qū)域分割圖像。圖像預(yù)處理與目標(biāo)區(qū)域分割示意圖如圖3所示。

圖3 蘋果圖像預(yù)處理與目標(biāo)區(qū)域分割示意圖

1.3 圖像特征

蘋果投影面積P、周長G、橫徑W、縱徑H、最大外接圓半徑Rmax、最小內(nèi)接圓半徑Rmin、果形指數(shù)S、果徑平均值Lavg是目前常用的圖像特征。通過Canny算子提取蘋果輪廓和形態(tài)學(xué)填充操作預(yù)處理后,采用最小外接矩形法得到特征具體取值,且

S=W/H,

(1)

Lavg=(W+H)/2。

(2)

對于包括N個蘋果的待檢測集合{Qx}(x=1,…,N)(Qx表示第x個蘋果樣本),為進(jìn)一步提升后續(xù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練和檢測泛化能力[4],對圖像特征進(jìn)行歸一化處理(以特征P為例):

(3)

式中:

2 最佳特征子集選取與蘋果質(zhì)量估計

2.1 最佳特征子集選取目標(biāo)函數(shù)

定義最佳特征子集選取向量I=(i1,…,ij,…,i8),若ij=1(j=1,…,8),表示O(P,G,W,H,Rmax,Rmin,S,Lavg)中第j個特征被選取、保留;若ij=0,則表示第j個特征被放棄。

對于蘋果樣本集合{Qx}(x=1,…,N),可以按照實際質(zhì)量等級劃分為K個分類{Ca}(a=1,…,K),其中,Ca為第a個分類集合。最佳特征子集選取的目的是,利用I=(i1,…,ij,…,i8)對O(P,G,W,H,Rmax,Rmin,S,Lavg)進(jìn)行特征子集選取,在最大限度降低特征之間冗余度的同時,盡可能保持原有數(shù)據(jù)分類能力。參考文獻(xiàn)[17],當(dāng)式(4)所示的最佳特征子集選取目標(biāo)函數(shù)取最小值時,對應(yīng)Ibest=(i1,…,ij,…,i8)即為最佳特征子集提取向量。

(4)

ψN×K=(φx,a),

(5)

(6)

Θ8×N=(IT,IT,…,IT),

(7)

UK×K=(χa,b),

(8)

式中:

ψN×K——隸屬度矩陣;

φx,a∈[0,1]——Qx與Ca的隸屬程度(可利用最大信息系數(shù)法[17]求解);

Φ(6N×8)——特征矩陣;

Θ8×N——特征選取向量矩陣;

UK×K——類間相似矩陣;

χa,b——Ca與Cb的類間相似度。

通過對最佳特征子集選取目標(biāo)函數(shù)進(jìn)行優(yōu)化求解,可以得到最佳特征子集提取向量,此時,最佳特征子集提取向量中非零元素對應(yīng)的特征即為最終被選取的特征。

2.2 改進(jìn)離散蝗蟲優(yōu)化算法求解最佳特征子集選取目標(biāo)函數(shù)

求解最佳特征子集選取目標(biāo)函數(shù)屬于NP難題,且變量I=(i1,…,ij,…,i8)是離散的。為此,在蝗蟲優(yōu)化算法(grasshopper optimization algorithm,GOA)[18]的基礎(chǔ)上,提出改進(jìn)離散GOA優(yōu)化算法(improving discrete GOA,IDGOA)。設(shè)定IDGOA包含Z個蝗蟲個體,對于第z個蝗蟲(z∈[1,…,Z]),其編碼Fz(b1,…,bn)(n為編碼位數(shù))定義為Fz=I,即

bj=ij,bj=1 or 0,n=8。

(9)

定義IDGOA目標(biāo)函數(shù)f(Fz)為最佳特征子集提取目標(biāo)函數(shù),即

(10)

為進(jìn)一步提升IDGOA全局收斂能力,重新定義“自適應(yīng)取反”“自適應(yīng)學(xué)習(xí)”和“隨機(jī)學(xué)習(xí)”3種個體更新方式。IDGOA優(yōu)化求解最佳特征子集提取目標(biāo)函數(shù)實現(xiàn)過程為:

步驟1:種群初始化。按式(9)對IDGOA個體進(jìn)行初始化,設(shè)定最大迭代次數(shù)Tmax。

步驟2:個體更新。t時刻,對種群內(nèi)目標(biāo)函數(shù)值最差的個體Fworst(t)執(zhí)行“自適應(yīng)取反”操作,即隨機(jī)選取Fworst(t)內(nèi)e(e1∈[1,…,8])個編碼進(jìn)行取反。

(11)

式中:

α1∈(0,1)——比例系數(shù)。

(12)

式中:

α2∈(0,1)——比例系數(shù)。

步驟3:停止條件判定。若不滿足,則返回步驟2;否則,停止迭代,輸出結(jié)果。種群目標(biāo)函數(shù)最優(yōu)個體對應(yīng)的編碼集合即為最佳特征子集選取向量Ibest。

從IDGOA實現(xiàn)過程可以看出,算法初期,種群內(nèi)個體差異性較大,蝗蟲選擇大范圍向最優(yōu)個體學(xué)習(xí),有利于提高算法收斂速度;算法后期,種群內(nèi)個體差異性降低,蝗蟲采取隨機(jī)學(xué)習(xí)的形式進(jìn)行更新,擴(kuò)展了算法搜索空間,有利于提高算法收斂精度。試驗采用IDGOA對最佳特征子集提取目標(biāo)函數(shù)進(jìn)行優(yōu)化求解,進(jìn)而得到對應(yīng)的最佳特征子集,此時利用最佳特征子集對每個圖像特征進(jìn)行提取,并以此作為RBF神經(jīng)網(wǎng)絡(luò)輸入,以提升RBF神經(jīng)網(wǎng)絡(luò)穩(wěn)定性。

2.3 改進(jìn)RBF神經(jīng)網(wǎng)絡(luò)

RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單、魯棒性好,適用于高維、復(fù)雜、非線性問題。RBF神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層和輸出層組成,其表達(dá)形式為:

X=(x1,…,xn),j=1,…,q,

(13)

式中:

X=(x1,…,xn)——輸入變量;

n——樣本數(shù)量;

y(X)——輸出值;

ωij——加權(quán)系數(shù);

q——隱含層包含的神經(jīng)元個數(shù);

cj——第j個神經(jīng)元中心;

φj(·)——第j個徑向基函數(shù)[選取高斯函數(shù)為徑向基函數(shù),以φj(·)為例]。

(14)

式中:

σj——擴(kuò)展常數(shù)。

損失函數(shù)式為:

(15)

式中:

yi——第i個樣本預(yù)測蘋果質(zhì)量,g;

Λ(·)——輸出層激活函數(shù)(選取ReLU函數(shù));

(xi,yi)——第i個樣本;

n——樣本規(guī)模。

由式(13)、式(14)可知,神經(jīng)元中心(c1,…,cq)、加權(quán)系數(shù)[ωij]n×q、擴(kuò)展常數(shù)(σ1,…,σq)以及隱含層神經(jīng)元個數(shù)q是RBF神經(jīng)網(wǎng)絡(luò)需要配置的參數(shù),這些超參數(shù)決定了RBF神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果的好壞。為此,試驗提出改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)(improving RBF,IRBF),即采用GOA對超參數(shù)進(jìn)行優(yōu)化,從而得到RBF神經(jīng)網(wǎng)絡(luò)最優(yōu)超參數(shù)配置,最后通過實驗驗證IRBF性能。

2.4 基于IRBF的蘋果質(zhì)量估計實現(xiàn)流程

利用IRBF估計蘋果質(zhì)量,最終得到每個待檢測蘋果的質(zhì)量值,具體實現(xiàn)過程為:

(16)

(17)

N1+N2=N,N1∶N2=7∶3,

(18)

式中:

N1、N2——訓(xùn)練樣本和測試樣本中蘋果個數(shù)。

步驟2:GOA優(yōu)化IRBF參數(shù)。將IRBF待優(yōu)化參數(shù)賦予GOA個體編碼,即

(19)

從式(19)可以看出,GOA個體編碼分為4個區(qū)域,蝗蟲進(jìn)化時,每個區(qū)域獨(dú)立執(zhí)行GOA個體更新操作。GOA目標(biāo)函數(shù)定義為:

(20)

式中:

WTi——訓(xùn)練樣本集合中第i個蘋果的真實質(zhì)量。

采用GOA對f(Fz)進(jìn)行優(yōu)化求解,當(dāng)滿足停止迭代條件時,GOA種群最優(yōu)個體對應(yīng)編碼即為IRBF最佳參數(shù)配置。

3 預(yù)測結(jié)果分析

對所提蘋果質(zhì)量估計方法的可行性進(jìn)行驗證。隨機(jī)選取50個成熟的新疆阿克蘇蘋果,每個蘋果質(zhì)量為220～350 g,采用電子秤得到每個蘋果的精確質(zhì)量值。按蘋果質(zhì)量大小將阿克蘇蘋果劃分為5個等級:一級果重320～350 g,二級果重290～319 g,三級果重260～289 g,四級果重220～259 g,五級果重<220 g。此時,按照實際質(zhì)量,50個蘋果被劃分到5個分類中。

3.1 最佳特征子集選取驗證實驗

采用試驗提出的IDGOA對最佳特征子集選取目標(biāo)函數(shù)進(jìn)行優(yōu)化,得到最佳特征子集,選取離散蝗蟲優(yōu)化算法(DGOA)、離散粒子群算法(DPSO)驗證IDGOA收斂能力,圖4為3種智能優(yōu)化算法收斂對比曲線圖。

圖4 3種智能優(yōu)化算法收斂曲線

由圖4可知,IDGOA在收斂精度上明顯好于其他兩種算法。為進(jìn)一步驗證試驗所提最佳特征子集提取方法的有效性,選取文獻(xiàn)[17]提出的CBF特征提取算法和經(jīng)典的ReliefF特征提取算法進(jìn)行對比,評價指標(biāo)為分類正確率[19]及式(4)的最小值g2。

由表1可知,在特征提取數(shù)量上,試驗算法只需提取5個特征,少于ReliefF算法和FCBF算法;在分類正確率上,試驗算法分類正確率達(dá)98.83%,明顯優(yōu)于其他兩種算法。表明研究所提最佳特征子集提取算法在最大限度減少被選取特征數(shù)量的同時,保持了較高的分類能力。

表1 3種特征子集選取算法對比結(jié)果

3.2 驗證蘋果質(zhì)量估計

將50個蘋果按7∶3的比例劃分為訓(xùn)練樣本和測試樣本,采用IRBF對35個模型進(jìn)行訓(xùn)練,對15個蘋果進(jìn)行質(zhì)量估計,評價指標(biāo)為均方根誤差[1](RMSE)、平均相對誤差率(err)和算法運(yùn)行時間(T)。

(21)

為進(jìn)一步驗證所提質(zhì)量估計算法的性能,選取文獻(xiàn)[1]、文獻(xiàn)[8]所提質(zhì)量估計算法進(jìn)行對比。圖5為3種質(zhì)量估計方法預(yù)測結(jié)果散點(diǎn)圖,表2為3種質(zhì)量估計方法評價指標(biāo)對標(biāo)結(jié)果。

表2 3種質(zhì)量估計方法評價指標(biāo)對標(biāo)結(jié)果

圖5 蘋果質(zhì)量估計散點(diǎn)圖

由圖5和表2可知,相比于其他兩種估計算法,試驗算法的質(zhì)量估計結(jié)果更多落在y=x直線上,且其RMSE和err明顯優(yōu)于其他兩種算法,表明試驗所提質(zhì)量估計方法的結(jié)果更加精確。在算法運(yùn)算時間上,3種算法的運(yùn)算效率相當(dāng)。

為進(jìn)一步驗證試驗所提算法對其他水果的適用性,分別對芒果、桔子、香蕉等進(jìn)行質(zhì)量估計。由表3可知,對于芒果、桔子等近似球形水果,3種算法均能夠得到較好的質(zhì)量估計結(jié)果,且試驗所提算法的RMSE和err要好于其他兩種算法。對于香蕉類似長圓柱型水果,試驗所提算法的err達(dá)7.74%,在可接受范圍內(nèi),但其他兩種算法已無法進(jìn)行質(zhì)量估計。

表3 不同水果質(zhì)量估計評價指標(biāo)對比

綜上,試驗所提算法對近似球形水果,特別是“高低肩”等不規(guī)則形狀水果具有很高的質(zhì)量估計精度,這是因為在圖像采集階段,分別從6個角度獲取圖像信息,盡可能得到不規(guī)則球形水果的多方位信息;在圖像特征提取階段,利用IDGOA對目標(biāo)函數(shù)進(jìn)行優(yōu)化,IDGOA良好的全局尋優(yōu)能力,保證了得到的最佳特征子集能夠在盡量少選取特征的同時,還保持原始數(shù)據(jù)分類能力;在質(zhì)量估計階段,采用優(yōu)化后的RBF神經(jīng)網(wǎng)絡(luò)能夠進(jìn)一步提升質(zhì)量估計精度。因此,試驗所提方法更適用于球形水果質(zhì)量估計,估計精度更優(yōu)。

4 結(jié)論

研究設(shè)計了一種聯(lián)合圖像最優(yōu)特征提取和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的蘋果質(zhì)量估計方法,該方法綜合運(yùn)用圖像視覺信息采集、MPI、圖像最優(yōu)特征選取和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)等技術(shù),蘋果質(zhì)量估計平均相對誤差率達(dá)到了1.23%級別,算法運(yùn)算效率能夠滿足實時性要求,更加適用于具有“高低肩”特性的阿克蘇蘋果質(zhì)量估計和分級,也能夠推廣應(yīng)用到其他類似軸對稱形狀的水果質(zhì)量估計。下一步,將對蘋果品質(zhì)分類問題進(jìn)行深入分析研究,以期為新疆阿克蘇蘋果質(zhì)量及品質(zhì)分類提供高效方案。