徐義鑫， 王建春*， 彭 凱， 張雪飛， 杜彥芳

(1.天津市農(nóng)業(yè)科學(xué)院 信息研究所，天津 300192； 2.河北工業(yè)大學(xué) 機(jī)械工程學(xué)院，天津 300130)

番茄是世界上重要的蔬菜作物之一，在各國的蔬菜栽培中均占有很大比例[1]。番茄果實(shí)營養(yǎng)豐富，富含多種維生素、碳水化合物、礦物鹽及有機(jī)酸等，其用途廣泛，可生食、炒食，加工制成番茄醬、番茄汁或整果罐頭等[2]。番茄果實(shí)采后呼吸作用旺盛，常溫下很快軟化，極易受到機(jī)械損傷和病原菌侵染而腐爛變質(zhì)，使果實(shí)失去商品性，從而限制果實(shí)的流通[3]，影響經(jīng)濟(jì)效益。因此，番茄機(jī)械損傷的檢測具有重要意義。

傳統(tǒng)的果蔬機(jī)械損傷檢測往往依靠人工用肉眼判別，結(jié)果易受人的主觀因素影響，且存在精度低、視覺易疲勞、速度慢等問題[4]。隨著計(jì)算機(jī)圖像處理技術(shù)的不斷進(jìn)步，通過果實(shí)的可見光成像對其進(jìn)行表面缺陷檢測的技術(shù)逐漸發(fā)展起來。王樹文等[5]對番茄圖像進(jìn)行處理，綜合運(yùn)用計(jì)算機(jī)視覺、BP人工神經(jīng)網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)番茄損傷的自動(dòng)檢測與分類。丁竹青等[6]基于LabVIEW軟件，采用IMAQ Vision的視覺處理函數(shù)對番茄圖像進(jìn)行處理，進(jìn)而檢測出霉斑缺陷部分。相比人工檢測，基于圖像處理技術(shù)的方法有較大優(yōu)勢，但此類方法在檢測番茄等顏色較深的果實(shí)表面機(jī)械損傷時(shí)，對圖像的細(xì)節(jié)要求較高，通常只能識(shí)別較明顯的損傷。

果蔬機(jī)械損傷發(fā)生后，其熱特性發(fā)生變化，在一定條件下，會(huì)增大果實(shí)正常與損傷部分的溫度差異。這一特性為熱成像檢測果蔬機(jī)械損傷[7-10]提供了條件。LINDEN等[11]采用熱成像技術(shù)，利用1℃冷卻90 min、70℃烘箱加熱1～2 min、微波加熱7～15 s等3種不同熱激勵(lì)方式對番茄機(jī)械損傷的檢測效果表明，微波加熱15 s后可有效區(qū)分出番茄細(xì)微機(jī)械損傷，但微波會(huì)對番茄造成一定破壞。劉娟娟[12]提出了一種基于紅外和可見光圖像融合的水果無損檢測方法，融合圖像很好地保留了蘋果缺陷在紅外圖像中所體現(xiàn)的特征，且有效地消除了可見光圖像表面色彩對于缺陷識(shí)別的影響。周建民等[13]利用主動(dòng)熱成像技術(shù)檢測紅富士蘋果早期機(jī)械損傷，并對環(huán)境因素對檢測影響程度進(jìn)行了定性分析。通過熱成像技術(shù)將果實(shí)溫度差異用不同顏色顯示出來，可以直觀地發(fā)現(xiàn)果實(shí)缺陷，較好地解決可見光圖像中不明顯損傷難識(shí)別的問題。但上述方法通常需要使用配套計(jì)算機(jī)，且所用熱成像儀一般價(jià)格較為昂貴，不適合推廣；另一方面，熱成像在損傷的定量檢測方面尚待更多研究[14]。

FLIR ONE是一款應(yīng)用于智能手機(jī)的熱成像攝像頭，因其價(jià)格相對便宜，使用方便，逐漸受到重視。目前在醫(yī)學(xué)領(lǐng)域應(yīng)用較多[15-17]，主要用于傷員傷情檢測；在果蔬檢測方面處于起步階段，如NAIK[18]等將FLIR ONE用于芒果分級。該方法基于Android手機(jī)，將FLIR ONE用于番茄果實(shí)機(jī)械損傷檢測，通過對番茄熱成像的處理與番茄表面溫度矩陣的計(jì)算，獲得番茄表面機(jī)械損傷參數(shù)。

1 檢測原理與方法

1.1 檢測原理

所有溫度在絕對零度以上的物體，都會(huì)不停地發(fā)出熱紅外線。熱成像技術(shù)就是通過接收目標(biāo)物各部位發(fā)射出的紅外線，經(jīng)過紅外信息轉(zhuǎn)換與處理技術(shù)，最終以圖像形式顯示目標(biāo)物各個(gè)部位發(fā)射的紅外線強(qiáng)度[19]，即把溫度矩陣轉(zhuǎn)換成可視圖像。番茄機(jī)械損傷發(fā)生后，熱量在果實(shí)中的吸收和傳播發(fā)生變化，引起熱特性參數(shù)發(fā)生變化，從而導(dǎo)致正常和損傷部分之間產(chǎn)生一定的溫度差異[14]。利用安裝于手機(jī)的FLIR ONE獲取番茄熱成像，可識(shí)別出可見光成像下不易發(fā)現(xiàn)的番茄機(jī)械損傷，通過開發(fā)的APP對番茄溫度矩陣進(jìn)行計(jì)算得到機(jī)械損傷缺陷參數(shù)。

1.2 檢測方法

1.2.1 檢測流程 檢測方法主要流程如圖1所示。首先，用FLIR ONE拍照獲取番茄熱成像，同時(shí)獲取溫度數(shù)組；其次，對熱成像進(jìn)行圖像處理，并標(biāo)記出損傷部分；最后，基于圖像處理結(jié)果對溫度數(shù)組進(jìn)行計(jì)算，得到損傷參數(shù)。

圖1 番茄熱成像檢測流程

Fig.1 The Process of thermal imaging detection of tomoto

1.2.2 獲取番茄熱成像及溫度數(shù)組 通過2個(gè)100 W的紅外燈主動(dòng)熱激勵(lì)，番茄損傷與正常部分溫差增大，進(jìn)而便于檢測。整個(gè)熱激勵(lì)裝置如圖2所示，2個(gè)紅外燈成90°擺放，距離番茄20 cm，加熱150 s后停止。在停止后60 s內(nèi)拍照，調(diào)色板選擇鐵紅色的熱成像效果最好。由于FLIR ONE無調(diào)焦功能，因此拍照距離需根據(jù)番茄實(shí)際大小進(jìn)行調(diào)整，使番茄盡可能充滿圖像以便獲得更多細(xì)節(jié)。拍照功能基于FLIR ONE 官方SDK進(jìn)行編程，拍照后獲得熱成像和包括每個(gè)像素點(diǎn)溫度的數(shù)組。

圖2 用于獲取番茄熱成像及溫度數(shù)組的熱激勵(lì)裝置

Fig.2 The excitation-device of obtain thermal imaging and temperature arrays of tomoto

1.2.3 圖像處理及損傷計(jì)算 算法流程主要包括對熱成像的圖像處理與基于溫度數(shù)組進(jìn)行損傷參數(shù)計(jì)算兩部分，其中白色框表示圖像處理步驟，黑色框表示損傷計(jì)算步驟(圖3)。

圖3 圖像處理及損傷計(jì)算的算法流程

Fig.3 The Process of image and damage calculation

1) 圖像處理。圖像處理的目的一是找出損傷部位，二是為計(jì)算損傷參數(shù)做準(zhǔn)備。圖像處理算法主要基于OpenCV4Android 3.4.3，保證了處理的實(shí)時(shí)性，主要包括預(yù)處理、求輪廓與找損傷3個(gè)步驟。

預(yù)處理:預(yù)處理是為了將番茄從圖像中分割出來，先將圖像灰度化，然后進(jìn)行中值濾波消除噪聲。由于在熱成像中熱激勵(lì)后的番茄與背景有明顯差異，用OTSU法對圖像二值化即可將番茄分離。

求輪廓:對預(yù)處理后的圖像進(jìn)行Canny邊緣檢測，利用邊緣檢測結(jié)果求出番茄輪廓，進(jìn)而求出番茄正外接矩形作為ROI。

找損傷:首先，通過番茄輪廓與正外接矩形得到番茄部分點(diǎn)的灰度數(shù)組tomatoArray，獲取番茄部分點(diǎn)的灰度偽碼：

//初始化番茄灰度數(shù)組

tomatoArray [];

//遍歷正外接矩形tomatoRect中每一個(gè)點(diǎn)

for each Point(x,y) in tomatoRect

//點(diǎn)在番茄輪廓contourPoints內(nèi)部

if(pointPolygonTest(contourPoints,Point(x,y),false) > 0)

{

//將該點(diǎn)灰度值加入到tomatoArray中

tomatoArray.add(grayMat.get(y,x)[0]);

//累加番茄每一點(diǎn)的溫度

Tsumtomato+= thermalPixels[y*width+x];

}

end for

此方法只遍歷ROI的數(shù)據(jù)，避免了遍歷整個(gè)圖像，減少了計(jì)算量。其次，對圖像進(jìn)行二值化分離損傷。在通過試驗(yàn)比較若干種二值化算法后，發(fā)現(xiàn)Reny熵法[20]效果最好。利用tomatoArray計(jì)算番茄部分灰度直方圖，以此為輸入通過Reny熵法進(jìn)行二值化。最后，依次進(jìn)行中值濾波去除噪聲、Canny邊緣檢測，最終求出所有輪廓。方法：設(shè)原番茄輪廓面積為St，周長為Pt，對求出的輪廓做進(jìn)一步篩選，主要剔除4種輪廓。一是面積接近的St輪廓，由于熱成像中番茄邊緣顏色可能相對較暗，在Reny熵法二值化時(shí)邊緣部分會(huì)被視為背景，進(jìn)而會(huì)產(chǎn)生面積稍小于St的番茄輪廓；二是周長接近或大于Pt的輪廓，這種輪廓為與面積接近St的輪廓的類似，但未將番茄包圍，而是形成一個(gè)條形輪廓，因此周長較大，如圖4中②所示；三是原番茄輪廓因二值化被分割成的若干條形輪廓；四是面積過小的輪廓，這種輪廓通常為噪聲，如圖4中④所指。剔除后得到番茄機(jī)械損傷輪廓，并在原熱成像中作出標(biāo)記，完成圖像處理。

2) 損傷計(jì)算。計(jì)算番茄部分溫度數(shù)據(jù)：在獲取tomatoArray的同時(shí)，累加得到番茄所有點(diǎn)的溫度和Tsumtomato(表1)。計(jì)算損傷參數(shù)：累加每個(gè)損傷輪廓包含點(diǎn)的個(gè)數(shù)得到損傷部分點(diǎn)的總數(shù)Cdamage，同時(shí)累加每個(gè)損傷點(diǎn)的溫度得到損傷部分的溫度Tsumdamage。設(shè)Ctomato為番茄部分包含點(diǎn)的總數(shù)，則損傷參數(shù)的計(jì)算公式分別為損傷占比(Pdamage)、損傷部分平均溫度(Tdamage)、正常部分平均溫度(Tsound)和正常部分與損傷部分平均溫度差(Tdiff)。

圖4 番茄損傷輪廓待篩選結(jié)果

Fig.4 The awaiting screening results of injury contour of tomoto

Tdiff=Tsound-Tdamage

整個(gè)算法最后得到一幅標(biāo)記出番茄及其損傷的圖像及4個(gè)損傷參數(shù)(圖5)。

圖5 番茄損傷熱成像處理效果及損傷參數(shù)

Fig.5 Damage thermal imaging treatment effect and parameter of tomoto

2 方法驗(yàn)證

2.1 針刺損傷

針刺損傷試驗(yàn)用于檢測番茄是否有機(jī)械損傷。用直徑0.8 mm的針在櫻桃番茄表面刺1個(gè)3 mm深的孔，靜置1 h并擦干流出的汁液，對50個(gè)果實(shí)進(jìn)行機(jī)械損傷檢測。所用手機(jī)為Android 6.0.1系統(tǒng)的CAT S60，內(nèi)置的FLIR ONE熱成像分辨率為80×60像素、視覺分辨率為640×480像素。對櫻桃番茄的拍照距離為10 cm，處理一幅圖像的時(shí)間為4 s左右。測定結(jié)果表明，50個(gè)果實(shí)中檢測到損傷數(shù)量為45個(gè)，正常數(shù)量為5個(gè)，損傷果實(shí)的識(shí)別正確率為90%。由于針刺孔較小及噪聲干擾，致使部分損傷未在熱成像中呈現(xiàn)，因此出現(xiàn)了將損傷果實(shí)識(shí)別為正常果實(shí)的情況。

2.2 劃傷

劃傷試驗(yàn)用于檢測損傷部位溫度數(shù)據(jù)。在番茄表面用直徑0.8 mm的針劃一道2 mm深、1～2 cm長的劃痕，靜置1 h并擦干流出的汁液，對10個(gè)果實(shí)進(jìn)行損傷檢測，主要測定溫度數(shù)據(jù)。所用手機(jī)為Android 9.0系統(tǒng)的Google Pixel 2，F(xiàn)LIR ONE 型號(hào)為Pro，熱成像分辨率為160×120像素，視覺分辨率為1 440×1 080像素。對番茄的拍照距離為20 cm，每幅圖像的處理時(shí)間為2 s左右。在獲取熱成像的同時(shí)(熱激勵(lì)后60 s內(nèi))對番茄溫度進(jìn)行測量，正常部分實(shí)際溫度值通過測量其中5個(gè)點(diǎn)的溫度并計(jì)算平均值得到，損傷部分實(shí)際溫度值通過測量劃傷的2個(gè)端點(diǎn)及中點(diǎn)共3個(gè)點(diǎn)的溫度并計(jì)算平均值得到。測量工具為Extech IR400紅外測溫儀，選擇該測溫儀基于兩點(diǎn)原因：番茄的發(fā)射率為0.90～0.95[21]，而該測溫儀的發(fā)射率為0.95，二者匹配；該測溫儀可以快速、準(zhǔn)確的獲取溫度，滿足在60 s內(nèi)獲取多個(gè)點(diǎn)溫度的要求。

由表1可知，番茄正常部分與損傷部分的溫度差在0.42～1.08℃，平均溫差0.78℃，略高于IR400所測得的溫度差(0.45℃)，對損傷部分的區(qū)分性更好。另外，測得溫度與IR400所測結(jié)果誤差均在±5%以內(nèi)，較為準(zhǔn)確。

表1 番茄劃傷檢測的正常與損傷部位溫度

3 小結(jié)

研究提出了一種基于FILR ONE熱成像攝像頭、用Android手機(jī)進(jìn)行番茄機(jī)械損傷檢測的方法。方法適用于不同型號(hào)的FLIR ONE及支持FLIR ONE的Android手機(jī)，在番茄機(jī)械損傷檢測方面準(zhǔn)確性較高，圖像處理耗時(shí)滿足實(shí)時(shí)性要求。測定方法成本低，操作簡便，易于在農(nóng)業(yè)科技工作者與農(nóng)戶中推廣。方法不僅可用于番茄機(jī)械損傷定性檢測，也可對溫度進(jìn)行定量檢測。隨著進(jìn)一步的研究，未來可嘗試推廣到其他果蔬的機(jī)械損傷檢測上。