李澤平 李雪蓮 周 軍 郭俊先 黃 華 郭 陽 張亮亮
(1.新疆農(nóng)業(yè)大學(xué)機電工程學(xué)院,新疆 烏魯木齊 830052;2.新疆農(nóng)業(yè)大學(xué)數(shù)理學(xué)院,新疆 烏魯木齊 830052)
無核白葡萄作為新疆吐魯番地區(qū)的主栽品種[1-2],對吐魯番農(nóng)業(yè)經(jīng)濟的發(fā)展起重要作用。目前,無核白葡萄上市前品質(zhì)等級主要依靠人工檢測和分級,速度慢、效率低且主觀性強[3-4],果品的采后處理技術(shù)比較薄弱,不利于其精確有效的分級[5-6]。
無核白葡萄呈現(xiàn)強透光特點,成像質(zhì)量和光源選取均直接影響無核白葡萄的指標(biāo)預(yù)測和分級。如何獲得無核白葡萄成像系統(tǒng)的最佳因素與水平,對提高圖像質(zhì)量具有重要意義[7]。常見的葡萄圖像采集主要基于2種環(huán)境:室外特定光照環(huán)境下的露天環(huán)境和室內(nèi)人工控制的機器視覺成像系統(tǒng)。例如,Zabawa等[8]使用卷積神經(jīng)網(wǎng)絡(luò)執(zhí)行語義分割檢測圖像中的單個漿果,來計算每個漿果的數(shù)量。邱津怡等[9]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的多尺度葡萄圖像識別方法,發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)對于特征提取的效果優(yōu)于傳統(tǒng)的特征提取算法。劉智杭等[10]針對自然光照復(fù)雜背景下,葡萄果穗?yún)^(qū)域分割準(zhǔn)確度差的問題,提出了一種融合局部異常因子(LOF)算法和K均值聚類算法的圖像分割算法。由于沒有統(tǒng)一的衡量標(biāo)準(zhǔn),目前通常都是采用圖像評價的方法評價采集到的圖像。
為消除葡萄粒透光和光暈問題,獲得葡萄串的最佳分割效果,準(zhǔn)確分析葡萄串的圖像信息,試驗擬采集不同背景、光源結(jié)構(gòu)、打光模式下的無核白鮮葡萄圖像,采用圖像評價的方法對比各因素水平下采集的圖像,確定無核白葡萄機器視覺成像系統(tǒng)因素的最佳取值,旨在為無核白葡萄的指標(biāo)預(yù)測與分級提供參考依據(jù)。
無核白鮮葡萄:共30串,顆粒均勻(單果粒重約為2~3 g),糖度為17%~23%、濕基含水率為(82±3)%,于1 ℃冰柜冷藏存放,市售。
采集平臺:規(guī)格為48 cm×43 cm×170 cm,外層用黑色幕布將整個平臺全部遮擋,自制;
圖像采集系統(tǒng)(見圖1):AT-200CL型,包括相機、3CCD面陣攝像機,丹麥JAI公司;
鏡頭:LM35CLS型,日本NIKON公司;
高亮條形光源:LTS-2BR3503型,樂視自動化科技有限公司;
高亮度LED線光源:HLND-500SW2-R型,美國CCS公司;
低角度環(huán)形光源:HRL180SW LED型,東莞科視自動化科技有限公司;
圖像采集卡:OR-X4C0-XPD00型,日本Kowa公司;
光源控制器:LTS-APC2460-2型,樂視自動化科技有限公司;
計算機:CentreM6100t型,聯(lián)想(北京)有限公司。
采集圖像時,葡萄樣本先于室溫下放置0.5 h,調(diào)整機器視覺系統(tǒng)物距、圖像分辨率、光圈大小等參數(shù),直至采集的圖像清晰。
采用Matlab R2014A軟件進行圖像處理,采用SPSS軟件進行數(shù)據(jù)處理。使用Excel 97-2003軟件進行圖、表繪制。
2.1.1 背景紙對圖像的影響 分別以黑色、白色、棕色、灰色、紫色、綠色、深藍色、淺綠色、紅色、褐色、黃色、藍色、粉色、淺粉色、桃紅色15種顏色的4K硬卡紙為背景,拍攝一批無核白葡萄圖片,使用Matlab軟件進行分析,以葡萄圖像的前景和背景的灰度差異值和圖像信噪比為衡量指標(biāo),確定采集圖像時的最佳背景紙。
1.光源控制器 2.LED光源 3.鋁型材框架 4.鏡頭 5.攝像機 6.電腦 7.圖像采集卡(內(nèi)置主機箱里)圖1 圖像采集系統(tǒng)Figure 1 Image acquisition system
2.1.2 光源結(jié)構(gòu)對圖像的影響 在最佳采集背景紙下,以3種不同光源(條形光源、線光源、環(huán)形光源)以及光源與相機所成的不同夾角(分別為0°,30°,45°,60°)組成不同的光源結(jié)構(gòu)(條形光源-0°、條形光源-30°、條形光源-45°、條形光源-60°、線光源-0°、線光源-60°、環(huán)形光源-0°),拍攝一批無核白葡萄圖像,使用Matlab軟件進行分析,以葡萄圖像的前景和背景的灰度差異值和圖像信噪比為衡量指標(biāo),確定采集圖像時的最優(yōu)光源結(jié)構(gòu)。
在單因素試驗的基礎(chǔ)上,選取30串無核白葡萄,以背景紙、光源結(jié)構(gòu)、打光模式為因素,進行三因素三水平正交試驗,以確定采集圖像時的最佳條件。
圖像質(zhì)量評價分為主觀評價和客觀評價[11]。主觀評價是觀察者對圖像質(zhì)量進行評價,人為干擾因素大,在實際應(yīng)用中受到極大的限制[12-13]。而客觀評價只需設(shè)計算法模型,通過模型自動評價圖像質(zhì)量[14],常用的客觀評價方法主要有PSNR、均方誤差[15]、平均梯度、圖像熵、NIQE、SNR等,但PSNR、均方誤差等需要原始圖像進行參照,不適用于單幅圖像的評價[13]。因此只對平均梯度、圖像熵、NIQE、NR 4種方法(表1)展開討論。
4.1.1 背景紙對圖像的影響 由圖2(a)可知:白色背景紙下,圖像的信噪比最高,黃色和桃紅色次之。信噪比可以反映圖像的質(zhì)量,其值越高說明產(chǎn)生的雜質(zhì)越少,圖像越清晰,圖像信號質(zhì)量越高。由圖2(b)可知,白色背景紙下,圖像的前景與背景的灰度值差異最大。而背景灰度值與前景灰度值對比度越高,越有利于目標(biāo)區(qū)域的有效獲得,分割效果越佳。因此,白色背景紙對圖像的影響最大,黃色和桃紅色背景紙影響次之,黑色背景紙對圖像的影響最小。
4.1.2 光源結(jié)構(gòu)對圖像的影響 由圖3可知,在條形光源-60°的光源結(jié)構(gòu)下,圖像的信噪比最高,且前景與背景的灰度值差異最大,而線光源-60°、條形光源-45°和條形光源-30°的光源結(jié)構(gòu)效果次之,其中條形光源-0° 的光源結(jié)構(gòu)效果最差。由人為觀察可知,線光源-60° 的光源結(jié)構(gòu)在拍攝過程中,由于線光源的光在空間傳播過程中只向一個方向呈線性傳播,所以容易造成無核白葡萄表面受光不均勻、圖像光暈較大,不利于后期圖像處理,故后續(xù)正交試驗中,由條形光源-30°的光源結(jié)構(gòu)取代線光源-60°的光源結(jié)構(gòu)。
表1 圖像質(zhì)量客觀評價方法Table 1 Objective evaluation method of image quality
圖2 背景紙對圖像效果的影響Figure 2 Effect of different color background paper on image
圖3 光源結(jié)構(gòu)對圖像效果的影響Figure 3 Influence of different light source structures on image
在單因素試驗基礎(chǔ)上,結(jié)合打光模式進行三因素三水平正交試驗,其因素水平及編碼見表2,試驗設(shè)計與結(jié)果見表3。
由表3可知,影響無核白葡萄圖像的因素為C>A>B,即打光模式>背景紙>光源結(jié)構(gòu)。由表4可知,打光模式對圖像前景與背景的灰度差異值和信噪比的影響顯著,與極差分析結(jié)果一致,得到采集圖像的最佳組合為A1B1C1,因此無核白葡萄圖像采集的最佳條件為:背景紙為白色背景紙,光源結(jié)構(gòu)為條形光源-60°,打光模式為明場模式。
采用客觀評價方法對圖像質(zhì)量進行評價,通過分析可知:① 同一因素水平下同一無核白葡萄拍攝的3張照片,其評價結(jié)果相差不大,可以取同一因素水平下3次重復(fù)評價結(jié)果的平均值作為該因素水平下的評價結(jié)果;② 同一張無核白葡萄圖片在9種因素水平下的圖像質(zhì)量差異較大;③ 90張無核白葡萄圖片分別在9種因素水平下的圖像質(zhì)量評價結(jié)果呈現(xiàn)一致的趨勢。
與客觀評價方法對比,選擇若干主觀評價人員對圖像進行評價,評價結(jié)果分為5個等級。圖像質(zhì)量評價結(jié)果見表5。由表5可知,主、客觀評價的結(jié)果基本一致,在一定條件下反映了無核白葡萄圖像的質(zhì)量。綜上,1號試驗所得圖像結(jié)果最佳,從而得出無核白葡萄機器視覺成像系統(tǒng)的最佳因素取值。
表2 試驗因素水平及編碼Table 2 Test factor level and code
表3 正交試驗設(shè)計與結(jié)果?Table 3 Orthogonal test analysis table
表4 正交試驗方差分析?Table 4 Analysis of variance of orthogonal test
表5 圖像質(zhì)量評價結(jié)果Table 5 Image quality evaluation results
為了驗證試驗結(jié)論的正確性,采用上述9組因素水平下各拍攝10串綠色和黃色無核白葡萄照片,重復(fù)上述步驟并進行質(zhì)量評價,結(jié)果顯示,驗證實驗的無核白葡萄的綜合評分優(yōu)于正交試驗中大部分試驗結(jié)果,說明無核白葡萄成像系統(tǒng)的確定可行性較高。9種環(huán)境因素水平下拍攝的圖像質(zhì)量存在一定差別,其圖像質(zhì)量由高到低對應(yīng)的成像系統(tǒng)的因素水平順序依次為1,4,8,5,9,7,2,3,6。其中1號試驗所得圖像結(jié)果最佳,因此無核白葡萄機器視覺成像系統(tǒng)的最佳因素取值為:背景紙為白色背景紙,光源結(jié)構(gòu)為條形光源-60°,打光模式為明場模式。
針對無核白葡萄圖像獲取等問題開展了試驗研究,并結(jié)合主客觀綜合評價圖像質(zhì)量的方法評價了獲取到的無核白葡萄圖像,確定無核白葡萄機器視覺成像系統(tǒng)的最佳因素取值為:背景紙為白色背景紙,光源結(jié)構(gòu)為條形光源-60°,打光模式為明場模式。由于試驗采集的圖像只是固定背景下的無核白葡萄圖像,容易導(dǎo)致葡萄穗形變,后續(xù)應(yīng)考慮掛靠或懸掛式采集葡萄照片。