趙羨波， 林國(guó)健， 林志華， 曾文龍， 胡正平， 包可翔， 陳義強(qiáng)， 張 佩

(1.福建中煙工業(yè)有限責(zé)任公司，福建 廈門 361000；2.福建省煙草公司 龍巖市公司，福建 龍巖 364000；3.福建省煙草公司漳州市公司，福建漳州 363000；4.江蘇省氣象局，江蘇 南京 210008)

隨著智慧農(nóng)業(yè)的高速發(fā)展，采用彩色圖像信息反映植物品質(zhì)[1-2]或植物內(nèi)在生理生化指標(biāo)[3]是植物表型學(xué)無損測(cè)量的一個(gè)研究熱點(diǎn)，而獲取精準(zhǔn)的葉色信息是采用彩色圖像定量描述葉片表型特征的前提[4]。通過圖像采集設(shè)備獲取葉片圖片后，必須先對(duì)原始圖片進(jìn)行背景分離處理，將目標(biāo)葉片和背景干擾物體進(jìn)行分離后再進(jìn)行葉色信息的提取分析[1-5]?，F(xiàn)有計(jì)算機(jī)自動(dòng)背景分離方法需要使用特定拍攝條件 (黑箱拍攝等)[6]，且多用于分離綠色或單色葉片，但存在背景陰影分離不充分[7]和處理效率較慢[8]等問題。在實(shí)際生產(chǎn)中，葉片雜色多色情況較為普通且復(fù)雜。一些多色植物〔如紫背天葵(GynurabicolorDC)、彩葉草(PlectranthusscutellarioidesL., R.Br.)〕或植物受病蟲危害〔如大麥條紋病(DrechsleragramineaRabenh., Shoem.)〕會(huì)導(dǎo)致部分植物葉片整體呈多色狀態(tài)，且葉面的不同顏色呈點(diǎn)狀、條紋和塊狀分布等，其分布區(qū)域也各不相同。目前，大部分研究人員實(shí)驗(yàn)室和戶外等開放環(huán)境下采集葉片圖像時(shí)未配置或使用圖像采集箱，只能將采集的葉片平放在試驗(yàn)臺(tái)或較為平整的地面(一般會(huì)墊上純色絨布)進(jìn)行圖像采集。臺(tái)面較為粗糙或顏色不均會(huì)導(dǎo)致圖像背景產(chǎn)生大量噪音，影響其分離算法的精準(zhǔn)度；加之開放環(huán)境使用的光源一般為方向單一的點(diǎn)源光(自然光線或者照明燈管)，如果目標(biāo)葉片葉面扭曲即會(huì)產(chǎn)生大面積陰影，導(dǎo)致算法產(chǎn)生誤判，致使背景陰影分離不充分[6-7]。如何在實(shí)驗(yàn)室或品質(zhì)分級(jí)臺(tái)等開放環(huán)境下進(jìn)行自動(dòng)、快速和精準(zhǔn)地分離多色葉片圖像背景，已成為制約大樣本植物葉色參數(shù)提取的一個(gè)難點(diǎn)。

目前，計(jì)算機(jī)圖像背景分離方式主要有人工分離法[9]、邊緣檢測(cè)法[10-13]、通道差值法[7,11,14-16]、顏色閾值法[5,13,17-19]和最大類間方差法(OTSU)[5,8,10]等，其中，通道差值法和顏色閾值法需要與邊緣檢測(cè)法組合成為復(fù)合法[5,11,13]使用才能較好地完成對(duì)葉片的識(shí)別和切割。人工分離法以人眼識(shí)別，并利用Photoshop 7.0等輔助進(jìn)行分離，雖然精度高、對(duì)目標(biāo)葉片葉色及背景顏色無特殊要求等優(yōu)點(diǎn)，但是其處理效率低，所以才產(chǎn)生各種自動(dòng)識(shí)別方法。邊緣檢測(cè)法對(duì)背景噪音和干擾較為敏感，對(duì)于背景顏色復(fù)雜且有陰影的圖像處理效果很不理想。顏色閾值法采用事先設(shè)定好的顏色閾值(如RGB色彩模型中某個(gè)通道的色階值或HSV色彩模型中的色調(diào)值)為區(qū)間；通道差值法采用事先設(shè)定好的通道差值組合(如R-B、R-G、R+B-G等)等對(duì)圖像進(jìn)行減法處理，通過多次試驗(yàn)得到圖像對(duì)比度最大的組合，并以此為依據(jù)進(jìn)行背景分離；顏色閾值法和通道差值法單獨(dú)使用時(shí)，對(duì)圖片的要求條件非?？量?，所以經(jīng)常與邊緣檢測(cè)法結(jié)合成復(fù)合方法使用；2個(gè)方法能夠較好地分離純色葉片，但對(duì)具有大面積雜色或者混色的葉片切割效果仍然較差。OTSU無需事先設(shè)定閾值，采用最大類間方差法原理，以原圖像中前景和背景差別最大的類間方差為閾值，并以此對(duì)圖像進(jìn)行二值化處理，進(jìn)而實(shí)現(xiàn)對(duì)目標(biāo)圖像和背景的分離；OTSU對(duì)圖像多峰干擾及目標(biāo)大小十分敏感，對(duì)具有大面積雜色或者混色的葉片切割效果較差，僅對(duì)類間方差為單峰的圖像(純色葉片)產(chǎn)生較好的分離效果；同時(shí)，該方法要求背景必須與葉片主體顏色有較大色差。

在HSV色彩模型中，飽和度(Saturation)是一個(gè)重要的參數(shù)，其是反映色彩的鮮艷程度。飽和度與物體表面反色光譜的選擇性程度有關(guān)，其值取決于該色中含色成分和消色成分(灰色)的比例，含色比例越高，飽和度越大。各種單色光飽和度最高，而完全不飽和的顏色，如黑白之間的各種灰色，飽和度較低。為此，以HSV色彩模型為基礎(chǔ)，以背景圖像與主體葉片飽和度不同為分離依據(jù)，綜合飽和度篩選、邊緣檢測(cè)[10,20]和面積篩選[21]等方法，提出圖像飽和度背景分離法(Saturation Background Segregate Method，簡(jiǎn)稱SBSM)，研究SBSM與現(xiàn)有4種圖像背景分離方法在開放環(huán)境下對(duì)多色葉片的處理效果，旨在探明高效、精確、方便、適用范圍廣的葉片RGB圖像自動(dòng)化背景分離方法，以期為實(shí)驗(yàn)室及戶外等開放環(huán)境下精確地將背景與目標(biāo)葉片分離提供依據(jù)。

1 材料與方法

1.1 材料

1.1.1 多色葉片 選擇9種類型，每種類型采集5片葉，共計(jì)45片葉，均采自福建省龍巖市龍津湖公園(117.023011°E，25.068662°N)。采集時(shí)間為2019年11月16日10:00-13:30，采集葉片用吸水紙擦干表面水分及灰塵，各類型多色葉片狀況見表1。

表1 不同類型多色葉片狀況

1.1.2 試驗(yàn)臺(tái) 圖像采集試驗(yàn)臺(tái)為長(zhǎng)300 cm、寬100 cm、離地高度80 cm的長(zhǎng)方形桌臺(tái)，臺(tái)面為灰白色啞光磨砂材質(zhì)。

1.1.3 數(shù)碼相機(jī) CANON EOS-550D高分辨率照相機(jī)，日本佳能公司。

1.1.4 燈管 雷士品牌2支20 W條狀白色LED燈管(色溫為5 000 K)，市購(gòu)。

1.2 方法

1.2.1 圖像采集 照明光源用LED燈管懸掛位置位于平臺(tái)1/4和3/4處，臺(tái)面光線均勻；在距離臺(tái)面120 cm處用三腳架固定數(shù)碼相機(jī)進(jìn)行垂直拍攝。采集時(shí)間為2019年11月16日13:30-15:00。圖像采集時(shí)，將葉片保持自然舒展?fàn)顟B(tài)放入鏡頭中央，采用M檔無閃光拍攝，ISO值為400，光圈f/5.6，曝光時(shí)間為1/60 s，焦距39 mm，白平衡設(shè)為自動(dòng)，原始數(shù)字圖像分辨率為5 184×3 456。

1.2.2 手動(dòng)背景分離及顏色信息提取 采用Photoshop 7.0中的顏色魔棒工具及磁性邊緣索套工具對(duì)葉片圖像進(jìn)行手工背景分離，并用其自帶的圖像信息直方圖獲取目標(biāo)圖像的Red通道色階均值作為基準(zhǔn)值，用于分離精準(zhǔn)度比較。

1.2.3 計(jì)算機(jī)圖像背景分離 計(jì)算機(jī)自動(dòng)化背景分離方法主要通過MATLAB2016R(簡(jiǎn)稱MATLAB)實(shí)現(xiàn)，主要有以下幾種方法。

1) 邊緣檢測(cè)法(C1)。將圖片轉(zhuǎn)為灰度圖，進(jìn)行分層小波消噪及全局閥值消噪；而后運(yùn)用edge函數(shù)canny算子進(jìn)行邊緣檢測(cè)，并對(duì)背景分離后的圖像進(jìn)行膨脹操作，填補(bǔ)邊緣縫隙及圖像內(nèi)部空隙，最后利用菱形結(jié)構(gòu)元素對(duì)圖像進(jìn)行平滑及中值濾波處理。采用循環(huán)算法將原圖與所得到的圖像進(jìn)行比對(duì)，將黑色部分(即背景)予以去除，保留部分即為目標(biāo)葉片，將處理后的圖像保存為jpg格式。

2) 通道差值法(C2)。分別讀取葉片RGB圖像的Red、Blue和Green通道圖像，采用imsubtract函數(shù)進(jìn)行圖像減法操作(即R-G、G-B和R-B 3種組合)，找到處理后圖像對(duì)比度最大的組合后，再進(jìn)一步去除圖像邊緣對(duì)象，然后按C2方法進(jìn)行操作。

3) 顏色閾值法(C3)。將RGB圖像轉(zhuǎn)化為HSV圖像，以事先設(shè)定的色調(diào)閾值(即H值，當(dāng)H值為0.167時(shí)，圖像顯示為黃色，當(dāng)H值為0.333時(shí)，圖像顯示為綠色，因此H值區(qū)間為0.167～0.333，將區(qū)間外的圖像明度(即V值)調(diào)整為0，而后將其轉(zhuǎn)化為灰度圖像，然后按C2方法進(jìn)行操作。

4) OTSU(C4)。將圖片轉(zhuǎn)化為雙精度數(shù)組后，通過graythresh函數(shù)獲得其最優(yōu)閾值，然后以此為閾值對(duì)圖片進(jìn)行二值化處理。采用循環(huán)算法將原圖與所得到的圖像進(jìn)行比對(duì)，將黑色部分(即背景)予以去除，保留部分即為目標(biāo)葉片，將處理后的圖像保存為jpg格式。

1.2.4 圖像飽和度背景分離法(SBSM)操作步驟 SBSM主要通過MATLAB實(shí)現(xiàn)，處理后的圖像均保存為jpg格式，操作步驟： 1) 將目標(biāo)葉片根據(jù)研究所提供的圖像采集方法進(jìn)行拍攝得到原始圖像(圖1a)；2) 將RGB圖像轉(zhuǎn)化為HSV圖像，以飽和度0.2(即S值)為界限，將小于界限的圖像明度(即V值)調(diào)整為0，并轉(zhuǎn)化為灰度圖(圖1b)；3) 用edge函數(shù)canny算子對(duì)圖像邊緣進(jìn)行檢測(cè)提取后得到的圖像(圖1c)；4) 對(duì)圖像進(jìn)行膨脹操作并填補(bǔ)邊緣縫隙(圖1d)；5) 對(duì)空隙填充并采用菱形結(jié)構(gòu)元素對(duì)圖像進(jìn)行平滑(圖1e)；6) 將平滑后的圖像經(jīng)中值濾波去除冗余信息(圖1f)；7) 將中值濾波后的圖像進(jìn)行二值化處理后進(jìn)行連通域面積篩選，去除小面積的雜質(zhì)及碎片(圖1g)；8) 采用循環(huán)算法將原圖與面積篩選后的圖像進(jìn)行比對(duì)，將黑色部分予以去除(即背景)，保留部分即為目標(biāo)葉片(圖1h)。

1.3 葉色參數(shù)的提取

研究采用MATLAB對(duì)背景分離處理后的圖像進(jìn)行參數(shù)提取。葉色參數(shù)均以彩色圖片Red通道的色階均值作為數(shù)據(jù)比較、分析對(duì)象。主要操作步驟如下：讀取目標(biāo)圖像Red通道每個(gè)像素色階，運(yùn)用全循環(huán)算法檢索記錄圖像中非黑部分像素點(diǎn)的索引碼，將其組合為新的色階數(shù)組，并通過double函數(shù)將其轉(zhuǎn)化為雙精度數(shù)組，最后運(yùn)用Mean函數(shù)獲取圖像Red通道的色階均值。

1.4 多色葉片圖像背景分離的精準(zhǔn)度

采用C1～C4及SBSM 5種方法對(duì)45張葉片進(jìn)行背景分離處理，而后采用葉色參數(shù)提取方法獲取處理圖像的Red通道色階均值，并計(jì)算其分離精準(zhǔn)度。

分離精N表示不同背景分離方法處理圖像的Red通道色階均值，M為目標(biāo)圖像的Red通道色階的基準(zhǔn)值。如果某個(gè)處理對(duì)圖像的分離精準(zhǔn)度<0.00%，則將此精準(zhǔn)度記為0.00%。

1.5 數(shù)據(jù)處理

采用Excel 2013對(duì)數(shù)據(jù)進(jìn)行處理與分析。

2 結(jié)果與分析

2.1 不同方法對(duì)多色葉片圖像背景分離效果的差異

從圖2看出，邊緣檢測(cè)法(C1)、通道差值法(C2)、顏色閾值法(C3)、OTSU法(C4)和SBSM對(duì)多色葉片圖像背景分離效果存在差異，總體看，C1～C4傳統(tǒng)方法無法滿足多色葉片圖像背景分離需要，SBSM能夠較好地實(shí)現(xiàn)開放環(huán)境下多色葉片圖像背景的分離。

2.1.1 邊緣檢測(cè)法(C1) C1分離多色葉片圖像背景時(shí)，均保留了較大面積的圖像背景(圖2-C1類型1～9)，且C1還會(huì)錯(cuò)誤將類型3葉片與背景顏色相近的、淡黃色條紋部分進(jìn)行分離，造成葉片破損(圖2-C1類型3)。其原因是C1受背景噪音的干擾較大，無法對(duì)背景進(jìn)行精確地去除。

2.1.2 通道差值法(C2) C2對(duì)背景去除效果優(yōu)于C1，分離效果較好，背景面積保留較少(圖2-C2類型1～9)，但C2會(huì)錯(cuò)誤將類型2葉片黃色斜紋及類型7葉面紅色部分識(shí)別為背景進(jìn)行分離，導(dǎo)致葉片圖像破損(圖2-C2類型2和類型7)。

2.1.3 顏色閾值法(C3) C3能較好地分離背景，對(duì)背景去除效果與C2相近，背景面積保留較少(圖2-C3類型1～9)，但C3會(huì)將類型2、類型3、類型4和類型9這4種葉片葉面黃色或紅色部分作為背景進(jìn)行分離，導(dǎo)致葉片圖像破損(圖2-C3類型2～4和類型9)。

2.1.4 OTSU法(C4) C4背景去除效果優(yōu)于C1、C2和C3，背景面積保留極少，葉緣清晰(圖2-C4類型1～9)，但C4會(huì)將類型2、類型3、類型8和類型9這4種葉片葉面黃色部分作為背景進(jìn)行分離，導(dǎo)致葉片圖像破損(圖2-C4類型2～3和類型8～9)。

2.1.5 SBSM SBSM背景去除效果與C4相近，背景面積保留極少，葉緣清晰(圖2-SBSM類型1～9)，同時(shí)，SBSM對(duì)9種類型葉片均能較好地保留葉面部分，未出現(xiàn)錯(cuò)誤去除現(xiàn)象，葉片圖像分離完整。

2.2 不同方法對(duì)多色葉片圖像背景分離的精準(zhǔn)度

從表2看出，不同方法對(duì)多色葉片圖像背景分離的單葉平均用時(shí)和精準(zhǔn)度差異較大。平均單葉用時(shí)：不同方法為2.15～12.34 s，其中，C1用時(shí)最長(zhǎng)，為12.34 s；C3其次，為7.17 s；C4最短，為2.15 s。平均精準(zhǔn)度，不同方法為25.00%～97.19%，其中，SBSM最高，為97.19%；C4其次，為78.27%；C1最低，為25.00%?？傮w看，SBSM除3號(hào)樣品分離的精準(zhǔn)度為84.07%外，其余樣品分離的精準(zhǔn)度均達(dá)96%以上，其對(duì)多色葉片圖像背景分離的精準(zhǔn)度最優(yōu)，較C1、C2、C3和C4分別提高72.19%、32.14%、27.46%和18.92%。

表2 不同方法對(duì)多色葉片圖像背景分離的單葉平均用時(shí)與精準(zhǔn)度

3 結(jié)論與討論

葉色是反映植株內(nèi)在生理生化指標(biāo)及器官變化的最主要外在特征之一，通過RGB圖像對(duì)葉色進(jìn)行定量描述是快速檢測(cè)判斷植物生長(zhǎng)態(tài)勢(shì)的有效手段。目前，圖像自動(dòng)背景分離的傳統(tǒng)方法主要有邊緣檢測(cè)法、通道差值法、色調(diào)閾值法和OTSU等，其對(duì)綠色或者純色葉片圖像的背景分離效果均較好，而對(duì)多色葉分離效果欠佳；同時(shí)，傳統(tǒng)方法還受到圖像采集條件的制約，在實(shí)驗(yàn)室、戶外等開放環(huán)境中，無法精確地將背景與目標(biāo)葉片進(jìn)行分離，進(jìn)而導(dǎo)致葉色參數(shù)提取出現(xiàn)誤差。NEILSON等[22-24]采用高光譜、多光譜、數(shù)碼成像圖像等手段進(jìn)行圖像采集，并取得較好的成效。數(shù)碼圖像由于其低廉的成本、精準(zhǔn)的信息、方便的操作而備受青睞。在葉色信息獲取的已有研究中，主要集中在特殊采集環(huán)境的單色葉方面[25]。在處理這類葉片時(shí)常用邊緣檢測(cè)法，其以圖像中目標(biāo)對(duì)象與背景間灰度發(fā)生急劇變化的區(qū)域?yàn)檫吔邕M(jìn)行分離，用圖像灰度分布的梯度作為區(qū)分閾值。閾值越低，能夠檢測(cè)出的邊線越多，結(jié)果越易受圖片噪音的影響，并且越容易從圖像中挑出不相關(guān)的特性；閾值過高，將會(huì)遺失細(xì)的或者短的線段。邊緣檢測(cè)法對(duì)背景灰度干擾較為敏感，要求背景不能有較大的灰度變化區(qū)域，否則無法將目標(biāo)圖像與背景進(jìn)行有效區(qū)分。因此，在使用該類方法時(shí)，一般要求采用黑箱采集目標(biāo)圖像。

為了解決灰度干擾問題，一般采用復(fù)合方法，即先采用某種方法大致分離目標(biāo)對(duì)象和背景，然后再采用邊緣檢測(cè)法對(duì)目標(biāo)對(duì)象進(jìn)行精確分離。常用通道差值法和顏色閾值法2種復(fù)合方法。研究結(jié)果表明，在開放式的環(huán)境下，2種方法能夠比較好地解決背景噪音的干擾，但是對(duì)葉面扭曲引起的陰影和葉面雜色的區(qū)分效果不理想。通道差值法對(duì)葉面扭曲產(chǎn)生的葉片陰影(類型7和類型8)處理效果欠佳，顏色閾值法需要事先根據(jù)不同葉片顏色設(shè)定色調(diào)閾值，對(duì)大面積雜色葉(類型2和類型9)及整體非黃綠顏色的葉片(類型4)處理效果較差，對(duì)葉面扭曲產(chǎn)生的葉片陰影(類型7和類型8)處理效果也不理想。2種復(fù)合方法對(duì)開放環(huán)境下的多色葉總體分離精準(zhǔn)度較差。

OTSU無需事先設(shè)定閾值，采用最大類間方差法原理，以原圖像中前景和背景差別最大的類間方差為最佳閾值，以此對(duì)圖像進(jìn)行二值化處理，進(jìn)而實(shí)現(xiàn)對(duì)目標(biāo)圖像和背景的分離。OTSU對(duì)圖像多峰干擾及目標(biāo)大小十分敏感，其僅對(duì)類間方差為單峰的圖像(純色葉片)分離效果較好；當(dāng)目標(biāo)與背景的大小比例懸殊時(shí)，或圖像呈現(xiàn)雙峰或多峰(具有大面積雜色或者混色的葉片)時(shí)分離效果欠佳。研究結(jié)果表明，OTSU處理速度最快，對(duì)葉片陰影分離效果良好，總體分離精準(zhǔn)度較高，對(duì)單一葉色的葉片處理效果很好，對(duì)有大面積雜色葉片(類型2～3和類型9)或葉緣與背景有相近顏色的葉片(類型3)處理效果較差。SBSM是基于葉片與臺(tái)面色彩飽和度的不同作為分離依據(jù)，由于葉色一般飽和度均較高(>0.4)，而臺(tái)面飽和度較低(<0.2)，因此，無需根據(jù)目標(biāo)葉色的不同而調(diào)整參數(shù)，操作簡(jiǎn)便，整體處理速度適中；同時(shí)，SBSM也能較好地解決因葉面扭曲造成的葉片陰影問題(陰影飽和度較臺(tái)面更低)，葉片陰影去除充分，對(duì)單色葉、雜色葉、多色葉的處理效果均最佳，綜合表現(xiàn)好。在分離精確度方面，SBSM對(duì)各種葉片的分離精確度均與手動(dòng)PS進(jìn)行背景分離后的基準(zhǔn)值差異較小，表明SBSM適用范圍廣，可在開放環(huán)境下對(duì)各種多色葉進(jìn)行精確的分離。

SBSM成功解決了以往研究中圖像采集需黑箱取樣、背景分離不充分和目標(biāo)圖像過度分離等問題，可在開放環(huán)境下采集到較為精準(zhǔn)的葉片圖像，且無需進(jìn)行參數(shù)調(diào)整即可對(duì)不同顏色各種類型的雜色葉、多色葉背景進(jìn)行分離處理。通過算法的固化該方法已實(shí)現(xiàn)了全過程自動(dòng)化，在試驗(yàn)室條件下，可實(shí)現(xiàn)大量植物葉色數(shù)碼圖像的采集及背景分離處理，極大地減少了植物顏色表型測(cè)量、分析所需時(shí)間，且排除人為因素對(duì)測(cè)量結(jié)果的干擾，提升大樣本表型葉色數(shù)據(jù)獲取的準(zhǔn)確率及處理效率，降低高通量表型獲取障礙；所獲取的精確數(shù)據(jù)可幫助研究人員在各種試驗(yàn)室條件下建立外觀顏色表型性狀與植物體內(nèi)生理生化的關(guān)聯(lián)[26]，從而更好地解釋植物外觀表型及適應(yīng)性的生理基礎(chǔ)。