李 崢，徐志強(qiáng)**，張曉兵，林珈夷，鐘永健，徐均華，張趙鵬，焦得平

(1.浙江中煙工業(yè)有限責(zé)任公司 技術(shù)中心，浙江 杭州 310024；2.上海創(chuàng)和億電子科技發(fā)展有限公司，上海 200082)

由于田間農(nóng)藝管理措施不當(dāng)，煙葉采收成熟度不足，或烘烤調(diào)制工藝與煙葉素質(zhì)不匹配等多方面原因，將導(dǎo)致初烤煙葉出現(xiàn)含青的現(xiàn)象[1，2].烤煙國(guó)標(biāo)將含青煙葉歸為副組煙，外觀質(zhì)量表現(xiàn)較差，初烤煙葉按含青程度又分為微帶青和青黃兩種類型.含青煙由于營(yíng)養(yǎng)物質(zhì)轉(zhuǎn)化不充分，內(nèi)在化學(xué)成分不協(xié)調(diào)，在煙葉評(píng)吸時(shí)表現(xiàn)出香氣質(zhì)差、香氣量少、青雜氣重、刺激性強(qiáng)等特點(diǎn)[3-5].含青煙葉由于吸食質(zhì)量差的特性很難配伍到葉組配方中，工業(yè)企業(yè)為保證卷煙產(chǎn)品感官評(píng)吸質(zhì)量的穩(wěn)定，在原料分選環(huán)節(jié)會(huì)嚴(yán)格把控含青煙葉混入正組煙葉的比例.

隨著交叉學(xué)科與檢測(cè)儀器的不斷發(fā)展與融合，近年來(lái)計(jì)算機(jī)圖像處理技術(shù)在農(nóng)業(yè)領(lǐng)域得到廣泛應(yīng)用[6-10].該項(xiàng)技術(shù)也逐步拓展到了煙葉生產(chǎn)中，例如：李增盛等[11]基于圖像處理技術(shù)提取烘烤過(guò)程中煙葉圖像的顏色特征和紋理特征，構(gòu)建了煙葉烘烤階段判別模型；潘治利等[12]利用圖像處理技術(shù)提取不同產(chǎn)區(qū)煙葉圖像特征，并進(jìn)行歸類分析；史龍飛等[13]基于機(jī)器視覺(jué)技術(shù)提取不同成熟度煙葉圖像的顏色和紋理特征，實(shí)現(xiàn)煙葉成熟度的區(qū)分檢測(cè).而目前關(guān)于初烤含青煙的研究大多只關(guān)注于含青煙葉的成因分析及對(duì)應(yīng)措施，缺少應(yīng)用計(jì)算機(jī)圖像處理技術(shù)辨別初烤含青煙葉，并識(shí)別含青程度的相關(guān)研究.而技術(shù)手段方面，支持向量機(jī)(SVM)因其解決非線性、高維數(shù)等問(wèn)題的特有優(yōu)勢(shì)[12，14，15]，已被應(yīng)用于圖像處理識(shí)別領(lǐng)域.有大量研究[10，16，17]將圖像處理技術(shù)與SVM模型結(jié)合進(jìn)行圖像的識(shí)別和分類，目前已形成較為成熟的配套使用體系.將圖像處理和機(jī)器學(xué)習(xí)技術(shù)綜合應(yīng)用于初烤煙葉圖像輔助識(shí)別，相對(duì)于傳統(tǒng)的人工作業(yè)，將大幅度提高選葉效率和準(zhǔn)確率.

本研究首先通過(guò)含青程度參比樣的構(gòu)建和圖片采集，篩選出提取煙葉圖像含青區(qū)域的最優(yōu)顏色通道和顏色參數(shù)閾值范圍，之后基于SVM構(gòu)建烤煙含青程度識(shí)別模型，并進(jìn)行訓(xùn)練和測(cè)試，以解決不同類型含青煙的識(shí)別問(wèn)題，并提高識(shí)別的準(zhǔn)確率和效率，實(shí)現(xiàn)不同含青程度煙葉的快速準(zhǔn)確檢測(cè)，為智能化煙葉分級(jí)體系構(gòu)建提供部分研究數(shù)據(jù)支撐.

1 材料與方法

1.1 供試材料

供試烤煙品種為云煙87，含青煙葉樣品采集于云南、湖南、湖北、貴州、河南、廣西6個(gè)產(chǎn)煙省份，樣品產(chǎn)地具體涉及18個(gè)地市的41個(gè)縣(區(qū)).共收集2021年初烤煙葉樣品83份，每份 1.5 kg.供試材料按用途分為兩類，一類為含青程度參比樣，用于煙葉圖像處理方式選擇、含青區(qū)域顏色檢測(cè)通道確定、顏色通道檢測(cè)閾值篩選；另一類為模型訓(xùn)練及驗(yàn)證樣品，用于搭建模型的學(xué)習(xí)數(shù)據(jù)庫(kù)，并驗(yàn)證模型對(duì)含青煙葉類別識(shí)別的準(zhǔn)確性.

1.2 試驗(yàn)方法

1.2.1 含青程度參比樣制備

為保證參比樣含青程度梯度界限清晰，組織7名省級(jí)及以上煙葉分級(jí)技術(shù)能手，成立含青程度參比樣制作小組.依據(jù)煙葉支脈含青條數(shù)及葉面含青程度對(duì)各地市的樣品進(jìn)行篩選.分選出含青程度依次遞增的煙葉17片構(gòu)成參比樣，經(jīng)Friedman檢驗(yàn)和定向成對(duì)比較檢驗(yàn)，相鄰梯度樣品間差異顯著，表明含青程度檔次劃分合理.

1.2.2 模型訓(xùn)練及驗(yàn)證樣品

依據(jù)GB 2635—92烤煙分級(jí)標(biāo)準(zhǔn)，由上述評(píng)價(jià)小組對(duì)各地市的煙葉樣品按正組煙葉、微帶青、青黃3個(gè)檔次進(jìn)行分選，篩選標(biāo)準(zhǔn)如表1所示.剔除不可用煙葉后，最終篩選出無(wú)病斑、蟲(chóng)蛀、葉面完整的正組、微帶青、青黃煙葉各405片.

表1 正組及不同含青程度煙葉篩選標(biāo)準(zhǔn)

1.2.3 煙葉圖像采集

煙葉樣品的圖像采集處理作業(yè)在浙江中煙技術(shù)中心煙葉評(píng)級(jí)實(shí)驗(yàn)室進(jìn)行，圖像采集裝置為定制設(shè)備，由上海創(chuàng)和億公司生產(chǎn).裝置主體由暗箱、拍攝裝置、溫濕度平衡裝置組成.將單片煙葉放置于暗箱中，打開(kāi)光源，由拍攝裝置進(jìn)行煙葉圖像采集，相機(jī)拍攝角度與工作臺(tái)面垂直，以獲取完整的圖像信息.拍攝環(huán)境溫度 23 ℃、相對(duì)濕度75%.

1.2.4 煙葉圖像處理

為避免煙葉圖像中無(wú)關(guān)區(qū)域的干擾，需對(duì)圖像中除煙葉之外的區(qū)域進(jìn)行剔除處理.背景與陰影等無(wú)關(guān)區(qū)域的剔除分析方法為：

1)尋找煙葉本身與無(wú)關(guān)區(qū)域的差異，比較煙葉圖像在RGB顏色空間、HSV顏色空間中各顏色通道的差異性.由于煙葉自身顏色與背景顏色存在明顯差異，分析發(fā)現(xiàn)HSV顏色空間中的S通道能夠輕易區(qū)分煙葉本身和無(wú)關(guān)區(qū)域.在S通道背景區(qū)域像素值為0，因此，提取煙葉本身的像素值范圍為S通道的1～255之間.通過(guò)設(shè)定提取煙葉本身的S閾值范圍，獲得煙葉的二值化圖像.

2)計(jì)算二值化圖像的所有連通區(qū)域，去除煙葉本身區(qū)域之外的所有小面積區(qū)域，獲得煙葉本身的二值化掩碼.

3)將提取煙葉的二值化掩碼轉(zhuǎn)換為RGB三通道圖像，其中RGB每個(gè)通道的像素值均為煙葉掩碼二值化單通道像素值.

4)將煙葉原圖與煙葉三通道掩碼進(jìn)行矩陣乘法運(yùn)算，獲得剔除無(wú)關(guān)區(qū)域的煙葉本身圖像.

1.2.5 主脈圖像提取

由于含青程度不僅與含青面積相關(guān)，也與含青位置相關(guān)，因此需要判定含青像素點(diǎn)是位于葉脈還是葉面.為準(zhǔn)確獲取主脈的像素點(diǎn)位置坐標(biāo)，進(jìn)行了煙葉主脈圖像提取，具體方法為：

1)對(duì)背面透光圖像進(jìn)行g(shù)amma校正，實(shí)現(xiàn)對(duì)圖像亮暗程度的調(diào)節(jié).gamma校正方法如下式：

Pf=255×(Pb/255)(1/G).

其中Pf為校正前的像素值，Pb為校正后的像素值，G為gamma校正因子，取值范圍一般為(0.01，7.99).經(jīng)篩選本方法G取0.2為最優(yōu)值.

2)提取校正后背面透光圖像的HSV顏色通道的V通道.

3)計(jì)算V通道圖像的最外層輪廓，并將V通道輪廓外的像素值賦值為255.

4)將V通道像素值進(jìn)行聚類成3個(gè)簇，依次為葉脈、葉面、背景，像素值從低到高.根據(jù)聚類中心的像素值，提取葉脈.

5)計(jì)算上一步獲取葉脈區(qū)域的所有外部輪廓，保留最大的輪廓所在區(qū)域，將其作為最終的葉脈.由于葉面存在皺縮，尤其是上部煙葉，存在主脈被葉面部分遮擋的情況，此時(shí)保留最大連通區(qū)域后會(huì)丟失部分主脈區(qū)域.可通過(guò)提取煙葉骨架，判斷所有連通區(qū)域是否與骨架區(qū)域存在重疊，若有重疊，則該連通區(qū)域也為主脈.

1.2.6 煙葉含青區(qū)域檢測(cè)顏色通道選擇

由于含青煙葉樣本數(shù)量較大，為避免數(shù)據(jù)冗余，出現(xiàn)含青區(qū)域識(shí)別模糊、含青程度界限不明顯等情況.以制備的含青程度參比樣為分析對(duì)象，通過(guò)分析其在RGB、HSV、Lab、LUV這4個(gè)不同顏色空間的各個(gè)顏色參數(shù)單通道圖像中青色位置的像素值情況，最終確定Lab顏色空間的a通道和LUV顏色空間的U通道，在煙葉含青區(qū)域與非含青區(qū)域存在明顯差異，因此選取a、U兩個(gè)通道進(jìn)行含青區(qū)域的表征.

1.2.7 煙葉含青程度識(shí)別模型的構(gòu)建

基于支持向量機(jī)(SVM)構(gòu)建煙葉樣品含青程度識(shí)別模型.SVM主要用于分類和回歸分析，是一種監(jiān)督式學(xué)習(xí)的方法.核函數(shù)選用rbf徑向基函數(shù)，擬合模型前啟用概率估計(jì)，不施加懲罰量，不限制迭代次數(shù)，按照誤差值確認(rèn)停止模型擬合，所以max_iter設(shè)置為-1.懲罰因子c表征對(duì)誤差的寬容程度，其范圍從0.1～500進(jìn)行網(wǎng)格搜索(GridSearchCV)，核函數(shù)中的參數(shù)g表征了模型的復(fù)雜程度，其最優(yōu)值選取從0.001～1范圍內(nèi)進(jìn)行網(wǎng)格搜索.最終選取的最優(yōu)參數(shù)c為100，參數(shù)g為0.001.

1.3 軟件工具

建模、測(cè)試及分析是在Windows Server 2010操作系統(tǒng)下，使用軟件Python 3.9作為編程語(yǔ)言實(shí)現(xiàn)，并采用matplotlib 3.5.2庫(kù)實(shí)現(xiàn)數(shù)據(jù)可視化.Numpy 1.19和Pandas 1.4庫(kù)用于數(shù)據(jù)整理和分析.通過(guò)Scikit-learn庫(kù)中的Pipeline將數(shù)據(jù)標(biāo)準(zhǔn)化和模型訓(xùn)練串聯(lián)，避免數(shù)據(jù)泄露.

2 結(jié)果與分析

2.1 煙葉圖像背景剔除

由于煙葉樣品含青部分與其他部分的顏色表征參數(shù)存在差異，采用濾波處理會(huì)過(guò)濾一些青色像素值.為避免對(duì)后期圖像青色提取產(chǎn)生影響，未對(duì)圖片進(jìn)行去噪聲和濾波處理.但為排除煙葉本身之外因素的干擾，對(duì)拍攝的原始煙葉圖像進(jìn)行了背景剔除處理.由于煙葉原始圖像陰影干擾明顯，而透光圖像幾乎不存在陰影，因此，采用透光圖像對(duì)煙葉正面和背面圖像進(jìn)行背景剔除.處理后的煙葉樣品圖像如圖1所示.

(a)剔除背景的煙葉原圖 (b)經(jīng)透光處理的煙葉正面圖像 (c)經(jīng)透光處理的煙葉背面圖像圖1 煙葉圖像的處理

2.2 主脈圖像提取

煙葉為典型異面葉[18]，主脈凸起部分位于葉片背面.從拍攝的煙葉圖片效果來(lái)看，在背面透光圖像中，可明顯地觀察到主脈，且顯示其與葉面存在明顯差異，因此可對(duì)背面透光圖進(jìn)行處理以提取清晰完整的主脈圖像.提取后的主脈顯示情況如圖2所示.

圖2 主脈提取圖像

2.3 確定煙葉含青區(qū)域檢測(cè)的顏色通道

煙葉圖像在a通道和U通道分量值的顯示情況如圖3所示，為了準(zhǔn)確表征含青程度的顏色特征，還需計(jì)算a、U兩個(gè)通道的百分位數(shù)特征.

(a)剔除背景的煙葉原圖 (b)煙葉樣品在a通道的分量值 (c)煙葉樣品在U通道的分量值圖3 煙葉在不同顏色通道分量的顯示

基于青色在a通道與U通道相對(duì)較明顯的結(jié)果，為從中選出最佳青色檢測(cè)顏色通道的分位值，計(jì)算17片參比樣煙葉相應(yīng)顏色通道的分位數(shù)與含青程度排序結(jié)果的相關(guān)性.將相關(guān)性最大的顏色通道分位值作為最終的煙葉含青區(qū)域檢測(cè)的道，具體步驟如下：

1)計(jì)算含青程度依次遞增的煙葉樣品在a、U兩個(gè)顏色通道的像素值分位數(shù)，分位數(shù)范圍分別為(0.1，0.01)，每一個(gè)分位數(shù)作為一個(gè)特征，總共得到200個(gè)分位數(shù)顏色特征.

2)計(jì)算所有分位數(shù)特征以及圖片序號(hào)在內(nèi)的相關(guān)系數(shù)矩陣，得到200×200的相關(guān)系數(shù)結(jié)果.

3)提取各分位數(shù)特征與含青煙葉參比樣排序結(jié)果的相關(guān)系數(shù)，相關(guān)系數(shù)統(tǒng)計(jì)情況如圖4所示.由圖4可知，a通道與含青程度的相關(guān)系數(shù)普遍且明顯高于U通道，因此確定Lab顏色空間的a通道為煙葉含青區(qū)域檢測(cè)通道.

圖4 a通道和U通道分位數(shù)特征與含青程度相關(guān)系數(shù)

4)將a通道和U通道分位數(shù)與含青程度的相關(guān)系數(shù)結(jié)果進(jìn)行排序統(tǒng)計(jì)，并保留排名前10的分位數(shù)特征，結(jié)果如表2所示.

表2 a通道、U通道與含青程度相關(guān)系數(shù)排名前10的分位數(shù)特征

由表2可知，a通道分位數(shù)0.01，0.02，0.03，0.04，0.05，0.06，U通道分位數(shù)0.01，0.02，0.03，0.04，與含青程度的相關(guān)性較高.其中，a通道0.01分位數(shù)與含青程度的相關(guān)系數(shù)最大.因此，將a通道0.01分位數(shù)作為青色檢測(cè)的顏色通道.

2.4 確定煙葉含青區(qū)域檢測(cè)閾值

為了在Lab顏色空間的a通道更為準(zhǔn)確地提取青色，需明確與含青程度相關(guān)性最高的顏色閾值(L1，L2).a通道顏色像素值范圍為(128，255)，結(jié)合實(shí)際煙葉圖像，設(shè)定青色像素值合理范圍為(128，145).對(duì)處于此范圍的顏色閾值進(jìn)行窮舉，計(jì)算相應(yīng)閾值下的含青比例，并將結(jié)果與專家制備的參比樣順序進(jìn)行相關(guān)分析，取相關(guān)性最高的合理閾值作為青色檢測(cè)的閾值.

窮舉偽碼為：

for L1 in range(128，145)：

for L2 in range(128，145)：

if L1 >= L2：

continue

各閾值范圍下參比樣的含青比例與煙葉含青程度順序的相關(guān)系數(shù)統(tǒng)計(jì)情況如表3所示.可知，相關(guān)程度達(dá)到顯著水平以上的閾值范圍共6組，其中青色檢測(cè)閾值(141，142)條件下，含青比例與含青程度的相關(guān)系數(shù)最高，因此確定煙葉含青區(qū)域檢測(cè)閾值范圍為(141，142).

表3 不同閾值范圍下含青比例與含青程度相關(guān)系數(shù)

2.5 含青程度識(shí)別模型測(cè)試

將篩選后的正組、微帶青、青黃煙葉樣本分別按照8∶2的比例劃分為訓(xùn)練集和測(cè)試集，采用Lab顏色模型的a通道0.01分位數(shù)為建模特征進(jìn)行模型測(cè)試，模型對(duì)測(cè)試集的混淆矩陣如圖5所示.測(cè)試集243個(gè)樣本中，對(duì)于正組煙葉、微帶青煙葉、青黃煙葉的綜合分類準(zhǔn)確率達(dá)到86.01%.從混淆矩陣圖可以看出，構(gòu)建的含青程度識(shí)別模型對(duì)正組煙葉和微帶青煙葉的區(qū)分能力較好.正組煙葉與微帶青煙葉的測(cè)試集有81個(gè)樣本，其中，正組煙葉預(yù)測(cè)準(zhǔn)確率達(dá)到95.61%，微帶青煙葉預(yù)測(cè)準(zhǔn)確率達(dá)到87.65%.模型對(duì)青黃煙葉的預(yù)測(cè)準(zhǔn)確率為75.31%，其問(wèn)題主要為青黃煙葉與微帶青煙葉識(shí)別界限不清晰，識(shí)別準(zhǔn)確率有待提升.

圖5 模型在測(cè)試集上的混淆矩陣

3 結(jié)論與討論

含青煙葉的準(zhǔn)確識(shí)別是煙葉分級(jí)領(lǐng)域的難點(diǎn)，本試驗(yàn)在煙葉樣品整理過(guò)程中制備出一套含青程度參比樣，通過(guò)已知煙葉含青程度排序進(jìn)行煙葉圖像處理方式的選擇，以及含青區(qū)域顏色檢測(cè)通道和檢測(cè)閾值的篩選，保證了從煙葉圖像中提取含青區(qū)域參數(shù)設(shè)置的合理性和科學(xué)性.煙葉正面透光圖像可全面反映葉脈、葉面的信息，因此針對(duì)煙葉正面透光圖像進(jìn)行含青區(qū)域提取.考慮煙葉為典型異面葉，葉面正面和背面主脈圖像所呈現(xiàn)的信息不同，本文提出了一種通過(guò)煙葉背面透光圖像提取主脈圖像的方式.在實(shí)際煙葉生產(chǎn)中，對(duì)于煙葉等級(jí)的判定基本以葉片正面為主，并且在后續(xù)分析中發(fā)現(xiàn)，判斷煙葉含青程度的更佳方式是通過(guò)顏色通道的分位數(shù)來(lái)表征[19]，而分位數(shù)不存在位置信息，因此本試驗(yàn)未對(duì)提取的主脈圖像進(jìn)行單獨(dú)分析.

本試驗(yàn)采用圖像處理提取識(shí)別微帶青煙葉和青黃煙葉的含青區(qū)域，并基于最優(yōu)顏色模型，采用SVM算法構(gòu)建不同含青程度煙葉的識(shí)別模型，模型對(duì)測(cè)試樣本的研究結(jié)果表明準(zhǔn)確率達(dá)到86.01%.混淆矩陣圖顯示模型對(duì)正組煙葉和微帶青煙葉的識(shí)別準(zhǔn)確率較高，而對(duì)于青黃煙葉的識(shí)別準(zhǔn)確率相對(duì)偏低，識(shí)別錯(cuò)誤表現(xiàn)為將部分青黃煙葉識(shí)別為微帶青葉.分析認(rèn)為，與分級(jí)人員通過(guò)感官辨別含青程度的方式相比，由于存在像素和拍攝角度限制等問(wèn)題，采用相機(jī)拍攝煙葉圖像提取含青區(qū)域較易引起圖像出現(xiàn)不同程度的失真情況[20]，后期應(yīng)將煙葉圖像與分級(jí)人員識(shí)別結(jié)果相結(jié)合進(jìn)行再驗(yàn)證，最大限度地保證煙葉圖像與分級(jí)人員感官的匹配，使煙葉圖像所反映的信息與實(shí)際煙葉相符度更高.此外，樣本的數(shù)量與代表性對(duì)模型的訓(xùn)練學(xué)習(xí)效果有著重要影響.由于不同產(chǎn)區(qū)煙葉外觀質(zhì)量存在明顯差異[21，22]，該模型的普適性有待進(jìn)一步認(rèn)證.本文所構(gòu)建的模型為基礎(chǔ)模型，后續(xù)可納入更多產(chǎn)地?zé)熑~的差異化特征，在模型搭建過(guò)程中進(jìn)行遷移學(xué)習(xí)，使模型更具泛化能力，逐步提升模型的普適性和準(zhǔn)確度.