王臣毅 王藝斌 張 滔 張志華 李昀欣

（1.南京理工大學(xué) 南京 210094）

（2.南京焦耳科技有限責(zé)任公司 南京 210018）

（3.常德市煙草專賣局 常德 415000）

（4.云南煙葉復(fù)烤有限責(zé)任公司 昆明 650032）

1 引言

煙草是重要的經(jīng)濟(jì)作物，在我國的國民經(jīng)濟(jì)收入中占有重要的地位，煙葉分級的目的是對煙葉內(nèi)在質(zhì)量進(jìn)行優(yōu)劣等級劃分，以便充分發(fā)揮農(nóng)業(yè)資源的作用，以質(zhì)論價(jià)。而內(nèi)在質(zhì)量往往是看不見、摸不著的東西，因而只能通過煙葉所表現(xiàn)出來的外觀特征確定煙葉的等級。傳統(tǒng)的分級方式通常是人工的眼看和手摸去識(shí)別，同時(shí)對于從業(yè)人員有著一定經(jīng)驗(yàn)的要求，有著較強(qiáng)的主觀性的同時(shí)，其效率也較低［1］。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，基于視覺的自動(dòng)煙葉分級技術(shù)也在不斷的產(chǎn)生，目前大多數(shù)學(xué)者采用的方法為人工提取特征加單分類器方法設(shè)計(jì)分級系統(tǒng)，但仍然存在準(zhǔn)確率較低的問題［2～3］，并且沒有考慮到實(shí)際生產(chǎn)中會(huì)遇到多片煙葉重疊的問題。為此本文首先提出了一種聯(lián)合利用紋理、顏色和形狀特征提取，并使用集成學(xué)習(xí)分級的單片煙葉分級方法。進(jìn)一步，針對重疊煙葉，提出了一種基于橢圓輪廓模型的煙葉分割算法，提升了重疊煙葉的分離準(zhǔn)確性，并使用集成分級方法對分割后的單片煙葉逐片分級。多組真實(shí)煙葉數(shù)據(jù)集上的實(shí)驗(yàn)證明，本文提出方法在單片煙葉方法優(yōu)于現(xiàn)有方法，能有效地對重疊煙葉實(shí)施分級。

2 單片煙葉分級

2.1 圖像預(yù)處理

本文使用紋理、顏色和形狀特征結(jié)合機(jī)器學(xué)習(xí)方法進(jìn)行分類，數(shù)據(jù)集單幅圖片大小為4096×8000，圖片樣例如下。

2.2 煙葉紋理特征

紋理指的是圖像像素的灰度或顏色的某種變化，其具有周期性和不依賴亮度和顏色本身這兩種特點(diǎn)，而紋理特征就是從圖像中計(jì)算出來的一個(gè)值，對區(qū)域內(nèi)部灰度級變化的特征進(jìn)行量化。

傳統(tǒng)的紋理特征有灰度共生矩陣［4～5］、Tamura［6］特征、LBP 特征等特征，在這里我們使用較為常用的LBP 特征（Local Binary Pattern，局部二值模式），它是一種用來描述圖像局部紋理特征的算子，具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點(diǎn)。

實(shí)驗(yàn)中分別將圖片劃分為單區(qū)域、雙區(qū)域和四區(qū)域進(jìn)行特征提取。

2.3 煙葉顏色特征

傳統(tǒng)的圖片顏色是用每個(gè)像素的RGB 值來代表一個(gè)像素的顏色，但RGB 這種表示方式容易受到光照的影響，魯棒性不強(qiáng)。故本文使用HSV 特征［7］。HSV 不受光照影響，具有魯棒性等優(yōu)點(diǎn)。HSV 分別代表色調(diào)，飽和度，明度。HSV 對光照變化具有較好的魯棒性。

2.4 煙葉形狀特征

形狀特征也是能描述一個(gè)圖片的重要特征，常用的形狀特征有描述形狀區(qū)域的表示特征：面積、周長、分散度、伸長度等，和描述形狀邊界的表示特征：長度、直徑、傅里葉描述子等。其中傅里葉描述子是將輪廓點(diǎn)進(jìn)行傅里葉變化，從任意輪廓點(diǎn)(x0，y0)出發(fā)，按逆時(shí)針方向在輪廓上搜索時(shí)會(huì)遇到(x0，y0)，(x1，y1)…，(xK-1，yK-1) ，則對每個(gè)坐標(biāo)對有可以表示為

傅里葉描述子進(jìn)行歸一化后有很好的旋轉(zhuǎn)不變性和尺寸不變性。同時(shí)，對于一幅圖像，只需要少量的描述子即可描述大體邊界信息，只會(huì)丟失細(xì)節(jié)部分［8］。

本實(shí)驗(yàn)選擇了周長、面積、分散度和前50 個(gè)傅里葉描述子作為特征，共53維特征。

2.5 集成學(xué)習(xí)介紹

集成學(xué)習(xí)是使用一系列學(xué)習(xí)器進(jìn)行學(xué)習(xí)，并使用某種規(guī)則把各個(gè)學(xué)習(xí)結(jié)果進(jìn)行整合從而獲得比單個(gè)學(xué)習(xí)器更好的學(xué)習(xí)效果的一種機(jī)器學(xué)習(xí)方法。在機(jī)器學(xué)習(xí)的有監(jiān)督學(xué)習(xí)算法中，我們的目標(biāo)是學(xué)習(xí)出一個(gè)穩(wěn)定的且在各個(gè)方面表現(xiàn)都較好的模型，但實(shí)際情況往往不這么理想，有時(shí)我們只能得到多個(gè)有偏好的模型（弱監(jiān)督模型，在某些方面表現(xiàn)的比較好）。集成學(xué)習(xí)就是組合這里的多個(gè)弱監(jiān)督模型以期得到一個(gè)更好更全面的強(qiáng)監(jiān)督模型，集成學(xué)習(xí)潛在的思想是即便某一個(gè)弱分類器得到了錯(cuò)誤的預(yù)測，其他的弱分類器也可以將錯(cuò)誤糾正回來。

常用的集成學(xué)習(xí)方法有Bagging、Boosting 和Voting。其中Voting 分為Hard Voting 與Soft Voting兩類，Hard Voting 是一種投票的方式，嚴(yán)格遵守一種少數(shù)服從多數(shù)的思想。而Soft Voting 則認(rèn)為有時(shí)候少數(shù)服從多數(shù)并不合理，它將計(jì)算得出不同分類器的分類概率均值，選擇均值最高的作為預(yù)測的結(jié)果。本實(shí)驗(yàn)中分別構(gòu)造邏輯回歸、決策樹和SVM三種分類器，并用Hard Voting 方式對三種分類器集成得到一個(gè)新的強(qiáng)分類器。

3 重疊煙葉分級

3.1 重疊煙葉分割預(yù)處理

由于在實(shí)際生產(chǎn)過程中煙葉并不是標(biāo)準(zhǔn)的單片分開的情況，而是多片混合疊加在一起的復(fù)雜情況。故要想將之前所做算法模型應(yīng)用到實(shí)際生產(chǎn)中，必須先解決煙葉重疊的問題。本文先解決如何判斷是否為重疊煙葉，然后提出了基于顏色類間方差OTSU 和基于橢圓輪廓的兩種煙葉分割方法，對兩片煙葉重疊情況進(jìn)行了分割最終得到單片煙葉后進(jìn)行分級，整個(gè)過程的流程如下。

首先是預(yù)處理判斷工作，在進(jìn)行分割前先對圖片進(jìn)行判斷，若是圖片只屬于一片煙葉或者是兩片煙葉重合率太高，直接進(jìn)行分類而不用先進(jìn)行分割。

單片與重疊的判斷是一個(gè)典型的二分類問題，除直觀的面積和周長外，還選取了凹點(diǎn)比例和葉柄數(shù)，一共四個(gè)特征。

可以看到如圖5，兩個(gè)煙葉重疊時(shí)會(huì)形成凹點(diǎn)，凹點(diǎn)的個(gè)數(shù)越多則是兩片煙葉重疊的情況可能性越大。

凹點(diǎn)的尋找方法有很多［9～12］，這里采用計(jì)算圓形模板面積的方法，先定義一個(gè)半徑為R 的圓形模板，模板內(nèi)的總像素點(diǎn)個(gè)數(shù)為M，遍歷每個(gè)尋找的輪廓點(diǎn)，對每個(gè)輪廓點(diǎn)取該圓形模板，統(tǒng)計(jì)模板內(nèi)里在煙葉輪廓內(nèi)部的像素點(diǎn)個(gè)數(shù)設(shè)為N。設(shè)定閾值C，當(dāng)時(shí)，即認(rèn)為該點(diǎn)為凹點(diǎn)。再用凹點(diǎn)個(gè)數(shù)除以整個(gè)輪廓點(diǎn)個(gè)數(shù)得到凹點(diǎn)比K，該值在一定程度上反映了重疊的可能性。

同時(shí)可以注意到，就算煙葉是重疊的，但葉柄在很大概率上仍然是分開的，通過葉柄的個(gè)數(shù)也可以在一定程度上作為判斷的依據(jù)。

對原圖進(jìn)行閾值化后再使用形態(tài)開運(yùn)算，能夠消除葉柄部分，再用原圖減去開運(yùn)算后的圖得到剩余葉柄部分，讓面積≥1000 的值作為一個(gè)連通區(qū)域，計(jì)算連通區(qū)域數(shù)量，即可得到葉柄的數(shù)量。

以面積、周長、凹點(diǎn)比和葉柄數(shù)為特征，選取了一批重疊和單片的煙葉進(jìn)行分類能得到測試集準(zhǔn)確率接近90%的結(jié)果，較好地完成了重疊煙葉分級的第一步。

3.2 基于顏色差異的分割

當(dāng)重疊的兩片煙葉之間的顏色差距較大時(shí)，整個(gè)圖片的顏色直方圖會(huì)有兩個(gè)較為明顯的波峰，能夠很容易想到通過一個(gè)閾值來將圖片劃分為兩個(gè)類別，顏色值高于閾值的為類別1，低于閾值的為類別2，這樣即可將重疊的煙葉分割成兩片單獨(dú)的煙葉。

為了使算法更具有普遍性和通用性，我們使用OTSU（最大類間方差）算法來尋找閾值TH。OTSU是一種常用的求分割閾值的算法，用來求出在目標(biāo)與背景之間差別最大時(shí)候的閾值［13］，假設(shè)圖像灰度值為0～255 之間，則用閾值k 將圖像分為0～k 與k～255 兩個(gè)類別C1和C2，用P1(k)和P2(k)分別表示被分到兩類的概率，則有：被分到C1和C2的像素的灰度值均值為

其中m1(k)表示分到C1類的灰度均值，m2(k)表示分到C2類的灰度均值。

用mG表示整個(gè)圖像的灰度均值，有：

相應(yīng)地類間方差σ2B［14］為

在使用OTSU 求得閾值后，使用閾值化將低于閾值的像素部分置為黑色背景，用原圖與閾值化后的圖進(jìn)行與運(yùn)算就可得到高于閾值部分的煙葉圖片，再做差即可得到另外一個(gè)煙葉部分，對上述圖片的處理結(jié)果如下。

通過結(jié)果能夠發(fā)現(xiàn)，對于顏色差距較大的圖片，其分割結(jié)果較為理想。為了判斷能否運(yùn)用顏色進(jìn)行分割，使用OTSU 算法中的最大類間方差作為衡量標(biāo)準(zhǔn)，訓(xùn)練一批圖片得到一個(gè)閾值K 用于判斷，對于最大類間方差＞K 的使用顏色分割方法，否則使用后面介紹的橢圓輪廓分割方法。

3.3 基于橢圓輪廓的分割

基于顏色差距的分割方法雖然簡單方便，但適用性有限，因?yàn)椴⒉皇敲總€(gè)重疊煙葉都能用該方法獲得較好的結(jié)果。為此進(jìn)一步提出一種更具有普遍性的橢圓輪廓方法來適應(yīng)更一般的情形。方法的主要思想是尋找重疊煙葉圖片中的凹點(diǎn)，將圖片中兩個(gè)凹點(diǎn)之間的輪廓作為同一段輪廓，最后以找到的輪廓段進(jìn)行組合擬合橢圓，找到最佳橢圓分割得到上層煙葉，再通過相減的方法得到下層煙葉。

首先使用3.1節(jié)中介紹的圓形模板面積法找到重疊煙葉圖中的凹點(diǎn)，使用k-means 算法將凹點(diǎn)分為四類（如圖8），同時(shí)用一個(gè)數(shù)組保存每個(gè)輪廓點(diǎn)的標(biāo)簽，先將剛各凹點(diǎn)標(biāo)上不同的標(biāo)簽如-1、-2、-3、-4。將其余的各點(diǎn)都用0標(biāo)記。

從任一點(diǎn)開始遍歷，每遇到標(biāo)簽為0 的點(diǎn)就將其標(biāo)簽改為上一個(gè)凹點(diǎn)標(biāo)簽，即將兩個(gè)凹點(diǎn)之間的所有點(diǎn)都?xì)w為了同一個(gè)輪廓點(diǎn)，用顏色將輪廓段標(biāo)記出來如下。

可以使用4 個(gè)輪廓段的任意組合來進(jìn)行橢圓的擬合，計(jì)算橢圓的面積Ea和煙葉輪廓面積C a，若0.4Ca＜Ea＜2Ca且橢圓在整個(gè)煙葉圖像內(nèi)，則將該橢圓納入候選橢圓中。可以看到圖10（b）、（c）都是擬合較好的結(jié)果，理論上都可能是上層的煙葉，故除了擬合的橢圓還需進(jìn)一步進(jìn)行篩選。

圖1 數(shù)據(jù)集圖片

圖2 LBP區(qū)域劃分圖

圖3 煙葉分級流程圖

圖4 重疊煙葉圖

圖5 凹點(diǎn)示意圖

圖6 葉柄剩余圖

圖7 分割前后圖

圖8 凹點(diǎn)選取

圖9 輪廓示意

圖10 橢圓擬合圖

圖11 橢圓擬合分割結(jié)果

圖12 煙葉圖及對應(yīng)標(biāo)簽

圖13 分割結(jié)果圖

對于處于上層的煙葉，能夠觀察到其較為完整的主梗，而主梗近似為一條直線。故在這里使用Hough 直線檢測來進(jìn)行主梗的檢測，首先對原圖進(jìn)行Canny 邊緣檢測，消除大部分的額外信息，此時(shí)只留下了輪廓和一些梯度強(qiáng)度較大的點(diǎn)，而主梗因?yàn)轭伾^深，往往會(huì)保留下來，再以邊緣點(diǎn)為圓心，將一定領(lǐng)域圓內(nèi)的點(diǎn)都過濾，剩下的點(diǎn)中大部分為主梗邊緣點(diǎn)。

此時(shí)再進(jìn)行Hough 直線檢測得到最佳擬合直線L，求得該直線段與水平方向的夾角Lα，圖像的高度為H，計(jì)算橢圓中心到直線的距離D，同時(shí)定義橢圓緊密度Eρ為擬合出的橢圓內(nèi)部白色像素占橢圓總像素的比例。計(jì)算所有候選橢圓與水平方向的夾角Eβ，橢圓的緊密度Eρ，用如下公式去計(jì)算所有候選圓的指標(biāo)數(shù)：

對所有候選圓的Score 數(shù)進(jìn)行排序，選取得分最高的橢圓作為最上層煙葉的擬合橢圓。以該橢圓的掩模可以分割出最上層的煙葉，然后再和原圖相減，并通過面積濾波，就可得到最下層的煙葉圖像。

3.4 單片煙葉實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)選取了B2F、B3F、C2F、C3F、C4F共五個(gè)等級的煙葉圖片進(jìn)行測試，其中共有4 批數(shù)據(jù)集，各數(shù)據(jù)集大小如下。

表1 單片煙葉數(shù)據(jù)集樣本劃分

在2.2 節(jié)中對于紋理特征的提取中我們做了3組不同的劃分區(qū)域方式，使用數(shù)據(jù)集1 對3 種不同劃分方式的結(jié)果進(jìn)行測試，結(jié)果如表2。

表2 不同區(qū)域劃分方式結(jié)果

其中區(qū)域?yàn)? 時(shí)在測試集的準(zhǔn)確率最高，故在后續(xù)實(shí)驗(yàn)中均使用2區(qū)域LBP劃分方式。

然后對不同特征組合，固定使用邏輯回歸作為分類器，并在數(shù)據(jù)集1進(jìn)行測試，結(jié)果如表3?？梢钥闯鲈谝婚_始的紋理特征基礎(chǔ)上添加顏色特征和形狀特征后，準(zhǔn)確率有了不少提高。

表3 不同特征組合測試結(jié)果

然后分別使用邏輯回歸、SVM 以及Voting的集成學(xué)習(xí)方法對數(shù)據(jù)集進(jìn)行分類，其結(jié)果如表4，從表中能夠看出使用了Voting 方法后準(zhǔn)確率在四個(gè)數(shù)據(jù)集均有了提升。

表4 各數(shù)據(jù)集分級測試集準(zhǔn)確率

相應(yīng)地為了進(jìn)行分級結(jié)果的對比，我們還提取了一些深度特征進(jìn)行實(shí)驗(yàn)，包括vgg16 最后池化層的輸出結(jié)果、細(xì)粒度特征、自動(dòng)編碼器特征以及自監(jiān)督學(xué)習(xí)框架SimCLR 提取的特征，在這里呈現(xiàn)出第一批數(shù)據(jù)集在上述特征下的結(jié)果，從表5 中看出上述特征的準(zhǔn)確率均不如提出的方法準(zhǔn)確率高，在其余三批數(shù)據(jù)集上的也表現(xiàn)出同樣的結(jié)果。

表5 深度網(wǎng)絡(luò)模型和使用不同深度特征的分級結(jié)果

同時(shí)還選用了一些文獻(xiàn)中的分級方法進(jìn)行比較，這里我們選取了基于二進(jìn)制粒子群（BPSO）和SVM 的分級方法、基于改進(jìn)的聚類算法（ICA），遺傳算法（GA），隨機(jī)森林（RF）的分級方法以及基于PCA-GA-SVM 的分級方法，結(jié)果如表6。同樣能看出來，上述方法準(zhǔn)確率均沒有特征提取方法高。

表6 不同分級方法結(jié)果

表7 橢圓輪廓分割后分級結(jié)果

3.5 重疊煙葉實(shí)驗(yàn)結(jié)果

選取3.4 節(jié)中的數(shù)據(jù)集1 中訓(xùn)練集的831 張圖作為訓(xùn)練集。測試集有重疊煙葉圖片200 張，用橢圓輪廓分割算法得到359 張分割后的煙葉圖像，剔除不是重疊的煙葉41張和98張面積極其小的分割后的煙葉圖像，最終用于分割實(shí)驗(yàn)的數(shù)據(jù)集有220張。

相應(yīng)地，我們將基于橢圓輪廓分割后的圖片同樣用顏色標(biāo)記上相應(yīng)的標(biāo)簽。由于在合成時(shí)候已經(jīng)獲得真實(shí)標(biāo)簽，便可比較分割前后同樣位置的點(diǎn)標(biāo)簽是否相同，以此定義分割結(jié)果指標(biāo)

通過上面的橢圓輪廓分割方法分別獲得上層和下層煙葉后，再用第2 節(jié)中的特征提取結(jié)合機(jī)器學(xué)習(xí)方法分別對上層和下層煙葉分級，得到最終的結(jié)果如下，在第一批數(shù)據(jù)集訓(xùn)練出的模型下，重疊煙葉的分級準(zhǔn)確率達(dá)到了36.4%。

4 結(jié)語

本文使用了紋理、顏色和形狀特征對單片煙葉進(jìn)行分級處理，在四個(gè)樣本數(shù)據(jù)集的準(zhǔn)確率有67.5%。同時(shí)提出了一種針對特殊情況的基于顏色的重疊煙葉分割方式以及一種普遍適用的橢圓輪廓重疊煙葉分割方式，并對其分割后的結(jié)果進(jìn)行分級測試，最終的結(jié)果為36.4%。從實(shí)驗(yàn)中看，深度學(xué)習(xí)目前并沒有比傳統(tǒng)方法好，下一步我們將分析原因，展開基于深度學(xué)習(xí)的煙葉分級研究。