王子鈺，趙怡巍，劉振宇

（沈陽工業(yè)大學信息科學與工程學院,沈陽110870）

1 引言

中國是茶葉的主要原產(chǎn)地，是世界上茶葉種植量、消費量、出口量最大的國家之一。目前茶葉的采摘通常采用人工采摘，但是難以保證采摘的質(zhì)量，成本也較高。

茶葉的自動化采摘目前還處于研究階段，通常是基于茶葉嫩芽的顏色特征和形狀特征，運用圖像處理的方法先將茶葉嫩芽識別出來，再進行采摘。如楊福增等人[1]利用G顏色特征以及“兩瓣一心”的形狀特征來識別嫩芽。汪建[2]利用顏色空間的H、S特征和區(qū)域生長算法完成了對3種拍攝角度的茶葉嫩芽的分割。唐仙[3]等人則根據(jù)R-B顏色特征，利用多種閾值分割反法實現(xiàn)嫩芽分割。吳雪梅[4]等人在G-B顏色特征的基礎(chǔ)上，加入了中值濾波和形態(tài)學運算來實現(xiàn)嫩芽的識別。張可[5]等人則在前人的基礎(chǔ)上加入k-means聚類分割和偽目標去除的形態(tài)學方法。方坤禮[6]等人在G-B顏色特征基礎(chǔ)上采用了改進的JSEG技術(shù)來識別嫩芽?；陬伾托螤畹乃惴m然研究較多，但普遍存在諸如適用性差、易受多種因素影響等不足之處。

近年來，隨著硬件和大數(shù)據(jù)的發(fā)展，人工智能與深度學習的應(yīng)用日漸廣泛，利用深度學習來實現(xiàn)目標檢測已經(jīng)成為計算機視覺的熱門研究方向。目標檢測算法主要分為兩種思想：第一種是“兩步走”，先進行區(qū)域推薦，而后進行目標分類，典型代表有RCNN系列（R-CNN[7]、Fast R-CNN[8]以及Faster RCNN[9]等），其檢測準確率雖然不低，但是在速度方面還遠不能滿足實時檢測需求；第二種是“一步走”，即基于深度學習的回歸思想，采用一個網(wǎng)絡(luò)進行端到端的一步到位，典型代表有YOLO[10]、SSD[11]。YOLO雖然能夠達到實時檢測的需求，但是其檢測準確率與第一種方法存在較大差距,且對于多尺度目標檢測的準確率較低。相比而言，SSD對于多尺度目標的檢測準確率更高，同時兼具速度快、精度高等優(yōu)點，在如今的各個行業(yè)都有許多最新的研究，如江鵬等人[12]利用SSD檢測蘋果葉片的病害；吳水清等人[13]實現(xiàn)了不同場景下車輛的檢測；方陽等人[14]利用SSD將人臉的檢測與頭部姿態(tài)的估計融合在了一起；朱玉剛[15]實現(xiàn)了無人駕駛時的多目標檢測；黃豪杰[16]等人對SSD輸入模型進行了改進，使其在水果識別上有了更好的效果。但目前國內(nèi)外運用SSD算法識別茶葉嫩芽則仍處于構(gòu)思狀態(tài)，尚無相關(guān)研究。

在茶葉嫩芽的實際采摘中，常存在一張茶葉圖像中含有多個嫩芽的情況，需要一種算法對茶葉圖像中的多個嫩芽目標進行檢測識別。在此提出一種基于TensorFlow深度學習框架的目標檢測算法，即利用SSD算法來對茶葉嫩芽進行檢測識別。其主要工作包括兩部分：第一部分是茶葉數(shù)據(jù)集的制作，在采集了茶葉圖像之后，利用提取顏色特征的方法對茶葉圖像進行預(yù)處理，使茶葉與背景信息分離。隨后通過數(shù)據(jù)集增強的方法建立茶葉數(shù)據(jù)集，流程如圖1所示。第二部分是利用SSD算法檢測茶葉嫩芽，首先要對茶葉數(shù)據(jù)集進行人工標注，隨后導(dǎo)入神經(jīng)網(wǎng)絡(luò)中利用SSD算法進行訓(xùn)練，之后多次調(diào)整參數(shù)得到可以檢測識別出茶葉嫩芽的神經(jīng)網(wǎng)絡(luò)模型，并進行測試評價，流程如圖2所示。

圖1數(shù)據(jù)集制作

圖2 SSD算法檢測茶葉嫩芽

2 數(shù)據(jù)集制作

2.1 圖像采集

圖像的采集就是茶葉圖像的拍攝。此處所拍攝圖像主要是浙江省湖州市安吉縣溪龍鄉(xiāng)黃杜村的白茶以及杭州市西湖風景區(qū)的龍井茶，采用單反照相機拍攝，共800余張，圖像素質(zhì)為3216×2136像素。從中挑選出拍攝清晰的多張圖像，經(jīng)分割等處理后，全部統(tǒng)一為512×512像素，jpg格式，用于后續(xù)的圖像預(yù)處理。

2.2 圖像預(yù)處理

圖像預(yù)處理旨在利用傳統(tǒng)的提取顏色特征的方法來隱去茶葉圖像中的一些無關(guān)的背景和噪聲信息，以便于后續(xù)的訓(xùn)練。主要的圖像預(yù)處理步驟包括：圖像降噪、提取顏色特征、圖像分割、形態(tài)學處理、掩模處理等。

2.2.1 圖像降噪

茶葉圖像在拍攝過程中因為相機硬件因素、拍攝環(huán)境、光照強度等因素，會包含大量噪聲，因此需要進行濾波降噪來獲取高質(zhì)量圖像。

濾波降噪在盡量保證茶葉原始圖像信息完整的同時，可以初步消除圖像中無用的噪聲信息，便于后續(xù)的圖像處理。由于茶葉圖像均為512×512像素，1×1、2×2的濾波器降噪效果不明顯，而4×4、5×5的濾波器降噪效果又過強，會破壞原始圖像的信息，使圖像變得模糊，因此此處采用3×3的均值濾波器來對茶葉原始圖像進行濾波降噪。

2.2.2 提取顏色特征

顏色特征是茶葉與背景進行區(qū)分的一個重要特征，茶葉圖像中，嫩芽多為嫩綠色與淺綠色，老葉多為深綠色，背景信息則為其他顏色，顏色差別較大。因此可以通過提取茶葉圖像的顏色特征來區(qū)分出茶葉與背景信息。

提取顏色特征需要用到顏色模型，常用的主要有RGB、HSI、Lab等。提取顏色特征后，將圖像進行灰度化，可以進一步縮減每張圖像的信息量，便于對比與分割。

圖3給出了對G-B、S、a、R-B四種顏色特征進行提取的灰度圖。其中，圖3(a)提取的是G-B顏色特征（一般稱為超綠因子），可以看到，相比于其他三種特征，這一圖像中的嫩芽和老葉，與背景的灰度區(qū)分度最大，可以被更好分割出來。

圖3提取顏色特征灰度圖

2.2.3圖像分割

提取顏色特征轉(zhuǎn)化為灰度圖后，需要進行圖像分割處理。

圖像分割的目的是剔除茶葉桿、過老的老葉等與茶葉嫩芽差別較大的背景信息，將茶葉嫩芽和一些老葉保留下來。圖像分割時使用Otsu算法，它是由日本學者大津（Nobuyuki Otsu）于1979年提出的一種圖像灰度自適應(yīng)閾值的分割算法。Otsu算法的思想是根據(jù)圖像灰度值的特性，將圖像分成背景和前景（即茶葉嫩芽和一些老葉）兩部分。

分割之后，圖像變?yōu)榱硕祱D，即僅有“0”、“1”兩個元素的黑白圖像。其中，茶葉嫩芽和一些老葉部分變?yōu)榱恕?”元素，在圖像中表現(xiàn)為白色，背景信息為“0”元素，在圖像中表現(xiàn)為黑色。

2.2.4 形態(tài)學處理與掩模處理

通常，受到噪聲、嫩葉輪廓不完整等因素的影響，圖像在閾值化分割后所得到的二值圖的邊界都不平滑，目標內(nèi)部有孔洞或輪廓不連續(xù)，背景區(qū)域上也會散布一些小的噪聲點，還需進一步處理[17]。形態(tài)學運算的腐蝕和膨脹可以有效地解決上述問題。

相較于原圖像，因為腐蝕的結(jié)果要使得各像元比之前變得更小，所以適用于去除高峰噪聲。而膨脹的結(jié)果會使得各像元比之前的變得更大，所以適用于去除低谷噪聲。因此，這里使用半徑為4的“disk”結(jié)構(gòu)來對分割后的二值圖進行開運算（先腐蝕后膨脹）來去除噪聲，再進行閉運算（先膨脹后腐蝕）填充空洞。

隨后對茶葉圖像進行掩模處理，即令二值圖與原圖進行按位與運算，便可得到去除了背景信息的圖像。圖4給出了圖像預(yù)處理的一個示例。

圖4圖像預(yù)處理示例

2.3 數(shù)據(jù)集增強

數(shù)據(jù)集的數(shù)量決定著訓(xùn)練效果的好壞。因為采集的圖像數(shù)量有限，所以采取數(shù)據(jù)集增強的方法來擴充數(shù)據(jù)集，包括每一張圖像鏡像翻轉(zhuǎn)、每一張圖像旋轉(zhuǎn)±15°、施加隨機顏色特征（亮度、飽和度）等。

經(jīng)過數(shù)據(jù)集增強后，樣本數(shù)量可達到2400張。按照3：1的比例分配訓(xùn)練集與驗證集。其中訓(xùn)練集數(shù)量為1800張，驗證集數(shù)量為600張。

將該數(shù)據(jù)集命名為tea_leaf。由此，便建立了后續(xù)SSD算法訓(xùn)練所需要的數(shù)據(jù)集。

3 SSD算法檢測茶葉嫩芽

SSD（Single Shot MultiBox Detector）是劉偉（Wei Liu）在2016年提出的一種目標檢測算法，是目前主流的目標檢測框架之一。SSD的網(wǎng)絡(luò)模型基于一個前饋的卷積神經(jīng)網(wǎng)絡(luò)VGG16，其結(jié)構(gòu)如圖5所示。但相比VGG16做出了如下的更改[18]：

(1)將VGG16全連接層中的FC6層和FC7層替換成3×3的卷積層Conv6和1×1的卷積層Conv7；

(2)去掉VGG16中所有的Dropout層和FC8層；

(3)將VGG16中的池化層pool5由原來stride=2的2×2變成stride=1的3×3；

(4)添加了Atrous算法（hole算法），目的是獲得更加密集的得分映射；

(5)在VGG16的基礎(chǔ)上新增了卷積層來獲得更多的特征圖用于檢測。

圖5 SSD網(wǎng)絡(luò)框架圖

SSD算法在訓(xùn)練后會產(chǎn)生一個如圖6所示的矩形框，用以標記檢測物體所在區(qū)域，被稱為bounding box（邊界框）。目標檢測的是為了使邊界框生成的和人工標注的ground truth（真實框）盡可能的一致，因此還需要經(jīng)過設(shè)置默認框、人工標注真實框、NMS算法、損失函數(shù)計算、參數(shù)調(diào)節(jié)幾個步驟。

圖6 SSD邊界框選中區(qū)域

3.1 設(shè)置默認框

在SSD算法的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，共有Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2、Conv4_3這六個卷積層，當圖像輸入網(wǎng)絡(luò)后，每個卷積層的特征圖上都會以每個特征點為中心，生成一系列同心的矩形框，稱為默認框，如圖7所示。換言之，默認框是特征圖上預(yù)設(shè)的一些目標預(yù)選框。

圖7設(shè)置默認框

一般情況下，每個特征圖上都會設(shè)置多個默認框，其尺度和長寬比存在差異。假設(shè)網(wǎng)絡(luò)中有m個特征圖，每個特征圖會生成k個默認框，則每個默認框的尺度為：

其中，Sk表示默認框大小相對于圖像的比例，Smin和Smax表示比例的最小值與最大值，這里取0.2和0.9。對于不同的特征圖，默認框的尺度都會隨著特征圖大小的降低而線性增加。

按照上述基礎(chǔ)尺寸會生成一個正方形的默認框，但默認框數(shù)量太少且類型單一，所以在此引入五種長寬比ar：

根據(jù)式(1)的尺度和式(2)的五種長寬比，可以得到在不同特征圖上的每一個默認框的寬和高：

此外，每個特征圖還會設(shè)置一個長寬比ar=1且尺度為的默認框，以此每個特征圖都會對應(yīng)六種默認框。這樣定義的默認框在不同特征圖有不同尺度，在同一個特征圖有不同的長寬比，基本可以覆蓋輸入圖像中各種形狀和大小的目標。

3.2 人工標注真實框

確認了默認框后，還需要確認真實框，真實框是人為地在茶葉原圖上標注出來的嫩芽位置。在神經(jīng)網(wǎng)絡(luò)中，真實框就是數(shù)據(jù)集的標簽，引導(dǎo)神經(jīng)網(wǎng)絡(luò)進行有監(jiān)督學習。

利用labelImg工具制作標簽，人工標注出每幅圖像中茶葉嫩芽的位置，如圖8所示，進而生成xml文件，再將其轉(zhuǎn)化成tfrecords文件。xml文件包含著圖像的全部標注信息，tfrecords文件用于導(dǎo)入tensorflow深度學習框架中。

圖8人工標注真實框

3.3 NMS算法

由于生成的大量默認框可能存在相互重疊的情況，需要用到NMS算法（Non-Maximum Suppression,非極大值抑制）對生成的大量默認框進行后處理[19]，去除冗余的默認框。NMS算法的本質(zhì)思想是搜素局部最大值，抑制非極大值，通過合并策略生成一個茶葉嫩芽的最終預(yù)測框。合并時主要是socre（參考置信度）與IOU（Intersection over Union,交并比）這兩個指標[20]。

在訓(xùn)練時，真實框與默認框按照如下方式進行配對：首先，尋找與每一個真實框有最大IOU的默認框。此處，兩個框的IOU計算采用Jaccard系數(shù)，設(shè)A,B為兩個框，則有：

通過Jaccard系數(shù)求出兩個框的IOU，可以保證每一個真實框與唯一的一個默認框?qū)?yīng)起來。

然后將沒有配對的默認框與任意一個真實框嘗試配對，只要兩者之間的IOU大于閾值（SSD300網(wǎng)絡(luò)框架中默認為0.5），即判定為已匹配上，并將此歸為正樣本。

最后再將仍沒有配對到真實框的設(shè)置為負樣本，并在SSD神經(jīng)網(wǎng)絡(luò)訓(xùn)練時控制正樣本與負樣本之比為1：3。

3.4 損失函數(shù)計算

確定了訓(xùn)練樣本后，還需要計算樣本的訓(xùn)練損失值，以保證生成的預(yù)測框盡可能與人工標注的真實框接近。

因此，訓(xùn)練的最終目的就是求得使損失函數(shù)最小時的神經(jīng)網(wǎng)絡(luò)參數(shù)。SSD算法中神經(jīng)網(wǎng)絡(luò)的損失函數(shù)為定位損失（location loss）和置信度損失（confidence loss）兩部分的加權(quán)和，其表達式如下：

其中，N是匹配到真實框的默認框數(shù)量，如果N=0，則將損失設(shè)為0；參數(shù)琢用于調(diào)整定位損失和置信度損失之間的比例，默認琢=1。

定位損失函數(shù)的計算是典型的smmothL1損失，其公式如下：

其中：

l為預(yù)測框，g為真實框，cx、cy為補償后的默認框的中心坐標，ww 、h為默認框的寬和高。表示第i個默認框與第j個真實框是否匹配，取值為0或1為默認框經(jīng)過編碼后的位置預(yù)測值為真實框編碼后的位置參數(shù)。

置信度損失函數(shù)是交叉熵損失函數(shù)，其式如下：

其中i為默認框序號，j為真實框序號，p為類別序號，p=0表示背景表示正樣本的損失，即分類為類別p的損失表示負的損失，即分類為背景的損失表示第i個默認框?qū)?yīng)類別p的預(yù)測概率，由神經(jīng)網(wǎng)絡(luò)中的Softmax層產(chǎn)生。默認框i與真實框j關(guān)于類別p匹配時，p的預(yù)測概率越高，則損失越小。

3.5 參數(shù)調(diào)整

在訓(xùn)練過程中，需要多次調(diào)整參數(shù)，進行多次訓(xùn)練，以求得損失最小的神經(jīng)網(wǎng)絡(luò)模型。

環(huán)境搭建主要是TensorFlow GPU版框架、NVIDIA CUDA9.0、NVIDIA cuDNN 8.0。

TensorFlow GPU版改變了常用的基于CPU進行計算的框架，改為運用GPU進行計算；CUDA是NVIDIA推出的運算平臺；cuDNN則是專門針對深度學習框架設(shè)計的一套GPU計算加速方案。三者進行搭配，可以有效提高機器學習的速度。

在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，Learning rate（學習率）、Learning rate decay（學習率衰減）、Batch size（一次訓(xùn)練樣本數(shù)）是影響最終結(jié)果的三個重要因素。

其中，Learning rate作為監(jiān)督學習與深度學習中重要的參數(shù)，它表示神經(jīng)網(wǎng)絡(luò)訓(xùn)練的速率，決定著損失函數(shù)能否以及在何時能內(nèi)收斂到最優(yōu)點。Learning rate過大會導(dǎo)致?lián)p失值振蕩或無法收斂，過小會導(dǎo)致訓(xùn)練過慢，影響效率。在SSD算法對圖像的訓(xùn)練中，它的范圍通常為1×10-2~1×10-6。

Learning rate decay的目的是防止Learning rate過大，在收斂到最優(yōu)點的時候會來回擺蕩，所以要讓Learning rate隨著訓(xùn)練輪數(shù)不斷按指數(shù)級下降。在SSD算法對圖像的訓(xùn)練中，它的范圍通常為略小于1的數(shù)，例如0.90~0.99。

Batch size的大小影響模型的優(yōu)化程度和速度,同時其直接影響到GPU內(nèi)存的使用情況。Batch size過大會導(dǎo)致GPU滿載運行，引起內(nèi)存爆炸。過小則會導(dǎo)致梯度跳動，影響訓(xùn)練的準確率和速率。在SSD算法對圖像的訓(xùn)練中，它的范圍通常為1~32（取2的平方數(shù)）。

經(jīng)過多次調(diào)整參數(shù)訓(xùn)練，最終得出了如下的對比結(jié)果（任選其中三次為例，均為訓(xùn)練50000次后的結(jié)果），如表1所示。

表1三組網(wǎng)絡(luò)參數(shù)

選取序號1所保存的模型，作為本次的實驗結(jié)果。

4 結(jié)果與結(jié)論

4.1 實驗結(jié)果

訓(xùn)練之后，選取一定數(shù)量的圖像對保存的模型進行測試，嫩芽檢測效果如圖9。

圖9茶葉嫩芽檢測效果

圖9由上到下分別為茶葉原圖、掩模圖、檢測結(jié)果圖。由左到右則為普通多株茶葉嫩芽、處于邊緣位置的茶葉嫩芽、處于雜亂背景下的茶葉嫩芽?？梢钥闯?，對于不同的角度、不同位置、不同數(shù)量的茶葉圖像，在經(jīng)過預(yù)處理后，SSD算法都可以用矩形框?qū)⒉枞~嫩芽檢測出來。

4.2 結(jié)果評價

計算模型的AP和mAP，作為模型性能的評價指標。AP表示準確率（precision）的平均值，用于衡量檢測器在每個類別上的性能好壞。mAP表示AP的平均值，是對多個驗證集個體求平均AP值，即：

其中，QR為全部驗證集為驗證集中預(yù)測正確集合的累加和。由于茶葉嫩芽的識別是二分類，在檢測識別時只需區(qū)分嫩芽和背景，所以此處m=1，即AP=mAP。

經(jīng)過計算，算法的準確率達到了91.5%，相比于傳統(tǒng)的只提取了顏色特征算法[21]的85.6%，有了出色的提升。說明此種不僅利用顏色特征進行圖像預(yù)處理、還利用SSD神經(jīng)網(wǎng)絡(luò)進行目標檢測的算法具有更高的準確率，同時對于多個嫩芽也有更好的檢測效果。也說明所提算法對于茶葉嫩芽的識別效果更好，符合預(yù)期。

5 結(jié)束語

介紹了一種利用SSD算法來對茶葉嫩芽進行自動檢測識別的算法，由實驗結(jié)果可見，該算法以較高的準確率實現(xiàn)了對茶葉嫩芽的檢測識別，符合設(shè)計預(yù)期。其結(jié)果也存在一些不足，如個別檢測框位置有偏差，存在個別漏檢情況等。后續(xù)可以通過比如進一步豐富數(shù)據(jù)集的方法，使目標具有更加豐富多樣的特征，來加以解決。此外也可利用GAN（Generative Adversarial Networks，生成式對抗網(wǎng)絡(luò)）來對數(shù)據(jù)集進行進一步擴充，對于提高識別的準確率以及適用性都有更大幫助，有待進一步研究。本研究可為未來大規(guī)模的茶葉自動化采摘打下理論基礎(chǔ)，具有廣闊的應(yīng)用前景。