鐘躍崎,郭騰偉,路 凱,柴新玉

(1.東華大學(xué) 紡織學(xué)院, 上海 201620; 2.東華大學(xué) 紡織面料技術(shù)教育部重點實驗室, 上海 201620;3.蘇州科達科技股份有限公司, 江蘇 蘇州 200030; 4.許昌學(xué)院 信息工程學(xué)院, 河南 許昌 461000;5.文思海輝技術(shù)有限公司, 北京 100192)

1 山羊絨和綿羊毛纖維識別研究現(xiàn)狀

山羊絨和綿羊毛纖維均屬于動物纖維,其外觀視覺形態(tài)、物理化學(xué)性質(zhì)以及結(jié)構(gòu)組成成分等方面都有很多相似之處,尋找一種能夠快速準確地自動鑒別山羊絨、綿羊毛纖維的方法,一直都是纖維鑒別中的挑戰(zhàn)。 從原理上而言,目前較為實用的解決方法大致分為3 種。 第1 種是從形態(tài)學(xué)的角度,第2種是從DNA 的角度,第3 種是從蛋白質(zhì)組學(xué)(proteomics)的角度。

從形態(tài)學(xué)的角度進行動物纖維的鑒別,主要是通過光學(xué)顯微鏡[1]或者電子顯微鏡[2]進行纖維外觀形態(tài)的觀察,通過人工識別的方式,從山羊絨和綿羊毛纖維鱗片形狀、面積、密度,以及纖維的直徑、條干光澤度等方面根據(jù)主觀經(jīng)驗做出判斷。 目前,光學(xué)顯微鏡下的人工鑒別是應(yīng)用最為廣泛的鑒別方法之一[3]。 掃描電子顯微鏡圖像由于放大倍數(shù)高,相對光學(xué)顯微鏡圖像更為清晰,容易分辨,故識別精度更高,但檢測周期長,對設(shè)備和制樣有特殊的要求。

隨著聚合鏈式反應(yīng)(Polymerase Chain Reaction,PCR)技術(shù)的發(fā)展,自2005 年起PCR 體外擴增技術(shù)被用于山羊絨和綿羊毛檢測,Subramanian 等[4]利用PCR-RFLP(Polymerase Chain Reaction Restriction Fragment Length Polymorphism)擴增技術(shù)對提取的羊毛、羊絨線粒體DNA 進行擴增,提出了單核苷酸多態(tài)性法(Single Nucleotide Polymorphism, SNP法)。 2014 年,Tang 等[5]使用熒光PCR 法(TaqMan PCR)對綿羊毛和山羊絨混合物DNA 定量分析,證實了根據(jù)線粒體DNA 鑒別羊絨羊毛的可靠性。GB/T 36433—2018《紡織品 山羊絨和綿羊毛的混合物DNA 定量分析 熒光PCR 法》于2019 年1 月1 日起開始實施。

但是,纖維條干中幾乎不含核DNA,只含有很少量的線粒體DNA,并且纖維存放時間較長,易于使DNA 發(fā)生降解,提取DNA 困難,給鑒別造成很大困難[6]。 而羊絨、羊毛纖維中的蛋白質(zhì)含量很高,便于提取[7],因此可以從蛋白質(zhì)組學(xué)的角度解決山羊絨、綿羊毛的鑒別問題。 如采用質(zhì)譜譜圖特征(譜峰的強度, 質(zhì)/荷比和出峰的時間)、肽的特征(來源相同肽離子的質(zhì)量同位素峰)、或肽(相同肽不同電荷狀態(tài)的多個肽特征)來表示[8]。 特別是近年來廣泛用于蛋白質(zhì)、多肽、核酸和多糖等大分子研究領(lǐng)域[9]的基質(zhì)輔助激光解吸電離飛行時間質(zhì)譜技術(shù),吸引了越來越多的關(guān)注[10-12]。

然而,上述技術(shù)在實現(xiàn)無人工干預(yù)的全自動實時檢測方面均難以勝任。 事實上,形態(tài)學(xué)檢測所提供的信息,利用機器學(xué)習(xí)的手段,是最有可能實現(xiàn)實時檢測的。 Wu 等[13]收集了5 種不同產(chǎn)地的山羊絨,使用近紅外光譜分析技術(shù)獲得相應(yīng)的光譜數(shù)據(jù)以及主成分分析(PCA)降維,再通過支持向量機對產(chǎn)地進行分類。 季益萍等[14]通過3 種不同的決策樹模型,對纖維細度、鱗片高度等特征進行數(shù)據(jù)的分類預(yù)測。 沈巍等[15]利用了支持向量機法進行山羊絨、綿羊毛混紡比研究。 Zhong 等[16]提出了一種將山羊絨、綿羊毛纖維顯微鏡圖像轉(zhuǎn)換為投影曲線,然后提取投影曲線特征間接識別山羊絨、綿羊毛的算法。 路凱等[17-18]也提供了基于詞典模型和空間金字塔匹配對山羊絨、綿羊毛光學(xué)顯微鏡圖像進行識別的算法。

上述方法有2 個共同點,一是纖維的形態(tài)學(xué)特征往往來自于人為設(shè)定(Hand Crafted Features),二是所用樣本空間的容量有限,模型的泛化能力不強。事實上,隨著深度學(xué)習(xí)技術(shù)的進步,已經(jīng)可以通過深度神經(jīng)網(wǎng)絡(luò),在更大的樣本容量上,實現(xiàn)泛化性能更好的多品種極相似動物纖維的全自動識別。

2 試樣準備與圖像采集

本文使用了蒙古青羊絨、蒙古紫羊絨、國產(chǎn)青羊絨、國產(chǎn)白羊絨、普通羊毛(美利奴)和土種羊毛共計6 種纖維進行測試。 按照GB/T 16988—2013《特種動物纖維與綿羊毛混合物含量的測定》,使用哈氏切片器從纖維樣本中部切取長度為0.4 ～0.6 mm的纖維片段進行制樣。 將制作好的切片放置在光學(xué)顯微鏡載物臺上,物鏡放大40 倍,目鏡放大10 倍,圖片保存格式為TIFF 格式,圖片大小為640×480 像素。 在整個過程中只對單根纖維的圖像拍攝保存,因為多根纖維同時出現(xiàn)在視野中會交叉造成多焦面現(xiàn)象(1 根纖維清晰,另外其他纖維模糊)無法進行判斷。 分別采集了國產(chǎn)青羊絨10 181 張,土種羊毛9 929 張, 普 通 毛 條10 007 張, 蒙 古 青 羊 絨10 093 張,國 產(chǎn) 白 羊 絨10 017 張, 蒙 古 紫 羊 絨10 836 張,合計61 063 張纖維圖片,6 種纖維光學(xué)顯微鏡圖像示例如圖1 所示。

圖1 6 種纖維光學(xué)顯微鏡圖像示例

由于深度神經(jīng)網(wǎng)絡(luò)需要在大樣本數(shù)據(jù)集上進行訓(xùn)練,才能獲得比較好的泛化性能,因此在圖像數(shù)據(jù)量不足的情況下, 可使用數(shù)據(jù)增廣( Data Augmentation),一方面能夠擴充樣本的數(shù)據(jù)量,增加訓(xùn)練集中樣本的多樣性,另一方面在一定程度上緩解過擬合現(xiàn)象帶來模型泛化性能的惡化。

常用的數(shù)據(jù)增廣技術(shù)有隨機翻轉(zhuǎn)、隨機旋轉(zhuǎn)、隨機裁剪,改變圖像對比度和亮度等。 鑒于本文實驗所用的60 000 余張樣本圖像,在實踐中使用隨機水平翻轉(zhuǎn)、隨機垂直翻轉(zhuǎn)和圖像對比度改變這3 種策略。 需要注意的是,不推薦采用隨機裁剪的方式,因為這種方法處理后的圖片有可能均為背景,不存在纖維樣本,不利于神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

實驗所用計算機硬件配置如下:CPU 為Intel i7-3 770 K@3.50 GHz×8,內(nèi)存大小為8 GB,顯卡為NVIDIA GeForce GTX1070。 操作系統(tǒng)為Ubuntu 16.04TLS,本文相關(guān)代碼使用PyTorch 深度學(xué)習(xí)框架編寫。 在訓(xùn)練時,共訓(xùn)練24 個輪次(epoch),并采用分段函數(shù)式的學(xué)習(xí)率衰減模式,即在訓(xùn)練過程每訓(xùn)練7 個輪次(epoch),學(xué)習(xí)率降為原來的1/10。在網(wǎng)絡(luò)參數(shù)的優(yōu)化方面,選取Adam 和Momentum這2 種優(yōu)化方式。

3 神經(jīng)網(wǎng)絡(luò)的篩選與驗證

仔細觀察圖1 不難發(fā)現(xiàn),相對于常規(guī)圖像分類任務(wù)所面對的風(fēng)景、車輛或行人等彩色圖像,纖維的光學(xué)顯微鏡圖像內(nèi)容較為簡單,因此不宜采用參數(shù)數(shù)量太多且過于復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)。 另外,在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前,需要對參數(shù)的初始化方式進行設(shè)置,通常有下述3 個方案可供選擇。

方案1:從零開始,在前述纖維顯微圖像數(shù)據(jù)集上進行深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。 鑒于神經(jīng)網(wǎng)絡(luò)參數(shù)矩陣初始值的設(shè)定能夠影響訓(xùn)練過程收斂與否,以及最終是否能夠訓(xùn)練出理想的實驗結(jié)果。 故此在實驗過程中,對網(wǎng)絡(luò)中的全連接層采用Xavier 初始化[19]。 令nin和nout分別為某層神經(jīng)網(wǎng)絡(luò)輸入和輸出的神經(jīng)元個數(shù),Xavier 初始化旨在維持輸入和輸出數(shù)據(jù)分布在方差層面的一致性,

方案2:將所選擇的神經(jīng)網(wǎng)絡(luò)先在一個更大規(guī)模的數(shù)據(jù)集上完成預(yù)訓(xùn)練,然后通過遷移學(xué)習(xí)的方法,在本文的數(shù)據(jù)集上完成權(quán)重矩陣的微調(diào),達到更好的識別精度。 這是因為人類面對新的任務(wù)時,往往也是優(yōu)先使用過往經(jīng)驗和知識,然后再針對新任務(wù)進行改良優(yōu)化,并非總是從零開始重新學(xué)習(xí)。

本文采用在ImageNet 上訓(xùn)練過的不同卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)作為神經(jīng)網(wǎng)絡(luò)參數(shù)矩陣的初始值。 這是因為ImageNet 中擁有1 000 個類別、上百萬張圖像,在規(guī)模上和復(fù)雜度上相對于本文的數(shù)據(jù)集更有優(yōu)勢。 基于ImageNet 訓(xùn)練的模型往往具有非常強的廣義圖像視覺特征表達能力,從而在某種程度上能夠加快纖維識別模型的收斂速度,增強模型的泛化能力。

鑒于ImageNet 有1 000 個類別,而本文所用數(shù)據(jù)集只有6 個類別,故全連接層采用Xavier 初始化。完成了初始化之后,網(wǎng)絡(luò)中所有參數(shù)在整個訓(xùn)練過程中都會隨著訓(xùn)練過程中的梯度下降而得到更新。

方案3: 將所有卷積層均初始化為經(jīng)過ImageNet 上預(yù)訓(xùn)練的參數(shù)矩陣并固定不變,在訓(xùn)練過程中僅更新全連接層中的權(quán)重參數(shù)。

以ResNet18 為例,在山羊絨、綿羊毛分類任務(wù)中測試了3 種方案的表現(xiàn),結(jié)果如圖2 所示。 很顯然,方案2 的表現(xiàn)最好,而方案3 只有不到70%的準確率,這說明基于ImageNet 預(yù)訓(xùn)練的圖像特征不能表達山羊絨、綿羊毛纖維圖像特征,必須通過ResNet18 網(wǎng)絡(luò)卷積層訓(xùn)練更新優(yōu)化后才能產(chǎn)生具有自動提取山羊絨、綿羊毛圖像特征的能力,并通過全連接層進行分類識別。 同時,在測試集上,方案2的準確率超過方案1 的15%以上,說明該方法比從零開始的訓(xùn)練更適合纖維圖像的識別任務(wù)。

圖2 3 種不同初始化方案訓(xùn)練集和測試集準確率

有鑒于此,在后續(xù)的實驗中,本文使用了VGG11、VGG13、VGG16、InceptionV3、InceptionV4、ResNet18、ResNet34 和ResNet50 共8 種網(wǎng)絡(luò)模型進行對比,采用方案2 進行參數(shù)初始化。 多種模型準確率結(jié)果如圖3、4 所示。

圖3 8 種模型使用Adam 優(yōu)化器測試集下的準確率

圖4 8 種模型使用Momentum 優(yōu)化器測試集下的準確率

由實驗結(jié)果可以發(fā)現(xiàn),ResNet18 在Adam 優(yōu)化器下測試集準確率達到了最高,原因有二:①相對其他非殘差類型神經(jīng)網(wǎng)絡(luò),ResNet 引入了殘差跳躍結(jié)構(gòu),使梯度的流動更為健康,即不會出現(xiàn)梯度消失和爆炸的問題,從而使得優(yōu)化效果良好,準確率得到了較 大 提 升。 ② 對 比 ResNet34, ResNet50,InceptionV3,InceptionV4,在山羊絨、綿羊毛識別問題中,由于樣本類別只有2 種,且圖像本身較為簡單。 若將深度神經(jīng)網(wǎng)絡(luò)看作一個非線性擬合函數(shù),其所需的參數(shù)無需非常龐大,故ResNet18 恰好滿足了夠用的基本要求。 而其他網(wǎng)絡(luò)模型與之相比,參數(shù)更多,容易因參數(shù)冗余而造成過擬合現(xiàn)象,故而在測試集上的表現(xiàn)不及ResNet18。

此外,即使在準確率接近的場合中,也會優(yōu)先選擇ResNet18。 因為其無論在訓(xùn)練時還是在測試時速度更快,用時更少,更加高效,便于實用階段的部署。 另外從圖3 中可知,VGG 網(wǎng)絡(luò)在使用Adam 優(yōu)化器時效果較差,故此不建議使用Adam 算法對其進行優(yōu)化。

為進一步了解各種網(wǎng)絡(luò)的性能,對訓(xùn)練和測試過程中的總耗時進行了測算,如表1、2 所示。

表1 8 種模型不同優(yōu)化器訓(xùn)練過程總耗時 min

可以看到,ResNet18 網(wǎng)絡(luò)模型在訓(xùn)練過程中耗時最少,相比InceptionV4 少了420 min 左右,效率大幅提升。 在實際測試時,對6 000 張測試集上的圖片進行自動鑒別,耗時均不到1 min,等于每秒鐘可以檢測至少100 張圖片,足以將基于深度神經(jīng)網(wǎng)絡(luò)的山羊絨、綿羊毛圖像識別流程用于實時檢測。

表2 8 種模型不同優(yōu)化器在6 000 張測試集圖片上總耗時s

為進一步驗證ResNet18 模型的性能,給出了6 種動物纖維在測試集上識別準確率的混淆矩陣分析,如圖5 所示。 混淆矩陣又稱為誤差矩陣,是一種較為高效評估有監(jiān)督學(xué)習(xí)目標分類準確率的工具。通過混淆矩陣可以將數(shù)據(jù)的真實值與通過模型預(yù)測的結(jié)果進行對比。 由于這里的分類數(shù)目為6,故混淆矩陣大小為6×6。 其中每行代表實際纖維歸屬類別,每行的總數(shù)之和表示測試集中每類纖維的總根數(shù);每列代表通過ResNet18 得出的預(yù)測值,每列的總數(shù)之和表示預(yù)測為該類別纖維的總根數(shù);混淆矩陣對角線上的數(shù)字表示正確判斷為各個纖維類別的數(shù)量根數(shù)。

本文使用召回率表示每種纖維是否容易被神經(jīng)網(wǎng)絡(luò)區(qū)分。 召回率是指每種纖維類別預(yù)測正確數(shù)量根數(shù)占該類實際總根數(shù)的百分比值。 召回率越大代表該類別纖維越容易被區(qū)分,反之,越難被識別出來也就是越容易被錯識別為其他纖維類別。 從混淆矩陣圖中可以看出普通毛條和蒙古紫絨非常容易被ResNet18 識別,其召回率高達99.8%和98.5%,其次是土種羊毛,為97.7%。 而國產(chǎn)白羊絨、國產(chǎn)青羊絨和蒙古青羊絨最難被識別,召回率分別是95.2%、95.5%和96.0%。 換言之,對ResNet18 而言,羊毛“冒充”羊絨是比較容易被識別出來的,而蒙古紫羊絨容易被識別是因為其纖維呈現(xiàn)深色,具有比較明顯的區(qū)分度。 從圖5 中還可以發(fā)現(xiàn)蒙古青羊絨和國產(chǎn)青羊絨互相被錯分較多,這與實際情況相吻合,根據(jù)顏色類別條件劃分,他們都是屬于青羊絨,在物種屬性上也更為相近,因此互相區(qū)分度更小,被識別錯誤較多。

圖5 6 種動物纖維測試集混淆矩陣分析圖

在ResNet18 網(wǎng)絡(luò)中,最后一個卷積層輸出的特征圖(feature map)大小為512×7×7,意味著512 個7×7 的特征圖。 根據(jù)ResNet 的工作原理,在進入Softmax 層進行分類之前,需要先對7×7 的特征圖進行全局平均池化,輸出1×1 的特征圖。 因為最終分類結(jié)果實質(zhì)上是經(jīng)過池化后的512 個值與相應(yīng)的權(quán)重的乘積,所以實際上也是7×7 的特征圖與權(quán)重的乘積。 這里的權(quán)重代表了每個7×7 特征圖對最終分類結(jié)果的貢獻程度。 根據(jù)這一原理,可利用這512 個特征圖乘以對應(yīng)權(quán)重進行求和得到一個新的7×7 的權(quán)重特征圖,這個權(quán)重特征圖上每個像素值對應(yīng)了其對分類結(jié)果的影響程度,結(jié)果越大代表影響程度越大,最后將該權(quán)重特征圖映射到大小為224×224 的原圖中,就可以直觀地看出哪個區(qū)域?qū)Ψ诸愋Ч绊懜蟆?/p>

圖6 所示熱力圖中,紅色代表該處的特征對最終識別的貢獻較大,藍色代表貢獻較小。 通過圖6(e)(f),可見大部分紅色區(qū)域都在纖維條干上拍攝較為清晰的部分,說明ResNet18 網(wǎng)絡(luò)的識別過程較好的模擬了人類識別,自動“注意”到了整幅圖像中特征明顯的區(qū)域,并以此作為判斷的依據(jù)。 這也是深度學(xué)習(xí)擁有人工智能特色的原因所在。

圖6 國產(chǎn)白羊絨和國產(chǎn)青羊絨及其熱力圖

4 結(jié)束語

本文對不同卷積神經(jīng)網(wǎng)絡(luò)模型在自建的6 類別山羊絨/綿羊毛圖像數(shù)據(jù)集上進行了訓(xùn)練和測試,發(fā)現(xiàn)ResNet18 通過加載在ImageNet 上預(yù)訓(xùn)練的網(wǎng)絡(luò)參數(shù)進行遷移學(xué)習(xí)時效果最佳。 通過混淆矩陣,說明了本文所提出的方法在6 種極相似動物纖維的鑒別中,鑒別準確率均在95%以上,且泛化性能良好,可用于實時自動檢測。

由于在使用光學(xué)顯微鏡的真實檢測環(huán)境中,載玻片上通常是多根纖維混搭,此時除了分類任務(wù)之外,還需給出具體聚焦清晰的纖維所在位置以判斷根數(shù), 因此整個任務(wù)變?yōu)榱四繕藱z測(object detection),未來可在訓(xùn)練集完備的情況下,采用相關(guān)目標檢測網(wǎng)絡(luò)(如YOLO V4[21])開發(fā)更貼近實用的自動檢測系統(tǒng)。

此外,由于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練離不開標注良好的圖像數(shù)據(jù),而目前的數(shù)據(jù)標注均需人工參與。因此,該類方法在極相似纖維鑒別領(lǐng)域,不會超越人類的表現(xiàn)。 這也是為什么用該類方法,很難識別且肉眼也難以直接識別的黑色牦牛絨冒充黑色羊絨(細度、長度、色澤均相同的前提下),或者回用羊絨冒充純新羊絨的情況。