程鐵轅
(成都海關(guān)技術(shù)中心宜賓分部國家酒類檢測重點(diǎn)實驗室,四川宜賓 644000)
當(dāng)前,在白酒微觀形態(tài)觀測等領(lǐng)域,主要應(yīng)用的觀測儀器有原子力顯微鏡(Atomic Force Microscopy,AFM)等,其中,原子力顯微鏡在液體樣品微觀觀測方面存在一個很大的不足之處,需要在無塵臺上自然風(fēng)干后方可用于顯微鏡觀察[1],致使白酒中大多數(shù)揮發(fā)性微量成分無法被觀測到,損失了大量重要的樣品信息,因此,該方法僅能觀測到白酒樣品中部分信息。冷凍電子顯微鏡技術(shù)(cryo-electron microscopy)簡稱冷凍電鏡,近年來,隨著樣品制備觀測等技術(shù)[2-3]的持續(xù)進(jìn)步以及冷凍電鏡軟硬件[4-5]的改進(jìn),冷凍電鏡技術(shù)獲得了飛躍式發(fā)展[6],其在生物大分子復(fù)合體和細(xì)胞(細(xì)胞器)超微結(jié)構(gòu)觀測方面的技術(shù)優(yōu)勢,極大地推動了結(jié)構(gòu)生物學(xué)的飛速發(fā)展。相較于其他技術(shù),冷凍電鏡技術(shù)具有一個重要優(yōu)勢,即樣品經(jīng)過低溫冷凍后,能夠最大限度地保存樣品中包含的信息。冷凍電鏡成像獲取的照片信息,需要結(jié)合圖像分析技術(shù)才能挖掘出更多的有價值信息,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)作為一種前饋型的神經(jīng)網(wǎng)絡(luò),是目前深度學(xué)習(xí)技術(shù)領(lǐng)域中極具代表性的神經(jīng)網(wǎng)絡(luò)之一,近年來,在圖像分析和處理領(lǐng)域取得了一系列突破性的研究成果[7-8],卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征學(xué)習(xí)與分類能力,在圖像分類等領(lǐng)域具有重要的應(yīng)用價值,其特點(diǎn)是不需要針對具體特征,即可實現(xiàn)特征提取的封裝。當(dāng)前,透射電鏡技術(shù)在晶體結(jié)構(gòu)觀測上應(yīng)用廣泛[9-10],卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于中藥材等顯微特征圖像識別研究方面[11]已有相關(guān)報道,本研究主要采用冷凍透射電子顯微鏡技術(shù),擬將冷凍電鏡技術(shù)與深度學(xué)習(xí)技術(shù)進(jìn)行結(jié)合,通過卷積神經(jīng)網(wǎng)絡(luò)對白酒樣品的冷凍電鏡成像照片信息進(jìn)行鑒別分類,以期為白酒微觀形態(tài)觀測等領(lǐng)域提供一種全新的研究思路和分析視角,本文將冷凍電鏡技術(shù)與深度學(xué)習(xí)技術(shù)相結(jié)合的應(yīng)用,主要針對國內(nèi)市場上普遍存在的白酒摻假實際,但該技術(shù)在白酒及液體食品中的應(yīng)用范圍絕不會僅限于此,未來,該技術(shù)應(yīng)該會在白酒微觀形態(tài)基礎(chǔ)研究、白酒酒質(zhì)評價研究、白酒年份酒研究、白酒產(chǎn)地追溯研究、白酒摻假鑒別研究及液體食品相關(guān)研究等多個領(lǐng)域具有廣闊的應(yīng)用前景。
試驗樣:購自川南某白酒企業(yè)固態(tài)發(fā)酵法原酒(樣品編號為1#—5#),購自國內(nèi)市場的某類別摻假白酒(樣品編號為6#、8#),購自國內(nèi)市場的四川某知名白酒企業(yè)的高端成品酒(樣品編號為7#、9#、10#),其中,1#:2009 年產(chǎn)一級原酒;2#:2018 年產(chǎn)一級原酒;3#:2018 年產(chǎn)優(yōu)級原酒;4#:2019 年產(chǎn)一級原酒;5#:2019 年產(chǎn)優(yōu)級原酒;6#:摻假白酒a;7#:成品酒a;8#:摻假白酒b;9#:成品酒b;10#:成品酒c。
儀器設(shè)備:200 kV 冷凍透射電子顯微鏡(浙江大學(xué)冷凍電鏡中心),儀器型號:Talos F200C 200 kV(荷蘭FEI 公司)。儀器性能:加速電壓為20~200 kV 高壓,場發(fā)射電子槍;點(diǎn)分辨率≤0.3 nm;信息分辨極限0.15 nm;低溫樣品臺(可傾轉(zhuǎn)70 度);配置Ceta 4 k×4 k 相機(jī);安裝EPU 和FEI Xplore3D數(shù)據(jù)收集軟件。
將2.5 μL 白酒樣品置于銅網(wǎng)(Quantifoil R1.2/1.3)上,通過vitrobot和液態(tài)乙烷將溶劑迅速冷凍成玻璃態(tài),在配備有Ceta 4 k×4 k 相機(jī)的透射電子顯微鏡(Talos F200C)上,進(jìn)行冷凍電鏡成像,選取36000×、73000×、120000×3種標(biāo)稱的放大倍數(shù)。
采用Matlab 2019a進(jìn)行數(shù)據(jù)處理。
2.1.1 原酒微觀形態(tài)
圖1 為2#樣品36000 倍的觀測圖像,多個圖像中的圓形輪廓是載網(wǎng)1.2/1.3 的孔,由于碳膜上襯度差,一般觀測時只觀測圓形輪廓內(nèi)部的圖像,圖2為2#樣品73000 倍的觀測圖像,圖3 為2#樣品120000 倍的觀測圖像,圖4 為3#樣品120000 倍的觀測圖像。3 種放大倍數(shù)圖像之間的差異,除了與放大倍數(shù)有關(guān)外,還應(yīng)該與酒體中存在一些懸浮顆粒有關(guān)。如圖所示,深色物質(zhì)為白酒樣品中觀測的目標(biāo)物質(zhì),從微觀形態(tài)上看,一部分目標(biāo)物呈圓球狀形態(tài),一部分目標(biāo)物呈鏈狀形態(tài),圓球狀形態(tài)物質(zhì)在空間觀測上會有重疊,兩種形態(tài)物質(zhì)在空間上的分布都相對較為均勻。
2.1.2 摻假白酒微觀形態(tài)
圖5 為6#樣品36000 倍的觀測圖像,圖6 為6#樣品73000 倍的觀測圖像,圖7 為6#樣品120000 倍的觀測圖像,圖8為6#樣品73000倍的觀測圖像,均為摻假白酒的微觀形態(tài)圖,從微觀形態(tài)上看,與原酒微觀形態(tài)圖類似,同樣存在一些體積相對較大的圓球狀形態(tài)物質(zhì)和一些體積相對較小的鏈狀形態(tài)物質(zhì),鏈狀形態(tài)物質(zhì)的分布較為均勻,而圓球狀形態(tài)物質(zhì)分布相對不均。
圖1 2#樣品圖(36000×)
圖2 2#樣品圖(73000×)
圖3 2#樣品圖(120000×)
圖4 3#樣品圖(120000×)
圖5 6#樣品圖(36000×)
圖6 6#樣品圖(73000×)
圖7 6#樣品圖(120000×)
2.1.3 成品酒微觀形態(tài)
圖9 為7#樣品36000 倍的觀測圖像,圖10 為7#樣品73000 倍的觀測圖像,圖11 為7#樣品120000倍的觀測圖像,圖12 為9#樣品36000 倍的觀測圖像。直觀來看,同樣分布了一些體積相對較大的圓球狀形態(tài)物質(zhì)和一些體積相對較小的鏈狀形態(tài)物質(zhì),與圓球狀形態(tài)物質(zhì)相比,鏈狀形態(tài)物質(zhì)的數(shù)量更多,分布也更加密集均勻。
圖8 8#樣品圖(73000×)
圖9 7#樣品圖(36000×)
圖10 7#樣品圖(73000×)
從顯微鏡的照片信息來看,不同類型的白酒樣品在圖像信息上的差異,很難通過肉眼觀察而成功的辨識區(qū)分,因此,考慮采用深度學(xué)習(xí)算法輔助區(qū)分,提高識別自動化效率,實現(xiàn)過程為先按照樣品類型將冷凍電鏡圖片進(jìn)行分類,本文共分為3 類,然后采用深度學(xué)習(xí)算法進(jìn)行訓(xùn)練預(yù)測。本文采用卷積神經(jīng)網(wǎng)絡(luò),對白酒樣品的冷凍電鏡成像照片進(jìn)行鑒別分類時,相對而言,放大73000 倍和120000倍的圖像較為清晰,同時,由于采集圖像信息時,采集的73000 倍的圖像數(shù)據(jù)更為完整,因此,統(tǒng)一選取各白酒樣品的73000 倍的放大倍數(shù)進(jìn)行數(shù)據(jù)處理,若采集的120000 倍的圖像數(shù)據(jù)完整,也可用于數(shù)據(jù)處理。
圖11 7#樣品圖(120000×)
圖12 9#樣品圖(36000×)
2.2.1 面向白酒微觀圖像識別卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建
當(dāng)前,基于CNN 的網(wǎng)絡(luò)結(jié)構(gòu)主要有LeNet-5、AlexNet、CaffeNet、GoogleNet、DenseNet、VGG、ResNet、MobileNetV2 等,其中,AlexNet、CaffeNet等網(wǎng)絡(luò)結(jié)構(gòu)相對復(fù)雜,太冗雜,需要大量的時間和較高的硬件配置去訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu),且實測結(jié)果通常不佳。限于篇幅,本文主要采用LeNet-5、ResNet50、VGG16、GoogLeNet 等網(wǎng)絡(luò)結(jié)構(gòu),對其進(jìn)行微調(diào)改進(jìn)后構(gòu)造白酒微觀圖像分類識別器。
圖13 圖像處理結(jié)果圖
(1)LeNet-5 網(wǎng)絡(luò)結(jié)構(gòu)在白酒微觀圖像識別中存在的問題及改進(jìn)方法。LeNet-5作為較為小型的CNN 網(wǎng)絡(luò)結(jié)構(gòu),最早應(yīng)用于數(shù)字圖像的分類識別,原始的LeNet-5 網(wǎng)絡(luò)結(jié)構(gòu)主要是針對0~9 共10 個數(shù)字圖像分類進(jìn)行設(shè)計,其輸入圖像大小為32*32,數(shù)字圖像較為簡單。本研究中,LeNet-5 網(wǎng)絡(luò)結(jié)構(gòu)在白酒微觀圖像識別中主要存在的問題為:由于白酒微觀圖像與數(shù)字圖像的復(fù)雜程度差異較大,所需識別的類型數(shù)目也不一致,需要對各層網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)做進(jìn)一步的研究。針對上述問題,經(jīng)實驗研究后,主要改進(jìn)如下:①增加了ReLU 激活函數(shù):由于ReLU是一種分段線性函數(shù),其具有計算求導(dǎo)簡單,能夠避免深層網(wǎng)絡(luò)結(jié)構(gòu)中發(fā)生梯度發(fā)散的現(xiàn)象,因此,用來替代傳統(tǒng)的tanh 和sigmoid 激活函數(shù);②輸出層由10個神經(jīng)元改成3個神經(jīng)元。
(2)VGG16、ResNet50、GoogLeNet 等網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)。VGG 網(wǎng)絡(luò)結(jié)構(gòu)是輸入層為224*224*3,輸出層是對應(yīng)的1000 個物體類別,本研究中類別為3類,因此,將最后的輸出層類別由1000 改為3,輸入層圖像統(tǒng)一調(diào)整為224*224*3 大小格式,且由于本實驗的訓(xùn)練樣本較少,本文主要采用遷移學(xué)習(xí)的方式,遷移學(xué)習(xí)就是利用已有的深度神經(jīng)網(wǎng)絡(luò)(VGG16,ResNet,GoogLeNet 等)進(jìn)行簡單的微調(diào)。保留VGG 網(wǎng)絡(luò)前面原始權(quán)重不變,只訓(xùn)練全連接層。由于GoogLeNet 與ResNet50 網(wǎng)絡(luò)輸入及分類類別數(shù)與VGG16 都相同,因此,基于上述操作,分別采用VGG16,GoogLeNet,ResNet50 網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行訓(xùn)練。
2.2.2 基于CNN網(wǎng)絡(luò)結(jié)構(gòu)的白酒微觀圖像預(yù)處理
LeNet-5 網(wǎng)絡(luò)結(jié)構(gòu)中白酒微觀圖像預(yù)處理,如圖13 所示,將圖片大小由4096*4224 集體歸一化至32*32 尺寸;ResNet50、VGG16、GoogLeNet 等網(wǎng)絡(luò)結(jié)構(gòu),將圖片大小由4096*4224 集體歸一化至224*224尺寸。
2.2.3 實驗結(jié)果與分析
(1)采用LeNet-5 網(wǎng)絡(luò)結(jié)構(gòu)時,訓(xùn)練各參數(shù)中batch 大小為128,學(xué)習(xí)率為0.001,迭代次數(shù)為100。具體訓(xùn)練過程中訓(xùn)練樣本正確率變化如圖14所示,圖中橫坐標(biāo)代表訓(xùn)練的迭代次數(shù),縱坐標(biāo)為訓(xùn)練正確率。由圖14可知,本文針對白酒微觀圖像分類識別所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練白酒微觀圖像過程中達(dá)到了較好的效果,該網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練迭代到第30 次左右時開始接近收斂,在迭代到50 次時,樣本訓(xùn)練準(zhǔn)確率趨于穩(wěn)定接近88.89%。
(2)采用VGG16 網(wǎng)絡(luò)結(jié)構(gòu)時,訓(xùn)練各參數(shù)中batch 大小為128,學(xué)習(xí)率為0.001,迭代次數(shù)為50,訓(xùn)練結(jié)果如圖15所示,其訓(xùn)練準(zhǔn)確率達(dá)到88%。
圖15 VGG16網(wǎng)絡(luò)訓(xùn)練結(jié)果圖
(3)采用GoogLeNet 網(wǎng)絡(luò)結(jié)構(gòu)時,訓(xùn)練各參數(shù)中batch 大小為128,學(xué)習(xí)率為0.001,迭代次數(shù)為50,訓(xùn)練結(jié)果如圖16 所示,其訓(xùn)練準(zhǔn)確率達(dá)到94%。
圖16 GoogLeNet網(wǎng)絡(luò)訓(xùn)練結(jié)果圖
(4)采用ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)時,訓(xùn)練各參數(shù)中batch 大小為128,學(xué)習(xí)率為0.001,迭代次數(shù)為50,訓(xùn)練結(jié)果如圖17所示,其訓(xùn)練準(zhǔn)確率達(dá)到96%。
圖17 ResNet50網(wǎng)絡(luò)訓(xùn)練結(jié)果圖
本研究通過將冷凍電鏡技術(shù)與深度學(xué)習(xí)技術(shù)相結(jié)合,應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)對白酒樣品的冷凍電鏡成像照片信息進(jìn)行鑒別分類,主要采用了LeNet-5、ResNet50、VGG16、GoogLeNet 等網(wǎng)絡(luò)結(jié)構(gòu),針對白酒微觀圖像分類識別所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練白酒微觀圖像過程中達(dá)到了較好的效果,相對而言,ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練效果最佳,結(jié)果顯示,采用ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)時,樣本訓(xùn)練準(zhǔn)確率達(dá)到96%。本研究首次將冷凍電鏡技術(shù)應(yīng)用于白酒微觀形態(tài)的觀測,客觀來看,該研究存在一些不足,因冷凍電鏡的實驗成本較高,本文選取的樣本量相對較少,準(zhǔn)確率的提升依賴于大數(shù)據(jù)量,因此,在下一步研究中,將進(jìn)一步加大數(shù)據(jù)的收集,應(yīng)該可以通過訓(xùn)練進(jìn)一步提升準(zhǔn)確率。未來,可以預(yù)見,冷凍電鏡技術(shù)與深度學(xué)習(xí)技術(shù)的結(jié)合,除在白酒微觀觀測方面具有很高的應(yīng)用價值外,在液體樣品(食品等)觀測方面也將會有相當(dāng)廣闊的應(yīng)用前景。