張 柏，凌彩金，李露青，周巧儀，Zhenfeng Li，宋飛虎，宋春芳

基于數(shù)據(jù)融合策略的紅茶發(fā)酵程度判別

張 柏1，凌彩金2，李露青3，周巧儀2，Zhenfeng Li1，宋飛虎1，宋春芳1※

（1. 江南大學(xué)機械工程學(xué)院/江蘇省食品先進(jìn)制造裝備技術(shù)重點實驗室，無錫 214122；2. 廣東省農(nóng)業(yè)科學(xué)院茶葉研究所/廣東省茶樹資源創(chuàng)新利用重點實驗室，廣州 510640；3. 安徽農(nóng)業(yè)大學(xué)茶與食品科技學(xué)院/安徽農(nóng)業(yè)大學(xué)茶樹生物學(xué)與資源利用國家重點實驗室，合肥 230036）

發(fā)酵是紅茶加工過程中關(guān)鍵的一道工序，對紅茶的品質(zhì)形成有著重要影響。該研究以大葉種英德紅茶中的英紅九號為研究對象，試驗收集了204份不同發(fā)酵時間的紅茶樣品并使用便攜式近紅外光譜儀和工業(yè)相機獲取紅茶發(fā)酵中的信息，基于近紅外光譜數(shù)據(jù)、圖像數(shù)據(jù)和數(shù)據(jù)融合策略分別建立了紅茶發(fā)酵程度判別模型。通過分析茶多酚和兒茶素類含量的變化，將紅茶的發(fā)酵劃分為3個階段，即發(fā)酵不足、發(fā)酵適度和發(fā)酵過度。采用Savitzky-Golay光滑對原始光譜進(jìn)行預(yù)處理，利用競爭自適應(yīng)重加權(quán)采樣（Competitive Adaptive Reweighted Sampling, CARS）、連續(xù)投影算法（Successive Projections Algorithm, SPA）和主成分分析（Principal Components Analysis, PCA）對近紅外光譜變量進(jìn)行降維處理；相應(yīng)地，圖像進(jìn)行去陰影后提取了9個顏色特征變量，采用皮爾森（Pearson）相關(guān)分析和主成分分析進(jìn)行特征變量提取。最后采用線性判別分析（Linear Discriminant Analysis, LDA）和支持向量機（Support Vector Machine, SVM）分別建立了基于近紅外、圖像和兩者數(shù)據(jù)融合的分類模型。結(jié)果表明，在建模數(shù)據(jù)相同的條件下，非線性的支持向量機模型性能優(yōu)于線性判別分析模型。單一傳感器數(shù)據(jù)建模效果不佳，近紅外光譜和圖像判別模型的預(yù)測集最大準(zhǔn)確率僅為83.82%和73.53%。低層次數(shù)據(jù)融合建模效果較單一傳感器數(shù)據(jù)建模無明顯提升，而中層次的數(shù)據(jù)融合建模效果比單一數(shù)據(jù)建模均有顯著提高，其中SPA提取光譜變量結(jié)合Pearson提取圖像變量建立的判別模型效果較佳，校正集和預(yù)測集準(zhǔn)確率分別達(dá)到了97.06%和95.59%。研究表明，近紅外光譜和視覺結(jié)合的中層次融合策略可以作為一種快速判別紅茶發(fā)酵程度的方法，研究結(jié)果為紅茶發(fā)酵程度構(gòu)建等級模型與判別奠定了一定的理論基礎(chǔ)，為紅茶發(fā)酵的自動化檢測提供了重要依據(jù)。

近紅外光譜；機器視覺；紅茶發(fā)酵；數(shù)據(jù)融合；判別模型

0 引 言

茶是傳統(tǒng)三大非酒精植物型飲料之一，它不僅美味可口，而且還有一定健康功能。在國際市場上，紅茶是很受歡迎的茶類之一。近年來，隨著紅茶的藥用價值和保健作用被科學(xué)實驗進(jìn)一步證實[1-5]，全球范圍內(nèi)紅茶的消費量持續(xù)增長。英德紅茶是中國主要名優(yōu)茶之一，2018年的總產(chǎn)量達(dá)到7 700 t，品牌價值達(dá)20.78億元[6]。茶葉主要產(chǎn)于廣東省清遠(yuǎn)市英德市，因其濃厚、強烈、鮮爽的特征，在國內(nèi)外市場中贏得了一致好評。研究表明，英德紅茶水浸出物中茶多酚、總兒茶素、茶黃素和茶紅素含量為國內(nèi)紅茶中最高，茶褐素含量最低[7]，這些物質(zhì)的含量形成了英德紅茶獨有的風(fēng)味。紅茶的傳統(tǒng)加工工藝包括萎凋、揉捻、發(fā)酵和干燥。其中，發(fā)酵過程被認(rèn)為是最重要的步驟，因為在發(fā)酵過程中茶葉的化學(xué)成分發(fā)生了極大的改變，茶多酚和兒茶素類發(fā)生酶促氧化反應(yīng)生成茶黃素、茶紅素和茶褐素等物質(zhì)[8-10]，從而形成了茶的色、香、味、質(zhì)。傳統(tǒng)功夫紅茶的最佳發(fā)酵時間約在3 h左右[11-12]，而英德紅茶因茶多酚含量高等的特點，所需發(fā)酵時間比傳統(tǒng)紅茶長。因此，確定適宜的英德紅茶發(fā)酵時間至關(guān)重要，探索茶多酚、兒茶素類在發(fā)酵過程中含量的變化有利于確定適宜的發(fā)酵程度。

傳統(tǒng)方法中，茶師們根據(jù)經(jīng)驗從發(fā)酵茶葉的香氣和顏色的變化來判斷紅茶發(fā)酵的質(zhì)量，該方法具有較高的主觀性、不完全準(zhǔn)確且重現(xiàn)性差，無法保證每批加工茶葉的質(zhì)量[13]。目前，企業(yè)使用氣相色譜-質(zhì)譜分析法和高效液相色譜法等化學(xué)方法來檢測品質(zhì)成分，但這類方法的分析成本高、耗時長、需要員工具有一定的專業(yè)技能且無法及時反饋[11]，無法實現(xiàn)紅茶加工的自動化、智能化。近幾年，一些無損快速檢測技術(shù)被應(yīng)用在紅茶加工過程中，如電子鼻[14-15]和電子舌技術(shù)[16-17]。然而，電子鼻和電子舌都受環(huán)境的影響很大，且設(shè)備成本高昂無法在工業(yè)中廣泛應(yīng)用。

近年來，近紅外光譜技術(shù)（Near Infrared Spectroscopy, NIRS）由于其無損性和快速性在食品加工過程中得到廣泛應(yīng)用，尤其在茶葉領(lǐng)域取得了良好的效果，廣泛應(yīng)用于茶葉等級劃分[18]、產(chǎn)地溯源[19]、摻假研究[20]、貯藏年限檢測[21]和茶葉生化成分定量檢測[22-24]。機器視覺（Computer Vision, CV）是一種仿生技術(shù)，使用工業(yè)相機模擬視覺功能來獲取被測樣品圖像，通過圖像處理來獲取樣品的顏色、紋理和形狀等信息。目前, 機器視覺已經(jīng)較為成熟地應(yīng)用于農(nóng)業(yè)和食品工程領(lǐng)域，如張瑞青等[25]提出了一種基于遷移學(xué)習(xí)的圖像識別方法，可實現(xiàn)花生莢果等級識別；李小占等[26]利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合圖像處理來檢測哈密瓜的表面缺陷；李修華等[27]利用圖像的顏色特征變量來檢測葉片的葉綠素含量。已有研究表明，機器視覺可以檢測紅茶發(fā)酵質(zhì)量[28-29]。由于紅茶發(fā)酵過程的復(fù)雜性，顏色和風(fēng)味的變化都涉及其中，單一的傳感器很難對樣本信息進(jìn)行全面準(zhǔn)確的描述。Jin等[12]的研究表明，將近紅外數(shù)據(jù)與計算機視覺數(shù)據(jù)融合可以幫助提高評價紅茶發(fā)酵程度準(zhǔn)確率，但是該研究的設(shè)備為臺式傅立葉近紅外光譜儀，它體積龐大且價格昂貴，難以在實際的生產(chǎn)中使用。微型近紅外光譜儀因其價格低廉、易于攜帶等特點被應(yīng)用于茶葉領(lǐng)域[30-31]。研究表明，微型近紅外光譜儀結(jié)合機器視覺可以較好地評價紅茶發(fā)酵程度[32]，但是微型近紅外光譜儀的數(shù)據(jù)傳遞途徑為藍(lán)牙，藍(lán)牙傳遞數(shù)據(jù)的距離較短、速率較低且信號不穩(wěn)定容易受環(huán)境影響。

因此，本研究采用便攜式近紅外光譜系統(tǒng)和自行搭建的圖像采集系統(tǒng)分析紅茶發(fā)酵質(zhì)量。該光譜采集系統(tǒng)使用通用串行總線（Universal Serial Bus, USB）傳輸數(shù)據(jù)，信號較穩(wěn)定、抗干擾能力較強；使用Y型光纖采集光譜可以使得數(shù)據(jù)采集端與數(shù)據(jù)接收端分離，避免光譜儀在高濕度的發(fā)酵環(huán)境下工作，更適用于實際生產(chǎn)。通過分析不同發(fā)酵時間的茶多酚和兒茶素類含量的變化規(guī)律，基于近紅外光譜和機器視覺單獨評價紅茶發(fā)酵的性能，比較中低層次數(shù)據(jù)融合方法與單一傳感器數(shù)據(jù)建模的優(yōu)劣, 為紅茶發(fā)酵程度構(gòu)建等級模型與判別，紅茶發(fā)酵的自動化檢測提供依據(jù)。

1 材料與方法

1.1 材料與試劑

1.1.1 材 料

試驗于2021年10月在廣東省清遠(yuǎn)市英德市鴻雁茶葉有限公司進(jìn)行，茶鮮葉品種為英紅9號，以一芽兩嫩葉方式采摘茶葉。茶鮮葉在萎凋槽中均勻分布，在24 ℃左右溫度下風(fēng)扇萎凋22 h左右，含水率為56%～58%。隨后，通過皮帶輸送至揉捻機，揉捻約90 min。隨后茶葉運輸至發(fā)酵室，溫度恒定控制在24 ℃，空氣相對濕度為90% 以上，發(fā)酵時間延長至8 h使樣本可以覆蓋到過度發(fā)酵階段，每0.5 h采集12個樣品，本研究共采集204份樣品。樣品采集過程中，還進(jìn)行了近紅外光譜和計算機視覺試驗。然后，將204份樣品使用干冰保存運輸至實驗室，置于?80 ℃冰箱中保存待用。

1.1.2 試 劑

乙腈、甲醇、乙酸、乙二胺四乙酸二鈉、抗壞血酸、碳酸鈉、福林酚（國藥集團化學(xué)試劑有限公司）；沒食子酸、咖啡堿、沒食子兒茶素、表沒食子兒茶素、兒茶素、表兒茶素、表沒食子兒茶素沒食子酸酯、沒食子兒茶素沒食子酸酯、表兒茶素沒食子酸酯、兒茶素沒食子酯（上海源葉生物科技有限公司）。

1.2 儀器設(shè)備

自動化萎凋設(shè)備和揉捻設(shè)備組（廣東省農(nóng)業(yè)科學(xué)院茶葉研究所）；FA124C電子分析天平、HH-2數(shù)顯恒溫水浴鍋（上海力辰邦西儀器科技有限公司）；TG-16G型高速離心機（上海川一實驗儀器有限公司）；1260高效液相色譜儀（美國安捷倫科技有限公司）；T6紫外分光光度計（北京普析通用儀器有限責(zé)任公司）。

1.3 光譜采集

紅茶發(fā)酵過程中，在24 ℃環(huán)境溫度下，采用便攜式近紅外光譜系統(tǒng)以吸收模式在900～2 500 nm范圍內(nèi)掃描采集了所有茶葉樣品的光譜信息。光譜儀積分時間設(shè)置為100 ms，每條光譜曲線為32次掃描結(jié)果的平均值，其平均掃描時間為3.2 s，光譜平滑窗口默認(rèn)為0，每份樣品采集3條曲線，取3次光譜平均值為該份樣品的光譜曲線。該系統(tǒng)由一臺筆記本電腦、一臺便攜式近紅外光譜儀（NIR2500，上海復(fù)享光學(xué)股份有限公司）、一個鹵素光源（HL2000，上海復(fù)享光學(xué)股份有限公司）、一個檢測平臺、一根7股Y型光纖（FIB-Y-200-NIR，上海復(fù)享光學(xué)股份有限公司）、一個校正白板（STD-WS，上海復(fù)享光學(xué)股份有限公司）和一根USB數(shù)據(jù)傳輸線組成。

1.4 圖像采集

本研究采用自建的計算機視覺系統(tǒng)獲取茶葉發(fā)酵過程中的圖像信息。該系統(tǒng)包括一臺筆記本電腦、一個（40×40×40）cm3的暗箱配有4個光源和一個工業(yè)相機。相機的鏡頭被固定在暗箱的頂部，以確保恒定的角度和拍攝距離。另外，在圖像采集前20 min打開暗箱內(nèi)光源，保持暗箱內(nèi)環(huán)境穩(wěn)定。試驗中，每份樣品稱量10 g，放入直徑8 cm的玻璃培養(yǎng)皿中并把茶葉樣品的表面壓平，然后將培養(yǎng)皿放在暗箱中攝像機的視場中采集圖像。

1.5 品質(zhì)成分檢測

對試驗樣品其進(jìn)行冷凍干燥并采用磨粉機進(jìn)行磨粉。參照GB/T 8313-2018 《茶葉中茶多酚和兒茶素類含量的檢測方法》[33]，發(fā)酵紅茶中茶多酚含量的測定采用福林酚比色法，用紫外分光光度計在765 mm處測量被測溶液的吸收值；兒茶素類的含量使用高效液相色譜儀在流速1 mL/min、檢測波長278 nm條件下測量。

1.6 數(shù)據(jù)融合

數(shù)據(jù)融合是將不同來源的數(shù)據(jù)進(jìn)行融合，主要是利用互補的輸入數(shù)據(jù)來增強組合技術(shù)之間的協(xié)同作用，以充分了解分析目標(biāo)，獲得良好的分類和預(yù)測結(jié)果。數(shù)據(jù)融合策略分為低層次融合、中層次融合和高層次融合。低層次數(shù)據(jù)融合為多傳感器數(shù)據(jù)直接聯(lián)合成一個矩陣進(jìn)行多維變量分析；中層次的融合是提取每個傳感器的特征變量并基于特征變量進(jìn)行融合；高層次的融合處理每個傳感器數(shù)據(jù)并做出判斷，最后對所有決策進(jìn)行融合，這需要精確的數(shù)據(jù)處理。根據(jù)文獻(xiàn)結(jié)果[11-12,32]，本文選擇了中低水平的數(shù)據(jù)融合進(jìn)行數(shù)據(jù)處理。

2 結(jié)果與分析

2.1 紅茶發(fā)酵程度品質(zhì)成分分析

在紅茶發(fā)酵過程中，茶多酚和兒茶素類物質(zhì)在多酚氧化酶的作用下發(fā)生氧化聚合生成紅茶特有的風(fēng)味物質(zhì)。茶多酚含量變化如圖1a所示，茶多酚平均含量在發(fā)酵開始最高達(dá)到23.47%，在0.5～2.0 h之間，茶多酚含量迅速下降，降解率達(dá)到24.27%，表明茶多酚在此期間被迅速氧化；在2.5～3.5 h茶多酚含量持續(xù)下降，下降速率較之前有所變緩；在4.0～5.0 h之間茶多酚含量基本不變，降解率在29.75%～30.60%范圍內(nèi)，表明在此期間只有極少量茶多酚被氧化；5.5 h以后又有些許茶多酚被氧化并持續(xù)到8 h，最終降解率達(dá)到37.46%。如圖1b所示，兒茶素類含量變化與茶多酚具有相似的變化規(guī)律，前期兒茶素類含量迅速下降，后放緩慢下降，在4～5 h趨于平緩，5 h后緩慢下降。

圖1 發(fā)酵期間茶多酚和兒茶素類含量變化

在發(fā)酵前期，茶多酚迅速氧化降解生成茶黃素和茶紅素[34-35]，隨著紅茶的持續(xù)發(fā)酵，茶多酚持續(xù)降解，在發(fā)酵4～5 h之間，茶多酚極少降解。在發(fā)酵過程中，茶黃素和茶紅素同時會進(jìn)一步氧化聚合生成茶褐素，從而形成紅茶特有的風(fēng)味[36]。5.5 h以后僅些許茶多酚被氧化，但在此期間茶黃素和茶紅素會持續(xù)氧化聚合生成茶褐素，茶褐素過多會使得紅茶顏色發(fā)暗，影響紅茶的口感，導(dǎo)致過度發(fā)酵。因此，根據(jù)茶多酚和兒茶素類發(fā)酵過程中降解率的變化并結(jié)合茶葉現(xiàn)場評審專家的判斷，將紅茶發(fā)酵樣品劃分為3個階段，即發(fā)酵不足、發(fā)酵適度和發(fā)酵過度。如表1所示，茶多酚降解率為0～28.16%，兒茶素類降解率為0～47.57%被劃分為發(fā)酵不足；茶多酚降解率為29.75%～30.60%，兒茶素類降解率為49.41%～50.27%被劃分為發(fā)酵適度；茶多酚降解率為32.23%～37.46%，兒茶素類降解率為53.86%～59.99%被劃分為發(fā)酵過度。

表1 發(fā)酵紅茶的分組

2.2 近紅外光譜數(shù)據(jù)分析

2.2.1 光譜預(yù)處理

試驗采集樣品900～2 500 nm波長的近紅外光譜曲線，光譜兩端因噪聲影響較大需要去除，故取950～2 400 nm范圍內(nèi)的波形。圖2a為紅茶發(fā)酵試驗0～8 h每組樣品的平均近紅外光譜原始圖，在光譜曲線上存在的許多粗糙毛刺清晰可見，這是由于光譜采集過程中產(chǎn)生的噪聲干擾造成的，因此原始光譜需要進(jìn)行預(yù)處理。本文采用Savitzky-Golay(S-G)光滑對發(fā)酵樣品曲線進(jìn)行預(yù)處理，預(yù)處理后平均光譜如圖2b所示，毛刺的形貌明顯改善，表明噪聲降低。圖2a和b中的光譜曲線顯示，在1 140～1 160、1 430～1 450和1 920～1 940 nm三個波長范圍內(nèi)存在明顯的吸收峰。1 150 nm的吸收峰可能與游離氨基酸的烯烴C-H二級倍頻和兒茶素類的甲基C-H二級倍頻有關(guān)；1 440 nm的吸收峰可能是由水的O-H一級倍頻導(dǎo)致的；1 930 nm左右的吸收峰可歸因于的水的O-H組合頻[11,32]。

由于光譜變量數(shù)量較大，且含有與發(fā)酵茶葉信息無關(guān)的冗余變量，需要對光譜進(jìn)行降維處理。本文采用了競爭自適應(yīng)重加權(quán)采樣、連續(xù)投影算法和主成分分析對光譜數(shù)據(jù)進(jìn)行精簡。

利用競爭自適應(yīng)重加權(quán)采樣（Competitive Adaptive Reweighted Sampling, CARS）對S-G光滑處理的光譜進(jìn)行有效波長的篩選，本試驗蒙特卡羅采樣次數(shù)設(shè)置為50，采用10倍交叉驗證建模來評估每個變量，其結(jié)果如圖3a、b、c所示，當(dāng)采樣次數(shù)為22次時，其交互驗證均方根誤差（Root Mean Square Error of Cross Validation, RMSECV）最小，篩選出29個特征波長。連續(xù)投影算法（Successive Projections Algorithm, SPA）是一種前向特征變量選擇方法，該方法可以有效地消除原始光譜矩陣中的冗余信息，運用SPA提取光譜的特征波長結(jié)果如圖3d所示，共選出17個特征波長。

圖2 茶葉樣品的原始光譜和S-G光滑預(yù)處理光譜曲線

圖3 競爭自適應(yīng)重加權(quán)采樣和連續(xù)投影算法篩選的特征波長

2.2.2 光譜變量降維

主成分分析（Principal Components Analysis, PCA）不僅可以對光譜數(shù)據(jù)進(jìn)行降維處理，而且可以可視化紅茶發(fā)酵過程中樣品的分布。如圖4所示，前三個主成分解釋了總方差的92.76%（PC1=61.18%，PC2=19.97%，PC3=11.61%），圖中可以看出三個發(fā)酵階段的樣本存在一定范圍內(nèi)的聚集，這表明對近紅外光譜數(shù)據(jù)使用主成分分析并不能很好地判別紅茶發(fā)酵程度。

圖4 發(fā)酵紅茶光譜數(shù)據(jù)的主成分分析

2.3 圖像數(shù)據(jù)分析

不同發(fā)酵時間的紅茶圖像如圖5a所示，從圖中可以看出，茶葉顏色從青綠色逐漸向深紅色變化，到4 h左右綠色幾乎消失，這是由于隨著發(fā)酵的進(jìn)行茶多酚和兒茶素類被氧化生成茶色素，且葉綠素降解為脫鎂葉綠素[37]。

對采集的圖像進(jìn)行一定的預(yù)處理后提取顏色特征值（,,,,,,,,），其結(jié)果如圖5b,c,d所示。在發(fā)酵0～4 h期間，特征值呈現(xiàn)總體快速上升趨勢，值變化趨勢不明顯，其余顏色特征均有明顯的下降趨勢，這與圖1所示的化學(xué)成分變化趨勢相一致。在4～5 h期間，達(dá)到最高峰值、達(dá)到最低峰值，葉片顏色的紅色程度最高。5 h后，代表發(fā)酵葉片紅色程度的、、值趨于平緩，代表黃藍(lán)顏色通道的仍有下降趨勢，發(fā)酵葉片呈現(xiàn)棕色，紅茶的感官質(zhì)量下降。

圖5 不同發(fā)酵時間的茶葉圖像及其顏色特征變量

采用皮爾森（Pearson）相關(guān)分析來評估顏色變量與多酚和兒茶素類濃度之間的關(guān)系，結(jié)果如圖6所示。值與茶多酚和兒茶素類的相關(guān)性均很低，值與茶多酚（=?0.511）和兒茶素類（=?0.510）均呈一定的負(fù)相關(guān)，其他顏色變量均與多酚和兒茶素類濃度均呈顯著正相關(guān)（>0.6）。、、與茶多酚相關(guān)系數(shù)分別為0.898、0.885、0.917，與兒茶素類相關(guān)系數(shù)分別為0.900、0.881、0.934，它們之間均顯著相關(guān)，因此使用Pearson相關(guān)性分析提取了、和三個顏色特征。

注：紅色和藍(lán)色分別表示正相關(guān)和負(fù)相關(guān)，顏色越深、圓面積越大表示相關(guān)性越強; ‘×’表示顯著性水平P>0.05。

對圖像9個顏色特征變量進(jìn)行主成分分析，結(jié)果如圖7所示，前三個主成分很好地解釋了總方差的99.91%（PC1=80.56%，PC2=11.14%，PC3=8.21%），圖中可以看出三個發(fā)酵階段的樣本存在一定范圍內(nèi)的聚集，這與近紅外光譜數(shù)據(jù)主成分分析結(jié)果相似，表明圖像數(shù)據(jù)的主成分分析并不能很好地判別紅茶發(fā)酵程度。

圖7 發(fā)酵紅茶圖像數(shù)據(jù)的主成分分析

2.4 單一傳感器數(shù)據(jù)建模

在建立預(yù)測模型之前，使用Kennard-Stone(K-S)法以2:1的比例將204份試驗驗樣品劃分為校正集和預(yù)測集。光譜數(shù)據(jù)和圖像數(shù)據(jù)均建立了線性判別分析（Linear Discriminant Analysis, LDA）和支持向量機（Support Vector Machine, SVM）判別模型，校正集和預(yù)測集的建模判別結(jié)果如表2所示。通過比較LDA和SVM判別模型，可以發(fā)現(xiàn)SVM模型性能總體優(yōu)于LDA模型，這可能是由于紅茶發(fā)酵過程是不平衡的，非線性的支持向量機模型更適用于紅茶發(fā)酵程度判別。近紅外光譜數(shù)據(jù)的全光譜建模與三種降維方法CARS、SPA、PCA建立的SVM模型校正集準(zhǔn)確率分別為72.79%、99.26%、98.53%、73.53%，對應(yīng)的預(yù)測集準(zhǔn)確率分別為70.59%、83.82%、77.94%、64.71%，光譜采集的較佳模型為采用CARS特征提取的SVM模型，校正集和預(yù)測集準(zhǔn)確率均為80%以上，取得比較滿意的結(jié)果。機器視覺圖像9個顏色變量數(shù)據(jù)整體建模與Pearson、PCA處理方法建立的SVM模型校正集準(zhǔn)確率分別為86.03%、84.56%、86.03%，相應(yīng)的預(yù)測集準(zhǔn)確率分別為73.53%、70.59%、72.06%，較佳模型的預(yù)測集準(zhǔn)確率為73.53%，取得結(jié)果欠佳。這一結(jié)果表明，紅茶發(fā)酵的化學(xué)變化是一個非常復(fù)雜的過程，單一傳感器對發(fā)酵程度的判定并不能取得良好的結(jié)果。

2.5 數(shù)據(jù)融合建模

紅茶發(fā)酵是一個復(fù)雜的過程，涉及顏色和多種風(fēng)味物質(zhì)化學(xué)成分的變化。因此，獲取單一傳感器數(shù)據(jù)來評價紅茶發(fā)酵質(zhì)量是不夠的，需要結(jié)合兩種傳感器數(shù)據(jù)進(jìn)行聯(lián)合建模。本文采用低層次和中層次數(shù)據(jù)融合策略進(jìn)行建模，模型判別準(zhǔn)確率如表2所示。通過對比可以發(fā)現(xiàn)，通過特征提取的中層次數(shù)據(jù)融合策略建立的LDA和SVM模型效果均優(yōu)于低層次數(shù)據(jù)融合策略，其原因可能是低層次數(shù)據(jù)融合直接融合全部光譜數(shù)據(jù)和圖像數(shù)據(jù)建模，這些數(shù)據(jù)可能包含了與發(fā)酵程度無關(guān)的變量，導(dǎo)致了建模效果較差；SVM模型預(yù)測準(zhǔn)確性皆比LDA模型高，這結(jié)果與單一傳感器建模效果類似，可能因為紅茶發(fā)酵過程是不均衡的，線性判別模型適用性會比較低。使用CARS特征提取光譜數(shù)據(jù)結(jié)合Pearson提取圖像數(shù)據(jù)、SPA特征提取光譜數(shù)據(jù)結(jié)合Pearson提取圖像數(shù)據(jù)和都使用PCA降維處理建立SVM預(yù)測模型的校正集準(zhǔn)確率分別為100.00%、97.06%、99.26%，對應(yīng)的預(yù)測集準(zhǔn)確率分別為85.30%、95.59%、86.77%。對比單一傳感器近紅外較佳模型的預(yù)測集準(zhǔn)確率83.82%和圖像數(shù)據(jù)較佳模型的預(yù)測集準(zhǔn)確率73.53%，中層次數(shù)據(jù)融合建模效果總體上比單一傳感器數(shù)據(jù)建模有所提升。

表2 不同數(shù)據(jù)源的紅茶發(fā)酵程度判別準(zhǔn)確率對比

注：為誤差懲罰因子，為核函數(shù)參數(shù)。

Note: Parameterrepresents error penalty factor, andrepresents kernel function parameter.

其中，使用SPA提取光譜變量結(jié)合Pearson提取圖像變量建立的判別模型效果最佳，校正集和預(yù)測集準(zhǔn)確率分別達(dá)到了97.06%和95.59%，模型具體判別效果如圖8所示。在校正集中，模型可以很好辨別出發(fā)酵不足樣品，有8.33%的發(fā)酵適度樣品被誤判為過度發(fā)酵，4.76%的發(fā)酵過度樣品被誤判為發(fā)酵適度；在預(yù)測集中，模型對發(fā)酵不足樣品判別的準(zhǔn)確率為100%，8.33%的發(fā)酵適度樣品被誤判為發(fā)酵過度，6.67%的發(fā)酵過度樣品被誤判為發(fā)酵適度?？傮w而言，中層次數(shù)據(jù)融合方法在紅茶發(fā)酵適度判別中取得了比較令人滿意的結(jié)果，來自兩種傳感器數(shù)據(jù)的互補很好地體現(xiàn)紅茶發(fā)酵的特征現(xiàn)象，提高了發(fā)酵判別的準(zhǔn)確率。

注：標(biāo)簽IF、MF、EF分別代表了發(fā)酵不足、適度發(fā)酵和過度發(fā)酵。

3 結(jié) 論

本文利用近紅外光譜技術(shù)結(jié)合機器視覺來判別英德紅茶的發(fā)酵程度并分析了其可行性。為了克服發(fā)酵過程的高濕環(huán)境，建立了一種便攜式近紅外光譜系統(tǒng)實現(xiàn)了光譜采集端與接收端的分離。試驗主要結(jié)論如下：

1）近紅外光譜和圖像數(shù)據(jù)單獨建模較優(yōu)判別準(zhǔn)確率分別為83.82%和73.53%，其效果不佳；

2）低層次數(shù)據(jù)融合建模效果較單一傳感器數(shù)據(jù)建模沒有明顯提升，這可能是因為融合的數(shù)據(jù)中含有較多的無關(guān)變量；

3）中層次數(shù)據(jù)融合在評價紅茶發(fā)酵度方面優(yōu)于單一傳感器，說明從單個傳感器獲得的信息不足以代表紅茶發(fā)酵全部信息?；谶B續(xù)投影算法（Successive Projections Algorithm, SPA）和皮爾森（Pearson）相關(guān)分析特征提取的中層融合支持向量機（Support Vector Machine, SVM）模型的分類準(zhǔn)確率最高，校正集和預(yù)測集準(zhǔn)確率分別達(dá)到了97.06%和95.59%。該研究結(jié)果為紅茶發(fā)酵過程的自動化提供了理論基礎(chǔ)，為實現(xiàn)便攜式近紅外光譜儀結(jié)合工業(yè)相機自動化監(jiān)控紅茶發(fā)酵過程提供科學(xué)依據(jù)。

[1] Shan Z G, Nisar M F, Li M X, et al. Theaflavin chemistry and its health benefits [J]. Oxidative Medicine and Cellular Longevity, 2021, 2021: 6256618.

[2] Zhang H, Qi R L, Mine Y. The impact of oolong and black tea polyphenols on human health [J]. Food Bioscience, 2019, 29: 55-61.

[3] Yan Z M, Zhong Y Z, Duan Y H, et al. Antioxidant mechanism of tea polyphenols and its impact on health benefits[J]. Animal Nutrition, 2020, 6(2): 115-123.

[4] Rasheed Z. Molecular evidences of health benefits of drinking black tea[J]. International Journal of Health Sciences-IJHS, 2019, 13(3): 1-3.

[5] Chakraborty K, Dey A, Bhattacharyya A, et al. Anti-fibrotic effect of black tea () extract in experimental pulmonary fibrosis [J]. Tissue & Cell, 2019, 56: 14-22.

[6] 位亞路，劉路星. 基于SWOT-PEST分析法的茶產(chǎn)業(yè)高質(zhì)量發(fā)展研究：以英德紅茶產(chǎn)業(yè)為例[J]. 清遠(yuǎn)職業(yè)技術(shù)學(xué)院學(xué)報，2022，15(1)：30-40.

Wei Yalu, Liu Luxing. Study on high quality development of black tea industry based on SWOT-PEST analysis: Taking Yingde black tea industry as an example[J]. Journal of Qingyuan Polytechnic, 2022, 15(1): 30-40. (in Chinese with English abstract).

[7] 范捷. 英德茶文化與英德紅茶品質(zhì)特征研究[D]. 長沙：湖南農(nóng)業(yè)大學(xué)，2019.

Fan Jie. Study on Yingde Tea Culture and the Quality Characteristic of Yingde Black Tea[D]. Changsha: Hunan Agricultural University, 2019. (in Chinese with English abstract)

[8] Wang H J, Shen S, Wang J J, et al. Novel insight into the effect of fermentation time on quality of Yunnan Congou black tea[J]. LWT-Food Science and Technology, 2022, 155: 112939.

[9] Hua J J, Wang H J, Yuan H B, et al. New insights into the effect of fermentation temperature and duration on catechins conversion and formation of tea pigments and theasinensins in black tea[J]. Journal of the Science of Food and Agriculture, 2022, 102(7): 2750-2760.

[10] Dong C W, Yang C S, Liu Z Y, et al. Nondestructive testing and visualization of catechin content in black tea fermentation using hyperspectral imaging[J]. Sensors, 2021, 21(23): 8051.

[11] Wang Y J, Li L Q, Zhang Z Z. Enhanced quality monitoring during black tea processing by the fusion of NIRS and computer vision[J]. Journal of Food Engineering, 2021, 304: 110599.

[12] Jin G, Wang Y J, Li L Q, et al. Intelligent evaluation of black tea fermentation degree by FT-NIR and computer vision based on data fusion strategy[J]. LWT-Food Science and Technology, 2020, 125: 109216.

[13] Zhu H K, Liu F, Ye Y, et al. Application of machine learning algorithms in quality assurance of fermentation process of black tea based on electrical properties[J]. Journal of Food Engineering, 2019, 263: 165-172.

[14] Sharmilan T, Premarathne I, Wanniarachchi I, et al. Electronic nose technologies in monitoring black tea manufacturing process[J]. Journal of Sensors, 2020, 2020: 3073104.

[15] Ghosh S, Tudu B, Bhattacharyya N, et al. A recurrent Elman network in conjunction with an electronic nose for fast prediction of optimum fermentation time of black tea[J]. Neural Computing & Applications, 2019, 31(2): 1165-1171.

[16] Ren G X, Li T H, Wei Y M, et al. Estimation of Congou black tea quality by an electronic tongue technology combined with multivariate analysis[J]. Microchemical Journal, 2021, 163: 105899.

[17] Ouyang Q, Yang Y C, Wu J Z, et al. Measurement of total free amino acids content in black tea using electronic tongue technology coupled with chemometrics[J]. LWT-Food Science and Technology, 2020, 118: 108768.

[18] Ren G X, Wang Y J, Ning J M, et al. Highly identification of keemun black tea rank based on cognitive spectroscopy: Near infrared spectroscopy combined with feature variable selection [J]. Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy, 2020, 230: 118079.

[19] 陳琦，潘天紅，李魚強，等. 基于卷積神經(jīng)網(wǎng)絡(luò)和近紅外光譜的太平猴魁茶產(chǎn)地鑒別分析[J]. 光譜學(xué)與光譜分析，2021，41(9)：2776-2781.

Chen Qi, Pan Tianhong, Li Yuqiang, et al. Geographical origin discrimination of Taiping Houkui tea using convolutional neural network and near-Infrared spectroscopy[J]. Spectroscopy and Spectral Analysis, 2021, 41(9): 2776-2781. (in Chinese with English abstract).

[20] Dong C W, Liu Z Y, Yang C S, et al. Rapid detection of exogenous sucrose in black tea samples based on near-infrared spectroscopy[J]. Infrared Physics & Technology, 2021, 119: 103934.

[21] Ou Q H, Li J M, Yang X E, et al. Identification of Pu’er raw tea with different storage years by infrared spectroscopy[J]. Journal of Food Processing and Preservation, 2021, 45(12): e16103.

[22] Zhang S S, Zuo Y M, Wu Q, et al. Development and validation of near-Infrared methods for the quantitation of caffeine, epigallocatechin-3-gallate, and moisture in green tea production[J]. Journal of Analytical Methods in Chemistry, 2021, 2021: 9563162.

[23] Guo Z M, Barimah A O, Shujat A, et al. Simultaneous quantification of active constituents and antioxidant capability of green tea using NIR spectroscopy coupled with swarm intelligence algorithm[J]. LWT-Food Science and Technology, 2020, 129: 109510.

[24] Chen S M, Wang C Y, Tsai, C Y, et al. Fermentation quality evaluation of tea by estimating total catechins and theanine using near-infrared spectroscopy[J]. Vibrational Spectroscopy, 2021, 115: 103278.

[25] 張瑞青，李張威，郝建軍，等. 基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)花生莢果等級圖像識別[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(23)：171-180.

Zhang Ruiqing, Li Zhangwei, Hao Jianjun, et al. Image recognition of peanut pod grades based on transfer learning with convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(23): 171-180. (in Chinese with English abstract)

[26] 李小占，馬本學(xué)，喻國威，等. 基于深度學(xué)習(xí)與圖像處理的哈密瓜表面缺陷檢測[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(1)：223-232.

Li Xiaozhan, Ma Benxue, Yu Guowei, et al. Surface defect detection of Hami melon using deep learning and image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(1): 223-232. (in Chinese with English abstract)

[27] 李修華，盧顯杰，奚金陽，等. 智能手機RGB圖像檢測植物葉片葉綠素含量的通用方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(22)：145-151.

Li Xiuhua, Lu Xianjie, Xi Jinyang, et al. Univeisal method to detect the chlorophyll content in plant leaves with RGB images captured by smart phones[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 145-151. (in Chinese with English abstract)

[28] Ren G X, Gan N, Song Y, et al. Evaluating Congou black tea quality using a lab-made computer vision system coupled with morphological features and chemometrics[J]. Microchemical Journal, 2021, 160: 105600.

[29] Dong C W, Liang G Z, Hu B, et al. Prediction of Congou black tea fermentation quality indices from color features using non-linear regression methods[J]. Scientific Reports, 2018, 8(1): 10535.

[30] Wang Y J, Li T H, Li L Q, et al. Evaluating taste-related attributes of black tea by micro-NIRS [J]. Journal of Food Engineering, 2021, 290: 110181.

[31] Li L Q, Wang Y J, Jin S S, et al. Evaluation of black tea by using smartphone imaging coupled with micro-near-infrared spectrometer[J]. Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy, 2021, 246: 118991.

[32] Jin G, Wang Y J, Li M H, et al. Rapid and real-time detection of black tea fermentation quality by using an inexpensive data fusion system [J]. Food Chemistry, 2021, 358: 129815.

[33] 國家質(zhì)量監(jiān)督檢驗檢疫總局，中國國家標(biāo)準(zhǔn)化管理委員會. GB/T 8313-2018茶葉中茶多酚和兒茶素類含量的檢測方法[S]. 北京：中國標(biāo)準(zhǔn)出版社，2018

[34] Chen L, Liu F, Yang Y F, et al. Oxygen-enriched fermentation improves the taste of black tea by reducing the bitter and astringent metabolites[J]. Food Research International, 2021, 148: 110613.

[35] Hua J J, Xu Q, Yuan H B, et al. Effects of novel fermentation method on the biochemical components change and quality formation of Congou black tea[J]. Journal of Food Composition and Analysis, 2021, 96: 103751.

[36] Yang C S, Zhao Y, An T, et al. Quantitative prediction and visualization of key physical and chemical components in black tea fermentation using hyperspectral imaging[J]. LWT-Food Science and Technology, 2021, 141: 110975.

[37] 金戈. 基于數(shù)字化技術(shù)的紅茶發(fā)酵綜合評價[D]. 合肥：安徽農(nóng)業(yè)大學(xué)，2021.

Jin Ge. Comprehensive Evaluation of Black Tea Fermentation Based on Digital Technology[D]. Hefei: Anhui Agricultural University, 2021. (in Chinese with English abstract)

Discrimination of black tea fermentation degrees based on data fusion strategy

Zhang Bai1, Ling Caijin2, Li Luqing3, Zhou Qiaoyi2, Zhenfeng Li1, Song Feihu1, Song Chunfang1※

(1,,,214122,; 2,510640,; 3,,,230036,)

Fermentation is a key processing step for the quality of black tea. Tea polyphenols (catechins) are generally oxidized by the polyphenol oxidase and peroxidase to form the theaflavins and thearubigins. In this research, the Yinghong NO.9 of Yingde black tea was collected by the kind of one bud and two leaves. The data was collected during different black tea fermentation time using a portable near-infrared spectrometer and a Charge-Coupled Device (CCD) camera. A discriminant model was established for the black tea fermentation degree using near-infrared spectra, images, and the data fusion of spectra and images. Specifically, 204 samples of black tea at different fermentation time were collected to acquire the near-infrared spectrum and images. The content of tea polyphenols was determined using an ultraviolet spectrophotometer with a detection wavelength of 765 nm. The catechins concentration was measured by High-Performance Liquid Chromatography (HPLC) at a flow rate of 1 mL/min and detection wavelength of 278 nm. The contents of tea polyphenols and catechins decreased rapidly in the early period, tending to be flat at 4-5 h, and continued to fall off after 5.5 h. According to the changes in the tea polyphenols and catechins, the fermentation degree of black tea was divided into three stages: insufficient, moderate, and excessive fermentation. Savitzky-Golay smoothing was adopted to process the rough burrs of the original spectrum that were caused by noise interference. Then, the Competitive Adaptive Reweighted Sampling (CARS) and Successive Projections Algorithm (SPA) were applied to reduce the data dimensionality of near-infrared spectral variables, where the feature wavelengths were selected. Meanwhile, nine color feature variables were extracted from the images after shadow removal. Pearson correlation analysis between chemical components and color variables was conducted to extract the feature variables. In addition, the Principal Component Analysis (PCA) was employed to reduce the data dimensionality for the distribution of black tea fermentation samples. The PCA of spectral and image data showed the similar three fermentation stages were not separated significantly, indicating that PCA cannot effectively discriminate the fermentation stage. Finally, the discrimination models were established using the near-infrared, image, and their data fusion through Linear Discriminant Analysis (LDA) and Support Vector Machine (SVM). The comparison of the model showed that the performance of nonlinear SVM models was better than that of LDA models under the same conditions, indicating the unbalanced process of black tea fermentation. Furthermore, a single sensor failed to discriminate the fermentation degree. There was less performance in the models using a single sensor, due mainly to the complex change of fermentation information. In general, the maximum accuracies were only 83.82% and 73.53% for the prediction set of the discrimination models using near-infrared spectra and images, respectively. The performance of the middle-level data fusion models was significantly improved, compared with the models founded on a single sensor, or the low-level data fusion. The reason was that the low-level date fusion brought the variables irrelevant to the black tea fermentation. Among them, better performance was achieved in the SVM discriminant model that was established by SPA extraction of spectral variables and Pearson correlation analysis extraction of image variables, with 97.06% and 95.59% accuracies of calibration and prediction set. Consequently, a rapid and nondestructive method can be used to evaluate the degree of black tea fermentation under the middle-level fusion strategy using near-infrared spectroscopy and computer vision. A theoretical foundation was laid to establish a grade model and discrimination of black tea fermentation degrees. The finding can provide an important basis for the detection and automation of black tea fermentation.

near infrared spectroscopy; computer vision; black tea fermentation; data fusion; discrimination model

10.11975/j.issn.1002-6819.2022.15.037

TS272.3

A

1002-6819(2022)-15-0339-09

張柏，凌彩金，李露青，等. 基于數(shù)據(jù)融合策略的紅茶發(fā)酵程度判別[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(15)：339-347. doi：10.11975/j.issn.1002-6819.2022.15.037 http://www.tcsae.org

Zhang Bai, Ling Caijin, Li Luqing, et al. Discrimination of black tea fermentation degrees based on data fusion strategy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 339-347. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.037 http://www.tcsae.org

2022-05-09

2022-07-14

廣東省茶樹資源創(chuàng)新利用重點實驗室開放課題（2020KF02）；安徽農(nóng)業(yè)大學(xué)茶樹生物學(xué)與資源利用國家重點實驗室開放基金資助項目（SKLTOF20210117）；廣州市科技計劃項目（202002020079）；以農(nóng)產(chǎn)品為單元的廣東省現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術(shù)體系創(chuàng)新團隊建設(shè)項目（茶葉）（2021KJ120）

張柏，研究方向：茶葉智能化加工。Email：dfuczb@126.com

宋春芳，教授，博士生導(dǎo)師，研究方向：農(nóng)產(chǎn)品無損檢測與控制。Email：songcf@jiangnan.edu.cn