謝元澄，馬 瑤，沈 毅，王玥天，樊 娟，董明盛，梁敬東,*

（1.南京農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院，江蘇 南京 210095；2.南京農(nóng)業(yè)大學(xué)食品科技學(xué)院，江蘇 南京 210095）

丹貝固態(tài)發(fā)酵過程時間序列分析與預(yù)測

謝元澄1，馬 瑤1，沈 毅1，王玥天1，樊 娟2，董明盛2，梁敬東1,*

（1.南京農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院，江蘇 南京 210095；2.南京農(nóng)業(yè)大學(xué)食品科技學(xué)院，江蘇 南京 210095）

基于機(jī)器視覺替代物理化學(xué)方法和人工方法檢測丹貝發(fā)酵過程。計算色調(diào)、飽和度、亮度彩色模型空間灰度共生矩陣來提取丹貝發(fā)酵圖像紋理特征。通過和人工感官評定方法的對比，丹貝圖像紋理特征曲線轉(zhuǎn)折點(diǎn)被證明可以作為決策依據(jù)來區(qū)分丹貝發(fā)酵的4 個時期，并進(jìn)一步細(xì)分為6 個階段。紋理數(shù)據(jù)分析表明，少孢根霉菌絲發(fā)酵起點(diǎn)比人工方法提前3 h確定，丹貝發(fā)酵紋理特征值的極值點(diǎn)即為丹貝發(fā)酵過程的終點(diǎn)。通過移動觀測窗來構(gòu)建紋理特征時間序列，進(jìn)而利用神經(jīng)網(wǎng)絡(luò)集成訓(xùn)練構(gòu)建丹貝發(fā)酵過程的非線性時間序列模型，并最終通過此模型預(yù)測圖像紋理特征曲線變化的極值點(diǎn)來實(shí)現(xiàn)對丹貝固態(tài)發(fā)酵過程和發(fā)酵終點(diǎn)的分析與預(yù)測。

丹貝；固態(tài)發(fā)酵；時間序列；神經(jīng)網(wǎng)絡(luò)集成

印度尼西亞傳統(tǒng)固態(tài)發(fā)酵食品丹貝（tempeh），又稱填貝，以豆類為基質(zhì)通過接種根霉發(fā)酵而成[1]。其生產(chǎn)加工分為預(yù)加工和發(fā)酵兩個過程。預(yù)加工過程包括浸泡、去皮、蒸煮和接種少孢根霉（米根霉、無根根霉、匍匐根霉）4 個步驟[1]；發(fā)酵過程包括發(fā)酵前期、發(fā)酵中期、發(fā)酵終點(diǎn)期和過度發(fā)酵期4 個時期。丹貝成熟度取決于真菌生物量的增加值，目前真菌生物量的測定主要通過間接測量法獲得。可通過化學(xué)量，如CO2排出量、幾丁質(zhì)、N-乙酰葡糖胺、漆酶、葡糖胺、麥角固醇等，進(jìn)行間接測量；也可以通過物理量的間接測量獲取，如：基于固態(tài)發(fā)酵體內(nèi)部電容值檢測的真菌生物量在線測定[2]，基于近紅外光譜（near infra-red spectroscopy，NIRS）技術(shù)的真菌生物量（幾丁質(zhì)、麥角甾醇）的測量和真菌毒素檢測[3]。生物量的快速檢測目前最主要一類技術(shù)手段是結(jié)合機(jī)器學(xué)習(xí)算法進(jìn)行NIRS分析，如通過對NIRS圖像特征進(jìn)行學(xué)習(xí)和建立神經(jīng)網(wǎng)絡(luò)模型可以對普洱茶發(fā)酵過程進(jìn)行判定[4]，基于一類支持向量機(jī)和NIRS技術(shù)進(jìn)行秸稈固態(tài)發(fā)酵過程檢測[5]，基于NIRS技術(shù)結(jié)合極限學(xué)習(xí)機(jī)快速檢測固態(tài)發(fā)酵過程中的pH值[6]，NIRS結(jié)合遺傳算法快速檢測紅曲霉固態(tài)發(fā)酵生物量[7]，基于NIRS和支持向量對小麥秸稈固態(tài)發(fā)酵進(jìn)行監(jiān)控[8]，基于NIRS和最小二乘支持向量機(jī)檢測醋的分類和總酸含量[9]；另一類是以傳感器為主要技術(shù)手段的，如基于電子鼻對固態(tài)發(fā)酵過程進(jìn)行監(jiān)測[10]；第3類是基于圖像處理技術(shù)和機(jī)器學(xué)習(xí)算法構(gòu)建的非接觸式測量技術(shù)，如高光譜圖像結(jié)合主成分分析和逐步多元線性回歸模型快速判斷醋醅發(fā)酵均勻性[11]。菌絲的發(fā)育程度決定丹貝的質(zhì)量，發(fā)酵成熟的新鮮丹貝，整體外觀色調(diào)由黃變白，質(zhì)構(gòu)緊實(shí)呈糕團(tuán)狀，可切薄片，具獨(dú)特清香，無異味，基于這些特征，憑借經(jīng)驗和感官等主觀觀測方法可判定丹貝發(fā)酵終點(diǎn)，其缺陷主要是評判標(biāo)準(zhǔn)無法量化導(dǎo)致穩(wěn)定性較差[12-13]。化學(xué)和物理方法成本高且操作復(fù)雜的特性和人工評定方法無法滿足工業(yè)化生產(chǎn)低成本快速無損檢測的要求。

丹貝發(fā)酵過程的圖像特征如亮度標(biāo)準(zhǔn)差與麥角固醇含量存在相關(guān)性，而麥角固醇含量直接反映了發(fā)酵過程中真菌生物量的變化[14]。基于上述分析，借鑒人工判定方法，通過工業(yè)相機(jī)構(gòu)建機(jī)器視覺系統(tǒng)，采集丹貝可見光圖像，經(jīng)圖像分析來判定發(fā)酵的成熟度，實(shí)現(xiàn)非接觸條件下的快速無損檢測。

伴隨發(fā)酵過程的延續(xù)，根霉菌絲的發(fā)育逐步改變了丹貝表面的彩色紋理結(jié)構(gòu)和平均亮度，表面紋理結(jié)構(gòu)由細(xì)膩到粗糙，表面亮度由增強(qiáng)到減弱，表面黃白顏色區(qū)域面積比由縮小到增大。在此過程中圖像相關(guān)特征出現(xiàn)極值點(diǎn)，通過極值點(diǎn)的判斷可以正確判斷丹貝發(fā)酵時間終點(diǎn)。在發(fā)酵終點(diǎn)附近，亮度標(biāo)準(zhǔn)差等簡單圖像特征變化緩慢，并不能精確確定發(fā)酵終點(diǎn)，根本缺陷在于極值點(diǎn)的判斷依賴于過度發(fā)酵過程，這說明目前的方法僅適合于驗證，而非預(yù)測，無法應(yīng)用于工業(yè)生產(chǎn)。此類方法只能給出定性描述，而不能給出定量分析。本研究通過計算色調(diào)、飽和度、亮度（hue，saturation，intensity， HSI）顏色模型[15]下的彩色灰度共生矩特征，采用基于神經(jīng)網(wǎng)絡(luò)集成的時間序列預(yù)測方法，可實(shí)現(xiàn)丹貝發(fā)酵過程的全程監(jiān)控，為丹貝生產(chǎn)工藝的優(yōu)化提供了決策依據(jù)，同時也為丹貝生產(chǎn)的全自動化提供了可能。

1 材料與方法

1.1 材料、試劑及菌株

小黃豆和米粉 安徽燕之坊食品有限公司；乳酸（分析純） 國藥集團(tuán)化學(xué)試劑有限公司。

少孢根霉（Rhizopus oligosporus，RT-3）由南京農(nóng)業(yè)大學(xué)食品科技學(xué)院食品微生物實(shí)驗室分離鑒定并命名。

1.2 儀器與設(shè)備

D90三角架固定相機(jī)（分辨率4288×2848） 日本Nikon公司。

1.3 方法

1.3.1 丹貝制作感官評分

材料制備參照文獻(xiàn)[16-17]，發(fā)酵劑制備參照文獻(xiàn)[18]，采用馬鈴薯葡萄糖瓊脂（potato dextrose agar，PDA）培養(yǎng)基活化RT-3，發(fā)酵溫度恒定為35 ℃。分別從外觀（占35%，菌絲的覆蓋面積）、質(zhì)地（占35%，以是否可切薄片來判定緊實(shí)程度）、氣味（占30%，是否有清香）及異味3 個方面來評定丹貝發(fā)酵質(zhì)量，總分達(dá)到90 分及以上即可判定為發(fā)酵終點(diǎn)。

1.3.2 圖像紋理特征向量抽取

為了能夠降低噪聲和規(guī)范化圖像數(shù)據(jù)，同時保證圖像質(zhì)量的穩(wěn)定性，遮蔽室外陽光，選擇室內(nèi)穩(wěn)定光源。丹貝發(fā)酵全程用三腳架固定相機(jī)位置，正前方拍攝，采用隨機(jī)采樣和固定圖片規(guī)格的方式進(jìn)行。圖1為圖像樣本采集方法示意圖。實(shí)線矩形框內(nèi)為采集區(qū)域，虛線矩形為1 024×800大小隨機(jī)采樣區(qū)，在采集區(qū)內(nèi)隨機(jī)采集。

圖1 圖像采樣Fig. 1 Image sampling

將圖像樣本彩色模型從紅、綠、藍(lán)（red，green，blue，RGB）顏色空間轉(zhuǎn)換到HSI顏色空間，HSI顏色空間模型更加接近人的視覺感知方式，且與顯示設(shè)備無關(guān)，因此這種彩色模型更加利于模擬人的視覺感官判斷。由于丹貝發(fā)酵過程直接導(dǎo)致表面彩色紋理的變化，因此可通過計算顏色通道的灰度共生矩陣，并在此基礎(chǔ)上求取對應(yīng)的紋理描述來描述丹貝外表的紋理變化。共生矩陣公式如式（1）所示。

式中：分子是具有某種空間關(guān)系、灰度值分別為gi和gj的像素對的個數(shù)；分母為像素對總和的個數(shù)（#代表數(shù)量）。這樣得到的p是歸一化的。

該矩陣元素可以理解為在具有灰度級gi和gj的兩個像素在特定位置結(jié)構(gòu)關(guān)系W上出現(xiàn)的頻率。在0°、45°、90°、135°方向，以距離為1分別計算對應(yīng)的共生矩陣。Haralick定義了14 個紋理特征量[19]，選取其中4 個常用特征：

對比度（contrast，Con）：

相關(guān)度（correlation，Cor）：

2 結(jié)果與分析

2.1 紋理特征變化

采用如1.3.2節(jié)采樣方法分別以第0、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、30小時為采樣時間點(diǎn)，從每個整小時時刻丹貝發(fā)酵圖像中隨機(jī)采集100 個樣本，共計1 800個樣本。計算H分量圖，并求取相應(yīng)的灰度共生矩陣，分別計算對比度、相關(guān)度、能量和一致性4 個特征值（縱軸）。其平均值對應(yīng)時間坐標(biāo)（水平軸）的關(guān)系見圖2。如圖2所示，紋理特征曲線出現(xiàn)了4 個顯著的轉(zhuǎn)折點(diǎn)和1 個不顯著的轉(zhuǎn)折點(diǎn)，分別為12、15、18、22、20 h，將發(fā)酵全程分為6 個階段。在0～12 h階段，丹貝的色調(diào)圖中共生紋理特征對比度、相關(guān)度、能量和一致性值變化緩慢，12～15 h階段，各指標(biāo)開始發(fā)生快速變化；15～18 h階段各指標(biāo)進(jìn)入一個相對平臺期，紋理特征值變化緩慢；18～20 h階段各指標(biāo)再次進(jìn)入一個快速變化期；在20～22 h階段這種變化進(jìn)一步加速，并在22 h時形成顯著波峰（極值點(diǎn)）。通過感官比對，此時丹貝發(fā)酵完全成熟，即到達(dá)發(fā)酵終點(diǎn)；隨后在22～30 h發(fā)酵過度，導(dǎo)致共生紋理特征值朝反方向退化，并且這種退化過程是線性的。

圖2 丹貝RT-3發(fā)酵紋理圖對比度（A）、相關(guān)度（B）、能量（C）和一致性（D）隨發(fā)酵時間的變化Fig. 2 Contrast (A), correlation (B), energy (C) and homogeneity (D) of texture images of tempeh fermented with RT-3 as a function of fermentation time

2.2 丹貝發(fā)酵不同階段的感官評定與圖像分析

人工感官評測是判斷丹貝發(fā)酵過程的傳統(tǒng)方法，該法依賴工作人員經(jīng)驗進(jìn)行主觀決策。丹貝發(fā)酵過程可分為4 個時期：發(fā)酵前期、發(fā)酵中期、發(fā)酵終點(diǎn)期和過度發(fā)酵期。一般而言，發(fā)酵前期，時間較長，菌絲在此時間段內(nèi)生長不明顯；發(fā)酵中期是菌絲萌發(fā)及快速生長期；發(fā)酵終點(diǎn)期，丹貝質(zhì)構(gòu)逐步達(dá)到臨界狀態(tài)；發(fā)酵過度期，超過發(fā)酵終點(diǎn)則進(jìn)入過度發(fā)酵狀態(tài)，在此過程中丹貝外觀和氣味等均呈現(xiàn)顯著變化。結(jié)合圖2分析，為了更好地確定最佳發(fā)酵終點(diǎn)，分別選擇0、12、15、18、20、22、24、30 h丹貝發(fā)酵圖像及樣品進(jìn)行主觀評定。如圖3所示，水平方向為時間軸；垂直方向由上至下，第1行為丹貝發(fā)酵過程的RGB真彩圖像，第2～4行分別為HSI模型中色調(diào)H灰度圖、飽和度S灰度圖及亮度I灰度圖。固態(tài)發(fā)酵圖像特征如亮度標(biāo)準(zhǔn)差與麥角固醇含量存在相關(guān)性[14]，借鑒這一思想用彩色紋理特征取代亮度標(biāo)準(zhǔn)差構(gòu)建與發(fā)酵過程的關(guān)聯(lián)，表1中展示了圖2顯示的紋理特征曲線和丹貝感官評定標(biāo)準(zhǔn)[16]之間的關(guān)系，菌絲的發(fā)育狀況被綜合量化在感官得分中，人工評定與紋理特征曲線完全一致。

圖3 丹貝少孢根霉RT-3生長情況影像對比（RGB & HSI）Fig. 3 Comparative images of Rhizopus oligosporus RT-3 growth in tempeh over time (RGB & HSI)

表1 丹貝發(fā)酵過程中的感官評定與圖像分析Table 1 Sensory evaluation scores and image analysis of tempeh during fermentation

對比圖2、3和綜合紋理曲線分析與感官評測（表1），丹貝發(fā)酵過程的4 個階段可進(jìn)一步細(xì)分為6 個階段：第1階段，發(fā)酵前期：靜默期（0～12 h）；第2階段，發(fā)酵中期Ⅰ：起步期（12～15 h）；第3階段，發(fā)酵中期Ⅱ：穩(wěn)定期（15～18 h）；第4階段，發(fā)酵中期Ⅲ：加速期（18～20 h）；第5階段，發(fā)酵終點(diǎn)期：成熟（20～22 h）；第6階段，過度發(fā)酵期：變味變質(zhì)（22～30 h）。

2.3 基于時間序列預(yù)測丹貝發(fā)酵終點(diǎn)

丹貝發(fā)酵進(jìn)程中，丹貝表面逐步覆蓋白色菌絲，使得丹貝圖像從大豆堆積形成的粗糙紋理向菌絲堆積形成的精細(xì)紋理發(fā)生逐步過渡，成熟后紋理又從精細(xì)逐步過渡到粗糙，這說明在發(fā)酵終點(diǎn)的前后期，紋理特征存在相似性，給發(fā)酵成熟的判定引入了歧義。特別在21～23 h期間內(nèi)，丹貝發(fā)酵經(jīng)歷了從成熟到過度發(fā)酵的轉(zhuǎn)折過程，其中發(fā)酵終點(diǎn)以后22～23 h時間段內(nèi)人工打分方法依然高于90 分，從視覺判斷上是合格的?，F(xiàn)有模式識別方法則是用算法學(xué)習(xí)人工打分與特征值之間的非線性關(guān)系進(jìn)行預(yù)測，因此也會導(dǎo)致和人工判斷相同的結(jié)論，即無法判斷丹貝發(fā)酵產(chǎn)品合格是發(fā)生在發(fā)酵終點(diǎn)前或者后。顯然，在發(fā)酵終點(diǎn)前后品質(zhì)是存在巨大差異的。有鑒于此，通過對比圖2和圖3，將發(fā)酵終點(diǎn)判定問題轉(zhuǎn)化為紋理特征曲線變化極值點(diǎn)的預(yù)測判定問題。

時間序列中可以觀測待定研究對象某一時期內(nèi)的總體水平，也可以觀測某一時間點(diǎn)上對象的水平。這一特性符合發(fā)酵過程的自有規(guī)律。圖2顯示丹貝發(fā)酵成熟度與圖像紋理特征之間呈現(xiàn)高度的非線性關(guān)系，傳統(tǒng)的預(yù)測方法無法勝任。近年來非線性時間序列預(yù)測方法，如神經(jīng)網(wǎng)絡(luò)[20]、改進(jìn)的支持向量回歸[21]等學(xué)習(xí)算法得到了迅速發(fā)展。Google公司利用搜索引擎中流感相關(guān)信息的時間序列預(yù)測流感的爆發(fā)趨勢[22]，運(yùn)用二元時間序列算法可以預(yù)測推特的熱門話題[23]，融合空間尺度特征的時間序列可以構(gòu)建年降水量和PM2.5指數(shù)濃度預(yù)測模型[24]，基于神經(jīng)網(wǎng)絡(luò)的時間序列模型可以進(jìn)行非線性預(yù)測，如對醫(yī)院日門診量分析與預(yù)測[25]。

由此引入時間序列預(yù)測，通過多個連續(xù)時間段內(nèi)的圖像特征來預(yù)測下一時刻圖像特征值的變化。由圖2和表1分析可知，圖2中極值點(diǎn)即為發(fā)酵終點(diǎn)，此后圖像特征曲線開始轉(zhuǎn)向。因此只要通過時間序列預(yù)測特征值變化趨勢，即可以判定當(dāng)前時刻為發(fā)酵終點(diǎn)。

利用時間序列對丹貝發(fā)酵圖像紋理特征進(jìn)行統(tǒng)計：設(shè)定統(tǒng)計滑動窗口寬度為4 h；窗口在時間軸上進(jìn)行滑動，在滑動窗口內(nèi)對圖像紋理特征時間序列數(shù)據(jù)進(jìn)行求和并生成對應(yīng)的新的特征時間序列。

按照此方法得到的特征值與原有特征值的差別在于，當(dāng)發(fā)酵達(dá)到終點(diǎn)時，其值不會出現(xiàn)回落，而是會在后面的一段時間內(nèi)繼續(xù)增加，從而可以用一個固定的特征值區(qū)域來描述發(fā)酵終點(diǎn)階段，而不會出現(xiàn)在發(fā)酵終點(diǎn)前后會出現(xiàn)相同的特征值，從而避免給最終的決策帶來歧義。

1）學(xué)習(xí)方法。利用神經(jīng)網(wǎng)絡(luò)的非線性學(xué)習(xí)能力來判斷丹貝發(fā)酵終點(diǎn)。由于丹貝發(fā)酵過程的重點(diǎn)在于其發(fā)酵終點(diǎn)的判斷，因此將表1中的感官評定分為兩類，即發(fā)酵終點(diǎn)和非發(fā)酵終點(diǎn)，對應(yīng)到圖2上即為21～22 h時段，為發(fā)酵終點(diǎn)區(qū)域，用+1表示；其他時段，為非發(fā)酵終點(diǎn)區(qū)域，用-1表示。3 層前向神經(jīng)網(wǎng)絡(luò)在理論上可以擬合任意非線性關(guān)系。在本研究中構(gòu)建3 層前向神經(jīng)網(wǎng)絡(luò)，其中輸入層為4（對應(yīng)時間窗口寬度）和隱層為5 個節(jié)點(diǎn)，輸出層為1 個節(jié)點(diǎn)，采用后向傳播（back propagation，BP）算法進(jìn)行訓(xùn)練。學(xué)習(xí)樣本使用Bootstrap方法采樣（有放回的重復(fù)采樣），同時隨機(jī)初始化12 個BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練并采用Bagging算法集成，生成神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)器，此方法可克服單一BP網(wǎng)絡(luò)固有缺陷及大幅提升預(yù)測器的泛化性能與預(yù)測精度[26]。

2）檢驗方法。在相機(jī)分辨率、拍攝距離以及焦距不變的前提下，學(xué)習(xí)樣本和測試樣本采集方法如圖1所示。進(jìn)行10 次丹貝發(fā)酵實(shí)驗，每間隔1 h拍攝圖像并提取圖像紋理特征，采用十折交叉驗證方法分別進(jìn)行學(xué)習(xí)和測試。即每次抽取9 組發(fā)酵時間序列樣本進(jìn)行神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)，一組發(fā)酵時間序列樣本進(jìn)行測試，共進(jìn)行10 次，取平均值。其中每組樣本采集第12～30小時的特征數(shù)據(jù)，并根據(jù)前述新的特征時間序列生成方法生成新的樣本序列，時間序列長度為16，每個樣本值都代表著一個發(fā)酵時間段。實(shí)驗結(jié)果表明對發(fā)酵終點(diǎn)的預(yù)測準(zhǔn)確率達(dá)到97.7%，其中誤判的樣本也全部在23 h之內(nèi)。

3 討 論

丹貝無法大規(guī)模工業(yè)生產(chǎn)的根本原因是人工判定方法穩(wěn)定性差，導(dǎo)致產(chǎn)品質(zhì)量的不穩(wěn)定。傳統(tǒng)的人工主觀判定只能定性，基于圖像紋理特征分析的機(jī)器視覺則可以給出定量描述和定性判斷。如圖1所示，實(shí)驗中大豆被腸衣包裹成圓柱狀，在近距離拍攝中，從相機(jī)拍攝位觀測，可以發(fā)現(xiàn)在圓柱兩側(cè)出現(xiàn)陰影區(qū)，并且其在底片上的投影發(fā)生水平方向壓縮，造成數(shù)據(jù)失真。實(shí)驗中對該部分?jǐn)?shù)據(jù)進(jìn)行拋棄，該方法優(yōu)點(diǎn)在于可以兼顧各種大豆排列紋理和霉菌紋理，盡可能多地獲取各類紋理特征圖片。采樣樣本效果明顯優(yōu)于整幅圖片，最大限度避免了各類光線、圖像畸變及黃豆顆粒圖像自身紋理對發(fā)酵圖像紋理生產(chǎn)的干擾，并有利于樣本間的均衡。通過對比圖2和表1的感官評定打分，可以用圖2中紋理特征時間變化曲線的折點(diǎn)來區(qū)分丹貝發(fā)酵的不同階段，為改進(jìn)丹貝發(fā)酵工藝提供定量化依據(jù)。

根據(jù)視覺和嗅覺感官經(jīng)驗的判斷，在35 ℃條件下丹貝理想發(fā)酵時間為22 h，此時間可判斷為發(fā)酵終點(diǎn)。而通過圖像色度紋理分析得到的結(jié)果，其相應(yīng)的共生矩陣對比度、相關(guān)度、能量以及一致性在30 h內(nèi)的變化曲線顯示最佳發(fā)酵時間同樣為22 h，和人工經(jīng)驗判斷完全一致。這說明，丹貝發(fā)酵圖像的彩色紋理特征變化與少孢根霉的固態(tài)發(fā)酵過程是一致的，可以利用相應(yīng)的紋理特征來預(yù)測發(fā)酵過程以及理想的發(fā)酵終點(diǎn)并給出基于紋理特征的定量描述。本研究中利用神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)丹貝發(fā)酵圖像紋理時間序列特征量變化趨勢，完全屏蔽人為因素，實(shí)現(xiàn)了對丹貝發(fā)酵終點(diǎn)的準(zhǔn)確預(yù)測。在Feng Xinmei[14]工作基礎(chǔ)上，進(jìn)一步證明了采用圖像處理方法實(shí)現(xiàn)丹貝發(fā)酵過程監(jiān)控的可行性，并給出了具體的預(yù)測方法，并可以明確區(qū)分發(fā)酵終點(diǎn)前和發(fā)酵終點(diǎn)后。與傳統(tǒng)的物理化學(xué)方法相比，基于機(jī)器視覺和人工智能，給真菌發(fā)酵過程的監(jiān)控提供了新的思路。該方法簡便易行，反應(yīng)迅速，成本低廉，在不損壞丹貝發(fā)酵體的前提下實(shí)現(xiàn)了定量的無損檢測，便于工業(yè)化推廣。

在實(shí)驗中也發(fā)現(xiàn)在發(fā)酵過程的12～15 h區(qū)間段內(nèi)，視覺感知和圖像紋理分析的結(jié)果發(fā)生了背離。其主要原因是人的眼睛對精細(xì)紋理變化的感應(yīng)要弱于機(jī)器視覺對亮度顏色變化的感應(yīng)。而紋理分析克服了亮度及顏色的干擾，可以檢測到少孢根霉發(fā)酵對丹貝的細(xì)微影響，傳統(tǒng)的人類感官無法感知。該過程可以理解為，12～15 h時間段內(nèi)，少孢根霉開始發(fā)酵，但由于菌絲較細(xì)，其形成的精細(xì)紋理明顯弱于大豆輪廓間隙形成的紋理，同時精細(xì)紋理的變化從整體上對丹貝發(fā)酵圖像的顏色亮度影響較弱，但這種精細(xì)的紋理變化可以被計算機(jī)圖像紋理分析準(zhǔn)確地捕捉到。這也可以說明少孢根霉菌絲的發(fā)酵起點(diǎn)應(yīng)該在12 h處，而非本次實(shí)驗中傳統(tǒng)人工方法判斷的15 h處，也就是說機(jī)器視覺方法可以先于人工方法3 h確定發(fā)酵起點(diǎn)。進(jìn)而本研究根據(jù)紋理特征分析，進(jìn)一步細(xì)化了丹貝發(fā)酵過程，分別為4 個時期，6 個階段，為丹貝發(fā)酵工藝的改進(jìn)提供了一定的實(shí)驗依據(jù)。

目前丹貝都是恒溫發(fā)酵實(shí)驗生產(chǎn)，由于發(fā)酵過程與溫度密切相關(guān)，后續(xù)工作將考慮基于紋理分析來研究發(fā)酵過程中不同階段與溫度的相關(guān)性，進(jìn)而研究丹貝發(fā)酵工藝中溫度控制的方法和策略，如優(yōu)化發(fā)酵時間等。

[1] 周思靜. 丹貝生產(chǎn)工藝優(yōu)化及功能特性的研究[D]. 北京: 中國農(nóng)業(yè)科學(xué)院, 2012: 8-10.

[2] DAVEY C L, PENALOZA W, KELL D B, et al. Real-time monitoring of the accretion of Rhizopus oligosporus biomass during the solidsubstrate tempe fermentation[J]. World Journal of Microbiology & Biotechnology, 1991, 7: 248-259. DOI:10.1007/BF00328998.

[3] 易永艷, 李德榮, 張?zhí)N薇, 等. 近紅外技術(shù)在真菌生物量和真菌毒素檢測中的研究與應(yīng)用[J]. 光譜學(xué)與光譜分析, 2009, 29(7): 1826-1829. DOI:10.3964/j.issn.1000-0593(2009)07-1826-04.

[4] 寧井銘, 宛曉春, 張正竹, 等. 近紅外光譜技術(shù)結(jié)合人工神經(jīng)網(wǎng)絡(luò)判別普洱茶發(fā)酵程度[J]. 農(nóng)業(yè)工程學(xué)報, 2013, 29(11): 255-260. DOI:10.3969/j.issn.1002-6819.2013.11.033.

[5] 江輝, 劉國海, 梅從立, 等. 基于OC-SVM和近紅外光譜的秸稈固態(tài)發(fā)酵進(jìn)程監(jiān)測[J]. 農(nóng)業(yè)機(jī)械學(xué)報, 2012, 43(10): 114-117; 166. DOI:10.6041/j.issn.1000-1298.2012.10.021.

[6] 劉國海, 江輝, 肖夏宏, 等. 近紅外光譜結(jié)合ELM快速檢測固態(tài)發(fā)酵過程參數(shù)pH值[J]. 光譜學(xué)與光譜分析, 2012, 32(4): 970-973. DOI:10.3964/j.issn.1000-0593(2012)04-0970-04.

[7] 黃常毅, 范海濱, 劉飛, 等. 近紅外光譜結(jié)合遺傳算法快速檢測紅曲菌固態(tài)發(fā)酵生物量[J]. 分析測試學(xué)報, 2014, 33(5): 520-526. DOI:10.3969/j.issn.1004-4957.2014.05.005.

[8] JIANG Hui, LIU Guang, XIAO Xu, et al. Monitoring of solid-state fermentation of wheat straw in a pilot scale using FT-NIR spectroscopy and support vector data description[J]. Microchemical Journal, 2012, 102(6): 68-74. DOI:10.1016/j.microc.2011.12.003.

[9] SHI Jiyong, ZOU Xiaobo, HUANG Xiaowei, et al. Rapid detecting total acid content and classifying different types of vinegar based on near infrared spectroscopy and least-squares support vector machine[J]. Food Chemistry, 2013, 138(1): 192-199. DOI:10.1016/ j.foodchem.2012.10.060.

[10] 梅從立, 束棟鑫, 江輝, 等. 基于電子鼻和高斯過程的秸稈固態(tài)發(fā)酵過程監(jiān)測技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報, 2014, 45(11): 188-193. DOI:10.6041/j.issn.1000-1298.2014.11.029.

[11] 朱瑤迪, 鄒小波, 石吉勇, 等. 高光譜圖像技術(shù)快速預(yù)測發(fā)酵醋醅總酸分布[J]. 農(nóng)業(yè)工程學(xué)報, 2014, 30(16): 320-327. DOI:10.3969/ j.issn.1002-6819.2014.16.041.

[12] ABU-SALEM F M, ABOU-ARAB E A. Physico-chemical properties of tempeh produced from chickpea seeds[J]. Journal of American Science, 2011, 7(7): 107-118. DOI:10.7537/marsjas.

[13] JENNESSEN J, SCHNüRER J, OLSSON J, et al. Morphological characteristics of sporangiospores of the tempe fungus Rhizopus oligosporus differentiate it from other taxa of the R. microsporus group[J]. Mycological Research, 2008, 112: 547-563. DOI:10.1016/ j.mycres.2007.11.006.

[14] FENG X M, OLSSON J, SWANBERG M, et al. Image analysis for monitoring the barley tempeh fermentation process[J]. Journal of Applied Microbiology, 2007, 103(4): 1113-1121. DOI:10.1111/j.1365-2672.2007.03341.x.

[15] 章毓晉. 圖形處理, 圖像工程(上冊)[M]. 北京: 清華大學(xué)出版社, 2006: 168-170.

[16] 梁敬東, 孫吉祥, 樊娟, 等. 基于圖像分析的丹貝發(fā)酵終點(diǎn)判定方法[J]. 食品科學(xué), 2013, 34(17): 38-42. DOI:10.7506/spkx1002-6630-201317009.

[17] 樊娟. 丹貝發(fā)酵過程的圖像分析及后加工工藝研究[D]. 南京: 南京農(nóng)業(yè)大學(xué), 2013: 3-6.

[18] 丁一. 添加谷物的新型丹貝研發(fā)及其抗氧化活性評價[D]. 南京: 南京農(nóng)業(yè)大學(xué), 2012: 17-19.

[19] HARALICK R M, SHANMUGAM K, DINSTEIN I. Textural features for image classification[J]. Systems Man & Cybernetics IEEE Transactions on, 1973, 3(6): 610-621. DOI:10.1109/ TSMC.1973.4309314.

[20] LU C J. Integrating independent component analysis: based denoising scheme with neural network for stock price prediction[J]. Expert Systems with Applications, 2010, 37(10): 7056-7064. DOI:10.1016/ j.eswa.2010.03.012.

[21] LU C J, LEE T S, CHIU C C. Financial time series forcasting using independent component analysis and support vector regression[J]. Decision Support Systems, 2009, 47(2): 115-125. DOI:10.1016/ j.dss.2009.02.001.

[22] GINSBERG J, MOHEBBI M H, PATEL R S, et al. Detecting influenza epidemics using search engine query data[J]. Nature, 2008, 457: 1012-1014. DOI:10.1038/nature07634.

[23] NIKOLOV S. Trend or no trend: a novel nonparametric method for classifying time series[D]. Cambridge: Massachusetts Institute of Technology, 2012: 35-48.

[24] 鄧敏, 陳倜, 楊文濤. 融合空間尺度特征的時空序列預(yù)測建模方法[J]. 武漢大學(xué)學(xué)報(信息科學(xué)版), 2015, 40(12): 1625-1631. DOI:10.13203/j.whugis20130842.

[25] 朱順痣, 王大寒, 何亞男, 等. 基于時間序列模型的醫(yī)院門診量分析與預(yù)測[J]. 中國科學(xué)技術(shù)大學(xué)學(xué)報, 2015, 45(10): 797-803. DOI:10.3969/j.issn.0253-2778.2015.10.001.

[26] BREIMAN L. Bagging predictors[J]. Machine Learning, 1996, 24(2): 123-140. DOI:10.1007/BF00058655.

Time Series Analysis and Prediction of the Solid-State Fermentation Process of Tempeh

XIE Yuancheng1, MA Yao1, SHEN Yi1, WANG Yuetian1, FAN Juan2, DONG Mingsheng2, LIANG Jingdong1,*
(1. College of Information Science and Technology, Nanjing Agricultural University, Nanjing 210095, China; 2. College of Food Science and Technology, Nanjing Agricultural University, Nanjing 210095, China)

A machine vision based method was developed as an alternative to the physical and chemical methods and the manual method to detect the fermentation process of tempeh. The texture characteristics of the tempeh images taken during fermentation were extracted by calculating the gray level co-occurrence matrix (GLCM) for HSI (hue, saturation, intensity) color model. Compared with the manual sensory evaluation method, the turning point of texture feature curves of tempeh images could be better used as decision basis to distinguish four fermentation periods and further divide them into six stages. Texture data analysis showed that the starting point of tempeh fermentation by Rhizopus oligosporus was determined to be 3 h earlier than by using the manual method, and the extreme point of texture feature curves of tempeh images represented the end point of tempeh fermentation. Texture feature time series was developed by sliding the observation window, and then a nonlinear time series model for tempeh fermentation process was established by neural networks ensemble training. Finally, the extreme points of texture feature curves were predicted using the model, achieving the analysis of the solid-state fermentation process of tempeh and the prediction of its end point.

tempeh; solid-state fermentation; time series; neural network ensemble

10.7506/spkx1002-6630-201621028

TS201.3；TQ92

A

1002-6630（2016）21-0164-06

謝元澄, 馬瑤, 沈毅, 等. 丹貝固態(tài)發(fā)酵過程時間序列分析與預(yù)測[J]. 食品科學(xué), 2016, 37(21): 164-169. DOI:10.7506/ spkx1002-6630-201621028. http://www.spkx.net.cn

XIE Yuancheng, MA Yao, SHEN Yi, et al. Time series analysis and prediction of the solid-state fermentation process of tempeh[J]. Food Science, 2016, 37(21): 164-169. (in Chinese with English abstract) DOI:10.7506/spkx1002-6630-201621028. http://www.spkx.net.cn

2016-01-27

國家高技術(shù)研究發(fā)展計劃（863計劃）項目（2013BAD18B01-4）；南京農(nóng)業(yè)大學(xué)中央高校基本科研業(yè)務(wù)費(fèi)自主創(chuàng)新重點(diǎn)項目（KYZ201550；KYZ201548）

謝元澄（1976—），男，副教授，博士，研究方向為模式識別、生物信息學(xué)。E-mail：Xieych@njau.edu.cn

*通信作者：梁敬東（1966—），男，副教授，碩士，研究方向為數(shù)據(jù)挖掘、農(nóng)業(yè)信息化。E-mail：ljd@njau.edu.cn