岳向陽(yáng)，趙忠蓋，劉 飛

(1.江南大學(xué) 輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫 214122；2.江南大學(xué)自動(dòng)化研究所，江蘇 無(wú)錫 214122)

0 引言

發(fā)酵過(guò)程中的生化反應(yīng)十分復(fù)雜，過(guò)程中的非線性、不確定性嚴(yán)重[1]，缺乏對(duì)重要生物學(xué)參數(shù)的在線監(jiān)測(cè)設(shè)備，導(dǎo)致發(fā)酵過(guò)程的自動(dòng)化水平遠(yuǎn)不如其它工業(yè)生產(chǎn)過(guò)程[2]。對(duì)發(fā)酵過(guò)程進(jìn)行建模不僅能夠揭示過(guò)程信息間的關(guān)聯(lián)，實(shí)現(xiàn)對(duì)難以實(shí)時(shí)監(jiān)測(cè)變量的預(yù)測(cè)，而且精確有效的數(shù)學(xué)模型是進(jìn)一步實(shí)施發(fā)酵過(guò)程自動(dòng)控制和優(yōu)化的前提。

目前，常用的發(fā)酵過(guò)程建模方法可分為機(jī)理建模和數(shù)據(jù)建模。Trelea等人對(duì)啤酒發(fā)酵過(guò)程的機(jī)理模型進(jìn)行研究[3]，張玲玲則構(gòu)建了諾西肽發(fā)酵過(guò)程的機(jī)理模型[4]。機(jī)理建模涉及對(duì)微生物復(fù)雜生長(zhǎng)代謝活動(dòng)的分析，常需進(jìn)行簡(jiǎn)化，從而導(dǎo)致模型泛化能力不足。伴隨智能控制技術(shù)的發(fā)展，數(shù)據(jù)建模方法在發(fā)酵過(guò)程建模中得到廣泛應(yīng)用，如支持向量機(jī)(support vector machine,SVM)和人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)。Dach等人使用傳統(tǒng)ANN成功預(yù)測(cè)漿液發(fā)酵中甲烷排放的水平[5]，Zhong等人使用SVM構(gòu)建了抗生素發(fā)酵模型[6]。盡管ANN和SVM在發(fā)酵過(guò)程建模中得到應(yīng)用，但傳統(tǒng)ANN中隨機(jī)初始化權(quán)值的策略容易陷入局部最優(yōu)或梯度消失，SVM則屬于淺層的神經(jīng)網(wǎng)絡(luò)[7]，非線性表示性能較弱，而且計(jì)算復(fù)雜度隨訓(xùn)練樣本數(shù)量呈指數(shù)增長(zhǎng)。另外，SVM和ANN在發(fā)酵過(guò)程建模中的不足之處是二者均為有監(jiān)督學(xué)習(xí)策略，只能利用發(fā)酵過(guò)程中的標(biāo)簽數(shù)據(jù)進(jìn)行數(shù)據(jù)建模，未挖掘無(wú)標(biāo)簽數(shù)據(jù)中可能含有的豐富過(guò)程信息。

隨著計(jì)算機(jī)硬件和神經(jīng)科學(xué)的突破，深度學(xué)習(xí)技術(shù)在語(yǔ)音、圖像識(shí)別等領(lǐng)域得到成功的應(yīng)用，其表示性能超過(guò)了SVM、淺層ANN等，其標(biāo)志性突破是Hinton提出深度學(xué)習(xí)概念[8]，即先利用無(wú)標(biāo)簽數(shù)據(jù)對(duì)深度信念網(wǎng)絡(luò)進(jìn)行的逐層預(yù)訓(xùn)練，然后利用標(biāo)簽數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)，這種半監(jiān)督學(xué)習(xí)策略可以充分挖掘過(guò)程中所有數(shù)據(jù)的信息，Erhan等人通過(guò)大量基準(zhǔn)實(shí)驗(yàn)說(shuō)明了無(wú)監(jiān)督預(yù)訓(xùn)練的有效性[9]。隨后，Shang等人利用深度信念網(wǎng)絡(luò)方法對(duì)粗蒸餾裝置的重柴油95%切點(diǎn)進(jìn)行估計(jì)[10]，并與偏最小二乘等方法進(jìn)行比較，證明其有效性。Gopakumar等人采用半監(jiān)督學(xué)習(xí)策略來(lái)分別對(duì)鏈激酶和青霉素發(fā)酵過(guò)程進(jìn)行建模[11]，并與傳統(tǒng)ANN和支持向量回歸方法進(jìn)行對(duì)比試驗(yàn)，取得了更好的預(yù)測(cè)性能。雖然上述深度學(xué)習(xí)方法充分利用了發(fā)酵過(guò)程中所有的原始數(shù)據(jù)，但實(shí)際發(fā)酵生產(chǎn)過(guò)程中，由于測(cè)量設(shè)備性能退化等原因，往往會(huì)使測(cè)量數(shù)據(jù)含有噪聲[12]，會(huì)造成模型預(yù)測(cè)性能顯著下降，這要求發(fā)酵過(guò)程模型要有一定的噪聲適應(yīng)性。Vincent等人在自編碼器(autoencoder,AE)基礎(chǔ)上提出降噪自編碼器(denoising autoencoder,DAE)[13]，該方法通過(guò)對(duì)原始數(shù)據(jù)加入隨機(jī)噪聲，使得模型提取到的特征具有一定的魯棒性，而且多個(gè)DAE逐層堆疊而構(gòu)成的棧式降噪自編碼器(stacked denoising autoencoder,SDAE)能夠提取出更深層次的特征，從而提升模型的泛化能力[14]，SDAE已在故障診斷、圖像分類(lèi)等領(lǐng)域得到了成功的應(yīng)用[15-16]。

發(fā)酵過(guò)程具有非線性特征、變量間存在多采樣率以及數(shù)據(jù)含噪聲的特點(diǎn)，而SDAE方法不僅可以有效擬合發(fā)酵過(guò)程的非線性，半監(jiān)督的學(xué)習(xí)策略也能夠充分利用發(fā)酵過(guò)程的所有數(shù)據(jù)信息，此外模型還能夠提取出具有魯棒性的深層特征，從而對(duì)過(guò)程噪聲具有一定的適應(yīng)性。因此本文將SDAE方法應(yīng)用到發(fā)酵過(guò)程回歸建模，通過(guò)青霉素仿真對(duì)比實(shí)驗(yàn)說(shuō)明基于SDAE的發(fā)酵過(guò)程回歸模型能夠更好地預(yù)測(cè)關(guān)鍵生物學(xué)參數(shù)，可以用于進(jìn)一步的發(fā)酵過(guò)程控制和優(yōu)化。

1 青霉素發(fā)酵過(guò)程建模問(wèn)題描述

青霉素發(fā)酵過(guò)程中由于菌體生長(zhǎng)繁殖等都將產(chǎn)生一定的熱能，而溫度會(huì)對(duì)酶特性、發(fā)酵液物理性質(zhì)等產(chǎn)生顯著影響，因此需要實(shí)時(shí)改變熱水或冷水流量，使發(fā)酵罐環(huán)境保持在最適發(fā)酵溫度。另外，菌體的生長(zhǎng)代謝會(huì)影響培養(yǎng)基的氫離子平衡，從而改變發(fā)酵液pH，而發(fā)酵液不同的pH會(huì)導(dǎo)致菌體細(xì)胞膜的通透性等產(chǎn)生明顯差異，通過(guò)實(shí)時(shí)調(diào)節(jié)酸液或堿液流加速率能夠使發(fā)酵液pH穩(wěn)定在最適的范圍。而且，溶氧濃度會(huì)影響產(chǎn)物合成以及與菌體呼吸鏈有關(guān)的能量代謝，通過(guò)不斷調(diào)整無(wú)菌空氣流量和攪拌功率可以滿(mǎn)足菌體在不同生長(zhǎng)階段對(duì)溶氧濃度的要求。

青霉素發(fā)酵生產(chǎn)工藝中需要檢測(cè)的參數(shù)分為三類(lèi)：物理參數(shù)、化學(xué)參數(shù)和生物學(xué)參數(shù)。物理參數(shù)包括溫度、攪拌功率、底物流加速率等?；瘜W(xué)參數(shù)包括pH、溶氧溶度和二氧化碳等。這些物理和化學(xué)參數(shù)都能在線準(zhǔn)確測(cè)量和控制。為控制菌體的生長(zhǎng)、能量代謝等，需要對(duì)菌體濃度等生物學(xué)參數(shù)進(jìn)行監(jiān)測(cè)，然而生物學(xué)參數(shù)常要人工取樣后離線檢測(cè)，所得數(shù)據(jù)無(wú)法用于實(shí)時(shí)控制、優(yōu)化[17]。為能夠?qū)崟r(shí)獲取青霉素發(fā)酵過(guò)程中的生物學(xué)參數(shù)，需要建立青霉素發(fā)酵過(guò)程的回歸模型。

2 基于SDAE的發(fā)酵過(guò)程回歸建模

發(fā)酵過(guò)程的本質(zhì)是微生物在生命周期內(nèi)的一系列代謝活動(dòng)，其一般分為4個(gè)生長(zhǎng)階段，即遲滯期、對(duì)數(shù)生長(zhǎng)期、穩(wěn)定期和凋亡期，而細(xì)胞生長(zhǎng)代謝狀態(tài)會(huì)在不同生長(zhǎng)階段隨著自身特性和培養(yǎng)環(huán)境的變化而變化，具有顯著的非線性過(guò)程特征。另外，由于發(fā)酵過(guò)程中物理或化學(xué)參數(shù)和生物學(xué)參數(shù)的測(cè)量形式不同，會(huì)產(chǎn)生大量的無(wú)標(biāo)簽數(shù)據(jù)，其中很可能蘊(yùn)含豐富的過(guò)程信息。同時(shí)，用于監(jiān)測(cè)發(fā)酵過(guò)程物理和化學(xué)參數(shù)的傳感器會(huì)出現(xiàn)性能失準(zhǔn)，如傳感器探頭老化、探頭敏感部位被反應(yīng)液堵塞等現(xiàn)象，導(dǎo)致過(guò)程數(shù)據(jù)中含有噪聲。

2.1 SDAE方法

2.1.1 自編碼器

AE本質(zhì)是一個(gè)試圖還原初始輸入的系統(tǒng)，它的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)形式如圖1，由輸入層、隱含層和輸出層組成。訓(xùn)練過(guò)程使用無(wú)標(biāo)簽數(shù)據(jù)，使得AE能去充分挖掘無(wú)標(biāo)簽數(shù)據(jù)中的過(guò)程信息。

圖1 自編碼器(神經(jīng)網(wǎng)絡(luò)形式)

輸入向量x經(jīng)過(guò)編碼可以獲得隱含層向量z，該過(guò)程表示如下：

z=f(W(1)x+b(1))

(1)

其中：x∈Rn×1為輸入向量，W(1)∈Rm×n為權(quán)值矩陣，b(1)∈Rm×1為輸入偏置，z∈Rm×1為隱含層向量，f(·)是激活函數(shù)。

(2)

(3)

定義代價(jià)函數(shù)為：

(4)

其中：N為樣本的數(shù)量，x(i)代表第i個(gè)樣本，最優(yōu)(W(1),W(2),b(1),b(2))可以通過(guò)誤差反向傳播算法得到。

AE通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)每個(gè)樣本的唯一抽象表示，但是當(dāng)神經(jīng)網(wǎng)絡(luò)的參數(shù)復(fù)雜到一定程度時(shí)AE很容易存在過(guò)擬合的風(fēng)險(xiǎn)。

2.1.2 降噪自編碼器

DAE是先對(duì)輸入向量隨機(jī)地加入噪聲，然后對(duì)其進(jìn)行編碼、解碼，使提取到的特征具有一定的魯棒性，其基本結(jié)構(gòu)如圖2所示。

圖2 降噪自編碼器

(5)

定義代價(jià)函數(shù)為:

(6)

目前加噪聲的方式分為兩種，一種是添加服從特定分布的隨機(jī)噪聲，另一種是隨機(jī)將特定比例的輸入節(jié)點(diǎn)置為零。

2.1.3 棧式降噪自編碼器

將多個(gè)DAE逐層堆疊構(gòu)成SDAE，其深度模型結(jié)構(gòu)如圖3所示。

圖3 棧式降噪自編碼器

深度模型具有更強(qiáng)大的近似復(fù)雜函數(shù)的能力，且經(jīng)過(guò)多層提取得到的特征更具有表示性。首先對(duì)網(wǎng)絡(luò)前n層采用逐層貪婪學(xué)習(xí)算法進(jìn)行無(wú)監(jiān)督預(yù)訓(xùn)練，即使用DAE算法訓(xùn)練第一層編碼器，記錄該層參數(shù)，將第一層得到的隱含層輸出作為第二層輸入，訓(xùn)練第二層編碼器后繼續(xù)記錄參數(shù)，直到第n層編碼器訓(xùn)練完畢，然后將前n層記錄好的參數(shù)作為整體網(wǎng)絡(luò)的初始參數(shù)，最后對(duì)整體網(wǎng)絡(luò)進(jìn)行有監(jiān)督地微調(diào)。

2.2 算法流程

基于SDAE的發(fā)酵過(guò)程回歸建模流程描述如下：

1)采集發(fā)酵過(guò)程樣本數(shù)據(jù)。

2)對(duì)過(guò)程數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理。將數(shù)據(jù)分為預(yù)訓(xùn)練集、微調(diào)集、驗(yàn)證集和測(cè)試集四部分。

3)利用預(yù)訓(xùn)練集、微調(diào)集和驗(yàn)證集建立SDAE模型。預(yù)訓(xùn)練集用來(lái)對(duì)SDAE進(jìn)行逐層貪婪訓(xùn)練，獲得初始參數(shù)。隨后加一層神經(jīng)網(wǎng)絡(luò)作為輸出層構(gòu)成SDAE-NN，使用微調(diào)集對(duì)SDAE-NN的參數(shù)進(jìn)行微調(diào)。驗(yàn)證集是在微調(diào)過(guò)程中監(jiān)控模型性能，可以有效防止過(guò)擬合。

4)利用測(cè)試集評(píng)估模型性能。

3 青霉素發(fā)酵過(guò)程建模仿真分析

青霉素發(fā)酵過(guò)程是已知的用于分批補(bǔ)料反應(yīng)器建模的基準(zhǔn)工藝[18]。青霉素發(fā)酵過(guò)程仿真平臺(tái)PenSim以Birol機(jī)理模型為內(nèi)核[19]，可以在不同的操作模式下運(yùn)行，得到了廣泛的應(yīng)用。

3.1 數(shù)據(jù)產(chǎn)生、預(yù)處理與劃分

3.1.1 PenSim產(chǎn)生數(shù)據(jù)

青霉素發(fā)酵過(guò)程在不同批次間會(huì)存在特性差異，本文則利用計(jì)算機(jī)模擬來(lái)隨機(jī)設(shè)定PenSim平臺(tái)的初始條件，共產(chǎn)生50批青霉素發(fā)酵過(guò)程數(shù)據(jù)，其中每批發(fā)酵總時(shí)長(zhǎng)均為400 h，采樣間隔為0.5 h。

青霉素發(fā)酵過(guò)程模型輸入變量中的通風(fēng)率和攪拌功率可以調(diào)控溶氧，底物流加速率用于控制基質(zhì)濃度，底物流加溫度、發(fā)酵罐溫度和pH則影響發(fā)酵液的物理性質(zhì)。輸出變量中的青霉素濃度是實(shí)際發(fā)酵生產(chǎn)水平的主要體現(xiàn)，而基質(zhì)濃度會(huì)影響生產(chǎn)效率，過(guò)低會(huì)導(dǎo)致菌體營(yíng)養(yǎng)不良，但過(guò)高又會(huì)使得菌體耗氧增加，降低青霉素產(chǎn)率。

3.1.2 數(shù)據(jù)預(yù)處理

青霉素發(fā)酵過(guò)程數(shù)據(jù)通常具有不同的量綱，這會(huì)對(duì)建模產(chǎn)生不利影響并減緩算法收斂速度，因此需要將數(shù)據(jù)歸一化。本文使用Z-score標(biāo)準(zhǔn)化方法，其變換形式為：

(7)

3.1.3 數(shù)據(jù)劃分

劃分?jǐn)?shù)據(jù)的方式是影響青霉素發(fā)酵過(guò)程模型性能的一個(gè)重要因素。一方面，訓(xùn)練集應(yīng)包含多樣的過(guò)程信息，否則模型將學(xué)習(xí)不到訓(xùn)練集中不存在的信息，這將會(huì)對(duì)模型預(yù)測(cè)性能產(chǎn)生影響。另一方面，測(cè)試數(shù)據(jù)集中不應(yīng)覆蓋近似的過(guò)程信息，否則模型性能會(huì)隨著過(guò)程特性變化而出現(xiàn)顯著差異。

本文首先將生成的50批數(shù)據(jù)中，40批用作訓(xùn)練集，5批用作驗(yàn)證集，5批用作測(cè)試集，然后隨機(jī)刪去訓(xùn)練集中40%數(shù)據(jù)點(diǎn)的目標(biāo)向量，從而將訓(xùn)練數(shù)據(jù)進(jìn)一步分為預(yù)訓(xùn)練集(無(wú)標(biāo)簽數(shù)據(jù))和微調(diào)集(標(biāo)簽數(shù)據(jù))。預(yù)訓(xùn)練集來(lái)用于進(jìn)行無(wú)監(jiān)督的預(yù)訓(xùn)練，微調(diào)集是用于進(jìn)行有監(jiān)督的微調(diào)，驗(yàn)證集既用于選擇模型中的超參數(shù)，也可以在訓(xùn)練過(guò)程中監(jiān)控模型性能變化從而避免過(guò)擬合，測(cè)試集是用于測(cè)試模型泛化性能。

3.2 仿真結(jié)果分析

本文采用均方誤差σRMSE和最大絕對(duì)值誤差σMAXE評(píng)價(jià)指標(biāo)來(lái)分析回歸模型的估計(jì)性能，指標(biāo)定義如下：

(8)

(9)

通過(guò)實(shí)驗(yàn)分析不同SDAE模型在驗(yàn)證集上的性能，確定SDAE-NN網(wǎng)絡(luò)結(jié)構(gòu)為6-5-5-4-3-2。為驗(yàn)證SDAE方法的有效性，將該方法與傳統(tǒng)多層ANN與SAE(Stacked Autoencoder)進(jìn)行比較,3種方法采用的網(wǎng)絡(luò)結(jié)構(gòu)保持一致，傳統(tǒng)ANN采用隨機(jī)初始化權(quán)值的策略進(jìn)行模型訓(xùn)練，SAE相較于SDAE則是在逐層貪婪預(yù)訓(xùn)練階段中沒(méi)有對(duì)輸入數(shù)據(jù)添加隨機(jī)噪聲。

為模擬現(xiàn)實(shí)過(guò)程中存在一些儀器和測(cè)量噪聲的情況，在保證樣本數(shù)據(jù)不失真的情況下，把原始樣本數(shù)據(jù)中的過(guò)程變量加入5%～10%的高斯噪聲，得到含有噪聲的樣本數(shù)據(jù)。實(shí)驗(yàn)過(guò)程中利用原始樣本和加噪樣本兩組數(shù)據(jù)，來(lái)分別測(cè)試模型性能。

以其中一批青霉素濃度為例，3種模型的預(yù)測(cè)性能見(jiàn)圖4(上為原始樣本，下為加噪樣本)，表1則定量地列出兩組樣本在各個(gè)模型測(cè)試集上的性能指標(biāo)。

圖4 3種模型的測(cè)試集預(yù)測(cè)性能

結(jié)合圖4和表1分析可得，一方面，對(duì)于原始樣本或加噪樣本，SDAE的均方誤差σRMSE和最大絕對(duì)值誤差σMAXE都是最小的，另一方面，對(duì)原始樣本加噪后，雖然ANN、SAE、SDAE模型的泛化能力都有所下降，但SDAE模型對(duì)于加噪樣本仍然具有很好的預(yù)測(cè)性能，由此說(shuō)明基于SDAE的發(fā)酵過(guò)程回歸模型不僅具有更強(qiáng)的非線性擬合能力，而且對(duì)于含噪聲數(shù)據(jù)具有更好的泛化性。

表1 3種模型的性能指標(biāo)

4 結(jié)束語(yǔ)

本文提出基于SDAE的發(fā)酵過(guò)程回歸建模方法，該策略的多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以有效擬合發(fā)酵過(guò)程的非線性，而且半監(jiān)督的學(xué)習(xí)策略能夠充分挖掘發(fā)酵過(guò)程的無(wú)標(biāo)簽數(shù)據(jù)信息，同時(shí)能夠提取出發(fā)酵過(guò)程數(shù)據(jù)中深層次的魯棒特征，使模型具有一定的噪聲適應(yīng)性，進(jìn)而提升模型的泛化性能。最后利用PenSim仿真數(shù)據(jù)進(jìn)行多組對(duì)比試驗(yàn)，通過(guò)σRMSE和σMAXE兩項(xiàng)性能指標(biāo)說(shuō)明SDAE與ANN、SAE模型相比，預(yù)測(cè)性能更好，這對(duì)發(fā)酵過(guò)程的生物學(xué)參數(shù)在線監(jiān)測(cè)、控制、優(yōu)化有重要的理論和應(yīng)用價(jià)值。