劉聰，謝莉，楊慧中

（江南大學(xué)教育部輕工過程先進(jìn)控制重點(diǎn)實(shí)驗(yàn)室，江蘇無錫214122）

引 言

產(chǎn)品質(zhì)量、能耗、產(chǎn)物生成效率等關(guān)鍵性變量能夠反映間歇過程的性能，但是由于測量環(huán)境、時(shí)滯、成本等原因，這些關(guān)鍵性變量通常無法在線測量[1-3]。隨著集散控制系統(tǒng)在間歇過程中的普遍應(yīng)用，使得大量生產(chǎn)現(xiàn)場過程數(shù)據(jù)的獲得成為可能。因此，利用這些能夠通過傳感器在線測量的過程變量作為輔助變量來估計(jì)關(guān)鍵性變量的軟測量技術(shù)就應(yīng)運(yùn)而生[4-7]。

由于青霉素發(fā)酵過程中伴隨著復(fù)雜的生物、物理和化學(xué)等變化，因此，呈現(xiàn)出嚴(yán)重的非線性、時(shí)變性以及多階段特性，單一的軟測量模型難以保證系統(tǒng)對(duì)模型精度的要求，而解決此類問題的常用方法是基于聚類建立軟測量多模型，從而較好地描述工業(yè)對(duì)象的復(fù)雜特性，提高模型的估計(jì)精度以及泛化能力[8-13]。多模型軟測量建模的關(guān)鍵在于如何利用聚類算法對(duì)樣本數(shù)據(jù)進(jìn)行準(zhǔn)確的劃分，常用的聚類算法包括基于劃分聚類的K-means 算法[14-15]，基于密度的空間聚類(density-based spatial clustering of applications with noise，DBSCAN)算法[16]，基于樣本之間相似度與歸屬度的仿射傳播聚類(affinity propagation，AP)算法[17-18]等。

密度峰值聚類算法(density peaks clustering，DPC)是Rodriguez 等[19]于2014 年提出的一種新的聚類算法，該算法簡單高效，不需要迭代就能找到聚類中心點(diǎn)，且性能不受空間維度的影響,目前受到廣泛研究與應(yīng)用[20-22]。但是該算法也存在缺陷：一是閾值dc較難選取，而算法中的局部密度值ρi的計(jì)算是與dc有關(guān)的，因此dc對(duì)聚類結(jié)果有較大影響；二是樣本點(diǎn)在分配時(shí)，當(dāng)一個(gè)點(diǎn)錯(cuò)分，會(huì)導(dǎo)致一系列點(diǎn)錯(cuò)分[23-24]。文獻(xiàn)[24]通過樣本點(diǎn)到其k 個(gè)近鄰的距離之和代替dc來計(jì)算局部密度（記為KNN-DPC），解決了dc選取的問題，但并未考慮樣本點(diǎn)的分配問題。文獻(xiàn)[25]通過引入共享近鄰代替dc定義樣本點(diǎn)的局部密度，同時(shí)對(duì)聚類中心的選擇策略進(jìn)行改進(jìn)（記為SNN-DPC），一定程度上減少了樣本點(diǎn)的錯(cuò)分。本文在DPC 算法的基礎(chǔ)上,提出了一種新的基于改進(jìn)密度峰值聚類的多模型軟測量建模方法。首先，通過計(jì)算樣本點(diǎn)的k 近鄰以及樣本點(diǎn)與其k 近鄰之間的共享近鄰來重新定義樣本點(diǎn)的局部密度。同時(shí)，考慮到傳統(tǒng)的k 近鄰計(jì)算方法是通過歐氏距離定義的，難以反映樣本的數(shù)據(jù)結(jié)構(gòu)，因此本文進(jìn)一步引入了相似度函數(shù)計(jì)算k 近鄰點(diǎn)。然后，利用樣本點(diǎn)之間的k 近鄰關(guān)系來重新定義樣本點(diǎn)的分配策略，從而提高聚類效果。最后，將改進(jìn)后的DPC 算法對(duì)訓(xùn)練樣本集進(jìn)行聚類，基于得到的子集分別建立最小二乘支持向量機(jī)子模型，采用開關(guān)方式對(duì)新來測試樣本進(jìn)行估計(jì)輸出。將本文方法應(yīng)用于青霉素發(fā)酵過程，驗(yàn)證算法的有效性。

1 DPC算法

密度峰值聚類算法是一種基于密度的、簡單高效的聚類算法。它基于兩個(gè)假設(shè)條件，一是聚類中心的密度高于它周圍的點(diǎn)，二是聚類中心點(diǎn)與比它密度更高的點(diǎn)之間的距離相對(duì)較大。對(duì)于給定樣本集X ={x1,x2,xi,…,xn}，xi∈Ra×1，DPC 算法主要可分為如下三個(gè)步驟：第一步是計(jì)算每個(gè)樣本點(diǎn)的局部密度ρi以及距離值δi；第二步是根據(jù)局部密度及距離值繪制決策圖并且在決策圖上選擇最佳聚類中心；第三步是將剩余的樣本點(diǎn)分配給密度比它大且距離最近的點(diǎn)所屬的類中[25]。DPC 局部密度ρi的定義為：

其中d(xi,xj)是樣本點(diǎn)xi與xj之間的歐氏距離，dc表示截?cái)嗑嚯x。距離值δi定義為樣本點(diǎn)xi到比它局部密度更高的其他所有樣本點(diǎn)的距離的最小值，若xi為具有最大局部密度的點(diǎn)，則δi為樣本點(diǎn)xi到其他樣本點(diǎn)距離的最大值，即：

根據(jù)每個(gè)樣本點(diǎn)的局部密度ρi及距離δi得到?jīng)Q策圖，在決策圖上找到局部密度和距離都較大的點(diǎn)作為聚類中心。在聚類中心選好之后，將剩余的樣本點(diǎn)分配給局部密度比它高而且距離最近的樣本點(diǎn)所屬的類簇中。

2 改進(jìn)DPC算法

原始的DPC算法[19]雖然簡單，計(jì)算量小，但是也存在較大的缺陷與不足。

(1)DPC算法將dc作為全局密度閾值，因此dc值對(duì)聚類結(jié)果影響較大，而確定合適的dc值較為困難，原文是將所有樣本點(diǎn)對(duì)之間的距離按照升序排列，排在第M×s 位的樣本點(diǎn)對(duì)的距離值設(shè)置為dc,其中M 為樣本點(diǎn)對(duì)的總個(gè)數(shù)，s 在1%～2%范圍內(nèi)取值。

(2)局部密度是DPC算法的關(guān)鍵，原文僅僅使用了歐氏距離來計(jì)算樣本點(diǎn)的局部密度，而沒有考慮到樣本點(diǎn)與周圍點(diǎn)之間的緊密程度，因此計(jì)算出的局部密度是不夠準(zhǔn)確的，不能較好地反映數(shù)據(jù)的密度分布。

(3)DPC 算法在確定聚類中心后，其分配策略是將剩余的樣本點(diǎn)分配給密度比它大且距離最近的點(diǎn)所屬的類，這種分配方式會(huì)導(dǎo)致當(dāng)一個(gè)點(diǎn)錯(cuò)分時(shí)，很可能接下來的一系列點(diǎn)都會(huì)錯(cuò)分，從而影響聚類精度。

針對(duì)上述問題，本文將重新定義局部密度以及樣本點(diǎn)的分配方式，從而有效提高聚類的質(zhì)量。

2.1 局部密度的計(jì)算

DPC 算法中任意一個(gè)樣本點(diǎn)的局部密度定義可以理解為：通過設(shè)定一個(gè)全局距離閾值dc，計(jì)算其他樣本點(diǎn)與該點(diǎn)的歐氏距離，歐氏距離越小，則與該點(diǎn)的相似度越高，該點(diǎn)的局部密度即為其他樣本點(diǎn)與它的相似度之和。但是，僅僅通過歐氏距離來定義兩點(diǎn)之間的相似度是不夠準(zhǔn)確的，而且全局的距離閾值的選擇十分困難。因此，本文考慮了全局的數(shù)據(jù)結(jié)構(gòu)，通過引入樣本點(diǎn)的k 近鄰以及樣本點(diǎn)與k 近鄰之間的共享近鄰來計(jì)算樣本點(diǎn)之間的相似度，進(jìn)而計(jì)算樣本的局部密度。

定義1 設(shè)K(xi)表示樣本集中距離xi第k 近的樣本點(diǎn)，則樣本點(diǎn)xi的k近鄰集合可表示為：

定義2 樣本點(diǎn)xi和xj之間的共享近鄰為兩個(gè)樣本點(diǎn)k近鄰的交集，可以表示為：

定義3 樣本點(diǎn)的局部密度ρi：

其中|snn(xi,xj)|表示共享近鄰集合snn(xi,xj)中的元素個(gè)數(shù)。

由于樣本點(diǎn)的k 近鄰是計(jì)算局部密度的關(guān)鍵，因而k 近鄰的質(zhì)量對(duì)局部密度影響較大。常用的計(jì)算某個(gè)樣本點(diǎn)k 近鄰的方法是通過計(jì)算其他樣本點(diǎn)到該點(diǎn)的歐氏距離后選擇最近的k 個(gè)樣本點(diǎn)，但是僅僅通過歐氏距離得到的k 近鄰不能反映出樣本的數(shù)據(jù)結(jié)構(gòu)。因此，受文獻(xiàn)[26]啟發(fā)，本文進(jìn)一步考慮引入相似度函數(shù)來計(jì)算樣本點(diǎn)的k近鄰。

定義4 樣本點(diǎn)之間相似度函數(shù)S(xi,xj)的定義為：

該相似度函數(shù)不僅考慮了距離，而且引入了共享近鄰，兩點(diǎn)之間的共享近鄰個(gè)數(shù)越多，表明兩點(diǎn)之間連接得越緊密，進(jìn)而兩點(diǎn)之間越相似，因此由相似度函數(shù)選擇新的k 近鄰更符合樣本的數(shù)據(jù)結(jié)構(gòu)。

局部密度的計(jì)算步驟如下。

（1）對(duì)于每個(gè)樣本點(diǎn)xi，通過歐氏距離選擇初始的k 近鄰點(diǎn)及共享近鄰，使用相似度函數(shù)(6)計(jì)算其他樣本點(diǎn)與xi之間的相似度，將第k 大的相似度記為Sk(xi,xj)。

（2）通過相似度大小選擇新的k 近鄰點(diǎn)以及共享近鄰。

（3）基于得到的k 近鄰點(diǎn)以及共享近鄰計(jì)算局部密度。

2.2 樣本點(diǎn)的分配策略

由于DPC 算法的分配方式是把樣本點(diǎn)分配給密度比它大且距離最近的點(diǎn)所屬的類別，如圖1 中所示，紅圈及其附近的點(diǎn)由于DPC 分配方式的缺陷，錯(cuò)分給了箭頭所指的類別中，圖中相同顏色的點(diǎn)表示其屬于同一類別。

通常來說，如果樣本點(diǎn)屬于同一類，它們之間是可以通過點(diǎn)與點(diǎn)之間的k 近鄰相互連接的，任意兩個(gè)樣本的k 近鄰連接如定義5 所示，可以看出圖1中紅圈與箭頭所指類別的點(diǎn)是不能通過k近鄰相互連接的。因此，本文利用k 近鄰關(guān)系對(duì)原始方法樣本點(diǎn)的分配方式進(jìn)行改進(jìn)。

圖1 DPC錯(cuò)分圖Fig.1 The wrong allocation results for DPC

定義5 k 近鄰連接：對(duì)于任意一個(gè)樣本點(diǎn)，先通過相似度大小即式(6)～式(8)搜索它的k近鄰，然后繼續(xù)搜索這k 個(gè)近鄰點(diǎn)的k 近鄰，重復(fù)搜索，直到搜索得到的所有k近鄰點(diǎn)組成的集合不發(fā)生改變,該集合記為Z。如果兩個(gè)樣本點(diǎn)xi和xj對(duì)應(yīng)的Zi和Zj有交集，則認(rèn)為它們能夠通過k近鄰連接。

改進(jìn)后的分配策略流程框圖如圖2 所示，其中，對(duì)任一待分配樣本點(diǎn)xi，將密度比它大的點(diǎn)通過距離由近到遠(yuǎn)分別記為xi1,xi2,…,xil,…,xiq，其中q表示密度比xi大的點(diǎn)的個(gè)數(shù)。令l = 1，判定待分配點(diǎn)xi與xil之間是否能夠通過k 近鄰連接，如果是則將該點(diǎn)分配給xil所屬的類別，否則，令l = l + 1，繼續(xù)尋找密度比它大并且與它能夠通過k 近鄰連接的點(diǎn)。

3 基于改進(jìn)DPC 的多模型軟測量建模

多模型軟測量建模方法流程圖如圖3所示。

圖2 分配策略流程圖Fig.2 The flow chart of allocation strategy

圖3 多模型建?？驁DFig.3 The framework of multi-model soft sensor

設(shè)訓(xùn)練樣本集為D ={(xi; yi)},i = 1,2,…,n，xi∈Ra×1為a 維輸入變量，yi∈R1×1為一維輸出變量，多模型軟測量建模步驟如下。

(1)樣本聚類：采用本文改進(jìn)的DPC算法對(duì)訓(xùn)練樣本集的輸入數(shù)據(jù)進(jìn)行聚類劃分，得到K 個(gè)子數(shù)據(jù)集{D1,D2,…,DK}以及各子集聚類中心。

圖4 不同聚類方法在UCI數(shù)據(jù)集上的聚類評(píng)價(jià)指標(biāo)Fig.4 Evaluation indexes on UCI datasets for different clustering methods

(2)建立子模型：采用最小二乘支持向量機(jī)[27-29]對(duì)得到的各個(gè)子數(shù)據(jù)集建立相應(yīng)的子模型{m1,m2,…,mK}。

(3)待測樣本類別劃分：對(duì)于待測樣本xtest，計(jì)算其到各個(gè)聚類中心的歐氏距離，將xtest劃分到與其最近的聚類中心所屬的類別r(r = 1,2,…,K)中。

(4)采用“開關(guān)切換”融合方式，基于xtest計(jì)算對(duì)應(yīng)子模型mr的輸出ypr，并將其作為最終軟測量模型的預(yù)測輸出ytest。

圖5 不同聚類方法在人工數(shù)據(jù)集上的聚類評(píng)價(jià)指標(biāo)Fig.5 Evaluation indexes on synthetic datasets for different clustering methods

4 仿真驗(yàn)證

為了驗(yàn)證本文方法的有效性，首先在UCI 真實(shí)數(shù)據(jù)集以及常用人工數(shù)據(jù)集上對(duì)改進(jìn)DPC 聚類算法的有效性進(jìn)行仿真驗(yàn)證。進(jìn)一步將改進(jìn)的DPC聚類算法應(yīng)用于青霉素發(fā)酵工業(yè)過程中，通過聚類建立軟測量多模型對(duì)青霉素產(chǎn)物濃度進(jìn)行估計(jì)。

4.1 UCI真實(shí)數(shù)據(jù)集聚類

本 文 選 取Iris、Seeds、Wine、WDBC、Zoo、Ionosphere 共6 個(gè)不同屬性和樣本個(gè)數(shù)的UCI 數(shù)據(jù)集[23,25]進(jìn)行仿真實(shí)驗(yàn)，并將本文算法與KNN-DPC[24]、SNN-DPC[25]、DPC[19]、AP[30]和K-means[31]進(jìn) 行 比 較。采用準(zhǔn)確率(accuracy, ACC)、標(biāo)準(zhǔn)化互信息(normalized mutual information, NMI) 和F 值(FMeasure)[24]三種指標(biāo)對(duì)聚類結(jié)果進(jìn)行評(píng)價(jià)，評(píng)價(jià)指標(biāo)如圖4 所示。三種評(píng)價(jià)指標(biāo)的取值范圍均為[0,1]，值越大表示聚類效果越好。

從圖4 的三個(gè)評(píng)價(jià)指標(biāo)可以看出本文方法在6個(gè)UCI數(shù)據(jù)集上的效果均優(yōu)于其他聚類算法以及兩種改進(jìn)的DPC 算法，并且相較于原始DPC 算法效果有較大提高，驗(yàn)證了本文所提算法的有效性。

4.2 人工數(shù)據(jù)集聚類

本文選用了Aggregation、Two moos、A1、A3 共4個(gè)常用人工數(shù)據(jù)集[23,32](二維)對(duì)不同算法進(jìn)行實(shí)驗(yàn)比較，相應(yīng)的ACC、NMI 和F-Measure 如圖5 所示。從圖5可以看出，本文方法的聚類評(píng)價(jià)指標(biāo)最優(yōu)，為了更加直觀地體現(xiàn)本文方法的優(yōu)越性，將其與KNN-DPC 和SNN-DPC 兩種改進(jìn)DPC 算法的聚類結(jié)果進(jìn)行對(duì)比，如圖6～圖9 所示。從圖6～圖9 可以看出，只有本文方法能夠?qū)? 個(gè)人工數(shù)據(jù)集進(jìn)行完全正確地聚類，其他兩種改進(jìn)DPC 聚類算法都存在錯(cuò)誤聚類的情形。

4.3 青霉素發(fā)酵過程軟測量建模

為了驗(yàn)證本文方法的有效性，選取青霉素發(fā)酵過程作為研究對(duì)象。所用數(shù)據(jù)通過Pensim 仿真平臺(tái)獲取，該平臺(tái)以Birol 模型為內(nèi)核，充分考慮了多種物理量和生物量，是一個(gè)能夠全面反映青霉素發(fā)酵過程且常用的仿真平臺(tái)，具有較高的權(quán)威性與實(shí)用性[33-35]。

圖6 算法在Aggregation數(shù)據(jù)集上的聚類結(jié)果Fig.6 Clustering results on Aggregation

圖7 算法在Two moons數(shù)據(jù)集上的聚類結(jié)果Fig.7 Clustering results on Two moons

圖8 算法在A3數(shù)據(jù)集上的聚類結(jié)果Fig.8 Clustering results on A3

圖9 算法在A1數(shù)據(jù)集上的聚類結(jié)果Fig.9 Clustering results on A1

本文以難以在線測量的青霉素產(chǎn)物濃度作為輸出變量，選取與其密切相關(guān)的11個(gè)過程變量作為軟測量模型的輸入變量，包括通風(fēng)速率、底物流加速率、底物濃度、溶氧量、底物流加溫度、培養(yǎng)液體積、CO2濃度、反應(yīng)熱、pH、反應(yīng)罐溫度、堿流加速率。

通過設(shè)定不同的初始條件，產(chǎn)生7 個(gè)批次的樣本數(shù)據(jù)，并設(shè)定每個(gè)批次的發(fā)酵時(shí)間和采樣間隔分別為400 h 和1 h。將其中的5 個(gè)批次作為訓(xùn)練數(shù)據(jù)，剩余2 個(gè)批次作為測試數(shù)據(jù)?？紤]到實(shí)際發(fā)酵過程中可能受到環(huán)境的影響，因此給測量數(shù)據(jù)加入了信噪比為35 dB的高斯白噪聲。

首先，運(yùn)用本文改進(jìn)后的DPC 算法對(duì)訓(xùn)練集的輸入數(shù)據(jù)進(jìn)行聚類劃分，得到各個(gè)子集以及聚類中心，然后對(duì)得到的子集分別建立最小二乘支持向量機(jī)(least squares support vector machine，LSSVM)模型，對(duì)于測試批次數(shù)據(jù)，根據(jù)其到各個(gè)聚類中心的距離，將其劃分到與其最近的聚類中心所屬的類別中，采用相應(yīng)的子模型進(jìn)行估計(jì)輸出。測試數(shù)據(jù)的劃分結(jié)果如圖10所示，改進(jìn)后的DPC算法將青霉素發(fā)酵過程劃分為四個(gè)階段，分別對(duì)應(yīng)于滯后期、快速生長期、合成期和死亡期。該分段結(jié)果與實(shí)際青霉素發(fā)酵過程的階段劃分相吻合，表明了本文提出的改進(jìn)DPC算法的有效性。

為了進(jìn)一步驗(yàn)證本文方法的有效性和優(yōu)越性，將本文所提基于改進(jìn)DPC 聚類多模型軟測量建模方法與LSSVM 單模型方法，以及基于未改進(jìn)DPC聚類的LSSVM 多模型方法(記為DPC-LSSVM)進(jìn)行仿真比較，2 個(gè)測試批次的青霉素濃度預(yù)測結(jié)果分別如圖11 所示。為了定量評(píng)價(jià)各個(gè)軟測量模型的效果，本文采用均方根誤差(root mean square error，RMSE)，最大誤差(max error，MAXE)以及平均誤差(mean error，ME)[11]來對(duì)不同方法進(jìn)行比較，結(jié)果如表1所示。

表1 不同模型的預(yù)測誤差比較Table 1 Comparison of prediction errors of different models

從圖11 及表1 可以看出，在初始條件不同也即發(fā)酵過程不同的兩個(gè)測試批次上，本文方法的預(yù)測效果最好，三個(gè)誤差評(píng)價(jià)指標(biāo)比DPC-LSSVM 及LSSVM 單模型都要小很多。在RMSE 指標(biāo)上，DPCLSSVM 相較于LSSVM 單模型分別提高了13.9%及8.2%，而本文方法分別提高了36.2%及30.9%，這是由于青霉素發(fā)酵過程自身的時(shí)變性、非線性及階段特性造成LSSVM 單模型的估計(jì)精度有限，而多模型的估計(jì)精度更高，性能更優(yōu)越。本文所提方法在原始DPC 聚類算法上進(jìn)行改進(jìn)，能對(duì)樣本數(shù)據(jù)更加合理地聚類，因此，相較于DPC-LSSVM 具有更好的預(yù)測能力和泛化能力。

圖10 DPC改進(jìn)前后的分類結(jié)果Fig.10 Classification results for the original DPC and improved DPC

圖11 兩個(gè)測試批次的青霉素濃度預(yù)測結(jié)果Fig.11 Test sample simulation results of two batches for product concentration

5 結(jié) 論

針對(duì)青霉素發(fā)酵過程中的時(shí)變性、非線性、階段性以及關(guān)鍵生物參數(shù)青霉素濃度難以在線測量的問題，提出了一種基于改進(jìn)密度峰值聚類的多模型軟測量建模方法。該方法通過引入相似度函數(shù)代替歐氏距離，得到更加符合數(shù)據(jù)分布的k 近鄰以及共享近鄰并利用其重新定義局部密度，然后通過點(diǎn)與點(diǎn)之間的k 近鄰關(guān)系來重新定義樣本點(diǎn)的分配策略，能夠獲得更合理的聚類，從而提高軟測量多模型的估計(jì)精度?；赨CI真實(shí)數(shù)據(jù)集以及常用人工數(shù)據(jù)集的仿真結(jié)果表明，本文提出的改進(jìn)DPC 算法相對(duì)于原始DPC 算法性能有很大提高，且優(yōu)于用于對(duì)比的兩種改進(jìn)DPC 算法以及其他聚類算法。進(jìn)一步將改進(jìn)的DPC 算法應(yīng)用于青霉素發(fā)酵工業(yè)過程，建立軟測量多模型對(duì)產(chǎn)物濃度進(jìn)行估計(jì)，仿真結(jié)果表明，相較基于原始DPC 方法建立的模型，本文方法建立的模型估計(jì)精度更高，且泛化能力更好。