何飛，徐金梧，梁治國，王曉晨

(北京科技大學(xué) 國家板帶生產(chǎn)先進(jìn)裝備工程技術(shù)研究中心，北京，100083)

帶鋼熱連軋生產(chǎn)過程需要保證的質(zhì)量有：(1) 尺寸形狀質(zhì)量：厚度精度、寬度精度、凸度及平直度等；(2) 表面質(zhì)量：劃痕、裂紋等；(3) 力學(xué)性能質(zhì)量：屈服強(qiáng)度、抗拉強(qiáng)度、伸長(zhǎng)率等[1]。尺寸形狀質(zhì)量可以由厚度測(cè)試儀、多功能凸度儀等測(cè)量得到。隨著高速工業(yè)拍攝技術(shù)的發(fā)展，基于機(jī)器視覺技術(shù)的表面質(zhì)量在線檢測(cè)系統(tǒng)可以有效地在線測(cè)量表面質(zhì)量狀況。力學(xué)性能則必須通過離線采樣的方式獲取。隨著計(jì)算機(jī)控制技術(shù)和傳感技術(shù)的發(fā)展，大量生產(chǎn)過程控制和實(shí)測(cè)數(shù)據(jù)被記錄，為生產(chǎn)過程和質(zhì)量的分析提供了真實(shí)的數(shù)據(jù)來源[2-4]。目前利用統(tǒng)計(jì)回歸分析方法對(duì)帶鋼力學(xué)性能進(jìn)行預(yù)報(bào)的研究，也取得了一些研究成果，但通常需要大量實(shí)際生產(chǎn)數(shù)據(jù)，而且預(yù)測(cè)精度不高，難以應(yīng)用于實(shí)際生產(chǎn)過程。擬通過聚類方法對(duì)生產(chǎn)過程數(shù)據(jù)進(jìn)行分析，事先了解生產(chǎn)狀態(tài)，對(duì)聚類性較差的數(shù)據(jù)進(jìn)行重點(diǎn)的力學(xué)性能檢測(cè)。聚類分析前常需要對(duì)數(shù)據(jù)進(jìn)行處理[5]，通常包括特征選擇和特征提取，常用的特征選擇方法有向前選擇、向后選擇、逐步選擇等，但無法提取特征間的關(guān)系。主成分分析、獨(dú)立成分分析等作為常用的特征提取方法，可以有效提取特征間的線性關(guān)系[6]。而在實(shí)際生產(chǎn)中，數(shù)據(jù)間往往呈現(xiàn)復(fù)雜的非線性關(guān)系，核函數(shù)的引入可以有效解決變量間非線性關(guān)系問題，但常用的核主成分分析是以數(shù)據(jù)服從正態(tài)分布為前提，以方差作為攜帶信息多少的衡量指標(biāo)[7-8]。實(shí)際生產(chǎn)過程數(shù)據(jù)分布復(fù)雜，擬采用以信息熵為信息衡量指標(biāo)的核熵成分分析作為特征提取方法，進(jìn)行聚類分析。

1 信息熵

Shannon將熵的概念推廣到信息理論，提出了信息熵的概念，首次對(duì)信息進(jìn)行了定量描述。信息熵作為系統(tǒng)狀態(tài)不確定性的定量評(píng)價(jià)指標(biāo)，對(duì)于系統(tǒng)內(nèi)在信息具有較強(qiáng)的刻畫能力，其定義如下[9]：

設(shè)p(x)是數(shù)據(jù)D=x1, …, xN的概率密度函數(shù)，則該數(shù)據(jù)的信息熵可表示為

作為信息熵的發(fā)展，則瑞利熵的定義為：

信息熵是數(shù)據(jù)不確定性和事件發(fā)生的隨機(jī)性的量度，從平均意義上表征數(shù)據(jù)總體信息測(cè)度的一個(gè)量，信息熵越大，信息量越多。

信息熵作為一種新的數(shù)據(jù)分析方法引起了人們廣泛的關(guān)注，使用信息熵進(jìn)行數(shù)據(jù)攜帶信息的度量，或者利用信息熵作為數(shù)據(jù)分類或聚類優(yōu)劣的評(píng)價(jià)指標(biāo)。核熵成分分析方法是一種將核函數(shù)學(xué)習(xí)方法與信息熵進(jìn)行有機(jī)結(jié)合的優(yōu)良特征提取方法。

2 核熵成分分析

核主成分分析(Kernel principal component analysis,KPCA)的核心思想是將原始數(shù)據(jù)空間投影到高維特征空間，然后對(duì)核矩陣進(jìn)行特征分解，選取前k個(gè)特征值最大的特征向量作為新的數(shù)據(jù)空間，特征值其本質(zhì)含義代表了數(shù)據(jù)在特征向量上的方差信息[10]。核熵成分分析(Kernel entropy component analysis, KECA)是一種新的特征提取方法，其核心思想是將原始數(shù)據(jù)投影到高維特征空間。與核主成分分析相同，同樣需要對(duì)核矩陣進(jìn)行特征分解，不同的是，不以特征值的大小來選擇特征向量，而是選取前k個(gè)對(duì)瑞利熵貢獻(xiàn)最大的特征向量，然后將原始數(shù)據(jù)向這些特征向量投影構(gòu)成新的數(shù)據(jù)集[11]。與核主成分分析相比，是一種完全不同的成分選取方式。下面給出核熵成分分析的理論分析過程[12]：

在式(1)中，因?qū)?shù)函數(shù)是單調(diào)函數(shù)，所以只須考慮下式即可：

為了估計(jì)V(p)，進(jìn)而估計(jì)H(p)，需進(jìn)行Parzen窗的密度估計(jì)：

式(4)中最后一個(gè)等式由卷積理論知：高斯函數(shù)的卷積仍然為高斯函數(shù)。則符號(hào)簡(jiǎn)化后可以得到選用常用的高斯核函數(shù)K(x,x′)=作為核函數(shù)，則可以選為即為核函數(shù)，式(4)可以寫為：

其中：N×N的核矩陣K中元素為k(xi, xj)，1為每個(gè)元素均取值為1的N×1的向量。至此，瑞利熵可以表達(dá)為核矩陣的形式。瑞利熵估計(jì)還可以通過核矩陣的特征值和特征向量計(jì)算得到，核矩陣可以分解為其中Dλ為由特征值組成的對(duì)角矩陣，E為對(duì)應(yīng)的特征向量e1,…,eN組成的矩陣。同時(shí)核矩陣也是特征空間中一個(gè)矩陣的內(nèi)積，如果假設(shè)Φx為由對(duì)應(yīng)的特征空間的數(shù)據(jù)點(diǎn)構(gòu)成的矩陣，則可以得到因此可以改寫式(5)：

KECA分析中選擇對(duì)瑞利熵估計(jì)貢獻(xiàn)最大的前 l個(gè)特征值及其對(duì)應(yīng)的特征向量，可以得到特征空間中的數(shù)據(jù)進(jìn)而得到特征空間中數(shù)據(jù)點(diǎn)的內(nèi)積在KPCA分析中，選擇前k個(gè)最大的特征值及其對(duì)應(yīng)的特征向量，進(jìn)而可以得到特征空間的數(shù)據(jù)

經(jīng)過以上的分析后給出KECA分析步驟：

(1) 給定核參數(shù)和核函數(shù)，計(jì)算核矩陣K；

(3) 由式(7)計(jì)算每個(gè)特征值所對(duì)應(yīng)的瑞利熵，根據(jù)對(duì)瑞利熵貢獻(xiàn)的大小，選擇前l(fā)個(gè)特征向量和特征值；

在核熵成分分析中，發(fā)現(xiàn)各核熵成分間常呈現(xiàn)角結(jié)構(gòu)，為此在角距離為相似性度量基礎(chǔ)上利用K-mean方法進(jìn)行聚類分析。

3 核熵主成分自適應(yīng)聚類

在核熵成分分析中，聚類數(shù)和核參數(shù)對(duì)聚類結(jié)果具有重要影響，提出自適應(yīng)選取的準(zhǔn)則，實(shí)現(xiàn)核參數(shù)和聚類數(shù)的自適應(yīng)選取，首先根據(jù)常用的基于歐式距離的離散度概念，引入了基于角距離[13]的離散度：

類內(nèi)離散度：

其中：C為聚類數(shù)。

類間離散度：

上述類內(nèi)和類間離散度為各向量間余弦值的均值，取值在0到1范圍內(nèi)。類內(nèi)離散度表征了同類樣本基于角結(jié)構(gòu)距離的相似程度，類間離散度表征了不同類別樣本間的相似程度。在聚類分析中，目標(biāo)是使類內(nèi)離散度盡可能大，類間離散度盡可能小，借鑒費(fèi)希爾判別中使用類內(nèi)和類間離散度的比作為準(zhǔn)則函數(shù)[14]，但基于角結(jié)構(gòu)的離散度取值在0到1，被除數(shù)有可能為0或非常接近于0，這里采用基于角結(jié)構(gòu)的類內(nèi)和類間離散度的差作為選取的準(zhǔn)則函數(shù)：

準(zhǔn)則函數(shù)越大表明類內(nèi)離散度與類間離散度間的差別越大，不同類別間的差別越大，相同類別的相似性越強(qiáng)，所以在實(shí)際應(yīng)用中應(yīng)盡可能使準(zhǔn)則函數(shù)取值最大化。

在核參數(shù)和聚類數(shù)選取過程中首先需給出初始選取范圍，然后使準(zhǔn)則函數(shù)最大化選取合適的值。采用Shi等[15]提出的核參數(shù)常取值于原始數(shù)據(jù)空間各樣本歐式距離中值的10%～20%作為初始范圍；根據(jù)專家經(jīng)驗(yàn)給出聚類數(shù)初始范圍，若經(jīng)驗(yàn)不足，則可使初始范圍盡可能大些。

4 實(shí)驗(yàn)與分析

熱軋帶鋼經(jīng)過復(fù)雜的生產(chǎn)過程，每個(gè)生產(chǎn)過程均對(duì)最終的產(chǎn)品質(zhì)量產(chǎn)生影響。為了進(jìn)行生產(chǎn)過程的狀態(tài)和質(zhì)量分析，共收集到實(shí)際生產(chǎn)過程中的3種鋼種的生產(chǎn)過程數(shù)據(jù)，包括化學(xué)元素(碳、硅、錳、磷、硫)含量，軋制過程溫度信息(粗軋出口溫度、精軋入口溫度、精軋出口溫度和卷取溫度)，軋制過程厚度信息(粗軋出口厚度和精軋出口成品厚度)共11個(gè)生產(chǎn)過程變量。3個(gè)鋼種采集到的樣本數(shù)分別為73，130和342。

具體的實(shí)驗(yàn)步驟為：(1) 利用生產(chǎn)過程數(shù)據(jù)構(gòu)成數(shù)據(jù)矩陣(2) 取各樣本歐式距離中值的10%～20%作為核參數(shù)初始范圍，并根據(jù)經(jīng)驗(yàn)給出聚類數(shù)范圍；(3) 在核參數(shù)和聚類數(shù)范圍內(nèi)進(jìn)行網(wǎng)格取值，分別進(jìn)行KECA聚類分析，并記錄每次聚類分析中計(jì)算的準(zhǔn)則函數(shù)值；(4) 取所有準(zhǔn)則函數(shù)值中最大值所對(duì)應(yīng)的核參數(shù)和聚類數(shù)值進(jìn)行KECA分析，其中核主成分?jǐn)?shù)取為聚類數(shù)；(5) 利用KECA所取得的核主成分進(jìn)行以cos值為相似性判據(jù)的K-mean聚類分析。

在KECA分析中核主成分?jǐn)?shù)取為聚類數(shù)，原因?yàn)镵ECA中利用核函數(shù)實(shí)現(xiàn)了從原始空間到高維特征空間的映射，使非線性問題線性化，實(shí)現(xiàn)了在高維特征空間中每個(gè)核主成分綜合提取每類樣本的特征信息。如在熱軋帶鋼鋼種的聚類分析中，KECA所保留的每個(gè)核主成分表示一個(gè)鋼種力學(xué)性能(屈服強(qiáng)度、抗拉強(qiáng)度、伸長(zhǎng)率等)的綜合信息。

樣本空間中歐式距離的中值的 10%～20%對(duì)應(yīng)的取值范圍為3.8到7.6，從而選擇核參數(shù)σ的初始范圍為3.8～7.6。初選聚類數(shù)的范圍為2～6。以核參數(shù)σ和聚類數(shù)為自變量的聚類實(shí)驗(yàn)準(zhǔn)則函數(shù)取值如圖 1所示。最后，選擇核函數(shù)σ和聚類數(shù)分別為4.2和3.0。

實(shí)驗(yàn)中，K，Keca，Kpca和 cos值矩陣分別如圖 2(a)～(d)所示，cos值矩陣為兩兩樣本點(diǎn)之間的cos值組成的矩陣。圖 2(e)給出了標(biāo)準(zhǔn)化特征值和瑞利熵結(jié)果。KECA和KPCA中選取的前3個(gè)主成分的數(shù)據(jù)分布分別如圖2(f)～(g)所示。KECA可以給出明顯的角結(jié)構(gòu)，而KPCA沒有提取出明顯的角結(jié)構(gòu)。

圖1 帶鋼熱軋生產(chǎn)過程狀態(tài)聚類實(shí)驗(yàn)準(zhǔn)則函數(shù)Fig.1 Criterion function in hot strip rolling experiment

圖2 帶鋼熱軋生產(chǎn)過程狀態(tài)聚類實(shí)驗(yàn)結(jié)果Fig.2 Clustering results of hot strip rolling process

利用上述的 KECA特征提取和角結(jié)構(gòu)聚類分析后，表1給出了實(shí)際類別和聚類后的各類別的樣本數(shù)，3種類別樣本的聚類正確率分別為97.26%，99.23%和95.32%。利用KPCA分析，核參數(shù)也進(jìn)行了優(yōu)化選取，得到的聚類正確率分別為97.26%，88.46%和83.04%。KECA和KPCA的總體聚類準(zhǔn)確率分別為：96.51%和86.23%，可以看到KECA具有更好的聚類結(jié)果。在帶鋼力學(xué)性能檢測(cè)中，聚類結(jié)果不正確的樣本將作為重點(diǎn)檢測(cè)對(duì)象，這將有利于提高質(zhì)量檢測(cè)的針對(duì)性。

為比較KECA和KPCA的特征向量選擇過程，圖3給出了帶鋼熱軋生產(chǎn)過程數(shù)據(jù)的前8個(gè)主成分的圖。從圖3中可以看到：第1，3，8主成分各有一段所對(duì)應(yīng)的樣本值不為零，而其他部分均基本為零，而且不為零的樣本點(diǎn)覆蓋了所有樣本點(diǎn)。如果使用KPCA進(jìn)行數(shù)據(jù)的特征提取，按照特征值的大小會(huì)選取前3個(gè)主成分。第2個(gè)主成分不為零樣本與第1個(gè)主成分基本相同，均沒有體現(xiàn)第1類樣本的特征?？梢奒ECA可以更加有效提取不同類樣本的差異性，有利于不同類樣本的區(qū)分。

表1 核熵成分分析帶鋼熱軋生產(chǎn)聚類結(jié)果Table 1 Results of hot strip rolling clustering based on KECA個(gè)

因3類樣本的聚類便于可視化表示，上述實(shí)驗(yàn)只采用了3類樣本進(jìn)行聚類分析。為了更全面了解更多鋼種的聚類效果，還進(jìn)行了5類樣本的KECA聚類實(shí)驗(yàn)。5種鋼種采集到的樣本數(shù)分別為73，130，342，88和86，所采用的變量與前面3類相同。利用相同的方法可以獲得最優(yōu)的核參數(shù)4和聚類數(shù)5。

在KECA分析中，對(duì)瑞利熵值貢獻(xiàn)最大的5個(gè)主成分分別為第2，1，8，6和17主成分。保留前5個(gè)對(duì)熵貢獻(xiàn)最大的主成分，計(jì)算相應(yīng)的角距離，得到對(duì)應(yīng)的cos值矩陣如圖4所示，可以看到cos值矩陣具有明顯的分塊特性。

而在KPCA分析中會(huì)選擇特征值最大的前5個(gè)主成分，即第1～5主成分。首先給出對(duì)應(yīng)特征值最大的第1，2，3主成分投影得到的數(shù)據(jù)，如圖5(a)所示。由圖5(a)可以看到：最大特征值對(duì)應(yīng)的前3個(gè)主成分難以有效刻畫數(shù)據(jù)的本質(zhì)特性，難以在空間中將數(shù)據(jù)有效分離。為了形象給出2種方法的差異性，選擇2種方法中差異的主成分，即給出了在第3，4，5主成分和第 8，6，17主成分投影得到的數(shù)據(jù)，分別如圖5(b)～(c)所示。從圖5可以看到：KECA分析中，第8，6，17主成分分別對(duì)應(yīng)一類數(shù)據(jù)，具有明顯的角結(jié)構(gòu)特性，可以有效地提取數(shù)據(jù)的本質(zhì)特性，有利于數(shù)據(jù)的聚類分析，而KPCA分析中選用的主成分不能有效表現(xiàn)數(shù)據(jù)的類別特征。表2給出了實(shí)際類別和KECA聚類后各類別的樣本數(shù)，總體正確率為95.68%，聚類結(jié)果較為理想。而且，通過檢測(cè)聚類錯(cuò)誤樣本的力學(xué)性能，發(fā)現(xiàn)均處于該鋼種所要求的邊界。在實(shí)際的生產(chǎn)中應(yīng)盡可能避免這種情況的發(fā)生，因?yàn)槠涮幱诮导?jí)或改判為其他鋼種的邊緣。

圖3 帶鋼熱軋生產(chǎn)數(shù)據(jù)核主成分Fig.3 Kernel principal components of hot strip rolling

圖4 5類熱軋樣本KECA分析中cos矩陣圖Fig.4 Cosine matrix of hot strip rolling experiment with five class based on KECA

圖5 KECA和KPCA采用的不同主成分的對(duì)比Fig.5 Comparison of KECA and KPCA principal components

表2 核熵成分分析對(duì)5類樣本帶鋼熱軋生產(chǎn)聚類結(jié)果Table 2 Results of hot strip rolling clustering with five class based on KECA 個(gè)

5 結(jié)論

(1) 使用聚類方法分析熱軋帶鋼生產(chǎn)工藝過程數(shù)據(jù)，間接判斷熱軋帶鋼的鋼種信息，實(shí)現(xiàn)實(shí)時(shí)在線判斷力學(xué)性能是否滿足生產(chǎn)要求，對(duì)離群樣本進(jìn)行重點(diǎn)的離線力學(xué)性能檢測(cè)，增強(qiáng)了控制的實(shí)時(shí)性和檢測(cè)的針對(duì)性。

(2) 采用KECA提取生產(chǎn)數(shù)據(jù)的有效特征，并采用最大化基于角距離的類內(nèi)離散度和類間離散度的差作為準(zhǔn)則自適應(yīng)選取核參數(shù)和聚類數(shù)，實(shí)現(xiàn)生產(chǎn)過程數(shù)據(jù)的自適應(yīng)聚類。利用現(xiàn)場(chǎng)實(shí)際生產(chǎn)數(shù)據(jù)進(jìn)行驗(yàn)證，3種帶鋼的聚類正確率為96.51%，與KPCA方法相比提高 10.28%。而 5種帶鋼的聚類正確率也達(dá)到95.68%，可以及時(shí)了解生產(chǎn)工藝狀態(tài)。

(3) 實(shí)際的離線檢測(cè)也發(fā)現(xiàn)聚類錯(cuò)誤樣本的力學(xué)性能均處于該鋼種所規(guī)定范圍的邊界值，與聚類結(jié)果相吻合。在今后的研究中，努力找出導(dǎo)致該樣本處于邊界的主要工藝參數(shù)，如何調(diào)整可以改變其取值，最終達(dá)到力學(xué)性能的實(shí)時(shí)控制。

[1]孫一康. 帶鋼熱連軋的模型與控制[M]. 北京: 冶金工業(yè)出版社, 2007: 2-13.SUN Yi-kang. Model and control for hot steel strip rolling[M].Beijing: Metallurgical Industry Press, 2007: 2-13.

[2]Kano M, Nakagawa Y. Data-based process monitoring, process control, and quality improvement: Recent developments and applications in steel industry[J]. Computers and Chemical Engineering, 2008, 32(1/2): 12-24.

[3]Braha D. Data mining for design and manufacturing: methods and applications[M]. London: Kluwer Academic Publishers,2001: 2-40.

[4]Chiang L H, Russell E L, Braatz R D. Fault detection and diagnosis in industrial systems[M]. New York: Springer-Verlag,2001: 2-10.

[5]趙鳳, 焦李成, 劉漢強(qiáng), 等. 半監(jiān)督譜聚類特征向量選擇算法[J]. 模式識(shí)別與人工智能, 2011, 21(1): 48-56.ZHAO Feng, JIAO Li-cheng, LIU Han-qiang, et al.Semi-supervised eigenvector selection for spectral clustering[J].Pattern Recognition and Application Intelligence, 2011, 21(1):48-56.

[6]Duda R O, Hart P E, Stork D G. Pattern classification[M]. 2nd ed.New York: John Wiley & Sons, 2001: 1-10.

[7]Nakagawa Y, Nakagawa S, Kano M. Quality improvement of steel products by using multivariate data analysis[C]//SICE 2007 Annual Conference. Takamatsu, Japan: IEEE, 2007: 2428-2432.

[8]Sch?lkopf B, Smola A, Muller K. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation, 1998,10(5): 1299-1319.

[9]Principe J C. Information theoretic learning: Renyi’s entropy and kernel perspectives[M]. New York: Springer Verlag, 2010:47-88.

[10]Jenssen R, Eltoft T. A new information theoretic analysis of sum-of-squared-error kernel clustering[J]. Neurocomputing,2008, 72(1/2/3): 23-31.

[11]Jenssen R, Eltoft T, Girolami M, et al. Kernel maximum entropy data transformation and an enhanced spectral clustering algorithm[C]//Sch?lkopf B, John C P, Thomas H. Proceedings of the Twentieth Annual Conference on Neural Information Processing Systems. Cambridge: MIT Press, 2006: 633-640.

[12]Jenssen R. Kernel entropy component analysis[J]. Pattern Analysis and Machine Intelligence, 2010, 32(5): 847-860.

[13]Girolami M. Orthogonal series density estimation and the kernel eigenvalue problem[J]. Neural Computation, 2002, 14(3):669-688.

[14]Baudat G, Anouar F. Generalized discriminant analysis using a kernel approach[J]. Neural Computation, 2000, 12(10):2385-2404.

[15]Shi J, Malik J. Normalized cuts and image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000, 22(8): 888-905.