劉兆倫，武 尤，王衛(wèi)濤，張春蘭，劉 彬

(1.燕山大學(xué) 河北省特種光纖與光纖傳感重點實驗室，河北 秦皇島 066004；2.燕山大學(xué) 信息科學(xué)與工程學(xué)院，河北 秦皇島 066004；3.燕山大學(xué) 電氣工程學(xué)院，河北 秦皇島 066004)

1 引 言

針對傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度慢的問題，黃廣斌等人提出了極端學(xué)習(xí)機(extreme learning machine，ELM)[1]，但通過人為試湊法設(shè)定的隱含層節(jié)點個數(shù)以及隱含層激活函數(shù)的選擇對ELM的學(xué)習(xí)效率和魯棒性有很大的影響[2]。針對這些問題，有學(xué)者利用Mercer理論將具有良好的非線性映射能力的核函數(shù)引入ELM中形成核ELM[3]，不但避免了隱含層節(jié)點個數(shù)的設(shè)定和隱含層激活函數(shù)的選擇，又提高了ELM的非線性映射能力。不同核函數(shù)所具備的性能不同，因此對于不同的特點的數(shù)據(jù)，同一個核函數(shù)的表現(xiàn)差異較大，單個核函數(shù)對輸入數(shù)據(jù)進行映射的處理將不再合理。針對這個問題，學(xué)者們開始對多核ELM進行研究[4,5]。

隨著多尺度分析和小波理論的發(fā)展，多尺度核學(xué)習(xí)作為多核學(xué)習(xí)的一種特殊形式[6]，因與合成核相比更具泛化能力和靈活性而被廣泛應(yīng)用。Liu等人將多尺度核ELM應(yīng)用于腦電圖信號(EEG)特征分類問題[6]；Chang等人利用多尺度核ELM解決相對磁導(dǎo)率曲線的計算問題[7]；王新迎等人將多尺度核ELM用于對多元混沌時間序列的建模預(yù)測[8]；Chen等人利用多尺度核ELM對電路系統(tǒng)輸電線路進行故障診斷[9]。但是以上文獻中現(xiàn)有的核函數(shù)多尺度化方法存在著計算復(fù)雜的問題，且大量的計算使得網(wǎng)絡(luò)學(xué)習(xí)時間變長。

現(xiàn)有的多尺度核ELM均是采用最小二乘法的思想，基于最小均方差(minimum mean square error，MMSE)準則構(gòu)建的[10]，對粗差數(shù)據(jù)十分敏感且往往存在過擬合的現(xiàn)象，在難免存在噪聲的實際應(yīng)用過程中，逐漸顯示出其弊端。而近年來，作為一種新的隨機變量局部相似性的度量，相關(guān)熵受到廣泛關(guān)注[11,12]。最大相關(guān)熵準則(maximum correntropy criterion，MCC)從M-estimate框架來看，等價于加權(quán)最小二乘法[13]，相比于MMSE準則具備更優(yōu)的抑制噪聲的作用和更好的魯棒性[14]，能有效地處理噪聲數(shù)據(jù)。張金鳳等人采用MCC準則對投影近似子空間跟蹤算法的目標函數(shù)進行修正，推導(dǎo)出適用于噪聲環(huán)境的新算法[15]；Wang等人利用MCC準則抑制混沌時間序列預(yù)測中脈沖噪聲干擾的影響[16]；Wang等人將MCC準則引入核回歸中提出了一種基于MCC準則的核回歸脈沖星輪廓去噪方法[17]；Su等人用MCC準則代替基于高斯混合模型的圖像恢復(fù)方法中的MMSE準則，避免了MMSE準則對異常值敏感的問題[18]。

針對上述多尺度核ELM現(xiàn)存的問題，本文采用MCC準則代替?zhèn)鹘y(tǒng)的多尺度核ELM算法中的MMSE準則構(gòu)建目標函數(shù)使之適用于高斯噪聲環(huán)境，并且基于按訓(xùn)練樣本數(shù)量隨機生成尺度因子的新型多尺度化方法，采用拉格朗日乘子法推導(dǎo)出基于MCC準則的多尺度核ELM算法(MCC-MKELM)，并對其進行收斂性與計算復(fù)雜度分析。針對3種對比算法在基準回歸數(shù)據(jù)集與高斯噪聲數(shù)據(jù)集上進行對比實驗來驗證其性能。最后將其應(yīng)用于對水泥熟料f-CaO含量的預(yù)測以評估其實用性。

2 基于最大相關(guān)熵準則的多尺度高斯核極端學(xué)習(xí)機

2.1 最大相關(guān)熵準則

相關(guān)熵是一種用來衡量特征向量之間相似性的相關(guān)函數(shù)，對于任意給定的2個變量A、B可以定義為：

V(A,B)=E[k(A,B)]

(1)

式中：E(·)表示對兩個變量A、B之差進行高斯變換后的函數(shù)期望[15]；k(·)為滿足Mercer條件的高斯核函數(shù)[16]。但在實際問題中，變量A、B的聯(lián)合概率密度往往未知，因此式(1)中的期望用訓(xùn)練樣本估計量近似表示，設(shè)樣本總數(shù)為S，ai、bi表示第i個樣本在矩陣A、B中對應(yīng)的元素，同時代入高斯核函數(shù)并用σ表示尺度因子，得到最大相關(guān)熵(MCC)準則表達式為：

(2)

2.2 基于最大相關(guān)熵準則的核極端學(xué)習(xí)機

使用MCC準則代替ELM中的MMSE準則并加入正則化項，得到求解ELM輸出權(quán)重矩陣的新目標函數(shù)：

(3)

針對此非線性優(yōu)化問題，半二次優(yōu)化技術(shù)利用訓(xùn)練樣本對輸出權(quán)重進行迭代尋優(yōu)得到的結(jié)果可能并不是最優(yōu)解，因此本文使用拉格朗日乘子法進行求解。

目標函數(shù)：

約束條件：

εi=ti-yi=ti-hiβ(i=1,…,S)

(4)

式中:hi表示第 個訓(xùn)練樣本經(jīng)過ELM隱含層映射得到的特征向量；εi為第i組訓(xùn)練樣本的訓(xùn)練誤差。

運用式(4)構(gòu)造拉格朗日函數(shù)：

(5)

式中ei表示第i個訓(xùn)練樣本對應(yīng)的拉格朗日乘積因子。對式(5)進行求導(dǎo)得到：

(6a)

(6b)

(6c)

(7)

將變換后的求導(dǎo)結(jié)果進一步寫成矩陣形式為：

(8)

式中:H表示全部訓(xùn)練樣本通過ELM隱含層映射得到的特征矩陣；E表示由S個訓(xùn)練樣本對應(yīng)的ei所構(gòu)成的向量。由式(8)求得輸出權(quán)重β的表達式：

(9)

則最終網(wǎng)絡(luò)輸出可表示為：

(j=1,…,N)

(10)

式中：f(xj)表示第j個測試數(shù)據(jù)的預(yù)測輸出；N為測試樣本數(shù)目；h(xj)表示第j個測試數(shù)據(jù)的隱含層輸出矩陣,h(xj)=[h1j,h2j,h3j,…,hMj]。用核函數(shù)取代式(10)中的內(nèi)積計算便可得到基于MCC準則的核極端學(xué)習(xí)機為：

(11)

(12)

2.3 基于最大相關(guān)熵的多尺度高斯核極端學(xué)習(xí)機

高斯核函數(shù)是典型的可多尺度化核函數(shù)，傳統(tǒng)的多尺度高斯核有兩種形式: 一種是多尺度合成核[6]，如式(13)所示，不同尺度的核函數(shù)相加合成一個核; 另一種是大小尺度疊加核[4]，如式(14)所示，先用大尺度核處理平緩變化的數(shù)據(jù)，再用小尺度核處理劇烈變化的樣本，最后使多個尺度得到的結(jié)果相加。用R表示尺度個數(shù)。

(13)

f(x)=f(k1)+f(k2)+…+f(kR)

(14)

(15)

(16)

由此，得到一種基于最大相關(guān)熵準則的新型多尺度核ELM：

(17)

3 算法收斂性與復(fù)雜度分析

3.1 收斂性分析

在文獻[1]中，Huang G B從非線性逼近能力和統(tǒng)計學(xué)習(xí)理論方面給出了ELM算法收斂的理論依據(jù)。本文提出的MCC-MKELM算法在基本ELM的基礎(chǔ)上引入的多尺度核只是改變了計算方式，且每個核都是單一尺度的高斯函數(shù)，滿足ELM的收斂條件，對ELM的收斂性并無影響。此外由拉格朗日乘子法理論可知，只有在目標函數(shù)是凸函數(shù)的情況下，才能保證求解得到的結(jié)果為所求解問題的最優(yōu)解。本文引入的相關(guān)熵準則，使用高斯核函數(shù)保證了目標函數(shù)是凸的，從而確保了全局收斂，因此MCC-MKELM算法是收斂的。同時，MCC-MKELM算法保持了ELM的一次性學(xué)習(xí)特性，隨機產(chǎn)生輸入權(quán)重和隱含層閾值后不再需要迭代優(yōu)化，因此MCC-MKELM算法也具有良好的收斂速度。

3.2 復(fù)雜度分析

2L3+2S2L+SL(m+n)+1

(18)

對于采用式(13)所示多尺度化形式的，基于MMSE準則的多尺度核ELM，最終對應(yīng)的計算復(fù)雜度為：

L3+2RS2L+RSL(m+n)

(19)

對于采用式(14)所示多尺度化形式的，基于MMSE準則的多尺度核ELM，最終對應(yīng)的計算復(fù)雜度為：

R[L3+2S2L+SL(m+n)]

(20)

比較式(18)、式(19)與式(20)可以看出，本文提出的MCC-MKELM算法與傳統(tǒng)多尺度核ELM算法相比，避免了尺度個數(shù)對計算復(fù)雜度的影響。在新多尺度化方法中R=S=L，使3種多尺度核ELM的隱含層神經(jīng)元個數(shù)一致，則2種傳統(tǒng)多尺度核ELM的計算復(fù)雜度明顯大于MCC-MKELM算法。

4 性能驗證

將MCC-MKELM算法與2種傳統(tǒng)的ELM算法以及1種實驗對比ELM算法在3種UCI基準數(shù)據(jù)集上進行性能對比，4種ELM算法如表1所示。其中算法2是為了驗證MCC準則與MMSE準則的抗噪性能差異而設(shè)置的算法，只將算法1中的MCC準則替換為MMSE準則，而其他方面均保持不變，并沒有文獻出處。仿真實驗均是基于Intel(R)Core(TM)i3-4150處理器、3.50 GHz CPU主頻、4.00 GB內(nèi)存和Windows7 32位操作系統(tǒng)的計算機，使用Matlab R2007b仿真軟件進行的。

表1 4種ELM算法Tab.1 Four ELM algorithms

在數(shù)據(jù)集模型訓(xùn)練過程中，本文采用Hold-out方法，隨機將各數(shù)據(jù)集的3/4作為訓(xùn)練數(shù)據(jù)，1/4作為測試數(shù)據(jù)。每組實驗均重復(fù)運行50次，并將4種ELM在每組數(shù)據(jù)集上運行的時間平均值、測試樣本數(shù)據(jù)的均方差平均值以及相關(guān)熵平均值進行統(tǒng)計。

4.1 對預(yù)測精度與學(xué)習(xí)速度的驗證

為了全面地驗證4種算法的性能，選取不同數(shù)量不同維度的3個典型的基準數(shù)據(jù)集進行性能驗證，3個數(shù)據(jù)集均來自UCI機器學(xué)習(xí)數(shù)據(jù)庫[19]，分別為：MachineCPU、AutoMPG、BostonHousing。算法1中τ=0.5，3個基準數(shù)據(jù)集上尺度因子隨機生成的范圍依次是：[0,0.001]、[0,0.015]、[0,0.035]。算法2中的所有參數(shù)包括尺度因子均與算法1保持一致。算法3中隱含層激活函數(shù)采用sigmoid函數(shù)，最大迭代次數(shù)設(shè)置為k=2 000。算法3與算法4中的正則化因子設(shè)置為C=20。算法4中的傳統(tǒng)多尺度化方法采用應(yīng)用更普遍且更具魯棒性的式(14)的形式。仿真結(jié)果如圖1～圖3所示。

圖1 4種ELM在MachineCPU數(shù)據(jù)集上的回歸效果對比Fig.1 Comparison of the regression effects of four ELMs on the MachineCPU dataset

圖1～圖3分別為4種ELM算法在MachineCPU、AutoMPG和BostonHousing數(shù)據(jù)集上的回歸效果對比圖。以圖2中AutoMPG數(shù)據(jù)集上的回歸結(jié)果為例：圖2(a)顯示出算法3的回歸效果相對最差，圖2(b)可以更加直觀地顯示出算法1的回歸誤差曲線最穩(wěn)定地貼近于0值且波動最弱，其次為算法2，最次為算法4。在其他2個數(shù)據(jù)集上，4種算法的對比結(jié)果與在AutoMPG數(shù)據(jù)集上基本一致。具體預(yù)測性能數(shù)據(jù)如表2所示。

圖2 4種ELM在AutoMPG數(shù)據(jù)集上的回歸效果對比Fig.2 Comparison of regression effects of four ELMs on AutoMPG datasets

表2 4種算法在UCI回歸數(shù)據(jù)集上的性能統(tǒng)計Tab.2 Performance statistics of four algorithms on UCI regression dataset

圖3 4種ELM在BostonHousing數(shù)據(jù)集上的回歸效果對比Fig.3 Comparison of regression effects of four ELMs on the BostonHousing dataset

從預(yù)測精度來看，仍以AutoMPG數(shù)據(jù)集為例：算法1均方根誤差值為0.009 8，將預(yù)測精度較算法2提高9.26%，較算法3提高67%，較算法4提高30.98%。其中，算法1的預(yù)測精度明顯優(yōu)于算法3是由于:針對基于MCC準則對非線性優(yōu)化問題的求解，相比于現(xiàn)有的半二次優(yōu)化技術(shù)，拉格朗日乘子法可以得到更準確的最優(yōu)值。算法1使用的多尺度高斯核與算法4使用的多尺度小波核相比，高維特征空間的維度更高，因此區(qū)分數(shù)據(jù)差異的能力也優(yōu)于算法4。算法2與算法1除了構(gòu)造目標函數(shù)依據(jù)的準則不同之外，兩者的核函數(shù)、多尺度化方法、非線性問題的求解方法均相同，因此兩者預(yù)測性能差別不大。

從3個數(shù)據(jù)集來看，算法2、算法3、算法4均存在均方差值隨數(shù)據(jù)集數(shù)據(jù)量的增加而逐漸增大的趨勢，而算法1在三個不同類型的數(shù)據(jù)集上的均方差數(shù)值依次為：0.010 1、0.009 8、0.011 4，可見算法1的泛化性能優(yōu)于其他對比算法。同時，相比于傳統(tǒng)多尺度核極端學(xué)習(xí)機的算法4，算法1在3個基準數(shù)據(jù)集上將預(yù)測精度平均提升30.30%。

針對學(xué)習(xí)速度而言，算法1的學(xué)習(xí)時間在3個基準數(shù)據(jù)集上均優(yōu)于算法3與算法4。這是由于，算法2與算法4相比，在同樣采用MMSE準則的前提下，采用新多尺度化方法，在不影響預(yù)測精度的情況下大大縮短了多尺度核的學(xué)習(xí)時間，明顯提高了學(xué)習(xí)速度。而算法1不但采用了與算法2相同的多尺度化方法，還使用拉格朗日乘子法求解非線性問題避免了算法3中耗時的迭代過程。同樣，由于算法1與算法2的核函數(shù)、多尺度化方法、非線性問題的求解方法均相同，因此兩者的學(xué)習(xí)速度也相當。所以，整體來說算法1的學(xué)習(xí)速度是可取的。

4.2 抗噪性能驗證

在第4.1節(jié)的實驗中，算法1與算法2在基準數(shù)據(jù)集上都具有良好的預(yù)測精度和較優(yōu)的學(xué)習(xí)速度。由于實際獲取的數(shù)據(jù)往往含有噪聲，因此在噪聲數(shù)據(jù)集上對2種準則下的多尺度高斯核ELM進行實驗。

圖4 兩種準則下的多尺度核ELM抗噪性能對比Fig.4 Comparison of multi-scale nuclear ELM anti-noise performance under two criteria

圖4是在4種不同信噪比的高斯噪聲環(huán)境下，采用MMSE準則的算法2與采用MCC準則的算法1的抗噪效果對比圖。圖4(a)顯示在信噪比為25的高斯噪聲下算法2與算法1相比回歸精度稍差但差距不大；圖4(b)顯示在信噪比為20的高斯噪聲下算法2開始出現(xiàn)輕微的過擬合現(xiàn)象，而算法1仍可以保持良好的回歸精度；圖4(c)顯示在信噪比為15的高斯噪聲下算法2的過擬合現(xiàn)象加劇，而算法1的回歸精度略微下降但仍明顯優(yōu)于算法2；圖4(d)顯示在信噪比為10的高斯噪聲下雖然兩種算法的回歸效果均變差，但是算法1仍能維持較好的sinc曲線形狀且與算法2相比回歸精度優(yōu)勢更加明顯。

具體實驗數(shù)據(jù)如表3所示。

表3 基于兩準則下的多尺度核ELM在高斯噪聲數(shù)據(jù)集上的性能統(tǒng)計Tab.3 Performance statistics of multi-scale kernel ELMbased on two criterias on Gaussian noise dataset

由實驗數(shù)據(jù)分析得出：相比于算法2，在不同信噪比的高斯噪聲環(huán)境中，算法1具有更強的抗高斯噪聲的能力和魯棒性。在信噪比為25的數(shù)據(jù)集上

將精度提高26.27%；在信噪比為20的數(shù)據(jù)集上將精度提高36.04%；在信噪比為15的數(shù)據(jù)集上將精度提高47.00%；在信噪比為10的數(shù)據(jù)集上將精度提高51.34%。實驗數(shù)據(jù)驗證了，使用MMSE準則的算法2在高斯噪聲的環(huán)境下容易發(fā)生過擬合，而使用MCC準則在高斯噪聲環(huán)境中的預(yù)測結(jié)果更可靠，特別是在信噪比小的環(huán)境中，本文所提出的算法1魯棒性的優(yōu)勢更加明顯。但本文所提出的算法1抑制高斯噪聲的能力并非無限，隨著信噪比的增強，精度相應(yīng)變差。從學(xué)習(xí)速度來看，由于式(17)中存在2次求逆運算而使算法1的學(xué)習(xí)時間整體略高于算法2，但是權(quán)衡算法1在精度與魯棒性上的提高，學(xué)習(xí)時間的犧牲是可以接受的，因此與算法2相比算法1具有更佳的性能。

5 應(yīng)用案例

在水泥生產(chǎn)過程中，水泥熟料中游離氧化鈣(free lime in cement clinker，f-CaO)含量是水泥熟料質(zhì)量的一項重要指標，生產(chǎn)操作人員需及時掌握熟料f-CaO含量以調(diào)整生產(chǎn)操作[25,26]。

通過對水泥熟料生產(chǎn)工藝的分析，選取水泥熟料f-CaO含量預(yù)測算法的相關(guān)輸入變量為：煙室氮氧化物含量(×10-6)、分解爐出口溫度(℃)、二次風(fēng)溫度(℃)、煙室氧氣含量(%)、煙室溫度(℃)以及窯主機電流(A)，輸出變量為水泥熟料f-CaO含量(%)[27]。

本文的實際數(shù)據(jù)來自某水泥廠生產(chǎn)線DCS系統(tǒng)和水泥熟料f-CaO含量化驗室的歷史記錄，在最終獲得的245組實驗樣中采用隨機子抽樣驗證的方法，隨機選取155組樣本數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，剩余的90組數(shù)據(jù)作為訓(xùn)練驗證數(shù)據(jù)。與第3節(jié)性能驗證部分相同，采用計算時間、均方誤差值、相關(guān)熵值作為水泥熟料f-CaO含量預(yù)測算法的性能評估指標，其他參數(shù)設(shè)置均與第4.1節(jié)中相同。實驗仿真結(jié)果如圖5所示。

圖5 4種ELM的水泥熟料f-CaO含量預(yù)測效果對比Fig.5 Comparison of prediction effects of f-CaO content of cement clinker with four ELMs

圖5顯示了4種ELM算法應(yīng)用于水泥熟料游離氧化鈣含量預(yù)測的結(jié)果，可以看出算法1預(yù)測結(jié)果最貼近于對應(yīng)的測試輸出值，算法2與算法4次之，而算法3的預(yù)測結(jié)果與測試輸出的擬合度最低。具體預(yù)測性能數(shù)據(jù)統(tǒng)計如表4。

表4 4種ELM對水泥熟料游離氧化鈣含量的預(yù)測性能統(tǒng)計Tab.4 Predictive performance statistics of f-CaOcontent of cement clinker by four ELMs

由表4中的實驗數(shù)據(jù)可以得出：由于算法1與算法2中既沒有算法3中的迭代，也沒有算法4中復(fù)雜的多尺度計算，算法1與算法2所需的運行時間明顯少于算法3與算法4。4種ELM算法的預(yù)測均方差值分別為：0.009 9, 0.011 2, 0.030 6, 0.013 0。算法1的預(yù)測精度相對于算法2提高11.6%，相對于算法3提高67.6%，相對于算法4(傳統(tǒng)多尺度核極端學(xué)習(xí)機)提高23.8%。綜上所述，在4種ELM算法中算法1的預(yù)測精度最高且運算時間短，將其應(yīng)用于水泥熟料游離氧化鈣含量預(yù)測更具適用性和時效性。

6 結(jié) 論

本文構(gòu)建了一種基于最大相關(guān)熵準則的多尺度高斯核極端學(xué)習(xí)機算法—MCC-MKELM。利用MCC準則建立目標函數(shù)，避免了多尺度核ELM中傳統(tǒng)的MMSE準則對噪聲敏感的問題，提高了多尺度核ELM在高斯噪聲環(huán)境中的預(yù)測精度和魯棒性。提出了一種新的針對核ELM的多尺度化方法，避免了傳統(tǒng)多尺度化方法因計算量大而出現(xiàn)學(xué)習(xí)速度慢的現(xiàn)象，大大縮短了多尺度核ELM的學(xué)習(xí)時間。使用拉格朗日乘子法對非線性問題進行求解，避免了半二次優(yōu)化技術(shù)中復(fù)雜的迭代，提高了求解輸出層權(quán)值矩陣的速度和網(wǎng)絡(luò)預(yù)測精度；同時保留了傳統(tǒng)多尺度核ELM泛化能力強的優(yōu)點并實現(xiàn)了對泛化性能的進一步優(yōu)化。實驗結(jié)果表明，本文提出的MCC-MKELM算法能快速準確地對水泥熟料f-CaO含量進行預(yù)測，為生產(chǎn)操作提供指導(dǎo)，具有重要的實際意義。

[參考文獻]

[1] Huang G B, Zhu Q Y, Siwe C. Extreme learning machine: Theory and applications [J].Neurocomputing, 2006, 70(1): 489-501.

[2] Huang G B, Zhou H M, Ding X J,etal. Extreme learning machine for regression and multiclass classification [J].IEEETransactionsonSystems,Man,andCyberneticsPartB:Cybernetics, 2012, 42(2): 513- 529.

[3] 曾啟明, 紀震, 李琰, 等, 基于ELM和MA的微型四頻天線設(shè)計 [J]. 電子學(xué)報, 2014, 42(9): 1693-1698.

Zeng Q M, Ji Z, Li Y,etal. A Miniature Four-Band Antenna Design Using ELM and MA [J].ActaElectronicaSinica, 2014, 42(9): 1693-1698.

[4] 汪洪橋, 孫富春, 蔡艷寧, 等. 多核學(xué)習(xí)方法 [J]. 自動化學(xué)報，2010, 36(8): 1037-1050.

Wang H Q, Sun F C, Cai Y N,etal. On Multiple Kernel Learning Methods [J].ActaAutomaticaSinica, 2010, 36(8): 1037-1050.

[5] Liu X W, Wang L, Huang G B,etal. Multiple kernel extreme learning machine [J].Neurocomputing, 2015, 149(Part A): 253-264.

[6] Liu Q, Zhao X G, Hou Z G,etal. Multi-scale wavelet kernel extreme learning machine for EEG feature classification [C]// IEEE. IEEE International Conference on Cyber Technology in Automation, Control, and Intelligent Systems. 2015: 1546-1551.

[7] Chang P, Li S R, Ge Y L,etal. Computation of reservoir relative permeability curve based on multi-scale wavelet kernel extreme learning machine [C]// IEEE. Control Conference. 2016: 7179-7184.

[8] 王新迎, 韓敏. 多元混沌時間序列的多核極端學(xué)習(xí)機建模預(yù)測 [J]. 物理學(xué)報, 2015, 64(7): 129-135.

Wang Y X, Han M. Multivariate chaotic time series prediction using multiple kernel extreme learning machine[J].ActaPhysicaSinica, 2015, 64(7): 129-135.

[9] Chen Y Q, Fink O, Sansavini G. Combined Fault Location and Classification for Power Transmission Lines Fault Diagnosis with Integrated Feature Extraction [J].IEEETransac-tionsonIndustrialElectronics, 2018, 65(1): 561- 569.

[10] 牛培峰, 史春見, 劉楠, 等. 基于GSA-PELM的鍋爐NOx預(yù)測模型 [J]. 計量學(xué)報, 2018, 39(5): 741-746.

Niu P F, Shi C J, Liu N,etal.Optimization for NOxPrediction Model from Boilers Based on GSA-PELM[J].ActaMetrologicaSinica, 2018, 39(5): 741-746.

[11] Santamaria I, Pokharel P P, Principe J C. Generalized correlation function: Definition, properties, and application to blind equalization [J].IEEETransactionsonSignalProcessing, 2006, 54(6): 2187-2197.

[12] Xing H J, Wang X M. Training extreme learning machine via regularized correntropy criterion[J].NeuralComput&Applic, 2013, 23(7-8): 1977-1986.

[13] 唐哲, 雷迎科. 基于最大相關(guān)熵的通信輻射源個體識別方法 [J]. 通信學(xué)報, 2016, 37(12): 171-175.

Tang Z, Lei Y K. Method of individual communication transmitter identification based on maximum correntropy [J].JournalonCommunications, 2016, 37(12): 171-175.

[14] Chen B D, Wang X, Lu N,etal. Mixture Correntropy for Robust Learning [J].PatternRecognition, 2018, 79: 318-327.

[15] 張金鳳, 邱天爽, 李森. 沖激噪聲環(huán)境下基于最大相關(guān)熵準則的韌性子空間跟蹤新算法 [J]. 電子學(xué)報, 2015, 43(3): 483-488.

Zhang J F, Qiu T S, Li S,etalA Robust PAST Algorithm Based on Maximum Correntropy Criterion for Impulsive Noise Environments [J].ActaElectronicaSinica, 2015, 43(3): 483-488.

[16] 王世元, 史春芬, 錢國兵,等. 基于分數(shù)階最大相關(guān)熵算法的混沌時間序列預(yù)測 [J]. 物理學(xué)報, 2018, 67(1): 283-290.

Wang S Y, Shi C F, Qian G B,etal. Prediction of chaotic time series based on the fractional-order maximum correntropy criterion algorithm [J].ActaPhysicaSinica, 2018, 67(1): 283-290.

[17] Wang Y D, Zheng W, Zhang D P,etal. Pulsar profile denoising using kernel regression based on maximum correntropy criterion [J].Optik-InternationalJournalforLightandElectronOptics, 2017, 130:757-764.

[18] Su Z M, Yang L, Zhu S M,etal. Gaussian mixture image restoration based on maximum correntropy criterion [J].ElectronicsLetters, 2017, 53(11): 715-716.

[19] Asuncion A, Newman D. UCI Machine learning repository [EB/OL]. (2018-09-24). http://archiveics.uci edu/ml/datasets.html.

[20] Chuang C C, Su S F, Jeng J T,etal. Robust support vector regression networks for function approximation with outliers [J].IEEETransactionsonNeuralNetworks, 2002, 13(6): 1322-1330.

[21] Abrarov S M, Quine B M. Sampling by incomplete cosine expansion of the sinc function: Application to the Voigt/complex error function [J].AppliedMathematics&Computation, 2015, 258(C): 425-435.

[22] Xu Y, Ye L L, Qun X Z. Improved dynamic recurrent-based ELM neural network for fault prediction [J].ControlandDecision, 2015,30(4): 623-629.

[23] Abrarov S M, Quine B M. Sampling by incomplete cosine expansion of the sinc function: Application to the Voigt/complex error function[J].AppliedMathematicsandComputation, 2015, 258: 425-435.

[24] 李凡軍, 韓紅桂, 喬俊飛. 基于靈敏度分析法的ELM剪枝算法 [J]. 控制與決策, 2014,(6): 1003-1008.

Li F J, Han H G, Qiao J F. Pruning algorithm for extreme learning machine based on sensitivity analysis [J].ControlandDecision, 2014,(6):1003-1008.

[25] 趙朋程, 劉彬, 孫超, 等. 基于IQPSO優(yōu)化ELM的熟料質(zhì)量指標軟測量研究 [J]. 儀器儀表學(xué)報, 2016, 37(10): 2243-2250.

Zhao P C, Liu B, Sun C,etal.Soft sensor for cement clinker quality indicator based on IQPSO optimize ELM [J]ChineseJournalofScientificInstrument, 2016, 37(10): 2243-2250.

[26] 趙彥濤，何永強，賈利穎，等. 基于時間序列單維卷積神經(jīng)網(wǎng)絡(luò)的水泥熟料游離鈣軟測量方法[J]. 計量學(xué)報, 2020, 41(9): 1152-1162.

Zhao Y T, He Y Q, Jia L Y,etal.Soft Measurement Method for Cement Clinker f-CaO Based on Time Series Single-dimensional Convolutional Neural Network[J].ActaMetrologicaSinica, 2020, 41(9): 1152-1162.

[27] 劉彬, 趙朋程, 高偉, 等. 基于粒子群算法與連續(xù)型深度信念網(wǎng)絡(luò)的水泥熟料游離氧化鈣預(yù)測 [J]. 計量學(xué)報, 2018, 39(3): 420-424.

Liu B, Zhao P C, Gao W,etal.Prediction of Cement f-CaO Based on Particle Swarm Optimization and Continuous Deep Belief Network[J].ActaMetrologicaSinica, 2018, 39(3): 420-424.