張馨怡，陳振林

(海軍航空大學，山東 煙臺 264001)

0 引言

紅外輻射計主要用于紅外目標的輻射照度等輻射特性的準確測量，不同擬合方法會對測量精度產生較大影響。對于紅外目標模擬器校準裝置，很多因素都可能導致校準數(shù)據(jù)呈現(xiàn)出非線性的特點，主要可分為兩大類[1-5]：系統(tǒng)自身所帶來的非線性和環(huán)境引入的非線性。導致系統(tǒng)自身帶來非線性的主要因素包括：光學系統(tǒng)中，鏡面加工精度、孔徑、焦距、光軸偏轉角度等；探測器的靈敏度；系統(tǒng)電路對電信號進行放大處理時，電信號進入不同放大器。環(huán)境引入的非線性一般難以預測，主要由背景輻射的變化導致。

在紅外目標模擬器的校準數(shù)據(jù)處理中，最常見的方法是最小二乘法(LS,ordinary least squares)。但最小二乘法只注重尋找局部極值點，找到的并不一定是全局最優(yōu)解。而且最小二乘法很難精確擬合標準輻射源輻射和探測器實際測量輻射照度之間的非線性關系。文獻[6]在最小二乘法的基礎上提出偏最小二乘-投影尋蹤回歸法(PLSPP,partial least squares regression projection pursuit)，主要利用降維的方法用較少的因素描述數(shù)據(jù)，但此方法更適用于大規(guī)模數(shù)據(jù)集，且對于非線性數(shù)據(jù)的處理仍不理想。之后，文獻[7-8]針對數(shù)據(jù)非線性的問題提出了基于粒子群優(yōu)化的自適應支持向量回歸算法(PSO-ASVM,particle swarm optimization-adaptive support vector regression)，但同樣存在一些弊端，支持向量機算法非常難以訓練。

相較于最小二乘法，神經網絡算法的容錯性以及對復雜非線性數(shù)據(jù)處理性能較好，但傳統(tǒng)的bp神經網絡(BPNN,back propagation neural network)速度較慢，且易陷入局部最優(yōu)解。相較于bp神經網絡，極限學習機(ELM,extreme learning machine)具有其獨特的優(yōu)越性，前人的研究表明，ELM的精度更高，具有較好的泛化能力，處理速度更快[9]。但由于該算法參數(shù)設置往往是通過個人經驗和簡單調整，難以得到最優(yōu)擬合精度，所以文中采用粒子群算法(PSO,particle swarm optimization)對ELM參數(shù)進行優(yōu)化。PSO-ELM與傳統(tǒng)的機器學習算法相比，具有更高的預測精度和更強的泛化能力。本研究的目的如下：

1)解決ELM模型隨機參數(shù)對預測結果的影響；

2)提高紅外目標模擬器校準數(shù)據(jù)精度。

1 模型建立

1.1 ELM-PSO算法

BP神經網絡是典型的多層前饋神經網絡，采用梯度下降法對網絡進行訓練，但梯度下降法有一定的局限性，在訓練過程中需要設置各種參數(shù)值。此外，在迭代過程中需要調整網絡的權值，使得模型的計算速度較慢，而且往往收斂于局部最小值，擬合精度不高。ELM針對這些不足進行改進，它實際上是一個基于單隱層前饋神經網絡(SLFNs,single-hidden layer feedforwa-rd neural network)的網絡結構，只有一個輸入層、一個隱含層和一個輸出層[10-11]?；诜聪騻鞑シ?，多層前饋神經網絡在迭代過程中需要更新權值，但ELM算法在迭代過程中不需要更新的隨機初始權值，因為它的訓練過程是基于輸出權值和隨機生成的輸入隱含層參數(shù)(權值和閾值)。因此，不需要像傳統(tǒng)方法那樣調優(yōu)所有的網絡參數(shù)，從而可以克服基于梯度的方法的許多問題，如學習速率、局部最小值和學習時間。它解決了現(xiàn)有基于神經網絡的算法訓練速度慢和過擬合的問題。

前人的研究表明，ELM的精度最高，處理時間比SVM和BPNN分別快1180倍和809倍。ELM具有較好的泛化能力，處理時間較BPNN快[12-13]。

設訓練樣本集是一組點{xi,ti}，其中i=1，2，…,N。具有L個隱藏神經元和激活函數(shù)h(x)的標準SLFNs的數(shù)學模型/一般估計函數(shù)可表示成如下形式:

(1)

這里，j=1，2，…,N，ωi=(ωi1,ωi2,...,ωiD)T，代表連接第i個隱藏神經元和輸入層的權重向量；βi=(βi1,βi2,...,βiK)T代表連接第i個隱藏神經元和輸出層的權重向量，bi是第i個隱藏神經元的閾值。

具有L個隱藏神經元和激活函數(shù)h(x)的標準SLFNs模型的可以寫成矩陣形式:

Hβ=T

(2)

其中:

H稱為神經網絡的隱層輸出矩陣；H的第i列是第i個隱節(jié)點對輸入x1，…，xN的輸出，若已知激活函數(shù)h(x)、ωi、bi和xi，就可以直接計算出H。

(3)

如果ωi和bi預先確定，根據(jù)式(3)，則可以把訓練過程等價于一個求線性系統(tǒng)Hβ的問題:

(4)

這個方程具有唯一的解，β由下式計算可得:

β=H+T

(5)

其中:H+為H廣義逆矩陣。

因此，ELM算法的擬合精度很大程度上依賴于激勵函數(shù)h(x)以及ωi和bi的選取。當預先給定一個激勵函數(shù)時，隨機選取的不同權值ωi和閾值bi會產生不同的隱層輸出矩陣H，可能導致不同的訓練誤差。所以可以將優(yōu)化過程描述為以下形式：

(6)

其中:β=H+T。

當給定訓練數(shù)據(jù)集的激活函數(shù)h(x)和隱藏神經元數(shù)L時，可以通過以下步驟建立ELM：

1)初始化輸入權值、閾值和隱藏節(jié)點數(shù);

2)計算隱含層輸出矩陣H;

3)利用廣義逆矩陣H+計算隱含神經元到輸出層的權值向量β;

4)計算回歸輸出。

ELM模型雖然具有良好的模型性能和快速的學習速度，但由于一般隨機確定模型參數(shù)，缺乏泛化能力。通常情況下，ELM模型隨機調整權值和閾值，可能導致模型無法得到最優(yōu)解，增加了擬合過程中的不確定性。因此，利用優(yōu)化算法確定ELM模型的初始參數(shù)可以避免非最優(yōu)解，提高模型性能。PSO算法和遺傳算法(Genetic Algorithm,GA)是兩種廣泛使用的參數(shù)優(yōu)化算法，都屬于群體搜索算法，通過群體之間的合作來完成搜索。與GA算法相比，PSO算法的性能更好，速度更快[16]。本文采用PSO算法對ELM初始參數(shù)進行優(yōu)化。

PSO算法是一種基于速度和位置兩種信息的搜索算法，利用個體之間的信息共享從而得到最優(yōu)解，不需要設置大量參數(shù)且易于實現(xiàn)。PSO算法的參數(shù)或可能的解集包含在一個向量xi(k)中，該向量稱為群粒子，表示其在可能解搜索空間中的位置。粒子維度是參數(shù)的數(shù)量。隨機設定粒子的初始位置xi(0)及其速度vi(0)。然后計算每個粒子的適應度函數(shù)值，并根據(jù)這些值更新速度和位置。該算法更新粒子的位置和速度，表示為：

vi(k+1)=ω·vi(k)+c1·r1·(pibest-xi(k))+

c2·r2·(gbest-xi(k))

(7)

xi(k+1)=xi(k)+vi(k+1)

(8)

c1,c2為學習因子；r1,r2為[0, 1]范圍內的隨機數(shù)；pibest、gbest表示粒子k在個體及群體中的極值位置；ω為慣性權重，通過調整ω的值可以實現(xiàn)對全局搜索和局部搜索的能力，本文采用線性遞減權值(linearly decreasing weight,LDW)策略，表示為:

ω=(ωini-ωend)(Gk-g)/Gk+ωend

(9)

其中:ωini為初始設定的慣性權重，Gk為最大迭代次數(shù)，g為當前迭代次數(shù)，ωend為迭代完成后的慣性權重，慣性權重的引入極大的提高了PSO性能。

在初始迭代中，粒子群中的每個粒子根據(jù)自身的記憶和經驗在整個區(qū)域內分別尋找最優(yōu)解，并將其作為當前個體極值。在此算法中是多個粒子同時移動的，每個粒子將自身搜尋到的個體最優(yōu)解與其他粒子共享并進行對比，找到最適當?shù)慕?，作為整個粒子群的當前全局最優(yōu)解。每個粒子的當前位置xi(k)和速度vi(k)將根據(jù)其在上一步中的狀態(tài)、粒子的局部最優(yōu)解位置pibest和全局最優(yōu)解位置gbest進行調整。并隨著迭代的進行逐漸縮小其搜索范圍。在初始階段，該算法對合理區(qū)域進行探索性搜索，在最后的迭代中，改進了最佳解。

在ELM預測模型中，為了以盡可能少的隱含層節(jié)點的情況下達到盡可能高的預測精度，需要對輸入權值ωi和閾值bi進行優(yōu)化。在基于混合PSO-ELM的方法中，利用PSO算法實現(xiàn)了ELM方法中的優(yōu)化機制以獲得輸入權值和閾值的最優(yōu)參數(shù)，粒子維數(shù)D及粒子群中第i個粒子θi表示為:

D=t(n+1)

(10)

(11)

1.2 算法流程

基于PSO-ELM的紅外目標模擬器校準數(shù)據(jù)擬合可詳細描述如下。

1)讀取實驗所得不同波段內的溫度及其對應輻射照度數(shù)據(jù)，將數(shù)據(jù)集隨機劃分為訓練集和測試集，并對樣本數(shù)據(jù)進行歸一化預處理；

2)設置PSO相關參數(shù)：粒子群規(guī)模N、最大迭代次數(shù)Gk、學習因子c1和c2；并對粒子速度和位置進行初始化，設第i個粒子初始位置xi(0)及其速度vi(0)；

3)將粒子位置和訓練集代入式(12)，計算適應度函數(shù)值，尋找局部最優(yōu)解位置pibest和全局最優(yōu)解位置gbest；

(12)

4)設終止條件為當前迭代次數(shù)g>Gk或全局最優(yōu)解滿足最小界限。若不滿足終止條件，則更新PSO算法的粒子速度和位置，并重復步驟3)，更新pibest、gbest；若滿足終止條件，則可得到最優(yōu)網絡初始權值和閾值；

5)將最優(yōu)網絡初始權值和閾值帶入ELM模型進行訓練，計算隱含層輸出矩陣H；

6)通過式(5)即利用廣義逆矩陣H+計算隱含神經元到輸出層的權值向量β；

7)更新權值和閾值；

8)判斷是否滿足終止條件，即判斷當前隱藏節(jié)點數(shù)是否大于搜索限制的隱藏節(jié)點數(shù)，若不滿足終止條件則繼續(xù)訓練ELM網絡，即重復步驟5)～步驟7)；若滿足終止條件則得到最優(yōu)ELM模型，并輸出當前擬合結果。

基于PSO-ELM的紅外目標模擬器校準數(shù)據(jù)擬合流程圖，如圖1所示。

圖1 PSO-ELM數(shù)據(jù)處理流程

通過對數(shù)據(jù)進行預處理，可以減少或消除可能的極值、非正態(tài)分布或數(shù)量級的劇烈變化。PSO方法根據(jù)適應度函數(shù)搜索輸入權值和閾值的最優(yōu)參數(shù)，采用均方根誤差(RMSE)作為主要適應度因子。

2 仿真分析

2.1 實驗步驟

本節(jié)將PSO-ELM模型應用于紅外目標模擬器校準的數(shù)據(jù)擬合，樣本數(shù)據(jù)集通過實驗室搭建的紅外目標模擬器校準裝置進行實驗獲得。過對不同數(shù)據(jù)擬合方法的比較，驗證了PSO-ELM方法在實際標定中的有效性。紅外目標模擬器校準裝置包括標準黑體輻射源、平行光管、精密轉臺平面鏡、紅外輻射計和計算機[17-18]。

實驗步驟如下：

1)在實驗室環(huán)境下，測試背景信號，并記錄背景輻射的響應電壓V0

2)設置標準黑體輻射源輻射溫度為T，將其作為校準數(shù)據(jù)的自變量，并計算所對應的光譜輻射照度Eb(λ,T)和標準積分輻射照度Eλ,T，其中

(13)

(14)

3)測試目標的響應電壓Vt

4)計算輻射照度響應度，將其作為校準數(shù)據(jù)的因變量

R(λ,T)=Eλ,T×(Vt-V0)

(15)

5)利用PSO-ELM方法得到校準數(shù)據(jù)的因變量和自變量之間的關系；

為驗證校準數(shù)據(jù)具有非線性的特點，設置標準黑體輻射源溫度范圍為100～1 000 ℃，分別對1～3 μm、3～5 μm、8～14 μm波段進行測試。對測試數(shù)據(jù)進行擬合，結果如圖2所示。

圖2 輻照度隨波長分布圖

如圖2所示，在1～3 μm、3～5 μm、8～14 μm三個波段下，溫度和輻射照度之間都具有強非線性。紅外輻射計的響應主要取決于探測器的探測能力[19]，探測器的響應隨著溫度的升高而增長，并且根據(jù)維恩位移定律，黑體輻射的峰值波長隨黑體溫度的升高而向短波方向移動[20-21]。除此之外，探測器采用制冷型MCT探測器，隨著黑體輻射源溫度升高會使其性能下降[22]。由于上述數(shù)據(jù)呈現(xiàn)非線性特性以及實驗數(shù)據(jù)樣本小的限制，紅外輻射計標定中常用的傳統(tǒng)數(shù)據(jù)擬合方法不能達到足夠的擬合精度。

2.2 評價指標

為了評價該模型回歸精度，本文以決定系數(shù)R2、平均相對誤差MRE作為預測結果的評價指標。評價公式如式(16)～(17)所示。

(16)

(17)

2.3 結果分析

為了驗證本文所提的方法在紅外目標模擬器校準上的可靠性，將PSO-ELM方法與其他傳統(tǒng)的數(shù)據(jù)分析方法進行了仿真對比。本文分別采用PSO-ELM，GA-ELM，ELM算法進行仿真，仿真對比結果如圖3～5所示。

為了驗證PSO-ELM算法在擬合紅外目標模擬器校準數(shù)據(jù)上的性能，將實驗得到的96組樣本數(shù)據(jù)通過隨機函數(shù)進行預處理，使樣本數(shù)據(jù)處于無序排列狀態(tài)，并隨機選取其中51組數(shù)據(jù)作為訓練集，剩余45組數(shù)據(jù)作為測試集，分別使用單一ELM模型、GA-ELM模型和PSO-ELM模型對紅外目標模擬器校準數(shù)據(jù)進行擬合。

PSO算法設置粒子群規(guī)模為20，最大迭代次數(shù)為100，最小速度為-1，最大速度為1，當波段為1～3 μm、3～5 μm時c1=c2=2，當波段為8～14 μm時學習因子c1=2.5、c2=2，學習因子通過正交實驗多次測試確定最優(yōu)參數(shù)。

GA算法參數(shù)設置個體數(shù)目為20，最大遺產代數(shù)為100，變量的二進制位數(shù)為10，代溝為0.95，交叉概率為0.7，變異概率為0.01。

采用3種算法進行對比實驗，并比較這 3 種算法的擬合結果，驗證不同擬合方法在處理紅外目標模擬器校準數(shù)據(jù)時的性能。擬合結果如圖3～5所示，擬合誤差分布如圖6～8所示，相關的評價指標計算結果如表1所示。

圖3 1～3 μm數(shù)據(jù)擬合結果

圖4 3～5 μm數(shù)據(jù)擬合結果

圖5 8～14 μm 數(shù)據(jù)擬合結果

如圖3～5所示，在3個波段內ELM模型擬合誤差明顯大于另外兩種模型，主要偏差出現(xiàn)在輻照度峰值部分，即標準黑體輻射源溫度較高、系統(tǒng)接收入射輻射較高時。GA-ELM相較于ELM擬合精度有所提高，對于輻照度峰值部分的擬合也更優(yōu)于ELM，但是在輻照度較低時在真實值上下波動較為明顯，當標準黑體輻射源溫度較低、系統(tǒng)接收入射輻射較低時穩(wěn)定性更差。

可以明顯看出，GA-ELM算法和PSO-ELM算法可以獲得比ELM算法更好的擬合結果，對ELM初始權值和閾值進行優(yōu)化可以有效提高擬合精度和穩(wěn)定性。但GA-ELM方法出現(xiàn)振蕩現(xiàn)象，尤其是當校準點數(shù)量較少且擬合數(shù)據(jù)非均勻分布時。為了提高擬合精度，將基于PSO-ELM的方法應用于紅外目標模擬器的校準中。

將PSO-ELM方法與GA-ELM方法、ELM方法的擬合誤差進行比較，驗證了PSO-ELM方法的性能。

如圖6～8所示，在3個波段下，ELM模型的擬合誤差均存在峰值。出現(xiàn)峰值的原因有二：1)校準數(shù)據(jù)本身具有較強的非線性，且背景輻射會影響輻照度值，這對擬合模型的穩(wěn)定性和準確性造成了一定影響；2)ELM算法中的隨機參數(shù)對模型的擬合穩(wěn)定性有較大的影響。然而， ELM模型本身并不能求解隨機參數(shù)?；谝陨蟽蓚€原因，ELM算法在紅外目標模擬器校準數(shù)據(jù)擬合的過程中可能存在較大的誤差。為了減少擬合結果中的峰值，需要選擇最優(yōu)的模型參數(shù)。PSO-ELM模型和GA-ELM模型的擬合性能均優(yōu)于ELM模型，也可以證明參數(shù)優(yōu)化提高了ELM模型的預測精度和穩(wěn)定性。

圖6 1～3 μm數(shù)據(jù)擬合誤差

圖7 3～5 μm數(shù)據(jù)擬合誤差

圖8 8～14 μm 數(shù)據(jù)擬合誤差

3種算法模型的擬合性能在輻照度較低的部分更好，隨著標準黑體輻射源溫度升高，擬合誤差也逐步增大，可能造成這種現(xiàn)象的原因是校準數(shù)據(jù)的后半部分校準點的數(shù)量限制。當使用較少的校準點時，擬合誤差將增加。PSO-ELM方法的優(yōu)越性能在輻照度較高時相對于另外兩種算法更為明顯，但也受到擬合數(shù)據(jù)數(shù)量的限制。

如表1所示，ELM在3個波段的擬合精度都較低，由于隨機產生初始參數(shù)，容易出現(xiàn)欠擬合現(xiàn)象；GA-ELM在中短波紅外表現(xiàn)較好，但在長波紅外范圍內性能下降較為明顯，且模型較為復雜，在樣本數(shù)較少時會發(fā)生過擬合現(xiàn)象；PSO-ELM算法魯棒性好，在3個波段都可以較為準確地擬合紅外目標模擬器校準數(shù)據(jù)，在1～3 μm、3～5 μm、8～14 μm三個波段，決定系數(shù)分別為0.992 5、0.991 3、0.981 4，平均相對誤差分別為0.124 2%、0.715 7%、0.747 4%。

表1 評價指標計算結果

通過以上對比，證明了優(yōu)化初始參數(shù)的ELM算法在處理非線性數(shù)據(jù)上的有效性，由于GA-ELM和PSO-ELM都對ELM初始權值和閾值進行優(yōu)化，但PSO算法優(yōu)化的性能明顯優(yōu)于GA算法，可能導致這種現(xiàn)象的原因是兩種算法原理的差異，發(fā)現(xiàn)基于 PSO-ELM 的算法的數(shù)據(jù)擬合準確率高于另外兩種算法。

3 結束語

針對紅外目標模擬器校準數(shù)據(jù)呈現(xiàn)非線性的特點，本文提出了一種PSO優(yōu)化的ELM算法：

1)利用PSO算法搜索ELM模型的隨機參數(shù)，解決了ELM模型隨機參數(shù)影響擬合精度的問題，利用PSO算法可得到最優(yōu)權值和閾值，進而得到最優(yōu)擬合精度；

2)將PSO-ELM模型應用于紅外目標模擬器校準數(shù)據(jù)，擬合出輸入參數(shù)(標準黑體輻射源的輻射溫度)與輸出參數(shù)(輻射照度)之間的非線性關系，進行仿真實驗；

3)選取決定系數(shù)(R2)和平均相對誤差(MRE)作為精度評判標準，對PSO-ELM模型性能進行了驗證；

4)通過與ELM算法和GA-ELM算法進行對比，證明PSO-ELM性能優(yōu)越性。

實驗結果顯示模型的決定系數(shù)及平均相對誤差均優(yōu)于對比的其他建模方法，PSO-ELM模型在延續(xù) ELM 泛化能力強和學習速率高的基礎上，通過 PSO 克服了 ELM 輸入權值矩陣與閾值對于預測結果的影響，具有操作簡便、預測精準及適用性廣泛的優(yōu)點。結果表明PSO-ELM方法在紅外目標模擬器校準非線性數(shù)據(jù)處理方面具有很好的效果。