王 潔，張亞飛，李明智

（1.國(guó)網(wǎng)新疆電力有限公司電力科學(xué)研究院，烏魯木齊 830011；2.新疆農(nóng)業(yè)大學(xué)，烏魯木齊 830052）

引言

智能匯控小室是智能變電站重要的室外設(shè)備，匯集著多種種類、功能不同的高度復(fù)雜的自動(dòng)裝置，裝置尺寸不一，層次交叉，溫濕度變化較大，存在非線性、復(fù)雜程度高、參數(shù)優(yōu)化難等問(wèn)題。如何實(shí)現(xiàn)有限空間的最優(yōu)設(shè)計(jì)，實(shí)現(xiàn)恒溫變化，減少電能損耗，關(guān)系著匯控小室在變電站這種特殊環(huán)境下智能化發(fā)展的速度，而空間優(yōu)化首先要解決的問(wèn)題是系統(tǒng)參數(shù)的優(yōu)化。在解決各種裝置中實(shí)際復(fù)雜系統(tǒng)參數(shù)優(yōu)化問(wèn)題中，常伴有多個(gè)局部最優(yōu)解或全局最優(yōu)解，歸根結(jié)底該類問(wèn)題為多峰函數(shù)優(yōu)化問(wèn)題。

在尋找全局最優(yōu)解的方法中，常用的算法有人工蜂群算法[1]、小生境遺傳算法[2]、小生境人工魚(yú)群算法[3]、基于小生境的粒子群算法[4]、改進(jìn)的遺傳算法等[5-8]，在解決多峰函數(shù)尋優(yōu)方面取得了較好的效果，但這些算法局部搜索能力弱，很難獲取更多的峰值點(diǎn)，易陷入局部最優(yōu)解?；谌斯っ庖咚惴ǎˋIA）的優(yōu)化方法具有自組織、自適應(yīng)、自學(xué)習(xí)的特性，且魯棒性高、易于并行，廣泛應(yīng)用于多峰函數(shù)的尋優(yōu)。朱葛俊[9]提出一種基于人工免疫的改進(jìn)蟻群優(yōu)化算法，有效解決了多峰函數(shù)尋優(yōu)易陷入局部最優(yōu)問(wèn)題，且具有很高的迭代尋有效率；汪桂金[10]采用多種群人工免疫算法對(duì)多峰函數(shù)進(jìn)行優(yōu)化，通過(guò)多個(gè)獨(dú)立抗體種群經(jīng)過(guò)免疫獲得最佳抗體，較人工免疫算法具有更高的尋優(yōu)精度；何慶[11]提出一種基于自適應(yīng)免疫粒子群算法，采用種群粒子親和度和濃度群自適應(yīng)調(diào)整搜索例子的速度和方向，具有較好的全局收斂性和優(yōu)化性能；程林輝[12]提出一種并行免疫遺傳算法，通過(guò)免疫記憶庫(kù)記錄最優(yōu)解，獲得較好的收斂性；吳建輝[13]提出一種基于圓內(nèi)衍生變異的免疫雙向蛙跳算法，尋優(yōu)精度和搜索到的極值點(diǎn)數(shù)目均有明顯提高；胡博[14]提出基于均勻設(shè)計(jì)的免疫克隆多峰函數(shù)優(yōu)化，該算法的尋優(yōu)能力較強(qiáng)。雖然采用人工免疫算法對(duì)多峰函數(shù)尋優(yōu)有很大優(yōu)勢(shì)，但在解決參數(shù)整定問(wèn)題時(shí)卻顯得較為困難。與此同時(shí)，在普通的Q-learning中，當(dāng)狀態(tài)和動(dòng)作空間離散且維數(shù)不高時(shí)，可使用Q-Table儲(chǔ)存每個(gè)狀態(tài)動(dòng)作的Q值，而當(dāng)狀態(tài)和動(dòng)作空間為連續(xù)高維時(shí)，使用Q-Table不能滿足要求。

為解決此類問(wèn)題，本研究提出對(duì)高維Q值采用深度學(xué)習(xí)的擬合方式，并利用DQN對(duì)人工免疫算法變異、交叉算子進(jìn)行參數(shù)優(yōu)化工作的算法。

1 AIA多峰函數(shù)尋優(yōu)算法

AIA最早是模擬生物的免疫機(jī)制過(guò)程而產(chǎn)生的一種優(yōu)化算法，經(jīng)不斷改進(jìn)而廣泛用于實(shí)際工程中車間作業(yè)調(diào)度、機(jī)器人路徑優(yōu)化、機(jī)械空間優(yōu)化、醫(yī)學(xué)圖像識(shí)別、函數(shù)優(yōu)化等方面。AIA優(yōu)化過(guò)程類似于遺傳算法（GA），要經(jīng)歷選擇、交叉、變異過(guò)程，在接種疫苗的作用下，免疫選擇免疫算子。較GA算法不同的是AIA算法具有記憶功能，可保存優(yōu)質(zhì)抗體，加快收斂速度從而獲得最優(yōu)解。

1.1 AIA實(shí)現(xiàn)基本步驟

在實(shí)際的應(yīng)用中，根據(jù)免疫系統(tǒng)機(jī)制和原理的不同進(jìn)行模擬，AIA大致可分為一般免疫算法、否定選擇算法、克隆選擇算法和混合免疫算法4種，基本計(jì)算步驟如下：（1）抗原識(shí)別。將根據(jù)算法優(yōu)化實(shí)際情況確立目標(biāo)函數(shù)，并設(shè)定相關(guān)參數(shù)、親和度函數(shù)，即免疫系統(tǒng)確認(rèn)抗原的入侵；（2）產(chǎn)生初始抗體。隨機(jī)產(chǎn)生抗體群，清除曾經(jīng)出現(xiàn)的抗原，從最優(yōu)解數(shù)據(jù)庫(kù)當(dāng)中選擇部分抗體；（3）適應(yīng)度值計(jì)算。對(duì)選擇的抗體進(jìn)行適應(yīng)度值計(jì)算，即計(jì)算抗體和抗原的親和度并進(jìn)行排序；（4）免疫處理。對(duì)當(dāng)前種群進(jìn)行免疫處理得到新種群，親和度較低的抗體被變異后抗體取代，親和度高的抗體將被保留；（5）產(chǎn)生抗體。通過(guò)交叉算子與變異算子產(chǎn)生新一代抗體；（6）終止記憶細(xì)胞的迭代。當(dāng)?shù)猎O(shè)置閾值時(shí)結(jié)束整個(gè)過(guò)程。

在AIA流程過(guò)程中，主要是解決迭代參數(shù)如何確定的問(wèn)題。AIA作為一種改進(jìn)的智能算法，在求解抗體過(guò)程中通過(guò)不斷交叉與變異過(guò)程增加了抗體的多樣性，從而增加了全局的搜索能力，該過(guò)程中主要求解抗體濃度與抗體適應(yīng)度值。

1.2 AIA重要算子

抗原與抗體親和度是用來(lái)模擬免疫應(yīng)答過(guò)程中抗體與抗原特異性的結(jié)合程度，與遺傳算法中的適應(yīng)度相似，根據(jù)要解決問(wèn)題的特征設(shè)計(jì)合適的函數(shù)。親和度評(píng)價(jià)算子通常用函數(shù)aff(x)表示，一般的抗體x和抗原間的親和度可定義為：

式中：fitness為根據(jù)問(wèn)題特征設(shè)計(jì)的目標(biāo)問(wèn)題（抗原）和可行解（抗體）之間的適應(yīng)度函數(shù)，也是為了方便處理而選擇的變形函數(shù)。對(duì)于抗體與抗體間親和度的計(jì)算基于距離的方式可表示為：

式中：ai,k和bi,k為抗體ai和bi的k維，L為抗體編碼的總維數(shù)。

對(duì)于親和度高的抗體，隨著群體更新抗體濃度會(huì)逐漸增大，非常影響抗體多樣性的產(chǎn)生。為克服此類缺陷，需對(duì)抗體濃度進(jìn)行調(diào)節(jié)，實(shí)現(xiàn)降低濃度高的抗體被選擇的概率，增加濃度低的抗體的選擇機(jī)會(huì)。有關(guān)抗體濃度Cv定義如下：

式中：n為種群規(guī)模，aff(ai,bj)為i和j兩抗體間的親和度。

2 DQN-AIA參數(shù)優(yōu)化設(shè)計(jì)

2.1 DQN簡(jiǎn)述

DNQ的是一種基于價(jià)值的深度強(qiáng)化學(xué)習(xí)，其本質(zhì)為Q Learning算法，主要功能為求解最優(yōu)策略的Q值。Q Learning算法源于游戲策略，目的是為了獲得更高的獎(jiǎng)勵(lì)，通過(guò)移動(dòng)按鍵的方向和執(zhí)行相應(yīng)操作來(lái)獲得分值，其中按鍵作為一種狀態(tài)，執(zhí)行動(dòng)作來(lái)獲得最大的未來(lái)獎(jiǎng)勵(lì)，游戲的整個(gè)過(guò)程可以描述為狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)的集合，如式4所示。

式中：si表示狀態(tài)，ai表示執(zhí)行動(dòng)作，ri+1為執(zhí)行完動(dòng)作后的獎(jiǎng)勵(lì)，最終以sn結(jié)束。si+1的概率取決于現(xiàn)在的狀態(tài)si和動(dòng)作ai。折扣未來(lái)獎(jiǎng)勵(lì)表達(dá)式如式5所示。

式中，a為貼現(xiàn)因子，其值范圍（0，1）。折扣未來(lái)獎(jiǎng)勵(lì)在時(shí)間t的數(shù)值可以根據(jù)時(shí)間在t+1時(shí)簡(jiǎn)化，如式6所示。

在Q Learning中，需定義一個(gè)Q(s,a)函數(shù)，用來(lái)表示在狀態(tài)s下執(zhí)行a動(dòng)作獲得的最好得分，如式7所示。

在DQN中，可將神經(jīng)網(wǎng)絡(luò)作為Q函數(shù)，游戲屏幕作為狀態(tài)，結(jié)合每個(gè)動(dòng)作輸出Q的值，當(dāng)神經(jīng)網(wǎng)絡(luò)結(jié)束后，可獲得所有的Q值，并得出最優(yōu)解?；贒QN思想，將x與y的值作為狀態(tài)，執(zhí)行動(dòng)作為上下左右移動(dòng)，獎(jiǎng)勵(lì)則為Q值，將其應(yīng)用于多峰函數(shù)參數(shù)優(yōu)化過(guò)程，提出DQN-AIA設(shè)計(jì)思想。

2.2 DQN-AIA設(shè)計(jì)

結(jié)合DNQ的思想，對(duì)AIA的交叉算子參數(shù)與變異算子參數(shù)進(jìn)行優(yōu)化。優(yōu)化設(shè)計(jì)思路是將深度學(xué)習(xí)的狀態(tài)輸入作為人工免疫算法的變異算子與交叉算子參數(shù)，從而獲取Q的值，計(jì)算如式8所示。

多峰函數(shù)包含x與y兩個(gè)變量，利用人工免疫算法尋優(yōu)將x與y的值不斷迭代多峰函數(shù)中來(lái)獲取峰值，利用DQN深化學(xué)習(xí)優(yōu)化，根據(jù)x與y的上下左右移動(dòng)獲取[x，y]的輸出值，通過(guò)尋優(yōu)從而擬合多峰函數(shù)的極值。DQN-AIA優(yōu)化算法的設(shè)計(jì)步驟如下：（1）參數(shù)傳遞。在AIA的基礎(chǔ)上，設(shè)置變量x與y初始值及步長(zhǎng)，即設(shè)置x與y在多種組合方式下的初始值及步長(zhǎng)，根據(jù)DQN神經(jīng)網(wǎng)絡(luò)的狀態(tài)作為輸入?yún)?shù)不斷發(fā)送至AIA算法；（2）抗體更新。AIA接收到DQN的狀態(tài)參數(shù)，獲得了交叉算子參數(shù)和變異算子參數(shù)，使其不斷循環(huán)在AIA步驟的（5）-（6）；（3）獲得Q值。通過(guò)連續(xù)的迭代，DQN可獲得若干獎(jiǎng)勵(lì)值，獎(jiǎng)勵(lì)值描繪了多峰函數(shù)極值分布情況或趨勢(shì)。當(dāng)?shù)K止，繪制出DQN的Q值，即可模擬出多峰函數(shù)的最佳極值情況。

3 仿真試驗(yàn)及分析

本研究模擬DQN-AIA系統(tǒng)參數(shù)優(yōu)化軟件有PyCharm2018和Matlab2017A，利用PyCharm2018模擬數(shù)據(jù)傳輸服務(wù)端，在Matlab2017A中模擬數(shù)據(jù)接收客戶端，并通過(guò)狀態(tài)參數(shù)傳遞與Q值的不斷更新實(shí)現(xiàn)DQN-AIA擬合，得出最大Q值。為驗(yàn)證結(jié)果，本次仿真采用多峰函數(shù)，其表達(dá)式如式9所示。

通過(guò)多峰函數(shù)的式（9）仿真如圖1所示，仿真結(jié)果不僅受正弦函數(shù)與余弦函數(shù)約束，同時(shí)還受到x與y值的約束，且由于函數(shù)本身存在正負(fù)變換的性質(zhì)，使得函數(shù)存在多個(gè)峰值。式（9）中，若交叉算子參數(shù)取0.6，變異算子參數(shù)取0.8時(shí)，有最高極值為3.18；采用人工免疫算法調(diào)參進(jìn)行模擬多峰函數(shù)的極值時(shí)，縮小x與y的取值范圍，設(shè)置初始值為（0.2∶0.1∶0.2）。與此同時(shí)，種群規(guī)模設(shè)置為50，記憶容量為10個(gè)，迭代次數(shù)為30次，多樣性評(píng)價(jià)參數(shù)為0.95，相似性評(píng)價(jià)參數(shù)為0.1，交叉概率為0.5，變異概率為1。利用人工免疫算法進(jìn)行多峰函數(shù)尋優(yōu)仿真結(jié)果如圖2所示。

為獲得較好的結(jié)果，采用10組人工免疫散發(fā)進(jìn)行多峰函數(shù)優(yōu)化結(jié)果平均值來(lái)獲得優(yōu)化效果圖。圖2中X軸為交叉算子參數(shù)，Y軸為變異算子參數(shù)，范圍為0.2～0.8。由圖2可知，圖2波動(dòng)性結(jié)果大致與圖1吻合，不能較好地反映極值情況。因此，為獲取最大Q值，在人工免疫算法的基礎(chǔ)上，采用DQN對(duì)人工免疫算法進(jìn)行參數(shù)調(diào)優(yōu)，得出結(jié)果如圖3所示。

從圖3可知，基于人工免疫算法的DQN調(diào)優(yōu)，交叉算子與變異算子參數(shù)均為0.8時(shí)是DQN預(yù)測(cè)的最佳結(jié)果，得出DQN最大Q值，通過(guò)DQN調(diào)節(jié)人工免疫算法的參數(shù)進(jìn)行優(yōu)化，優(yōu)化后的參數(shù)接近人工免疫算法在測(cè)試中的最優(yōu)參數(shù)。因此，采用DQN進(jìn)行優(yōu)化是合理且可行的方法。

4 結(jié)束語(yǔ)

本研究提出的一種基于強(qiáng)化學(xué)習(xí)的人工免疫算法的參數(shù)優(yōu)化方法，能夠逼近人工免疫算法的多峰函數(shù)，可以實(shí)現(xiàn)多峰函數(shù)的參數(shù)優(yōu)化，節(jié)約大量的調(diào)參時(shí)間。與此同時(shí)，參數(shù)優(yōu)化也為后期研究智能匯控小室內(nèi)部規(guī)模優(yōu)化、溫濕度等多因素優(yōu)化控制值、故障診斷的準(zhǔn)確率奠定基礎(chǔ)。