王培崇，彭菲菲，錢　旭1.河北地質大學 信息工程學院，石家莊 05001.中國礦業(yè)大學（北京）機電與信息工程學院，北京 10008.北京郵電大學 圖書館，北京 10008

?

嵌入共軛梯度的二次學習教與學優(yōu)化算法*

王培崇1,2+，彭菲菲3，錢旭2
1.河北地質大學 信息工程學院，石家莊 050031
2.中國礦業(yè)大學（北京）機電與信息工程學院，北京 100083
3.北京郵電大學 圖書館，北京 100083

WANG Peichong,PENG Feifei,QIAN Xu.Improved teaching-learning based optimization algorithm with conjugate gradient methods and second study.Journal of Frontiers of Computer Science and Technology, 2016,10(6)：891-900.

CNKI網絡優(yōu)先出版:2015-11-24,http://www.cnki.net/kcms/detail/11.5602.TP.20151124.1414.006.htmland GL(Gaussian learning)will be executed to them.Finally,some experiments on test functions show that the improved TLBO algorithm has higher precision and better global convergence than TLBO,fitting to solve higher dimension optimization functions.

摘要：教與學優(yōu)化算法通過模擬自然班的教與學行為實現(xiàn)復雜問題的求解，已經得到較為廣泛的應用。為了克服該算法容易早熟，解精度低的弱點，提出了一種改進的混合混沌共軛梯度法教與學優(yōu)化算法。改進算法應用Chebyshev混沌映射初始化種群，以提高初始種群對解空間的覆蓋。為了保持種群多樣性，引入動態(tài)學習因子，使學生個體能夠在早期主要向教師學習，并逐漸提高個人知識對其進化的影響比例。每次迭代后，教師個體將執(zhí)行共軛梯度搜索。種群內適應度較差的學生個體如果長時間狀態(tài)難以改變，則基于反向學習和高斯學習進行二次學習優(yōu)化。最后在多個典型測試函數(shù)上的實驗表明，改進算法對比相關算法具有較佳的全局收斂性，解精度較高，適用于求解較高維的函數(shù)優(yōu)化問題。

關鍵詞：教與學優(yōu)化算法；Chebyshev映射；動態(tài)自適應學習；共軛梯度法；二次學習

ISSN 1673-9418CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(06)-0891-10

E-mail:fcst@vip.163.com

http://www.ceaj.org

Tel:+86-10-89056056

1　引言

2012年印度學者Rao等人[1]通過研究、模擬班級的群體學習現(xiàn)象，提出了一種新穎的演化算法——教與學優(yōu)化（teaching learning based optimization，TLBO）算法[1-2]。在該算法中，執(zhí)行演化的種群被劃分為教師和學生兩類。教師是種群內適應度最佳個體，教師通過“教”對學生進行教學，學生通過“學”實現(xiàn)學生間的相互學習。該算法由于原理簡單，容易理解，參數(shù)較少，一經提出即吸引了較多學者圍繞它展開相關研究，并被成功應用于神經網絡的參數(shù)優(yōu)化[3]、熱點冷卻器優(yōu)化和熱交換器優(yōu)化[4]、平面鋼框架的設計優(yōu)化[5]、電力系統(tǒng)經濟負荷調度問題[6]、機械設計優(yōu)化問題[7]、烯裂解爐裂解運行效益優(yōu)化[8]等領域。

研究表明，TLBO算法在求解較低維度函數(shù)時，表現(xiàn)出較好的求解效果，而在求解高維問題時，往往容易出現(xiàn)早熟，解精度較低等現(xiàn)象[9]。為了克服算法的這些弱點，Rao等人提出了一種精英教學優(yōu)化算法（elitist TLBO，ETLBO）[9]，每次迭代前，利用精英個體替換種群內的最差個體，同時通過變異機制刪除重復的學生個體。文獻[10]提出了一種帶有交叉操作的教與學優(yōu)化算法（cross-TLBO，C-TLBO），即在TLBO算法中引入遺傳算法中的交叉操作，將“教”和“學”兩個階段進行了有效融合，算法的局部搜索得到增強，平衡了算法的開采和勘探能力。Rajasekhar等人提出了一種相對精英教學優(yōu)化算法（opposite ETLBO，OETLBO）[11]，有效避免了種群容易聚集在局部最優(yōu)個體周圍的弱點，在算法后期能夠較好地保持種群多樣性。于坤杰等人[12]在ETLBO算法基礎上增加了針對快速提升較差學生分數(shù)的精英反饋機制，利用精英個體的較強引導能力，加快種群的收斂速度，提升了算法的精度。

為了改善TLBO的全局收斂能力，提高解精度，本文對標準TLBO進行了如下4個方面的改進。首先，利用Chebyshev混沌[13]機制的初始化種群，提高種群對解空間的覆蓋率。第二，為了體現(xiàn)學生學習知識過程的動態(tài)性，引入一個動態(tài)自適應因子，使算法早期學生主要向教師學習，快速提升自己的能力，后期逐漸增加自身知識對其進化的影響。第三，為了加強對最優(yōu)解空間的局部搜索，以教師個體所在點為起始點，執(zhí)行共軛梯度[14]搜索。第四，種群內的部分劣質個體，如果經過多次迭代之后仍然難以提高，則應用反向學習（opposition-based learning，OBL）[15]和高斯學習（Gaussian learning，GL）[16]對其進行二次強化學習，使其跳出局部極值的約束。

2　標準教與學優(yōu)化算法

假設問題的解空間為D維，將班級內的教師和學生看作待求解問題的候選解，標準TLBO算法就是將優(yōu)化問題求解看成是在該D維空間內的一個搜索過程。班級內每一個人所具有的知識被看作一個可能的候選解，相應解的適應度對應知識的質量。

不失一般性，以最小化問題minf(x1,x2,?,xn)為研究實例，其中xi∈[Lj,Uj]，1≤j≤n。標準教與學優(yōu)化算法，首先在解空間內隨機初始化產生N個個體，組成教學班級。完成種群初始化，最大迭代次數(shù)等設置后，算法進入迭代演化過程。該算法包含3個基本操作。

（1）以式（1）在解空間進行種群初始化。

其中rand(0,1)為(0,1)上的隨機數(shù)，xi∈[Lj,Uj]。

（2）教師教學階段。計算班級內全部個體的平均值 Xmean(t)，設教學因子為 β=round(1+rand(0,1))（注：round()為四舍五入），對種群中所有個體執(zhí)行式（2）生成其子個體的第d維，并以優(yōu)勝劣汰的方式更新Xi(t)。

（3）學生互相學習階段。從種群中隨機選擇兩互不相同的個體Xr1(t)、Xr2(t)，令個體Xi(t)向其中優(yōu)秀的個體進行學習。以式（3）生成子個體，同樣優(yōu)勝劣汰更新Xi(t)。

3　TLBO算法的改進

影響TLBO算法早熟的主要原因之一是所求問題的解空間分布。由于種群數(shù)量有限，且分布具有一定的隨機性，對于較復雜的問題而言，當前優(yōu)質解的收斂方向不一定就是全局最優(yōu)解的收斂方向。求單峰問題中，下面兩種情況容易發(fā)生算法的提前收斂。第一，最優(yōu)解區(qū)域附近種群個體適應度跨度變化較大；第二，最優(yōu)個體和次優(yōu)個體的適應度相差較小。而在多峰問題中，如果解與解之間相距較遠，也很難保證種群能夠覆蓋到全部最優(yōu)區(qū)域。

在實際應用中，為了保證運算速度，種群規(guī)模設置有限，種群中個體采用隨機初始化產生，故種群所覆蓋的解空間存在不確定性。在初始種群沒有覆蓋到全局最優(yōu)解的情況下，如果在有限迭代次數(shù)內，無法搜索到最優(yōu)解所在區(qū)域，則算法早熟是難以避免的。因此，為了改善算法的性能，一方面要提高種群的多樣性，擴大搜索范圍；另一方面要加強對最優(yōu)解所在區(qū)域的搜索，平衡全局搜索與局部搜索。

3.1Chebyshev混沌種群初始化

大自然中的混沌現(xiàn)象，是一種確定性系統(tǒng)中存在的隨機狀態(tài)，具有非常強的遍歷性、隨機性和規(guī)律性?；煦缧袨楸举|上是由確定性的規(guī)則導致，對初始條件敏感，為無固定周期的一種長期行為。在一定范圍內，混沌行為能夠使個體不重復地遍歷自身所有狀態(tài)。常見的混沌擾動方程為Logistic方程和Chebyshev映射。Chebyshev映射的方程為式（4）。

式中取k≥2，無論初始值的選擇如何，迭代產生的數(shù)據(jù)序列均不會相交。相關研究表明，Chebyshev映射的分布范圍較廣，能夠比較均勻地分布在[-1,1]區(qū)間上。因此，采用Chebyshev映射機制初始化的種群，分布會比較均勻且覆蓋廣泛。改進TLBO算法中應用Chebyshev混沌映射產生初始化種群，方法如下所述。

3.2學生的動態(tài)自適應學習

在學生進行學習的過程中，學生自身所具有的知識和教師的“教”行為共同對該學生自身狀態(tài)的提高產生影響。在初始階段，學生本身的知識較少，比較多地受到教師“教”行為的影響，而隨著學生不斷的學習，自身知識的提升，教師的“教”行為往往對學生知識素質的提升逐漸減少。但是，標準TLBO算法中學生自身狀態(tài)的進化通過式（2）來實現(xiàn)，并沒有體現(xiàn)這一學習過程。為了體現(xiàn)這一學習過程，本文在式（2）中引入一個動態(tài)學習因子ω。改進后的教師“教”行為見式（5）。

考慮公式中的比例因子ω∈[ωmin,ωmax]動態(tài)變化，并且應該與算法迭代次數(shù)有關，設置其依據(jù)式（6）進行變化。

其中,ωstart、ωend是該因子的變化范圍。

通過式（5）可以看出，在算法迭代初期，由于ω因子較小，種群中的學生個體主要是向教師學習，由于教師是種群內的最優(yōu)個體，種群迅速向教師個體所在空間靠近。隨著迭代的進行，ω逐漸增加，學生個體自身知識在其進化過程中所占比例不斷增加，算法種群多樣性保持較好，避免學生群體過早聚集于教師周圍，造成算法早熟。

3.3教師的共軛梯度搜索

最初的共軛梯度法主要用于求解正定系數(shù)矩陣的線性方程組。后來，在基本共軛梯度法基礎上，F(xiàn)letcher和Reeves對該方法進行了改進和完善，使得該算法能夠用于求解大型非線性無約束最優(yōu)化問題[14]。在該方法中，主要應用目標函數(shù)的一階導數(shù)信息，通過多次迭代對某個節(jié)點的周圍進行搜索，既克服了最速下降法收斂速度慢的弱點，又有效克服了牛頓迭代法需要存儲和計算Heslan矩陣及求逆的缺點，能夠快速收斂到所求問題的最優(yōu)解。

算法1共軛梯度法（conjugate gradient method, CGM）

輸入：初始點X0，精度eps。

輸出：最優(yōu)點Xk+1。

步驟1迭代次數(shù)計數(shù)器t=0，初始搜索方向d0=-g0。

步驟3計算ak和Xk+1，使得式（7）成立：

步驟4應用Fletcher和Reeves方法計算dk+1：

步驟5令t=t+1，goto步驟2。

在TLBO算法中，教師個體Xteach(t)一定程度上代表了種群的前進方向，由TLBO算法原理可以看出，學生個體通過式（2）、（3）學習進化，一方面向Xteach(t)所在空間靠近，一方面通過互相學習保持種群多樣性。但是TLBO算法一個明顯的缺點是教師個體缺少學習機制，即沒有對教師Xteach(t)所在空間進行精細的局部搜索。以最小化minf(x)示例，如果使教師個體按照下降的方向進行搜尋，將會提高算法的效率。共軛梯度算法恰好能夠按照負梯度方向尋找下一個結點，因為負梯度方向是個體的下降方向，所以尋找到的結點要優(yōu)于初始結點。

共軛梯度法局部搜索能力強，但是該算法搜索到的最優(yōu)點不一定是全局最優(yōu)點。因此為了提高算法的整體效率，設置共軛梯度算法的終止條件為兩種：第一種是解的精度。但是考慮在某些問題的求解過程中，即使設置較低的精度要求，共軛梯度算法的迭代次數(shù)仍然很高，因此算法的第二個終止條件是設定固定的迭代次數(shù)。搜索完畢后，直接應用所得到的點Xk+1替換教師個體Xteach(t)。

3.4劣質個體的二次強化學習

觀察TLBO的原理，可知TLBO算法通過應用班級的平均值與教師的差引導種群的進化，提升種群的平均值。

在實際算法運行過程中，觀察到在求解高維的多峰函數(shù)優(yōu)化時，存在部分劣質個體經過多次迭代學習后，仍然難以進化，或者進化幅度非常低，影響種群平均值的快速提高。這與現(xiàn)實的學習過程中，班級中通常會存在個別學生難以提升有相似性。針對此現(xiàn)象，通常會對學習較差的學生采取多種方法進行輔導，以提升這些學生的素質。

本文為了提高劣質個體的進化能力，改善其自身的狀態(tài)，加速算法收斂，對這些長時間沒有得到提高的劣質個體采取兩種學習機制進行二次學習，然后基于模擬退火機制進行輪盤賭選擇學習后的新狀態(tài)。

定義1[15]（反向解）設在區(qū)間[a,b]上存在一個實數(shù)x，則x的反向數(shù)定義為x′=a+b-x。鑒于此，假設在R域上存在某N維點X=(x1,x2,?,xi,?,xN)，并且xi∈[ai,bi]，則定義X′=(x1′,x2′,?,xi′,?,xN′)為X的反向點。其中，xi′=k×(ai+bi)-xi，k為[0,1]之間分布均勻的隨機數(shù)，稱作一般化系數(shù)。

算法2反向學習算法（OBL）

輸入：個體Xi(t)，限制區(qū)間[a,b]，最大迭代次數(shù)Itermax。

步驟1設置迭代次數(shù)為t=0。

步驟2生成一般化系數(shù)k∈[0,1]，依據(jù)定義1生成反向解Xt′(t)。

步驟3迭代次數(shù)沒有滿足結束條件，則t=t+1, 并goto步驟2。

借鑒參考文獻[16]中的高斯學習概念。

定義2[16]（高斯學習）設D是問題的解空間維數(shù)，則個體Xi(t)在d維上的高斯學習定義：

Gussian(μ,σ2)產生一個服從高斯分布的隨機數(shù)，均值為μ，方差為σ2，λ∈(0,1)。

教師是種群中的最優(yōu)個體，一定程度上代表了種群的演化方向，因此模擬退火的選擇機制設置如下。

設當前溫度是k，則可以通過式（10）得到某個體Xi(t)對于教師個體Xteach(t)的突跳概率，并利用式（11）得到Xi(t)替換Xteach(t)的概率。

基于替換概率pic以輪盤賭方式選擇一個個體更新Xi(t)。

為了提高算法效率，本文設定為每隔100代，針對種群中的最差個體進行一次檢查，當該個體的變化幅度低于閾值σ=0.01時執(zhí)行二次強化學習。

3.5改進算法的步驟

算法3 CCGTLBO（chaotic and conjugate gradient TLBO）

輸入：個體X0(0)，種群數(shù)目N。

輸出：最優(yōu)個體Xgbest(t)。

步驟1以X0(0)為起點，依據(jù)式（4）進行迭代，直至產生N個個體，組成初始種群POP(0)，迭代計數(shù)器t=0。

步驟2在種群中搜索適應度最佳個體，設為教師Xteach(t)，并計算班級的平均值Xavg(t)。

步驟3依據(jù)式（5）進行教師的“教”行為。

步驟4依據(jù)式（3）實現(xiàn)學生的互相“學”行為。

步驟5對教師個體Xteach(t)實施共軛梯度算法搜索。

步驟5.1設定共軛梯度算法的相應參數(shù)，迭代次數(shù)k=0；

步驟5.2如果滿足共軛梯度法終止條件，goto步驟6；

步驟5.3a=1；

步驟5.5應用Fletcher和Reeves方法計算dk+1，k=k+1，goto步驟5.2。

步驟6更新教師個體Xteach(t)=Xk+1。

步驟7種群內的最差個體在100次迭代后，如果其變化幅度小于指定的閾值σ，則對其執(zhí)行3.4節(jié)中設定的二次強化學習，否則goto步驟8。

步驟8算法滿足結束條件，則輸出Xgbest(t)，結束算法；否則goto步驟2。

4　仿真實驗與分析

4.1實驗1

將CCGTLBO算法應用C語言編程實現(xiàn)，在VC6的環(huán)境下編譯運行，以測試算法的性能。計算機的硬件配置是AMD Turion64雙核CPU，2.0 GHz主頻，2 GB內存。測試函數(shù)選擇6個經典Benchmark[12]函數(shù)，其中包括 f1-Sphere、f2-Rosenbrock、f3-Schwefel、f4-Rastrigin、f5-Ackley、f6-GireWank，分別測試6個函數(shù)的30維和100維度兩個維度，以驗證改進算法在低維度和高維度兩種情況下的求解性能。參與對比的算法包括TLBO、ITLBO[17]（improved TLBO）、ETLBO、AFSA[18]（artificial fish swarm algorithm）等。CCGTLBO的種群設置為20，迭代次數(shù)設為1 000，嵌入的共軛梯度搜索的迭代次數(shù)是100，精度為0.001，自適應學習算子上下界限是λstart=0.1，λend=1.5。ITLBO、ETLBO兩個算法的參數(shù)設置遵循相關文獻。AFSA算法的參數(shù)設置如下：魚群規(guī)模 fish_number= 20，視野范圍visual=5，移動步長step=1，擁擠度因子delta=0.5，嘗試次數(shù)try_number=3，迭代次數(shù)itermax=1 000。

為體現(xiàn)公平，減少算法的偶然性所帶來的誤差，將上述參與對比的算法分別獨立運行30次，取它們的解平均值及解標準差，求解結果列于表1。在表2中列出了5個算法在測試函數(shù)上收斂成功的次數(shù)、平均收斂代數(shù)、運行時間等指標。因為AFSA算法在所有的測試函數(shù)上均沒有成功收斂，所以表2中只給出了TLBO以及相關算法的數(shù)據(jù)。

觀察表1、表2中的數(shù)據(jù)，人工魚群算法的表現(xiàn)較TLBO算法的解精度相差較多，在全部6個測試函數(shù)上都沒有找到最優(yōu)解，但是人工魚群算法解的標準差相比較TLBO算法并不低多少，尤其在單峰的 f1函數(shù)上，AFSA算法的解標準差還要比TLBO算法優(yōu)秀，說明人工魚群算法要比TLBO穩(wěn)定，亦是一個優(yōu)秀的演化算法，在解精度要求不高的情況下可以用來快速獲得可行解。

在 f1函數(shù)的維度為30時，CCGTLBO算法正確找到了函數(shù)的最優(yōu)解，而參與對比的ETLBO、ITLBO、TLBO算法均沒有找到全局最優(yōu)解。函數(shù)維度為100時，4個算法均沒有在迭代次數(shù)內尋找到全局最優(yōu)解，但是CCGTLBO算法的精度是最高的，要遠遠超過其他3個算法。 f2函數(shù)在局部極值附近存在陡峭的峽谷，4個算法均沒有找到最優(yōu)值。但是CCGTLBO算法的解精度、標準差仍然是最好的。注意到這4個算法，在30維的結果與100維的結果幾乎都是一個數(shù)量級，變化很小，說明在求解 f2函數(shù)時，TLBO系列算法較難克服局部極值的約束，解精度較低，需要引入其他優(yōu)秀的演化算法機制進行改進。函數(shù) f3是一個單峰函數(shù)，主要用于對比算法的解精度。在兩種維度上，改進后的3個算法均較為輕松地尋找到了全局最優(yōu)值，較標準TLBO算法有較大幅度提高。對比表2中所列出的3個算法的其他指標，CCGTLBO算法收斂成功的迭代次數(shù)要小于ETLBO、ITLBO算法。函數(shù) f4同樣是一個多峰函數(shù)，存在較多的極值點，需要算法具有較好的跳出局部極值約束的能力。與 f3函數(shù)的結果一樣，改進后的3個算法均找到了全局最優(yōu)值，CCGTLBO算法在該函數(shù)上的表現(xiàn)是最好的，所需迭代次數(shù)最少。在多峰的 f5函數(shù)上，參與對比的算法均沒有找到全局最優(yōu)值，在30維時，CCGTLBO算法的求解結果甚至稍劣于ETLBO算法，與ITLBO算法基本相當。但是當函數(shù)維度升為100時，CCGTLBO算法的求解結果較30維時基本沒有下降，而ETLBO、ITLBO算法均有所下降，說明CCGTLBO算法的穩(wěn)定性要更好一些。另外，其成功收斂的次數(shù)是最多的，且所需平均收斂代數(shù)最少。 f6函數(shù)也是一個多峰函數(shù)，CCGTLBO算法的表現(xiàn)優(yōu)異，與ETLBO、ITLBO算法一樣都成功收斂30次，找到了函數(shù)的全局最優(yōu)解，并且所需迭代次數(shù)較少。

Table 1　Comparison of mean for unconstrained benchmark functionsf1～f6(Std)表1　無約束測試函數(shù) f1～f6上的結果平均值對比（標準差）

Table 2　Success number,average convergence iterations and average time for unconstrained benchmark functionsf1～f6表2　無約束測試函數(shù)f1～f6上成功次數(shù)、平均收斂代數(shù)、平均時間

為了更直觀地觀察算法在函數(shù)上的收斂效果，繪制了其中4個算法分別在 f1、f2、f5、f6上的收斂曲線，如圖1、圖2、圖3、圖4所示。從4個圖展示的收斂曲線可以看出，本文提出的CCGTLBO算法在4個函數(shù)上，均能夠快速收斂。在 f1函數(shù)上，CCGTLBO、ITLBO、ETLBO算法的收斂曲線基本一致，較TLBO算法收斂到全局最優(yōu)值更加迅速。

在另外的3個算法上，標準TLBO算法的收斂曲線比較緩慢，尤其是在 f2函數(shù)上還有跳躍，而3個改進算法收斂曲線比較平滑，尤其是CCGTLBO算法的收斂曲線更為平穩(wěn)，能夠快速收斂。

Fig.1　Convergence curves off1圖1　f1函數(shù)上的收斂曲線

Fig.2　Convergence curves off2圖2　f2函數(shù)上的收斂曲線

Fig.3　Convergence curves off5圖3　f5函數(shù)上的收斂曲線

Fig.4　Convergence curves off6圖4　f6函數(shù)上的收斂曲線

從上面的分析可以看到，CCGTLBO算法的解精度在所測試的6個函數(shù)上，較TLBO算法有較大提高，尤其在TLBO算法表現(xiàn)較差的高維度函數(shù)上，優(yōu)勢更加明顯。在大部分的函數(shù)上，也較ETLBO、ITLBO兩個算法優(yōu)秀。在時間的對比上，CCGTLBO算法相比較其他算法不占優(yōu)勢，幾乎所有測試函數(shù)所需時間均是最長的。主要是因為該改進算法中融入了多種改進機制和相關算法，增加了整個算法的計算時間。綜合考慮，該算法仍然可以認為是一個優(yōu)秀的算法，對TLBO的改進是成功的。

4.2實驗2

繼續(xù)選擇兩個非線性方程進行測試，以檢測改進后算法的可行性及其優(yōu)勢，所選擇的兩個測試實例分別來自實際工程和科學計算領域。在這項測試中，選擇了TLBO和CCGTLBO兩個算法，并分別獨立執(zhí)行50次，算法的參數(shù)設置同實驗1。對比結果見表3。

例1

Table 3　Results comparison of TLBO and CCGTLBO for solving nonlinear equations表3　TLBO與CCGTLBO求解非線性方程組的結果對比

該方程理論精確解是x*=(4,3,1)T，求解范圍是x∈[0,10]。

通過表3所列數(shù)據(jù)可以看出，在兩個示例上，CCGTLBO算法的解精度和搜索成功率均要優(yōu)于標準TLBO，證明改進后算法的穩(wěn)定性和全局收斂能力較標準教與學優(yōu)化算法有了很大的提高。

5　結束語

本文針對教與學優(yōu)化算法在求解高維問題時，容易出現(xiàn)早熟，解精度較低的弱點，通過引入4點改進機制提升算法的性能。首先，通過利用Chebyshev混沌優(yōu)化機制實現(xiàn)種群初始化，提高原始種群對于解空間的覆蓋。為了加強算法的局部搜索能力，嵌入精英個體的共軛梯度搜索機制。通過引入一個動態(tài)自適應學習因子，使種群的多樣性得以保持。針對多次迭代后仍然難以提高的劣質個體，采用反向學習和高斯學習對其進行二次強化學習，協(xié)助它們跳出局部極值的約束。最后一系列的實驗表明，改進算法在收斂精度、成功率方面均優(yōu)于標準TLBO算法，適合于求解高維的函數(shù)優(yōu)化問題。

教與學優(yōu)化算法出現(xiàn)時間較短，但已經引起國內外專家學者的注意。今后將會針對其收斂性進行理論方面的論證，以及研究如何借鑒傳統(tǒng)的演化算法優(yōu)點，實現(xiàn)優(yōu)勢互補，拓展其應用領域。

References:

[1]Rao RV,SavsaniVJ,Vakharia D P.Teaching-learning-based optimization:an optimization method for continuous nonlinear large scale problems[J].Information Sciences,2012, 183:1-15.

[2]?repin?ek M,Liu S H,Mernik L.Anote on teaching-learningbased optimization algorithm[J].Information Sciences,2012, 212:79-93.

[3]Tuo Shouheng.A modified teaching-learning-based optimization algorithm and application in neural networks[J]. CAAI Transactions on Intelligent Systems,2013,8(4):327-332.

[4]Rao R V,Patel V.Multi-objective optimization of heat exchangers using a modified teaching-learning-based optimization algorithm[J].Applied Mathematical Modeling,2013, 37(3):1147-1162．

[5]To?an V.Design of planar steel frames using teaching-learning based optimization[J].Engineering Structures,2012,34(1): 225-232.

[6]Krishnanand K R,Panigrahi B K,Rout P K,et al.Application of multi-objective teaching-learning-based algorithm to an economic load dispatch problem with incommon-surable objectives[C]//LNCS 7076:Proceedings of the 2nd International Conference on Swarm,Evolutionary,and Memetic Computing,Visakhapatnam,India,Dec 19-21,2011.Berlin, Heidelberg:Springer,2011:697-705．

[7]Rao R V,Savsani V J,Vakharia D P.Teaching-learning-based optimization:a novel method for constrained mechanical design optimization problems[J].Computer-Aided Design, 2011,43(3):303-315．

[8]Yu Kunjie,Wang Xin,Wang Zhenlei.Study and application of improved teaching-learning-based optimization algorithm[J]. Chemical Industry and Engineering Progress,2013,33(4): 850-854.

[9]Rao R V,Patel V.An elitist teaching-learning-based optimization algorithm for solving complex constrained optimization problems[J].International Journal of Industrial Engineering Computations,2012,3(4):535-560.

[10]Gao Liqun,Ouyang Haibin,Kong Xiangyong,et al.Teachinglearning based optimization algorithm with crossover operation[J],Journal of Northeastern University:Natural Science,2014,35(3):323-327.

[11]Rajasekhar A,Rani R,Ramya K,et al.Elitist teaching-learning opposition based algorithm for global optimization[C]//Proceedings of the 2012 IEEE International Conference on Systems,Man,and Cybernetics,Seoul,Korea,Oct 14-17,2012. Piscataway,USA:IEEE,2012:1124-1129.

[12]Yu Kunjie,Wang Xin,Wang Zhenlei.Elitist teaching learningbased optimization algorithm based on feedback[J].Acta Automatica Sinica,2014,40(9):1976-1983.

[13]Yu Shuhao,Su Shoubao.Research and application of chaotic glowworm swarm optimization algorithm[J].Journal of Frontiers of Computer Science and Technology,2014,8(3): 352-358.

[14]Wu Xiaoping,Wang Tongtong.A 3-D finite-element resitivity forward modeling using conjugate gradient algoritm[J]. Chinese Journal of Geophysics,2003,46(3):428-432.

[15]Tizhoosh H R.Opposition-based learning:a new scheme for machine intelligence[C]//Proceedings of the 2005 IEEE International Conference on Computational Intelligence for Modelling,Control and Automation,Vienna,Austria,Nov 28-30,2005.Piscataway,USA:IEEE,2005:695-701.

[16]Zhan Zhihui,Zhang Jun,Li Yun,et al.Adaptive particle swarm optimization[J].IEEE Transaction on Systems,Man, and Cybernetics,2009,39(6):1362-1381.

[17]Rao R V,Patel V.An improved teaching-learning-based optimization algorithm for solving unconstrained optimization problems[J].Scientia Iranica,2013,20(3):710-720.

[18]Wang Peichong.Swarm intelligence algorithms and their apllications[M].Beijing:Publishing House of Electronics Industry,2015.

附中文參考文獻：

[3]拓守恒.一種優(yōu)化神經網絡的教與學優(yōu)化算法[J].智能系統(tǒng)學報,2013,8(4):327-332.

[8]于坤杰,王昕,王振雷.改進的教學優(yōu)化算法及其應用[J].化工進展,2013,33(4):850-854.

[10]高立群,歐陽海濱,孔祥勇,等.帶有交叉操作的教-學優(yōu)化算法[J].東北大學學報:自然科學版,2014,35(3):323-327.

[12]于坤杰,王昕,王振雷.基于反饋的精英教學優(yōu)化算法[J].自動化學報,2014,40(9):1976-1983.

[13]郁書好,蘇守寶.混沌螢火蟲優(yōu)化算法的研究及應用[J].計算機科學與探索,2014,8(3):352-358.

[14]吳小平,汪彤彤.利用共軛梯度算法的電阻率三維有限元正演[J].地球物理學報,2003,46(3):428-432.

[18]王培崇.群體智能算法及其應用[M].北京:電子工業(yè)出版社,2015.

WANG Peichong was born in 1972.He received the Ph.D.degree in computer science and technology from China University of Mining and Technology(Beijing)in 2010.Now he is an associate professor at School of Information Engineering,Hebei Dizhi University.His research interests include evolutionary computation,machine learning and pattern recognize,etc.He has published more than 30 papers in domestic and international journals and conferences.

王培崇（1972—），男，河北辛集人，2010年于中國礦業(yè)大學（北京）計算機應用技術專業(yè)獲得博士學位，現(xiàn)為河北地質大學信息工程學院副教授，主要研究領域為進化計算，機器學習，模式識別等。發(fā)表學術論文30余篇。

PENG Feifei was born in 1986.She received the Ph.D.degree in computer science and technology from China University of Mining and Technology(Beijing)in 2012.Now she is a lecturer at Information Center of Library,Beijing University of Posts and Telecommunications.Her research interests include evolutionary computation and machine learning,etc.She has published more than 20 papers in domestic and international journals and conferences.

彭菲菲（1986—），女，山東青島人，2012年于中國礦業(yè)大學（北京）計算機應用技術專業(yè)獲得博士學位，現(xiàn)為北京郵電大學圖書館信息中心講師，主要研究領域為進化計算，機器學習等。發(fā)表學術論文20余篇。

QIAN Xu was born in 1962.He received the Ph.D.degree in control science and engineering from China University of Mining and Technology in 1996.Now he is a professor and Ph.D.supervisor at School of Mechanical Electronic and Information Engineering,China University of Mining and Technology(Beijing).His research interests include software engineering and machine learning,etc.He has published more than 100 papers in domestic and international journals and conferences.

錢旭（1962—），男，江蘇南京人，1996年于中國礦業(yè)大學控制科學與工程專業(yè)獲得博士學位，現(xiàn)為中國礦業(yè)大學（北京）機電與信息工程學院教授、博士生導師，主要研究領域為軟件工程，機器學習等。發(fā)表學術論文100余篇。

+Corresponding author:E-mail:wpeichong@126.com

文獻標志碼：A

中圖分類號：TP18

doi:10.3778/j.issn.1673-9418.1508071

Improved Teaching-Learning Based OptimizationAlgorithm with Conjugate Gradient Methods and Second Study*

WANG Peichong1,2+,PENG Feifei3,QIAN Xu2
1.School of Information Engineering,Hebei Dizhi University,Shijiazhuang 050031,China
2.School of Mechanical Electronic and Information Engineering,China University of Mining and Technology,Beijing 100083,China
3.Library,Beijing University of Posts and Telecommunications,Beijing 100083,China

Abstract:Teaching-learning based optimization(TLBO)algorithm can solve the complex optimization problems by simulating teaching and learning,and has been applied in many fields.To overcome the weakness of premature,low precision of solution,this paper proposes an improved hybrid chaotic and conjugate gradient method TLBO.This improved algorithm initializes its population by Chebyshev mapping to improve bestrow rate of solution space.To keep the diversity of population,this paper introduces a dynamic learning coefficient to make that students can mainly learn from teacher in early,and improves gradually the ability of affecting itself evolvement of student?s knowledge.In its iteration,teacher individual executes conjugate gradient methods after“teaching”and“l(fā)earning”.If the states of those student indivduals which are worst can not be changed,second study based on OBL(opposition-based learning)

Key words:teaching-learning based optimization;Chebyshev mapping;dynamic self-adaptive learning;conjugate gradient method;second study

*The Social Science Foundation of Hebei Province under Grant No.HB16TQ001(河北省社會科學基金). Received 2015-08,Accepted 2015-11.