亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于模擬退火算法的改進極限學(xué)習(xí)機①

        2020-03-23 06:05:00
        計算機系統(tǒng)應(yīng)用 2020年2期
        關(guān)鍵詞:鳶尾花學(xué)習(xí)機模擬退火

        吳 雨

        (中國科學(xué)技術(shù)大學(xué) 管理學(xué)院, 合肥 230026)

        極限學(xué)習(xí)機由于其快速的訓(xùn)練速度, 良好的泛化能力, 廣泛應(yīng)用于各行業(yè)研究中, 例如面部識別、圖像分割和人類動作識別[1].在實際應(yīng)用中, 為了達到理想的預(yù)測效果, 需要選取預(yù)測精度較高的機器學(xué)習(xí)方法.極限學(xué)習(xí)機的預(yù)測精度受到隱藏層節(jié)點數(shù)目、隱藏層的任意生成的輸入?yún)?shù)和數(shù)據(jù)噪聲的影響.這種不更新隱藏層參數(shù), 通過最小二乘調(diào)整的輸出權(quán)重使極限學(xué)習(xí)機的抗錯能力較差, 容易夸大離群點和噪聲的影響得到不準(zhǔn)確的結(jié)果.在一些應(yīng)用中, 針對極限學(xué)習(xí)機隱藏層節(jié)點過多的缺陷, 在隱藏層中增加了一類分類神經(jīng)元[2].或者通過粒子群算法優(yōu)化選擇極限學(xué)習(xí)機的隱藏層偏置, 驗證了粒子群極限學(xué)習(xí)機算法在隱含層節(jié)點數(shù)目選擇上具有優(yōu)勢[3].

        現(xiàn)實生活中存在許多與機器學(xué)習(xí)方法的應(yīng)用條件不一致的情況, 因此對大多數(shù)傳統(tǒng)算法進行改進以適應(yīng)當(dāng)前情況是正常的.王莉等[4]在代價敏感的理論基礎(chǔ)上, 提出一種新的基于代價敏感集成學(xué)習(xí)的非平衡數(shù)據(jù)分類方法.鄭仙花等[5]通過進化學(xué)習(xí)改進了克隆選擇算法實現(xiàn)了多類監(jiān)督分類, 避免了只能針對某一類樣本數(shù)據(jù)進行監(jiān)督學(xué)習(xí).沈宋衍等[6]基于在線回歸學(xué)習(xí)提出一種輪廓跟蹤算法, 解決了目標(biāo)快速運動以及嚴(yán)重形變導(dǎo)致跟蹤失敗的問題.王英博等[7]提出采用修正型果蠅優(yōu)化算法優(yōu)化廣義回歸神經(jīng)網(wǎng)絡(luò)進行參數(shù)優(yōu)化.蒙凱等[8]基于集成問題的離散特征, 提出面向多目標(biāo)優(yōu)化的改進灰狼算法.趙燕偉等[9]以關(guān)聯(lián)函數(shù)為基礎(chǔ), 重新定義神經(jīng)網(wǎng)絡(luò)中的誤差計算方法, 構(gòu)建了一種基于改進BP 神經(jīng)網(wǎng)絡(luò)的可拓分類器.

        由于極限學(xué)習(xí)機的學(xué)習(xí)效果依賴于初始的隱藏層輸入權(quán)值和偏置.本研究認為極限學(xué)習(xí)機可以利用模擬退火算法不斷嘗試隱藏層輸入權(quán)值和偏置的選擇,提升預(yù)測能力.首先, 傳統(tǒng)的極限學(xué)習(xí)機對訓(xùn)練集的學(xué)習(xí)過程, 可以得到一組隱藏層的輸入權(quán)值、偏置、輸出權(quán)值和均方根誤差.然后把得到的隱藏層輸入權(quán)值和偏置作為初始解, 均方根誤差視為目標(biāo)函數(shù), 通過模擬退火過程, 找到訓(xùn)練過程均方根誤差最小的極限學(xué)習(xí)機的隱藏層輸入權(quán)值和偏置, 再通過傳統(tǒng)的極限學(xué)習(xí)機計算得到隱藏層輸出權(quán)值.最后文本為了測試改進后的極限學(xué)習(xí)機的預(yù)測能力, 選取了鳶尾花分類數(shù)據(jù)和波士頓房價預(yù)測數(shù)據(jù)分別進行了分類和回歸實驗,實驗結(jié)果表明基于模擬退火改進的極限學(xué)習(xí)機在分類和回歸的預(yù)測能力上優(yōu)于傳統(tǒng)的極限學(xué)習(xí)機.

        1 基于SA 改進的ELM 預(yù)測模型

        1.1 極限學(xué)習(xí)機

        極限學(xué)習(xí)機作為單隱層神經(jīng)網(wǎng)絡(luò), 與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比, 優(yōu)勢在于收斂速度快、泛化能力強, 并且避免了反向傳播神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu), 由于迭代, 訓(xùn)練過程十分耗時等特點[10].極限學(xué)習(xí)機任意初始化輸入權(quán)重和偏置, 通過計算隱藏層神經(jīng)元的輸出權(quán)值, 加快了極限學(xué)習(xí)機的學(xué)習(xí)速度.根據(jù)線性方程組的求解方法可知, 當(dāng)樣本隱藏層神經(jīng)元輸出值矩陣是滿秩時,只需要矩陣求逆這一次性的操作, 就可以得到隱藏層神經(jīng)元權(quán)重.這一過程恰好可以學(xué)習(xí)不同的觀測樣本.極限學(xué)習(xí)機的學(xué)習(xí)算法如下所示:

        1.2 模擬退火算法

        模擬退火算法作為一種迭代自適應(yīng)啟發(fā)式概率性搜索算法, 模擬了一個高溫固體的退火過程, 將優(yōu)化過程分成加溫、等溫、冷卻等3 個部分, 利用Metropolis算法適當(dāng)?shù)目刂茰囟认陆颠^程.Metropolis 準(zhǔn)則是模擬退火算法收斂于全局最優(yōu)解的關(guān)鍵所在, 它以一定的概率接受惡化解, 這就使算法跳離局部最優(yōu)的陷阱[13].具體來說, 模擬退火算法通過迭代的方式嘗試改進目標(biāo)函數(shù)的最優(yōu)解, 改進的新解將被接受為最優(yōu)解, 當(dāng)新解劣于當(dāng)前最優(yōu)解, 由波爾茨曼概率確定一個劣解的概率, 使目標(biāo)函數(shù)避免局部最優(yōu), 最終獲得全局最優(yōu)解[14].模擬退火算法的具體實現(xiàn)步驟算法1 所示.

        在應(yīng)用中模擬退火算法發(fā)揮了重要的作用, 高鷹等[15]提出一種基于模擬退火的粒子群優(yōu)化算法, 改善了粒子群優(yōu)化算法擺脫局部極值點的能力, 提高了算法的收斂速度和精度.楊若黎等[16]提出一種確定模擬退火算法溫度更新函數(shù)的啟發(fā)式準(zhǔn)則, 數(shù)值計算結(jié)果表明采用新的溫度更新函數(shù)以及相應(yīng)的概率密度函數(shù)的模擬退火算法可以顯著地提高求解全局優(yōu)化問題的計算效率.張世睿等[17]提出一種基于模擬退火算法的單隱藏層BP 神經(jīng)網(wǎng)絡(luò)隱藏層節(jié)點估算算法, 通過模擬退火不斷增加隱藏層節(jié)點個數(shù)直至算法結(jié)束, 得到最優(yōu)解.凌靜等[18]用模擬退火算法改進遺傳算法的變異操作, 改善了遺傳算法的早熟現(xiàn)象.黃聯(lián)標(biāo)等[19]基于模擬退火算法對多工程系統(tǒng)維護時刻和維護方案進行尋優(yōu), 確定各個工段最佳的預(yù)防性維護策略.

        1.3 改進的極限學(xué)習(xí)機

        由于極限學(xué)習(xí)機是任意給定隱藏層神經(jīng)元的權(quán)值和偏置, 這導(dǎo)致一些隱藏層神經(jīng)元在訓(xùn)練過程中無效,使得極限學(xué)習(xí)機的泛化能力降低.由于ELM 學(xué)習(xí)算法隨機選擇隱藏層神經(jīng)元的輸入權(quán)值和偏置, 但是這些輸入權(quán)值和偏置相對與輸入數(shù)據(jù)來說, 不是最優(yōu)的選擇, 這使得極限學(xué)習(xí)機的泛化能力降低.在實際應(yīng)用中,為了使神經(jīng)網(wǎng)絡(luò)有較好的泛化能力, 需要較多的隱含層神經(jīng)元, 因而增加了網(wǎng)絡(luò)的復(fù)雜度.羅庚合[20]為了減少隱含層神經(jīng)元個數(shù)、提高網(wǎng)絡(luò)的泛化性能, 引入可拓聚類算法, 動態(tài)調(diào)整隱藏層節(jié)點數(shù)目.針對以上問題本文提出基于模擬退火算法的極限學(xué)習(xí)機, 利用模擬退火算法選擇極限學(xué)習(xí)機的輸入權(quán)值和偏置, 從而得到一個最優(yōu)的訓(xùn)練網(wǎng)絡(luò).

        基于模擬退火算法改進的極限學(xué)習(xí)機算法算法2所示.

        基于模擬退火算法改進的極限學(xué)習(xí)機, 結(jié)構(gòu)復(fù)雜不便理論分析, 若要了解算法的收斂性, 可采用數(shù)值實驗的方法.計算該算法的目標(biāo)值與問題已有最優(yōu)值之比, 利用概率統(tǒng)計的方法考察所得比值與1 的接近程度, 比值越接近于1, 說明算法性能越好[21].

        2 實驗分析

        為了說明基于模擬退火算法改進的極限學(xué)習(xí)機的收斂性和泛化效果, 文本選取了鳶尾花分類樣本和波士頓房價預(yù)測兩個數(shù)據(jù)集分別進行定性預(yù)測和定量預(yù)測兩組實驗.將基于模擬退火算法改進的極限學(xué)習(xí)機的預(yù)測結(jié)果與極限學(xué)習(xí)機等其他方法的預(yù)測結(jié)果進行對比.兩組實驗參數(shù)如表1 所示.

        表1 參數(shù)設(shè)置

        2.1 鳶尾花分類

        本研究采用的鳶尾花數(shù)據(jù)包含4 個解釋變量分別是萼片的長度、萼片的寬度、花瓣的長度、花瓣的寬度, 被解釋變量即鳶尾花的種類.在這150 條數(shù)據(jù)中,包含了3 種鳶尾花, 分別為setosa、versicolor、virginica,每種花各有50 條數(shù)據(jù).實驗按2:1 的比例將數(shù)據(jù)隨機地劃分成訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集.研究選取精度為衡量預(yù)測準(zhǔn)確性的標(biāo)準(zhǔn), 對實驗結(jié)果進行分析, 精度計算公式如表2 所示.

        表2 精度計算公式

        任意選取一次實驗進行觀測, 結(jié)果如圖1 所示, 基于模擬退火改進的極限學(xué)習(xí)機在降溫的過程中, 分類預(yù)測誤差得到優(yōu)化, 未改進的極限學(xué)習(xí)機的預(yù)測精度是88%, 改進后的極限學(xué)習(xí)機的預(yù)測精度將近98%, 預(yù)測精度提高了10%.

        圖1 改進的極限學(xué)習(xí)機分類的優(yōu)化過程

        實驗對每種分類方法的50 次分類精度取平均值,再進行比較.實驗發(fā)現(xiàn)極限學(xué)習(xí)機的分類精度是6 種方法里最低的, 只有83.2%, 不足90%, 其余的分類方法的預(yù)測精度都高于90%.其中, 本文方法的預(yù)測精度最高, 達到99.0%, 可見本文方法可以極大的提高極限學(xué)習(xí)機的分類預(yù)測精度.如表3 所示

        表3 鳶尾花分類結(jié)果

        通過對50 次實驗結(jié)果取平均值, 由表4 發(fā)現(xiàn)隨著鳶尾花樣本數(shù)據(jù)規(guī)模越大, 比值越接近1, 說明樣本數(shù)據(jù)越大, 改進后的極限學(xué)習(xí)機分類性能越好.

        表4 鳶尾花實驗收斂趨勢

        2.2 波士頓房價預(yù)測

        任意選取一次實驗進行觀測, 結(jié)果如圖2~圖4 所示.其中圖2 說明了未改進的極限學(xué)習(xí)機在測試集上的估計值和真實值的對比.圖3 說明了改進后的極限學(xué)習(xí)機的在測試集上的估計值和真實值的對比.

        從圖2 中可知, 未改進的極限學(xué)習(xí)機在測試集上的一些預(yù)測值比實際值偏大.從圖3 中可知, 改進后的極限學(xué)習(xí)機在測試集上的預(yù)測值相對平穩(wěn), 波動較為平緩.圖4 表明基于模擬退火改進的極限學(xué)習(xí)機的優(yōu)化過程, 均方根誤差在優(yōu)化過程中減小.

        實驗對每種分類方法的50 次預(yù)測誤差取平均值, 再進行比較, 實驗結(jié)果如表5 所示.實驗發(fā)現(xiàn)極限學(xué)習(xí)機的預(yù)測誤差相比于其他傳統(tǒng)機器學(xué)習(xí)方法偏高.本文方法可以提高極限學(xué)習(xí)機的回歸預(yù)測能力.由表6 發(fā)現(xiàn)波士頓房價樣本數(shù)據(jù)規(guī)模越大, 比值在1 附近有微小的變動, 說明改進后的極限學(xué)習(xí)機回歸性能穩(wěn)定.

        3 結(jié)論與展望

        為了提高極限學(xué)習(xí)機的分類和回歸的預(yù)測能力,提出一種基于模擬退火改進的極限學(xué)習(xí)機.本文利用模擬退火算法的降溫過程對隱藏層的輸入權(quán)值和偏置進行優(yōu)化, 避免了任意選擇的輸入權(quán)值和偏置使訓(xùn)練的模型無效的情況, 使極限學(xué)習(xí)機的表現(xiàn)更加穩(wěn)定.實驗結(jié)果表明通過模擬退火算法改進的極限學(xué)習(xí)機分類預(yù)測能力極好, 回歸預(yù)測能力劣于BP 神經(jīng)網(wǎng)絡(luò)和回歸樹的預(yù)測能力.

        圖2 極限學(xué)習(xí)機的波士頓房價預(yù)測結(jié)果

        圖3 改進的極限學(xué)習(xí)機的波士頓房價預(yù)測結(jié)果

        圖4 改進的極限學(xué)習(xí)機回歸的優(yōu)化過程

        下一步工作考慮改進的極限學(xué)習(xí)機在降溫優(yōu)化過程中如何選擇最優(yōu)的迭代次數(shù)、在優(yōu)化時選擇最優(yōu)的隱藏層神經(jīng)元個數(shù)以及如何進一步提高極限學(xué)習(xí)機的回歸預(yù)測能力.

        表5 波士頓房價預(yù)測結(jié)果

        表6 波士頓房價實驗收斂趨勢

        猜你喜歡
        鳶尾花學(xué)習(xí)機模擬退火
        鳶尾花觀察日記
        鳶尾花
        鳶尾花開
        童話世界(2018年35期)2018-12-03 05:23:14
        模擬退火遺傳算法在機械臂路徑規(guī)劃中的應(yīng)用
        極限學(xué)習(xí)機綜述
        基于極限學(xué)習(xí)機參數(shù)遷移的域適應(yīng)算法
        我有鳶尾花一樣的靈魂(外一首)
        散文詩(2017年18期)2018-01-31 02:43:33
        分層極限學(xué)習(xí)機在滾動軸承故障診斷中的應(yīng)用
        基于模糊自適應(yīng)模擬退火遺傳算法的配電網(wǎng)故障定位
        SOA結(jié)合模擬退火算法優(yōu)化電容器配置研究
        国产尤物精品视频| 精品国产车一区二区三区| av在线入口一区二区| 天天躁夜夜躁av天天爽| 色婷婷综合久久久久中文| 四虎影视久久久免费| av免费网站不卡观看| 亚洲av成人综合网成人| 看av免费毛片手机播放| 最新国产午夜福利| 69精品人妻一区二区| 亚洲成av人片女在线观看| 草草浮力地址线路①屁屁影院| 亚洲国产成人无码影院| 美国又粗又长久久性黄大片| 精品国产sm最大网站| 欧美野外疯狂做受xxxx高潮 | 日韩亚洲中文图片小说| 免费观看国产激情视频在线观看| 综合偷自拍亚洲乱中文字幕| 日日碰狠狠添天天爽超碰97| 国产午夜激无码AV毛片不卡| 久久99精品久久只有精品| 亚洲人成网网址在线看| 天堂网www在线资源| 国产免费一区二区av| 女人av天堂国产在线| 国产成人aaaaa级毛片| 日韩亚洲制服丝袜中文字幕| 精品日韩在线观看视频| 国产乱人偷精品人妻a片| 亚洲一区二区三区偷拍女厕| 一级做a爱视频在线播放| 精品一区二区av天堂色偷偷| 午夜精品久久久久久| 亚洲五月婷婷久久综合| 成人av资源在线播放| √新版天堂资源在线资源| 久久精品国产99精品九九| 国产黄色一级到三级视频| 国产成人午夜福利在线观看|