亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        卷積神經(jīng)網(wǎng)絡(luò)的方程組求解

        2018-09-10 05:13:38周偉陸玉穩(wěn)
        計算機與網(wǎng)絡(luò) 2018年22期
        關(guān)鍵詞:參數(shù)優(yōu)化線性方程組卷積神經(jīng)網(wǎng)絡(luò)

        周偉 陸玉穩(wěn)

        摘要:通過迭代求解方程組的解,提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)求解線性方程組的病態(tài)方程組的方法,由于條件數(shù)過大,影響求解的精度,將求解方程組的過程轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程。通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)同目標(biāo)數(shù)據(jù)形成一種映射關(guān)系,用最小化誤差來實現(xiàn)參數(shù)優(yōu)化,把方程組求解的問題進(jìn)而轉(zhuǎn)換成參數(shù)的優(yōu)化問題,求得目標(biāo)解。卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)共享機制在高維的矩陣計算中減小了計算量,提高了計算效率。

        關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò);病態(tài)方程組;參數(shù)優(yōu)化;線性方程組;條件數(shù)

        中圖分類號:TP183文獻(xiàn)標(biāo)志碼:A文章編號:1008-1739(2018)22-69-4

        0引言

        方程組的求解是科學(xué)與工程計算中的基本問題,在眾多的工程計算和控制領(lǐng)域,以及醫(yī)學(xué)領(lǐng)域有著廣泛的運用,眾多的算法提出也為問題的解決提供了較為有力的支持,例如預(yù)處理共軛梯度法、奇異值分解法、遺傳算法及BP算法等,但是傳統(tǒng)的方法仍存在一些問題,比如傳統(tǒng)的方法基本上都是建立在串行的基礎(chǔ)上進(jìn)行,但是并行運算比較困難,而人工神經(jīng)網(wǎng)絡(luò)可以提供一種并行計算的方法,卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)在一定程度上可以解決存在的問題。提出了基于誤差反向傳播的卷積神經(jīng)網(wǎng)絡(luò)算法[1],以2層神經(jīng)網(wǎng)絡(luò)對方程組進(jìn)行求解來達(dá)到目的[2]。

        1基于卷積神經(jīng)網(wǎng)絡(luò)的方程組求解

        1.1卷積神經(jīng)網(wǎng)絡(luò)

        卷積神經(jīng)網(wǎng)絡(luò)是一種人工神經(jīng)網(wǎng)絡(luò),在眾多的領(lǐng)域被廣泛運用,例如圖像處理、視頻分析、目標(biāo)追蹤、自然語言處理及人臉識別等,卷積神經(jīng)網(wǎng)絡(luò)同傳統(tǒng)意義上的人工神經(jīng)網(wǎng)絡(luò)有所區(qū)別,它采用了權(quán)重共享機制,通過權(quán)重共享機制大大減少了權(quán)重的數(shù)量,從而降低了計算過程中的復(fù)雜程度,卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)良特性歸功于它的網(wǎng)絡(luò)結(jié)構(gòu),該網(wǎng)絡(luò)由輸入層、卷積層、池化層、全連接層和輸出層組成。

        1.2卷積神經(jīng)網(wǎng)絡(luò)模型

        病態(tài)方程組的求解設(shè)計,充分地考慮了輸入與輸出的映射關(guān)系,該網(wǎng)絡(luò)具有以下特點:

        ①輸入與輸出:網(wǎng)絡(luò)結(jié)構(gòu)接收來自系數(shù)矩陣的原始數(shù)據(jù),并在不改變數(shù)據(jù)大小以及數(shù)量的前提下對系數(shù)矩陣的大小維度進(jìn)行了重新定義。雖然未將系數(shù)矩陣的維度直接輸入,但是在計算系數(shù)矩陣維度時所耗時長可以忽略不計,輸出層的輸出就是經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)的多次訓(xùn)練后得到的預(yù)測的值與真實數(shù)據(jù)相近,而非真值[3]。

        ②線性映射:線性映射又叫線性變換,線性變換就是線性代數(shù)的一個研究的對象,在數(shù)學(xué)中,線性映射是在2個向量空間的函數(shù),對于線性變化的討論可以借助矩陣來實現(xiàn)。

        1.6參數(shù)的選擇與優(yōu)化

        (1)優(yōu)化器的選擇

        在Tensorflow中,存在著多種優(yōu)化器可以選擇。①標(biāo)準(zhǔn)梯度下降法:匯集了樣本的總誤差,然后根據(jù)總誤差更新權(quán)值。②隨即梯度下降法:隨即抽取一個樣本的誤差然后更新權(quán)值,但是存在的問題可能會造成誤差增大。③批量梯度下降法,選取一個批次來更新權(quán)重,此外還有momentum,NAG,Adagrad,RMSprob,Adadelta及Adam等,這些優(yōu)化器并不常用,在本文中選擇了Tensorflow這一框架,并且用Tensorflow提供的AdamOptimizer優(yōu)化器,使用這一優(yōu)化器來控制學(xué)習(xí)速度,會將之前衰減的梯度以及梯度的平方保存起來,使用RMSprob和Adadelta相似的方法更新參數(shù)。AdamOptimizer通過使用動量(參數(shù)的移動平均數(shù))來改善傳統(tǒng)的梯度下降,促進(jìn)超參數(shù)的動態(tài)調(diào)整,每次梯度調(diào)整后使得每次迭代學(xué)習(xí)率都有固定的范圍,使得參數(shù)較為平穩(wěn),為不同的參數(shù)計算提供不同的自適應(yīng)學(xué)習(xí)率,適用于大多非凸優(yōu)化問題。

        而傳統(tǒng)的梯度下降存在較多的問題,比如容易造成梯度的消失等一系列的問題,不利于本文采用的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,因此在這里并未采用傳統(tǒng)的梯度下降法。

        (2)學(xué)習(xí)率的選擇

        傳統(tǒng)的學(xué)習(xí)率選擇都將會采用一個固定值,依據(jù)先驗知識,一定范圍內(nèi)對數(shù)值進(jìn)行取值,不斷實驗。根據(jù)訓(xùn)練的結(jié)果好壞做參數(shù)調(diào)整,最終找到一個合適的學(xué)習(xí)率。在本文中學(xué)習(xí)率的選取并不是一個數(shù)值不變的常數(shù),而且本文的學(xué)習(xí)率的選擇中是在每100次訓(xùn)練后,對學(xué)習(xí)率進(jìn)行動態(tài)調(diào)整,將學(xué)習(xí)率的取值在每100次后除以3,經(jīng)過200次訓(xùn)練,也就是對學(xué)習(xí)率進(jìn)行2次調(diào)整,最終實現(xiàn)超參數(shù)最優(yōu),即權(quán)重最優(yōu)。

        (3)權(quán)重的選擇

        權(quán)重的初始化對于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練非常重要,如果權(quán)重一開始就很小,那么信號最后也會很小,如果權(quán)重很大,則信號也會變得很大,不合適的權(quán)值會使得隱藏層輸入方差過大,因此這里對權(quán)重的初始化選擇設(shè)置為符合正態(tài)分布的數(shù)值矩陣。

        (4)正則化的約束

        該方程的精確解為[1,-1],且系數(shù)矩陣條件數(shù)為2.1932×106,是一個典型的病態(tài)矩陣[5],求解的網(wǎng)絡(luò)結(jié)構(gòu)同圖1的結(jié)構(gòu)相似,定義了卷積核的大小為2×1,進(jìn)行卷積計算。通過最小化卷積計算后的輸出與目標(biāo)輸出的誤差,經(jīng)過多次訓(xùn)練迭代來優(yōu)化權(quán)重直至找到適合網(wǎng)絡(luò)模型的權(quán)重,最終求解正確率比較精確,結(jié)果為[1.0373,-1.0518]T,該解與精確解在2-范數(shù)下的絕對誤差僅為2×10-3。在病態(tài)的方程組中求得最終解的準(zhǔn)確率仍然較高,基本上達(dá)到預(yù)期結(jié)果。

        3實驗結(jié)果

        深度學(xué)習(xí)發(fā)展迅速,卷積神經(jīng)網(wǎng)絡(luò)的運用及其廣泛,可以將卷積神經(jīng)網(wǎng)絡(luò)與其他的領(lǐng)域相結(jié)合,比如醫(yī)學(xué)領(lǐng)域,不僅是在醫(yī)學(xué)圖像處理領(lǐng)域更是會在三維重構(gòu)得到較好的運用,方程中的是帶有噪聲的,可以依據(jù)卷積神經(jīng)網(wǎng)絡(luò)對噪聲進(jìn)行過濾進(jìn)而重構(gòu)出想要的模型。

        4結(jié)束語

        針對傳統(tǒng)的線性方程組以及病態(tài)方程組的求解方法,采用了卷積神經(jīng)網(wǎng)絡(luò)對方程組進(jìn)行了求解,結(jié)合多任務(wù)聯(lián)合訓(xùn)練的方式對方程組進(jìn)行求解,從最終的結(jié)果來看,不論是對一般的方程組還是病態(tài)方程組都有較好的求解,準(zhǔn)確率達(dá)到預(yù)期,且本文的網(wǎng)絡(luò)結(jié)構(gòu)大大降低了計算的復(fù)雜度,卷積神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)中有著較好的運用,在圖像處理、目標(biāo)追蹤及人臉識別等眾多研究領(lǐng)域有著良好的運用,尤其是在特征提取運用很是廣泛,而且大大減少了計算的復(fù)雜程度和參數(shù),因此卷積神經(jīng)網(wǎng)絡(luò)的多功能性仍然值得繼續(xù)挖掘,運用在眾多的領(lǐng)域。

        參考文獻(xiàn)

        [1]周筍,吉國力.基于改進(jìn)BP算法的廣義逆矩陣求解方法[J].廈門大學(xué)學(xué)報:自然科學(xué)版,2003(3):386-389.

        [2]韓立群.人工神經(jīng)網(wǎng)絡(luò)教程[M].北京:北京郵電大學(xué)出版社, 2006.

        [3]李傳朋,秦品樂,張晉京.基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像去噪研究[J].計算機工程,2017,43(3):253-260

        [4]章云港,易本順,玥吳晨,等.基于卷積神經(jīng)網(wǎng)絡(luò)的低劑量CT圖像去噪方法[J].光學(xué)學(xué)報,2018,38(4):123-129.

        [5]李海濱,尚凡華.基于神經(jīng)網(wǎng)絡(luò)的病態(tài)線性方程組求解[J].遼寧工程技術(shù)大學(xué)學(xué)報,2007(6):956-958.

        猜你喜歡
        參數(shù)優(yōu)化線性方程組卷積神經(jīng)網(wǎng)絡(luò)
        求解非線性方程組的Newton迭代與Newton-Kazcmarz迭代的吸引域
        基于深度卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法
        基于神經(jīng)網(wǎng)絡(luò)的動力電池組焊接參數(shù)優(yōu)化研究
        研究LTE與WCDMA系統(tǒng)間小區(qū)互操作與參數(shù)優(yōu)化
        深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
        基于磁流變技術(shù)的汽車發(fā)動機隔振系統(tǒng)的參數(shù)優(yōu)化
        科技視界(2016年23期)2016-11-04 08:17:36
        基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實現(xiàn)
        軟件工程(2016年8期)2016-10-25 15:47:34
        基于卷積神經(jīng)網(wǎng)絡(luò)的樹葉識別的算法的研究
        上向進(jìn)路式尾砂膠結(jié)充填采礦法采場結(jié)構(gòu)參數(shù)優(yōu)化研究
        線性方程組解的判別
        国产乱子伦露脸在线| 包皮上有一点一点白色的| 国产老熟女网站| 欧美喷潮久久久xxxxx| 亚洲黄片久久| 色和尚色视频在线看网站| 国产午夜福利久久精品| 日本黄页网站免费大全| 久久久国产精品粉嫩av| 国产草逼视频免费观看| 亚洲熟妇无码一区二区三区导航 | 看全色黄大色大片免费久久久| 久久av粉嫩一区二区| 国语对白做受xxxxx在| 天天天综合网| 性一交一乱一乱一视频亚洲熟妇| 成年人观看视频在线播放| 又长又大又粗又硬3p免费视频| 亚洲综合色区无码专区| 久久2020精品免费网站| 免费不卡无码av在线观看 | 亚洲色欲久久久综合网东京热| 国产成人一区二区三区在线观看| 大屁股少妇一区二区无码| 91精品国产九色综合久久香蕉| 在线观看成人无码中文av天堂| 国产精品开放小视频| 少妇久久高潮不断免费视频| 香蕉久久一区二区不卡无毒影院| 午夜一区欧美二区高清三区| 国产精品无码久久久久下载| 伊在人亚洲香蕉精品区麻豆| 无码一区二区三区网站| 中文字幕丰满人妻有码专区| 久久天天躁夜夜躁狠狠85麻豆 | 国产无遮挡a片又黄又爽| 久久洲Av无码西西人体| 亚洲精品第一页在线观看| 久久无码人妻丰满熟妇区毛片| 一本色道av久久精品+网站| 久久综合一本中文字幕|