亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        面向SAR目標(biāo)分類(lèi)的卷積神經(jīng)網(wǎng)絡(luò)算法研究

        2018-08-10 07:33:22侯宇超白艷萍張明星
        關(guān)鍵詞:池化層池化梯度

        侯宇超,白艷萍,郝 巖,張明星

        (中北大學(xué) 理學(xué)院, 太原 030051)

        目前,基于微波遙感成像的合成孔徑雷達(dá)(synthetic aperture radar,SAR)系統(tǒng)在軍事和民用領(lǐng)域都得到了廣泛的應(yīng)用。SAR是利用合成孔徑技術(shù)和脈沖壓縮技術(shù),以小孔徑天線(xiàn)獲得方位向和距離向的二維高分辨率遙感成像雷達(dá)系統(tǒng)。相比于光學(xué)傳感器,SAR具有透射性強(qiáng)的特點(diǎn),可以在氣候條件差的情況下對(duì)目標(biāo)進(jìn)行全天、實(shí)時(shí)監(jiān)測(cè)。隨著成像質(zhì)量的提高,SAR目標(biāo)自動(dòng)識(shí)別已經(jīng)成為國(guó)內(nèi)外研究的熱點(diǎn)。

        Tao等[1]提出了基于支持向量機(jī)(SVM)的SAR目標(biāo)分類(lèi)算法,Sun等[2]成功地將Adaboost方法應(yīng)用到SAR目標(biāo)分類(lèi)中。然而這些方法前期需要人工提取特征,容易受到人的主觀性影響。近年來(lái),深度學(xué)習(xí)因其可以自動(dòng)提取樣本特征被廣泛應(yīng)用在行人檢測(cè)[3]、人臉識(shí)別[4]、飛機(jī)目標(biāo)分類(lèi)[5]和物品識(shí)別[6]等領(lǐng)域,且取得了很好的效果。Ni等[7]將自編碼神經(jīng)網(wǎng)絡(luò)應(yīng)用在SAR目標(biāo)分類(lèi)中,趙娟萍等[8]提出了基于概率轉(zhuǎn)移卷積神經(jīng)網(wǎng)絡(luò)的含噪標(biāo)記SAR圖像分類(lèi)算法。

        本文主要針對(duì)面向SAR目標(biāo)分類(lèi)的卷積神經(jīng)網(wǎng)絡(luò)算法展開(kāi)研究,首先介紹了卷積神經(jīng)網(wǎng)絡(luò)的基本原理并引入了Relu激活函數(shù),降低了梯度消失的可能性;接著設(shè)計(jì)了一種分?jǐn)?shù)漸變學(xué)習(xí)率并建立了帶類(lèi)別約束的損失函數(shù),提高了目標(biāo)識(shí)別能力;最后將優(yōu)化后的二層卷積神經(jīng)網(wǎng)絡(luò)算法應(yīng)用在SAR目標(biāo)分類(lèi)中,該算法在3類(lèi)MSTAR實(shí)測(cè)數(shù)據(jù)集上達(dá)到了94.87%的分類(lèi)準(zhǔn)確率,較經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)算法提高了5.93%。本文提出的算法相比于傳統(tǒng)的模式識(shí)別方法和經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)算法得到了更好的分類(lèi)結(jié)果,測(cè)試結(jié)果也驗(yàn)證了算法的有效性。

        1 卷積神經(jīng)網(wǎng)絡(luò)

        卷積神經(jīng)網(wǎng)絡(luò)[9]是一種具有代表性的前饋深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),由輸入層、卷積層、池化層、全連接層和輸出層組成。卷積層用于學(xué)習(xí)圖像的各種特征;池化層將上一層的特征二次提取,降低需處理的數(shù)據(jù)量;全連接層將特征展開(kāi)成列向量并利用Softmax分類(lèi)器進(jìn)行目標(biāo)的分類(lèi)判別。

        1.1 網(wǎng)絡(luò)結(jié)構(gòu)

        1.1.1 卷積層

        由一些可訓(xùn)練的卷積核組成的卷積層是卷積神經(jīng)網(wǎng)絡(luò)中最重要的部分,通過(guò)局部連接和權(quán)值共享的機(jī)制降低運(yùn)算的復(fù)雜程度。卷積層利用多個(gè)卷積核進(jìn)行卷積操作學(xué)習(xí),得到不同的特征圖,其表達(dá)式為:

        常用的非線(xiàn)性激活函數(shù)為Sigmoid函數(shù)和雙曲正切(Tanh)函數(shù)。在誤差反向傳播過(guò)程中,這兩種函數(shù)會(huì)發(fā)生梯度的“飽和效應(yīng)”,在原點(diǎn)附近梯度爆炸,在曲線(xiàn)兩端梯度消失(如圖1),容易導(dǎo)致網(wǎng)絡(luò)參數(shù)的更新停滯。本文引入修正線(xiàn)性(Relu)函數(shù)[10]作為激活函數(shù)。當(dāng)x>0時(shí)梯度恒為1,x≤0時(shí)梯度為0,可以降低參數(shù)停滯更新的可能性,加快卷積神經(jīng)網(wǎng)絡(luò)的收斂速度。

        1.1.2 池化層

        卷積層在完成卷積運(yùn)算之后將特征圖傳入池化層。池化層是將鄰域的多個(gè)像素聚合為一個(gè)像素的操作。池化層可以減少訓(xùn)練參數(shù),降低計(jì)算的復(fù)雜度,此外還可以增強(qiáng)網(wǎng)絡(luò)對(duì)位移的魯棒性[11]。常見(jiàn)的池化形式有平均值池化、最大值池化等(如圖2)。本文采用尺寸為2×2,步長(zhǎng)為2的最大值池化方法。實(shí)驗(yàn)結(jié)果證明[12]:最大值池化比平均值池化能更好地保存全局特性,其表達(dá)式為:

        圖1 非線(xiàn)性激活函數(shù)及其梯度

        圖2 兩種常見(jiàn)的池化形式

        1.2 網(wǎng)絡(luò)參數(shù)更新

        卷積神經(jīng)網(wǎng)絡(luò)使用反向傳播(BP)算法[13]以最小化均方誤差損失函數(shù)為目標(biāo)進(jìn)行網(wǎng)絡(luò)參數(shù)的更新。BP算法使用梯度下降法進(jìn)行訓(xùn)練,更新各層的權(quán)值和偏置項(xiàng),使網(wǎng)絡(luò)達(dá)到最優(yōu)解。假設(shè)樣本集共有c類(lèi)樣本,第n個(gè)訓(xùn)練樣本的損失函數(shù)為

        反向傳播參數(shù)更新的方向正好與前向傳播相反。全連接層輸出函數(shù)表示為

        xk=f(uk)=f(Wkxk-1+bk)

        (4)

        輸出層的殘差為δk=f′(uk)°(yn-tn),其他層的殘差為δk=(Wk+1)Tδk+1°f′(uk)。

        因?yàn)?uk/?bk=1,此時(shí)對(duì)于權(quán)值Wk和偏置bk的偏導(dǎo)數(shù)可以表示為:

        (5)

        網(wǎng)絡(luò)參數(shù)更新函數(shù)為:

        Wk-ηxk-1(δk)T

        (7)

        其中η為學(xué)習(xí)率。

        2 卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化策略

        2.1 分?jǐn)?shù)漸變學(xué)習(xí)率

        理想的學(xué)習(xí)率可以促進(jìn)模型的收斂。但若學(xué)習(xí)率過(guò)大,網(wǎng)絡(luò)可能陷入局部最優(yōu)解或無(wú)法完成訓(xùn)練;若學(xué)習(xí)率過(guò)小,參數(shù)的有效更新可能達(dá)不到要求,網(wǎng)絡(luò)收斂速度過(guò)慢。在常見(jiàn)的卷積神經(jīng)網(wǎng)絡(luò)算法中學(xué)習(xí)率一般為定值?,F(xiàn)提出一種隨迭代次數(shù)增加而減緩的分?jǐn)?shù)漸變學(xué)習(xí)率:采用ηe=ηf/(1+αte)對(duì)學(xué)習(xí)率進(jìn)行微調(diào),其中:ηe為第te次迭代的學(xué)習(xí)率;ηf為初始學(xué)習(xí)率;α為學(xué)習(xí)率更新權(quán)值。ηf、α因?qū)嶒?yàn)數(shù)據(jù)和網(wǎng)絡(luò)結(jié)構(gòu)的不同有較大差異,需由實(shí)驗(yàn)確定。

        2.2 帶類(lèi)別約束的損失函數(shù)

        其中numq為第q類(lèi)樣本的樣本數(shù)。

        λin、λout需通過(guò)實(shí)驗(yàn)確定,本文選取λin=0.5、λout=0.000 02。

        3 仿真實(shí)驗(yàn)與結(jié)果分析

        3.1 實(shí)驗(yàn)數(shù)據(jù)

        本文選用通用的運(yùn)動(dòng)和靜止目標(biāo)獲取與識(shí)別(MSTAR)實(shí)測(cè)數(shù)據(jù)集[16]中3類(lèi)SAR車(chē)輛目標(biāo)(裝甲車(chē):BMP2、BTR70;坦克:T72)對(duì)算法進(jìn)行測(cè)試。該數(shù)據(jù)集是由一系列分辨率為0.3 m×0.3 m且覆蓋360°方向的SAR圖像組成。使用俯仰角為17°的車(chē)輛目標(biāo)作為訓(xùn)練樣本,俯仰角為15°的目標(biāo)作為測(cè)試樣本,裁剪每一幅圖片中央98×98大小的區(qū)域用作本文實(shí)驗(yàn)(如圖3),并將每類(lèi)訓(xùn)練樣本以隨機(jī)取樣的方式擴(kuò)充為1 000張,達(dá)到提高樣本數(shù)量,平衡樣本規(guī)模的目的(如表1)。在此過(guò)程中未使用任何姿態(tài)修正算法。

        圖3 裁剪后的3類(lèi)SAR軍事車(chē)輛目標(biāo)示例

        目 標(biāo)BMP2(9563)BMP2(9566)BMP2(C21)BTR70(C71)T72(132)T72(812)T72(S7)總計(jì)原訓(xùn)練樣本233233232698擴(kuò)充訓(xùn)練樣本1000100010003000測(cè)試樣本1951961961961961951911365

        3.2 網(wǎng)絡(luò)結(jié)構(gòu)

        本文提出一個(gè)包含2個(gè)卷積層和2個(gè)池化層的卷積神經(jīng)網(wǎng)絡(luò)(如圖4所示)。第1個(gè)卷積層包含8個(gè)7×7的卷積核,輸出8個(gè)92×92的特征圖;第2個(gè)卷積層包含16個(gè)7×7的卷積核,輸出16個(gè)40×40的特征圖;第2個(gè)池化層后將輸出的16個(gè)20×20的特征圖輸入全連接層。

        圖4 基于SAR目標(biāo)分類(lèi)的2層卷積神經(jīng)網(wǎng)絡(luò)算法結(jié)構(gòu)

        3.3 分類(lèi)結(jié)果

        使用CPU為Intel Xeon E5-2640 2.6 GHz、內(nèi)存為64 GB的計(jì)算機(jī)在Windows7(64位),Matlab2016b的環(huán)境下進(jìn)行實(shí)驗(yàn)。在使用Relu激活函數(shù)、最大值池化方法、損失函數(shù)帶類(lèi)別約束(CNN-4)的情況下利用不同的學(xué)習(xí)率做20組實(shí)驗(yàn),結(jié)果如圖5所示。

        實(shí)驗(yàn)結(jié)果表明:當(dāng)學(xué)習(xí)率在0.05左右時(shí),分類(lèi)準(zhǔn)確率較高,并且學(xué)習(xí)率為0.05時(shí)準(zhǔn)確率達(dá)到最高值94.58%?,F(xiàn)使用分?jǐn)?shù)漸變學(xué)習(xí)率公式ηe=ηf/(1+αte),ηf=0.055,te=0.001對(duì)學(xué)習(xí)率進(jìn)行微調(diào),加快算法收斂速度,提高分類(lèi)準(zhǔn)確率,其分類(lèi)結(jié)果如表2所示。

        圖5 在不同學(xué)習(xí)率下目標(biāo)分類(lèi)準(zhǔn)確率

        本文算法最終分類(lèi)準(zhǔn)確率為94.87%。通過(guò)比較不同的算法模型,驗(yàn)證本文算法的有效性。模型參數(shù)及分類(lèi)準(zhǔn)確率如表3所示。

        表2 SAR目標(biāo)分類(lèi)結(jié)果

        表3 算法對(duì)比

        從表3可以看出:相比于其他算法,本文算法分類(lèi)準(zhǔn)確率均有提升。其中,相比CNN-1(經(jīng)典算法),本文算法分類(lèi)準(zhǔn)確率提高了5.93%。同樣針對(duì)3類(lèi)SAR軍事車(chē)輛目標(biāo)分類(lèi)的幾種不同方法分類(lèi)準(zhǔn)確率如表4所示。與文獻(xiàn)[17]和文獻(xiàn)[1]相比,本文算法在未經(jīng)過(guò)姿態(tài)修正預(yù)處理的情況下分類(lèi)準(zhǔn)確率仍高于其基于模式識(shí)別的傳統(tǒng)方法。與文獻(xiàn)[18]所提出的CNN算法相比,本文所提出的二層卷積神經(jīng)網(wǎng)絡(luò)算法在層數(shù)較少的情況下達(dá)到了更好的分類(lèi)效果。

        表4 不同方法分類(lèi)準(zhǔn)確率對(duì)比

        4 結(jié)束語(yǔ)

        針對(duì)傳統(tǒng)方法人工預(yù)提取特征困難的問(wèn)題,本文提出了一種面向SAR目標(biāo)分類(lèi)的2層卷積神經(jīng)網(wǎng)絡(luò)算法。本文設(shè)計(jì)了一種隨迭代次數(shù)增加而減緩的分?jǐn)?shù)漸變學(xué)習(xí)率,在損失函數(shù)中引入類(lèi)內(nèi)、類(lèi)間相似度量函數(shù),并且在卷積層中引入了Relu激活函數(shù)。該算法在未經(jīng)過(guò)任何姿態(tài)修正的情況下,在3類(lèi)MSTAR實(shí)測(cè)數(shù)據(jù)集上分類(lèi)準(zhǔn)確率達(dá)到了94.87%。相比于傳統(tǒng)的模式識(shí)別方法和經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)算法,該算法分類(lèi)準(zhǔn)確率更高,在SAR目標(biāo)分類(lèi)領(lǐng)域有很好的應(yīng)用價(jià)值。本文算法訓(xùn)練時(shí)間較長(zhǎng),后續(xù)可對(duì)基于GPU架構(gòu)的并行化卷積神經(jīng)網(wǎng)絡(luò)算法在SAR目標(biāo)分類(lèi)中的應(yīng)用進(jìn)行更深入的研究。

        猜你喜歡
        池化層池化梯度
        基于緊湊型雙線(xiàn)性網(wǎng)絡(luò)的野生茵識(shí)別方法研究
        基于Sobel算子的池化算法設(shè)計(jì)
        卷積神經(jīng)網(wǎng)絡(luò)中的自適應(yīng)加權(quán)池化
        一個(gè)改進(jìn)的WYL型三項(xiàng)共軛梯度法
        卷積神經(jīng)網(wǎng)絡(luò)模型研究分析*
        基于卷積神經(jīng)網(wǎng)絡(luò)的紙幣分類(lèi)與點(diǎn)鈔
        一種自適應(yīng)Dai-Liao共軛梯度法
        基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別研究
        科技傳播(2020年6期)2020-05-25 11:07:46
        基于卷積神經(jīng)網(wǎng)絡(luò)和池化算法的表情識(shí)別研究
        一類(lèi)扭積形式的梯度近Ricci孤立子
        久久日韩精品一区二区| 国产日韩精品一区二区在线观看播放| 亚洲女同系列高清在线观看 | 久久精品伊人久久精品| 国产免费三级av在线| 色 综合 欧美 亚洲 国产| 日韩乱码视频| 亚洲中文字幕诱惑第一页| 国产三a级三级日产三级野外 | 午夜精品一区二区三区的区别| 国产婷婷丁香五月麻豆| 精品日本免费观看一区二区三区 | 亚洲一区二区av免费观看| 国产亚洲欧洲aⅴ综合一区| 无遮挡边摸边吃奶边做视频免费| 久久中文字幕日韩无码视频| 中文字幕一区二区三区综合网| 欧美人与善在线com| 亚洲精品久久久无码av片软件| 免费在线观看一区二区| 深夜黄色刺激影片在线免费观看| 中文字幕一精品亚洲无线一区| 国产人妖视频一区二区| 国产精品亚洲av国产| 亚洲色图在线免费视频| 东京热人妻一区二区三区| 亚洲国产精品久久久久久网站| 亚洲第一页在线免费观看| 天堂在线资源中文在线8| 3344永久在线观看视频| 国产不卡一区二区av| 色婷婷久久免费网站| 亚洲成人激情深爱影院在线| 少妇中文字幕乱码亚洲影视| 久久国产成人精品国产成人亚洲| 一本久久综合亚洲鲁鲁五月夫| 亚洲av天堂免费在线观看| 无码综合天天久久综合网| 日韩av无卡无码午夜观看| 国产一区二区三区色哟哟| 四虎影视免费永久在线观看|