亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        卷積神經(jīng)網(wǎng)絡(luò)的正交性特征提取方法及其應(yīng)用

        2021-11-05 03:09:08李建勛
        關(guān)鍵詞:支路特征向量損失

        李 辰, 李建勛

        (上海交通大學(xué) 電子信息與電氣工程學(xué)院,上海 200240)

        卷積神經(jīng)網(wǎng)絡(luò)(CNN)作為廣泛使用的神經(jīng)網(wǎng)絡(luò)模型之一,相比于主成分分析(PCA)[1]和支持向量機(jī)(SVM)[2],具備更好的數(shù)據(jù)適應(yīng)性和更強(qiáng)的特征提取能力,在圖像處理、語音識(shí)別、一維數(shù)據(jù)分析等領(lǐng)域均發(fā)揮出了獨(dú)特的功效[3-4].

        CNN中不同卷積核的作用是提取各類樣本的差異化特征,差異化特征越豐富,則樣本被分類識(shí)別的準(zhǔn)確率就越高[5].然而,卷積核和特征向量的數(shù)值是機(jī)器基于損失函數(shù)最優(yōu)化方向自適應(yīng)學(xué)習(xí)得出的.數(shù)值具體含義難以用數(shù)學(xué)理論加以解釋,以人的眼光觀察也沒有規(guī)律可言.模式識(shí)別領(lǐng)域把這類直接給出計(jì)算結(jié)果、內(nèi)部原理缺乏解釋性的機(jī)器學(xué)習(xí)模型稱之為 “黑盒模型”[6].CNN作為一種黑盒模型,人工難以干預(yù)卷積核運(yùn)算過程,因此不同卷積核提取的特征可能趨同,即在特征圖中出現(xiàn)重復(fù)或相似圖層,簡稱“特征冗余”問題[7].特征冗余會(huì)造成信息重復(fù)、浪費(fèi)計(jì)算力,是研究緊湊型CNN的重要課題.

        本文從強(qiáng)化特征之間差異性的角度,提出一種適用于卷積神經(jīng)網(wǎng)絡(luò)的正交性特征提取方法.通過搭建并列的卷積神經(jīng)網(wǎng)絡(luò)支路結(jié)構(gòu),設(shè)計(jì)相應(yīng)的正交損失函數(shù),從而促使不同卷積核提取出相互正交的樣本特征,豐富了特征多樣性,消除了特征冗余,提升了特征用于分類識(shí)別的效果,為后續(xù)研究奠定了基礎(chǔ).

        1 消除特征冗余的方法研究

        1.1 卷積神經(jīng)網(wǎng)絡(luò)的特征冗余

        CNN提取數(shù)據(jù)特征時(shí)會(huì)保留輸入元素的空間信息,并將這些信息融入全部特征向量,這也正是特征冗余的來源,下文將通過具體的實(shí)驗(yàn)來說明特征冗余問題.

        使用具有1個(gè)卷積層的CNN,對(duì)MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練,卷積層使用4個(gè)隨機(jī)初始值的3×3卷積核,損失函數(shù)選用交叉熵?fù)p失函數(shù).以一張手寫“0”圖片為例,輸出4個(gè)卷積核提取的特征圖像如圖1所示.

        由圖1可知, 特征圖像2與特征圖像4之間具有類似的特征相貌,初步判斷存在特征冗余問題.但是,由于人眼無法進(jìn)一步準(zhǔn)確判斷二維圖像中的特征冗余,在此使用一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)處理公開數(shù)據(jù)集“Wine”,利用一維數(shù)據(jù)的直觀性清楚地展示特征冗余問題.

        圖1 CNN提取的特征圖片F(xiàn)ig.1 Feature images extracted by CNN

        使用具有1個(gè)卷積層的1D-CNN,卷積層內(nèi)包含4個(gè)隨機(jī)初始值的1×3卷積核,損失函數(shù)選用交叉熵?fù)p失函數(shù).以第1個(gè)樣本值為例,輸出4個(gè)卷積核提取的特征向量如圖2所示.其中:A為原始指標(biāo)類別;B為原始指標(biāo)類別的具體賦值;A′為特征提取后的原始指標(biāo)類別;B′為特征提取后的原始指標(biāo)類別的具體賦值.

        圖2 1D-CNN提取的特征向量Fig.2 Feature vectors extracted by 1D-CNN

        從圖2(f)中可以發(fā)現(xiàn),圖2(b)和2(d)中的特征向量相互類似.由以上實(shí)驗(yàn)可以得出結(jié)論,CNN使用傳統(tǒng)分類損失函數(shù)來提取特征時(shí),一定程度上存在特征冗余問題,應(yīng)當(dāng)設(shè)法加以避免.

        1.2 避免特征冗余的正交性特征

        考慮到在嵌入式和移動(dòng)式小型設(shè)備上安裝緊湊型CNN的需求,就必須改進(jìn)CNN結(jié)構(gòu)算法,消除特征冗余,減少不必要的網(wǎng)絡(luò)參數(shù)和運(yùn)算次數(shù).文獻(xiàn)[8]對(duì)比裁剪前后特征圖的誤差值,挑選出需裁剪的冗余卷積核通道.文獻(xiàn)[9]計(jì)算卷積核權(quán)重的稀疏度,去除權(quán)重稀疏的卷積核.文獻(xiàn)[10]設(shè)計(jì)了SlimConv模塊對(duì)特征進(jìn)行拆分和重組,降低通道冗余.文獻(xiàn)[11]設(shè)計(jì)了新的Ghost模塊,通過固有特征線性變換提升特征多樣性.文獻(xiàn)[12]提出了特征貢獻(xiàn)度分析方法,輔助網(wǎng)絡(luò)挑選出重要性高的特征.

        本文將正交性概念引入特征向量中,通過設(shè)計(jì)一種適用于CNN的正交性特征提取方法,達(dá)到消除特征冗余的目的.

        正交性表示兩者之間無法通過組合得出相互表達(dá)方式的性質(zhì),PCA是典型的正交化變換方法.正交化變換方法將原本存在相關(guān)性的變量,轉(zhuǎn)換為線性不相關(guān),既能提高不同類別數(shù)組間的區(qū)分度,且轉(zhuǎn)換后新變量的方差貢獻(xiàn)率可以滿足替代原變量的要求[13].因此,正交性特征被廣泛應(yīng)用于信號(hào)轉(zhuǎn)換和模式識(shí)別等問題[14-15].

        對(duì)于一維數(shù)組α1={x1,x2, …,xn}和α2={y1,y2, …,yn},若將其看作向量,則衡量兩者正交性的正交層輸出值為

        (1)

        在數(shù)組維數(shù)和模固定的前提下,Z越接近0,說明兩個(gè)數(shù)組的正交性越強(qiáng).CNN使用二維卷積核時(shí),卷積層輸出的特征矩陣經(jīng)過壓平層和拼接層處理后仍為一維特征向量[16],因此同樣適用于式(1).

        2 基于卷積神經(jīng)網(wǎng)絡(luò)提取正交性特征

        2.1 模型結(jié)構(gòu)

        2014年,GoogLeNet首次提出在同一水平維度上設(shè)置多個(gè)卷積層的Inception結(jié)構(gòu)[17].本文借鑒了Inception設(shè)計(jì)思想,在傳統(tǒng)CNN基礎(chǔ)上分列出多條卷積支路,并設(shè)計(jì)了專門的特征向量正交層和正交損失函數(shù),新的模型如圖3所示.

        圖3 提取正交性特征的卷積神經(jīng)網(wǎng)絡(luò)Fig.3 Extracting orthogonal features of convolution neural network

        該模型是一種單輸入多輸出的CNN,主要由3個(gè)模塊構(gòu)成,分別為卷積模塊、分類模塊和正交模塊.

        2.1.1卷積模塊 卷積模塊由若干條卷積支路構(gòu)成,輸入樣本數(shù)據(jù),輸出卷積核提取的特征向量.單條卷積支路中一般包含卷積層、池化層和壓平層.其中,卷積層和池化層的數(shù)量可以根據(jù)需要進(jìn)行增減,壓平層只設(shè)置在每條卷積支路的最后一層.單條卷積支路中,每個(gè)卷積層使用若干相同尺寸的卷積核.各卷積核提取的特征在壓平層被壓縮為一維特征向量.

        需要說明的是,正交模塊可以檢測不同卷積支路的特征向量之間的正交性,但無法檢測同一卷積支路內(nèi)不同卷積核提取特征的正交性.因此,當(dāng)需要保證所有特征向量兩兩正交時(shí),可以設(shè)置兩條以上的卷積支路,每條卷積支路的卷積層中只設(shè)置單個(gè)卷積核.根據(jù)Inception結(jié)構(gòu)原理,一個(gè)卷積層中設(shè)置多個(gè)卷積核,與同一水平維度分布多個(gè)卷積層、每個(gè)卷積層設(shè)置單個(gè)卷積核,在提取特征的數(shù)量方面沒有本質(zhì)區(qū)別.

        2.1.2分類模塊 分類模塊主要由拼接層和分類輸出層組成,其功能是在保持分類準(zhǔn)確率的前提下,監(jiān)督卷積支路提取出有利于分類識(shí)別的特征向量.

        拼接層將不同卷積支路輸出的特征向量拼接為一維長數(shù)組后,輸出到分類輸出層.分類輸出層一般使用Softmax函數(shù)和交叉熵?fù)p失函數(shù)的組合來完成分類判斷.

        2.1.3正交模塊 正交模塊由正交層和正交輸出層組成,正交層將不同卷積支路的特征向量做內(nèi)積運(yùn)算,正交輸出層將內(nèi)積運(yùn)算的誤差做反向傳遞.關(guān)于內(nèi)積運(yùn)算與正交損失函數(shù)的詳細(xì)內(nèi)容,將在2.2節(jié)進(jìn)一步敘述.

        由式(1)可知,兩個(gè)數(shù)組進(jìn)行內(nèi)積運(yùn)算的前提是兩個(gè)數(shù)組維數(shù)一致,因此一個(gè)正交層只能監(jiān)督同一種尺寸特征向量的正交性.Inception結(jié)構(gòu)在同一水平維度使用了不同尺寸的卷積核,若步長統(tǒng)一且無邊緣填充,則大尺寸卷積核的滑動(dòng)總步數(shù)顯然小于小尺寸卷積核,最終導(dǎo)致兩者提取的特征維數(shù)不一致.文獻(xiàn)[18]的研究表明不同尺寸和深度的卷積層,因其感受野不同所以提取特征的范圍和精細(xì)度方面存在明顯差異.由此可知,不同尺寸卷積核提取的特征,在特征維數(shù)、捕獲范圍、精細(xì)度等方面不在同一量級(jí),沒有正交性的必要.

        如果在網(wǎng)絡(luò)模型(見圖3)中使用不同尺寸的卷積核,則需要為不同尺寸的特征向量分別設(shè)置正交模塊,如圖4所示.其中,使用同一尺寸卷積核的卷積支路至少應(yīng)有兩條.

        圖4 不同尺寸特征的正交模塊Fig.4 Orthogonal module of features with different sizes

        2.2 損失函數(shù)

        2.2.1分類損失函數(shù) 多分類任務(wù)中,分類損失函數(shù)一般采用Softmax函數(shù)和交叉熵?fù)p失函數(shù)的組合.Softmax函數(shù)將輸出層各神經(jīng)元的比值映射成各類別的預(yù)測概率,其表達(dá)式為

        (2)

        式中:Wt為輸出層中第t個(gè)神經(jīng)元的輸出值;r為輸出層中所有神經(jīng)元的總數(shù),即類別總數(shù);Pf,t為第t個(gè)神經(jīng)元輸出值相對(duì)于所有神經(jīng)元輸出值的比值,即神經(jīng)網(wǎng)絡(luò)的預(yù)測概率.

        交叉熵?fù)p失函數(shù)(依據(jù)其功能也可稱為分類損失函數(shù))可以衡量真實(shí)概率分布與預(yù)測概率分布之間的相似程度,其公式為

        (3)

        式中:Pt為樣本屬于第t個(gè)神經(jīng)元的真實(shí)概率;J1為分類損失函數(shù)值.

        2.2.2正交損失函數(shù) 所設(shè)計(jì)的正交損失函數(shù),由正交層的特征向量內(nèi)積和正交輸出層的誤差計(jì)算兩個(gè)部分組成,用于監(jiān)督不同卷積支路提取相互正交的特征向量.

        在網(wǎng)絡(luò)模型中(見圖3),卷積層提取特征向量的表達(dá)式為[19]

        (4)

        式中:I為輸入樣本;m和n分別為I的高和寬;g和h分別為卷積核在輸入樣本上橫向和縱向移動(dòng)的步數(shù);u和v分別為卷積核的高和寬;Kq為第q層卷積層的卷積核;bq為第q層卷積層的偏置項(xiàng);σ(·)為激活函數(shù).本文用ReLU函數(shù)保證特征向量的非負(fù)性.

        (5)

        根據(jù)式(5)將正交輸出層的正交損失函數(shù)設(shè)為

        (6)

        S>1

        2.2.3綜合損失函數(shù) 根據(jù)式(3)和(6),可得本文模型的綜合損失函數(shù)為

        J3=ηJ1+ψJ2

        (7)

        式中:η和ψ分別為兩種損失函數(shù)的系數(shù),可以根據(jù)網(wǎng)絡(luò)訓(xùn)練情況自主設(shè)置.J1監(jiān)督CNN提取各類樣本的差異化特征,保證分類準(zhǔn)確率.J2監(jiān)督CNN增強(qiáng)同一樣本各特征之間的正交性,保證特征多樣性.仿真實(shí)驗(yàn)中發(fā)現(xiàn),CNN以分類準(zhǔn)確率為主要目標(biāo),特征多樣性為次要目標(biāo),應(yīng)設(shè)置η>ψ>0.

        2.3 提取正交性特征的過程

        網(wǎng)絡(luò)模型(見圖3)的綜合損失函數(shù)J3如式(7)所示,其提取正交性特征的過程為:

        (1) 輸入樣本數(shù)據(jù),模型通過綜合損失函數(shù)J3,同步訓(xùn)練分類損失函數(shù)J1和正交損失函數(shù)J2,由J3→0可得J1→0和J2→0;

        (2) 當(dāng)J1→0時(shí),由交叉熵函數(shù)的性質(zhì)可知,樣本被正確分類的預(yù)測概率Pf,t→1,即樣本預(yù)測的準(zhǔn)確率逐漸提升;

        (4)J3受梯度下降法作用趨于最小值,并通過η、ψ來平衡J1、J2對(duì)卷積核的調(diào)節(jié)作用,在保持分類準(zhǔn)確率的前提下增強(qiáng)特征向量之間的正交性.

        通過以上過程,本文模型由多條卷積支路提取出正交性特征向量,避免了特征冗余問題.

        3 實(shí)驗(yàn)驗(yàn)證

        3.1 實(shí)驗(yàn)數(shù)據(jù)和步驟

        無論樣本數(shù)據(jù)是一維數(shù)組或是二維圖像,經(jīng)過CNN的壓平層和拼接層后,其特征向量均為一維長數(shù)組格式,因此本文模型對(duì)一、二維樣本具有同樣的適用性.由于人眼無法直觀察覺二維特征圖像間的正交性,選用一維樣本數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證.

        選用UCI Machine Learning Repository網(wǎng)站上的多分類數(shù)據(jù)集“Wine”,該數(shù)據(jù)集包含3種酒的13項(xiàng)指標(biāo),178條樣本數(shù)據(jù).使用有正交模塊的CNN模型(見圖3和4)提取樣本數(shù)據(jù)特征,以不含正交模塊的CNN作為實(shí)驗(yàn)對(duì)照組.

        具體實(shí)驗(yàn)步驟如下.

        步驟1建立包含2條卷積支路、有正交模塊的CNN,如圖5所示.

        圖5 包含2條卷積支路的CNN結(jié)構(gòu)Fig.5 Structure of CNN with two convolutional branches

        “Wine”數(shù)據(jù)集屬性較少,為了避免屬性過度壓縮,每條卷積支路中只包含1個(gè)卷積層和1個(gè)池化層,每個(gè)卷積層中使用1個(gè)1×3卷積核,則該模型的卷積模塊最終輸出為2個(gè)1×3卷積核提取的特征向量.

        步驟2將“Wine”數(shù)據(jù)集輸入含2條支路的CNN模型(見圖5),訓(xùn)練結(jié)束后記錄分類準(zhǔn)確率和每條卷積支路提取的特征向量.

        步驟3在含2條支路的CNN基礎(chǔ)上,增加不同尺寸卷積核的卷積支路數(shù)量如圖6所示.

        圖6 包含4條卷積支路的CNN結(jié)構(gòu)Fig.6 Structure of CNN with four convolutional branches

        該模型包含4條卷積支路.其中,左側(cè)兩條支路中卷積層使用1×3卷積核,右側(cè)兩條使用1×6卷積核,其他層的參數(shù)與含2條支路的CNN相同,則該模型的卷積模塊最終輸出為2個(gè)1×3卷積核和2個(gè)1×6卷積核提取的特征向量.之后,2個(gè)1×3卷積核和2個(gè)1×6卷積核提取的特征向量,分別在左右兩個(gè)正交模塊內(nèi)進(jìn)行內(nèi)積運(yùn)算.

        步驟4將“Wine”數(shù)據(jù)集輸入含4條支路的CNN模型(見圖6),訓(xùn)練結(jié)束后記錄分類準(zhǔn)確率和每條卷積支路提取的特征向量.

        步驟5進(jìn)行對(duì)照組實(shí)驗(yàn),將“Wine”數(shù)據(jù)集輸入到不含正交模塊的CNN中.該CNN包含1個(gè)卷積層和1個(gè)池化層,卷積層中使用2個(gè)1×3卷積核.訓(xùn)練結(jié)束后記錄分類準(zhǔn)確率和每條卷積支路提取的特征向量.

        3.2 實(shí)驗(yàn)結(jié)果及分析

        3.2.1損失函數(shù)值與分類準(zhǔn)確率 不含正交模塊的正常CNN、包含2條卷積支路的CNN、包含4條卷積支路的CNN,3種模型針對(duì)相同訓(xùn)練集的損失函數(shù)值,在訓(xùn)練過程中均不斷下降.以含2條卷積支路的CNN為例,其損失函數(shù)值如圖7所示.其中:Q為訓(xùn)練次數(shù);J為損失函數(shù)值.

        圖7 含2條支路CNN的損失函數(shù)值Fig.7 Loss function value of CNN with two branches

        由圖7可知,訓(xùn)練一段時(shí)間后正交損失函數(shù)值趨近于0并保持穩(wěn)定,分類損失函數(shù)值隨著訓(xùn)練次數(shù)的增加不斷下降,綜合損失函數(shù)受以上兩個(gè)損失函數(shù)的影響而下降.

        3種模型針對(duì)相同測試集的損失函數(shù)值和分類準(zhǔn)確率,如表1所示.

        表1 3種模型的損失函數(shù)值和準(zhǔn)確率Tab.1 Loss function values and accuracies of three models

        由表1可知:① 使用2個(gè)1×3卷積核、含正交模塊的CNN,與使用2個(gè)1×3卷積核、不含正交模塊的正常CNN相比,在損失函數(shù)值和分類準(zhǔn)確率方面表現(xiàn)更好,證明正交模塊提取的多樣性特征提升了CNN的分類識(shí)別性能.② 使用2個(gè)1×3卷積核和2個(gè)1×6卷積核、含正交模塊的CNN,比使用2個(gè)1×3卷積核、含正交模塊的CNN,其損失函數(shù)值和分類準(zhǔn)確率更優(yōu),證明增加特征多樣性可以增強(qiáng)CNN的分類識(shí)別性能.③ 由CNN特性可知,增加卷積層的數(shù)量和深度,其性能還有進(jìn)一步提升的空間.

        綜上所述,加入了正交模塊的CNN相比于正常CNN,豐富了特征多樣性,提升了分類識(shí)別性能.

        3.2.2特征向量正交性 為了便于觀察特征向量的正交性,將3種酒的特征向量按類別區(qū)分,同類樣本的各指標(biāo)取平均值進(jìn)行繪圖.

        (1) 不含正交模塊的正常CNN,提取的特征向量如圖8所示.其中:E為特征向量中元素的序號(hào);F為特征數(shù)值;特征向量1和特征向量2分別為2個(gè)1×3卷積核提取的特征向量.

        由圖8可知,針對(duì)同一類別樣本,不含正交模塊的正常CNN中,2個(gè)1×3卷積核提取特征的形態(tài)和數(shù)值近似,即存在特征冗余問題.

        圖8 不含正交層CNN提取的3類酒特征向量Fig.8 Three kinds of wine feature vectors extracted by CNN without orthogonal layer

        (2) 含2條卷積支路、有正交模塊的CNN,提取的特征向量如圖9所示.

        由圖9可知,針對(duì)同一類別樣本,含2條卷積支路、有正交模塊的CNN中,2個(gè)1×3卷積核提取的特征向量具有明顯的正交性形態(tài).

        圖9 含2條支路CNN提取的3類酒特征向量Fig.9 Three kinds of wine feature vectors extracted by CNN with two branches

        (3) 含4條卷積支路、有正交模塊的CNN,提取的特征向量如圖10所示.其中:特征向量3和特征向量4分別為2個(gè)1×6卷積核提取的正交性特征.

        圖10 含4條支路CNN提取的3類酒特征向量Fig.10 Three kinds of wine feature vectors extracted by CNN with four branches

        由圖10可知,增加多種尺寸的卷積核,既可以豐富特征多樣性,也能夠滿足正交性特征需求,有利于提升CNN性能.

        綜上所述,以上實(shí)驗(yàn)結(jié)果可以證明,本文設(shè)計(jì)的模型結(jié)構(gòu)和正交損失函數(shù)正確有效,能夠監(jiān)督CNN提取正交性特征,豐富了特征多樣性,消除了特征冗余問題.

        4 實(shí)際應(yīng)用

        采集工業(yè)生產(chǎn)中的機(jī)器運(yùn)行數(shù)據(jù)來檢驗(yàn)本文方法的實(shí)際應(yīng)用性.以電子驅(qū)動(dòng)器運(yùn)行數(shù)據(jù)集“Sensorless Drive Diagnosis”為例,該數(shù)據(jù)集收集了驅(qū)動(dòng)器的48項(xiàng)電信號(hào)指標(biāo),包括 58 509 個(gè)樣本數(shù)據(jù),分為11種工況類別(T1~T11).不同種類工況下的樣本數(shù)據(jù)取其指標(biāo)平均值,如圖11所示.其中:U為原數(shù)據(jù)集中電信號(hào)指標(biāo)類別;V為原數(shù)據(jù)集中電信號(hào)指標(biāo)類別的具體賦值.其中:T1~T11分別為11種工況下各指標(biāo)的平均值.由于工況類別較多,圖11(b)挑選了第7和11種工況進(jìn)行單獨(dú)展示.由圖11可以看出,不同類別工況在少部分電信號(hào)指標(biāo)上具有相對(duì)明顯的差異,在大部分電信號(hào)指標(biāo)上的差異并不明顯.

        圖11 不同種類工況的指標(biāo)均值圖Fig.11 Average values of each indicator in different category modes

        建立含2條支路的CNN模型,每條支路的卷積層中有1個(gè)1×3卷積核,仍以第7和11種工況的特征向量為例,如圖12所示.

        圖12 T7和T11的特征向量Fig.12 Feature vectors of T7 and T11

        首先,檢查相同工況下兩條特征向量的正交性.由圖12(a)和12(b)可知,相同工況下兩條特征向量具備正交形態(tài),基本滿足特征正交性、豐富性的要求.

        其次,檢查同一卷積核提取不同工況下特征向量的區(qū)分性.由圖12(c)和12(d)可知,第1個(gè)卷積核主要捕捉到第5~12項(xiàng)、第19~22項(xiàng)指標(biāo)間差異;第2個(gè)卷積核主要捕捉到第5~12項(xiàng)、第25~30項(xiàng)、第43~46項(xiàng)指標(biāo)間差異.兩個(gè)卷積核均能捕捉到不同工況下電信號(hào)指標(biāo)的數(shù)值差異,且由于正交損失函數(shù)的監(jiān)督,關(guān)注指標(biāo)各有側(cè)重,獲取的信息也更為全面.

        記錄模型損失函數(shù)值和分類準(zhǔn)確率,與不含正交模塊的CNN進(jìn)行對(duì)比,結(jié)果如表2所示.

        表2 兩種模型的損失函數(shù)值和分類準(zhǔn)確率Tab.2 Loss function values and accuracies of two models

        由表2可知,含正交模塊的CNN其損失函數(shù)值和分類準(zhǔn)確率表現(xiàn)更優(yōu),證明本文提出的方法在實(shí)際生產(chǎn)中具有良好的適用性.

        綜上所述,如果CNN一個(gè)卷積層中僅用一個(gè)卷積核,則特征信息比較單調(diào);如果同一卷積層中使用多個(gè)卷積核,又可能導(dǎo)致特征冗余.通過本文提出的方法,監(jiān)督各卷積核提取出正交性特征向量,就能從原始指標(biāo)中獲取更為全面的特征信息,為后續(xù)分類識(shí)別和指標(biāo)研究奠定了基礎(chǔ).

        5 結(jié)語

        本文針對(duì)CNN特征冗余問題,引入了正交性概念,從強(qiáng)化特征之間差異性的角度,提出了一種提取正交性特征的模型方法.在保證分類準(zhǔn)確率的基礎(chǔ)上,促使卷積核提取出相互正交的特征向量,從而豐富了特征多樣性,消除了特征冗余問題.將模型應(yīng)用于一維數(shù)據(jù)集,利用一維數(shù)據(jù)折線圖的直觀結(jié)果,證明了本文方法的有效性.

        下一步可以將一維數(shù)組間正交性推廣至二維矩陣間正交性,進(jìn)而研究正交性特征矩陣對(duì)圖像處理等領(lǐng)域的作用.

        猜你喜歡
        支路特征向量損失
        二年制職教本科線性代數(shù)課程的幾何化教學(xué)設(shè)計(jì)——以特征值和特征向量為例
        少問一句,損失千金
        克羅內(nèi)克積的特征向量
        胖胖損失了多少元
        基于限流可行方案邊界集的最優(yōu)支路投切
        能源工程(2020年6期)2021-01-26 00:55:22
        玉米抽穗前倒伏怎么辦?怎么減少損失?
        一類特殊矩陣特征向量的求法
        EXCEL表格計(jì)算判斷矩陣近似特征向量在AHP法檢驗(yàn)上的應(yīng)用
        多支路兩跳PF協(xié)作系統(tǒng)的誤碼性能
        利用支路參數(shù)的狀態(tài)估計(jì)法辨識(shí)拓?fù)溴e(cuò)誤
        久久精品国产亚洲AⅤ无码剧情| 国产午夜精品一区二区三区嫩草 | 国产免费人成视频在线观看| 亚洲天堂在线播放| 久久精品国产亚洲片| 在线免费观看蜜桃视频| 欧美69久成人做爰视频| 无遮高潮国产免费观看| 国产人妖xxxx做受视频| 国产亚洲精品一区在线| 山外人精品影院| 久久香蕉国产精品一区二区三| 最新国产精品精品视频| 白白色发布会在线观看免费| 一本色道久久88精品综合| 中文字幕在线免费| 亚洲黄色官网在线观看| 国产一区二区视频免费在| 亚洲av午夜福利精品一区二区 | 国产乱码一二三区精品| XXXXBBBB欧美| 国产熟妇一区二区三区网站| 午夜久久久久久禁播电影 | 国产AV边打电话边出轨| 日韩精品成人一区二区在线观看 | 久久久g0g0午夜无码精品| 精品免费人伦一区二区三区蜜桃| 一区二区三区手机看片日本韩国| 欧洲美女黑人粗性暴交视频| 国产精品成年片在线观看| 亚洲高清中文字幕精品不卡 | 国产高潮精品一区二区三区av| 天天射综合网天天插天天干| 国产高清av首播原创麻豆| 亚洲自拍另类欧美综合| 在线观看日本一区二区三区| 日韩欧美aⅴ综合网站发布| 大胆欧美熟妇xxbbwwbw高潮了| av熟女一区二区久久| 青青草免费手机视频在线观看| 欧美成人午夜精品久久久|