亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于邊緣特征的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索

        2023-01-05 07:04:12鵬,楊軍*,2
        蘭州交通大學(xué)學(xué)報 2022年6期
        關(guān)鍵詞:分類特征

        周 鵬,楊 軍*,2

        (1.蘭州交通大學(xué) 電子與信息工程學(xué)院,蘭州 730070;2.蘭州交通大學(xué) 測繪與地理信息學(xué)院,蘭州 730070)

        以AlexNet[1],GoogleNet[2]和RCNN[3]為代表的 人工設(shè)計神經(jīng)網(wǎng)絡(luò)在圖像分類、分割和目標檢測等計算機視覺領(lǐng)域取得了很大成功.人工設(shè)計網(wǎng)絡(luò)架構(gòu)需要進行不斷重復(fù)實驗,消耗了大量的人力和計算資源,且依賴專家經(jīng)驗,專家需要重新設(shè)計算法適應(yīng)新任務(wù).因此,通過算法自動搜索出優(yōu)秀的網(wǎng)絡(luò)架構(gòu)逐漸成為該領(lǐng)域的研究熱點.神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(neural architecture search,NAS)旨在預(yù)定義的搜索空間中由搜索策略找到針對特定數(shù)據(jù)集的候選網(wǎng)絡(luò)架構(gòu),通過性能評估策略對候選架構(gòu)進行評估,將評估結(jié)果反饋到搜索策略,再由搜索算法調(diào)整搜索策略,通過不斷重復(fù)搜索過程,直到發(fā)現(xiàn)最優(yōu)的神經(jīng)網(wǎng)絡(luò)架構(gòu).NAS在計算機視覺領(lǐng)域的表現(xiàn)已經(jīng)達到,甚至超過人工設(shè)計的深度神經(jīng)網(wǎng)絡(luò),但仍需要耗費巨大的計算資源評估網(wǎng)絡(luò)架構(gòu).可微分架構(gòu)搜索(differentiable architecture search,DARTS)[4]通過連續(xù)松弛化原有離散搜索策略,利用梯度下降法優(yōu)化網(wǎng)絡(luò)架構(gòu),但離散化得到的子網(wǎng)與超網(wǎng)之間存在性能差距,子網(wǎng)需要重新訓(xùn)練,導(dǎo)致搜索結(jié)果不穩(wěn)定.文獻[5]對DARTS算法進行了改進,所提出的sharpDARTS引入余弦冪次退火算法對學(xué)習(xí)率進行更新,借助正則化方法糾正DARTS算法中的性能差距,降低了基于梯度算法消耗內(nèi)存過大的問題;文獻[6]提出漸進式可微分結(jié)構(gòu)搜索(progressive differentiable architecture search,P-DARTS)算法,使用搜索空間正則化來提高搜索的穩(wěn)定性,并逐步增加網(wǎng)絡(luò)層數(shù)以減少內(nèi)存消耗;文獻[7]提出連續(xù)貪婪策略搜索算法(sequential greedy architecture search,SGAS),優(yōu)化了搜索過程和驗證過程準確率差異的問題.

        近年來,研究者將NAS應(yīng)用于圖機器學(xué)習(xí)領(lǐng)域,稱為圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(graph neural architecture search,GNAS).文獻[8]首次用NAS算法來解決圖神經(jīng)網(wǎng)絡(luò)(graph neural network,GNN)中的架構(gòu)搜索,實現(xiàn)了基于強化學(xué)習(xí)的圖神經(jīng)架構(gòu)自動設(shè)計;文獻[9]提出邊緣特征圖注意力網(wǎng)絡(luò),將圖神經(jīng)網(wǎng)絡(luò)的使用擴展到具有節(jié)點和邊緣特征的任務(wù),但該方法缺乏不同的更新函數(shù)來計算邊緣特征;NENN由節(jié)點級注意力層和邊緣級注意力層構(gòu)建網(wǎng)絡(luò)模型,交替地將2種注意力層堆疊,并在相應(yīng)的級別上學(xué)習(xí)節(jié)點和邊緣的特征[10];文獻[11]提出索引邊緣幾何卷積神經(jīng)網(wǎng)絡(luò)模型,將不同層的輸出特征映射并進行索引跳躍連接,使局部特征信息損失進一步降低.圖神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用,使得基于復(fù)雜圖結(jié)構(gòu)數(shù)據(jù)的任務(wù),如點云分類、社會關(guān)系網(wǎng)絡(luò)分析、專家推薦系統(tǒng)及化學(xué)分子性質(zhì)預(yù)測等問題得以高效解決,然而,GNN的可擴展性會導(dǎo)致計算成本增加,并隨著層級的深入呈指數(shù)增長,在對點云分類等大規(guī)模計算時挑戰(zhàn)巨大.

        綜上所述,目前圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索注重研究實體的特征信息,忽略了邊緣上的潛在高階信息與多層次關(guān)系特征之間的依賴,設(shè)計高效提取邊緣特征的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索空間與搜索算法,依然是一個需要研究的問題.本文提出邊緣特征圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(edge feature graph neural architecture search,EFGNAS)的方法,首先,在搜索空間中設(shè)計用于提取邊緣特征的候選操作,將邊緣與實體視為等價體,利用雙層優(yōu)化方法同步更新實體和邊緣的高階信息,采用邊緣卷積同步提取局部和全局邊緣特征,以提高圖神經(jīng)網(wǎng)絡(luò)架構(gòu)的搜索性能;其次,設(shè)計基于邊緣特征的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索空間,用于實體和邊緣的更新;最后,提出基于邊緣特征提取的圖神經(jīng)網(wǎng)絡(luò)搜索算法,采用雙層優(yōu)化方法實現(xiàn)三維點云模型的分類.

        1 搜索空間與搜索算法設(shè)計

        本文采用邊緣卷積的方法提取三維點云特征,通過邊緣特征提取的方法對NAS的搜索空間進行優(yōu)化設(shè)計,使用分組卷積提升搜索效率,并設(shè)計基于雙層優(yōu)化的圖神經(jīng)架構(gòu)搜索算法.

        1.1 點云特征提取

        首先,計算全局點云特征.在三維點云中任選一點,計算以該點為中心的球形鄰域,通過迭代提取全局點云特征.其次,計算局部點云特征.采用邊緣卷積構(gòu)造局部鄰域圖,在逐層卷積相鄰邊緣的過程中,輸出每一層在新特征空間的點云結(jié)構(gòu)圖,得到一個新的局部區(qū)域;以中心點、中心點與鄰域點間距離為參數(shù),計算點云局部特征.最后,由非對稱邊緣函數(shù)根據(jù)全局信息與局部信息計算三維點云邊緣特征.

        設(shè)G=(v,ε)為點云結(jié)構(gòu)圖,其中:v={v1,v2,…,vn}表示點;ε表示邊.G中包含每個點的自循環(huán),即每個點存在指向自身的邊.給定?vi,構(gòu)造以vi為中心的球形鄰域N(vi),

        其中:r表示鄰域半徑.當?shù)玫饺舾舌徲蚝?,計算中心點vi的邊緣特征的輸出v′i,

        其中:hθ(vi,vj)表示邊緣特征;hθ為包含可學(xué)習(xí)參數(shù)θ的非線性邊緣函數(shù);Φ表示對邊緣特征進行通道對稱聚合.邊緣函數(shù)hθ與聚合操作Φ決定邊緣特征的輸出.針對三維點云特征提取,分為以下3種情況:

        1)當hθ(vi,vj)=hθ(vi)時,表示對全局點云進行特征提取,不考慮局部鄰域結(jié)構(gòu).這種類型的特征提取方式在PointNet[12]中被使用,因此,可以看作是邊緣特征提取的一種特殊形式.

        2)當hθ(vi,vj)=hθ(vj-vi)時,表示僅對局部點云進行特征提取,而不考慮全局結(jié)構(gòu).

        3)當hθ(vi,vj)=hθ(vi,vj-vi)時,表示既考慮全局點云特征提取,又考慮局部鄰域信息,是本文采取的特征提取方式.

        邊緣特征融合點間局部關(guān)系和全局信息,在得到若干個邊緣特征后,進行最大池化操作,得到該局部區(qū)域的單一特征,以這種方式進行多層卷積疊加,逐層提取并整合局部特征信息.

        1.2 搜索空間設(shè)計

        GNN可表示為使用消息傳遞機制工作的網(wǎng)絡(luò),其每一層有一個聚合函數(shù)g和一個基于神經(jīng)網(wǎng)絡(luò)的更新函數(shù)u.在圖G中,給定?vs表示序號為s的節(jié)點,χt-1s表示節(jié)點vs在時間步長t-1的特征,消息向量mts是由節(jié)點vs的鄰域點集Ns通過聚合函數(shù)計算得到,節(jié)點的特征χts由更新函數(shù)u和消息向量mts計算得到,如式(3)所示.

        通過這種消息傳遞方式,在T層的GNN網(wǎng)絡(luò)中,消息以T個時間步長進行傳遞.該方法在處理結(jié)構(gòu)化的二維圖像和序列化的信息等固定格式數(shù)據(jù)時非常有效,而對于數(shù)據(jù)量大、鄰域數(shù)據(jù)集多的大型圖結(jié)構(gòu),處理的效率和穩(wěn)定性較低.為提高GNN在三維點云分類中的性能,本文采用網(wǎng)絡(luò)架構(gòu)搜索的方式構(gòu)建分類網(wǎng)絡(luò).網(wǎng)絡(luò)架構(gòu)搜索是一個逐步求精的過程,通過丟棄特征提取不佳的候選操作得到最優(yōu)的網(wǎng)絡(luò)架構(gòu).

        采用圖神經(jīng)網(wǎng)絡(luò)的目的是尋找一種單元作為最終架構(gòu)的構(gòu)建模塊,每個單元是由M個節(jié)點的有序序列組成的有向無環(huán)圖(directed acyclic graph,DAG),每個節(jié)點之間的信息通過節(jié)點間的邊傳遞,每條邊包含若干候選操作和相應(yīng)的網(wǎng)絡(luò)架構(gòu)參數(shù)α,搜索空間中候選操作選擇流程如圖1所示.通常采用梯度下降的方法同時優(yōu)化網(wǎng)絡(luò)架構(gòu)參數(shù)α和權(quán)重參數(shù)ω,對α的優(yōu)化可提高最終訓(xùn)練的準確率,對ω的優(yōu)化可以加快訓(xùn)練準確率的提升,圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的最小單位稱為搜索單元(cell).圖1(a)表示搜索算法需從搜索空間中選擇候選操作;圖1(b)中,搜索空間中有預(yù)先設(shè)計的諸多候選操作,由搜索策略組合不同的候選操作,再由評估策略對組合后的網(wǎng)絡(luò)架構(gòu)進行性能評估,保留對性能提升貢獻大的候選操作,最終得到目標架構(gòu),如圖1(c)所示.

        圖1 基于有向無環(huán)圖的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索決策過程Fig.1 Decision process of neural architecture search based on directed acyclic graph

        在搜索空間中,采用的候選操作有rel_sage[7],edge_conv[13],mr_conv[14],gat[15],semi_gcn[16],gin[17],sage[18],conv-1×1,skip-connect,EdgeConvDiff,EdgeGroupConv,EdgeGroupConvDiff,其中:conv-1×1是一個基本卷積操作;skip-connect表示跳躍連接操作;EdgeConvDiff,EdgeGroupConv與EdgeGroupConvDiff為本文新設(shè)計的候選操作,EdgeConvDiff為采用邊緣卷積提取三維點云全局特征,EdgeGroupConv為采用邊緣卷積提取三維點云局部特征,EdgeGroupConvDiff為采用邊緣卷積提取三維點云全局與局部特征,EdgeGroupConv與EdgeGroupConvDiff候選操作中引入了分組卷積和通道洗牌操作.

        DAG圖中的每一個節(jié)點代表一個特征圖,用Vi表示,i為節(jié)點的序號,特征圖之間的連線表示候選操作,每一條連線都存在與相連節(jié)點相關(guān)的混合操作O(i,j),這些操作通過節(jié)點之間的關(guān)系特征E(i,j)將信息從Vi傳遞到Vj,如圖1中,V0為輸入,V3為輸出,V1,V2為中間節(jié)點,中間節(jié)點既是輸入節(jié)點,又是輸出節(jié)點,并攜帶上一步的狀態(tài)信息z,由前驅(qū)節(jié)點計算得到

        其中:1≤j≤M.初始節(jié)點V0表示輸入一個實體信息,中間節(jié)點由輸入節(jié)點Vi、關(guān)系特征E(i,j)及狀態(tài)z經(jīng)過混合操作O進行加權(quán)計算.

        綜上所述,本文針對三維點云分類設(shè)計搜索空間.如圖2(a)所示,在搜索空間中,點云特征的提取基于圖卷積網(wǎng)絡(luò),vi為中心點,vik表示vi的鄰域,eik為vi和vik構(gòu)成的邊(k=1,2,…,n);圖2(b)表示采用邊緣卷積的方法提取點云全局和局部特征,hθ為非線性邊緣函數(shù).由于點云模型具有無序性、稀疏性、數(shù)據(jù)有限性等特點,使采用圖卷積網(wǎng)絡(luò)的處理效率不高.因此,為了提高點云的分類效率,本文采用組卷積方式對輸入的特征圖進行分組,如圖2(c)所示,共分為2組,每組分別卷積,再由通道洗牌操作促使特征信息跨特征通道傳遞;組卷積從不同組中獲取輸入數(shù)據(jù),輸入和輸出通道完全相關(guān);對于由前一組生成的特征映射,將每一組內(nèi)的通道劃分為不同的子組,然后把不同的子組提供給下一層,這一過程由通道洗牌操作完成.通道洗牌是可微的,可以嵌入到網(wǎng)絡(luò)架構(gòu)進行端到端訓(xùn)練,這使得構(gòu)建具有多組卷積層的網(wǎng)絡(luò)架構(gòu)成為可能.

        1.3 基于雙層優(yōu)化的搜索算法

        搜索空間A由不同的候選操作構(gòu)成,旨在處理復(fù)雜的圖結(jié)構(gòu)數(shù)據(jù),傳遞不同類型的神經(jīng)網(wǎng)絡(luò)消息.為提高GNN處理三維點云的效率和穩(wěn)定性,本文采用基于雙層優(yōu)化的自動架構(gòu)搜索算法.GNAS可定義為一個雙層優(yōu)化過程,在給定的圖搜索空間A中找到一個最優(yōu)的神經(jīng)網(wǎng)絡(luò)架構(gòu)α*∈A,同時使驗證損失函數(shù)Lval(·)的值最小.通過使訓(xùn)練損失函數(shù)Ltrain(·)最小化,得到與網(wǎng)絡(luò)架構(gòu)相關(guān)的可訓(xùn)練權(quán)重ω*,表示如下:

        在DAG中,搜索算法根據(jù)預(yù)定義的選擇策略,在每一次迭代決策過程中,選擇一條邊,然后更新權(quán)重參數(shù)ω,當架構(gòu)參數(shù)α值最大時,選擇對應(yīng)的邊,同時裁剪掉局部α值最小時對應(yīng)的邊;隨著裁剪的執(zhí)行,剩余的參數(shù)將形成一個新的子問題,并進行迭代求解;在最后的搜索過程中,可以獲得一個獨立的無需共享權(quán)重架構(gòu).算法步驟如下:首先,定義GNAS的架構(gòu)參數(shù)為α,網(wǎng)絡(luò)權(quán)重為ω,迭代次數(shù)為L,為抑制網(wǎng)絡(luò)過擬合,提高網(wǎng)絡(luò)的魯棒性和泛化能力,本文引入正則化方法規(guī)范架構(gòu)參數(shù)的優(yōu)化過程,定義正則化系數(shù)λl和正則化項rl,l∈{1,2,…,L},正則化項rl通過計算架構(gòu)參數(shù)指數(shù)和的對數(shù)后,再計算其平均值得出,用pytorch語言表示為rl=torch.mean(torch.logsumexp(self.model._arch_parameters,dim=-1));其次,計算▽ALval(ω,α)+λlrl,以逐步更新網(wǎng)絡(luò)架構(gòu)參數(shù)α,并且計算▽ωLtrain(ω,α),以逐步更新網(wǎng)絡(luò)權(quán)重ω,如果當前的迭代過程是決策過程,則選擇網(wǎng)絡(luò)架構(gòu)參數(shù)α值最大時對應(yīng)的邊,并在新選擇的邊上更新相關(guān)候選操作,再裁剪未被選中的網(wǎng)絡(luò)架構(gòu)參數(shù)α和權(quán)重參數(shù)ω;最后,根據(jù)選擇到的候選操作組成目標架構(gòu).

        2 仿真實驗與結(jié)果分析

        2.1 在ModelNet10數(shù)據(jù)集上的搜索實驗

        ModelNet[19]常用于三維模型分類,它包含ModelNet40和ModelNet10 2個數(shù)據(jù)集.ModelNet40含有40類12 311個CAD數(shù)據(jù)模型,其中:9 843個數(shù)據(jù)模型用于訓(xùn)練;2 468個數(shù)據(jù)模型用于測試.Model-Net10是ModelNet40的子集,包含10類,共4 899個CAD數(shù)據(jù)模型,其中:3 991個模型用于訓(xùn)練;908個模型用于測試.本文采用GNAS的網(wǎng)絡(luò)架構(gòu)搜索方法,在ModelNet10數(shù)據(jù)集上進行搜索,在Model-Net40數(shù)據(jù)集上進行測試.

        2.1.1 搜索空間參數(shù)設(shè)置

        搜索空間的主干網(wǎng)絡(luò)由6個normal cell和2個reduction cell構(gòu)成,其中:reduction cell位于網(wǎng)絡(luò)1/3和2/3處,其余為normal cell.設(shè)置normal cell的卷積層步長為1,reduction cell的卷積層步長為2.共有12個候選操作,如1.2節(jié)所述.

        2.1.2 訓(xùn)練參數(shù)設(shè)置

        本文在ModelNet10數(shù)據(jù)集訓(xùn)練和驗證,初始通道數(shù)設(shè)置為32個,采樣點為1 024個,初始cell數(shù)設(shè)置為2個,迭代次數(shù)設(shè)置為50次,輸入批量大小設(shè)置為32個,初始學(xué)習(xí)率的值為0.005,動量值為0.9,權(quán)重衰減值為3×10-4.采用隨機梯度下降(stochastic gradient descent,SGD)優(yōu)化模型權(quán)重.設(shè)置初始迭代9次之后開始做決策選擇,每迭代7次做出一次搜索決策.由于硬件資源的局限性,批量值設(shè)置過大,會耗費更多的計算資源,達到相同準確率所需的迭代數(shù)量增多,同時梯度震蕩嚴重,不利于收斂;批量值設(shè)置過小,不同批量計算時梯度方向變化過小,容易陷入局部極小值.本文采用批量值動態(tài)調(diào)整策略,當出現(xiàn)搜索決策時,將批量值設(shè)置為“批量值+當前迭代次數(shù)”,從仿真實驗可以看出,該策略平均測試GPU時長為0.284 3 d,而消融實驗中平均測試GPU時長為1.027 2 d,采用該策略的訓(xùn)練耗時大幅降低.

        2.2 在ModelNet40數(shù)據(jù)集上的測試實驗

        本文在ModelNet10數(shù)據(jù)集上,通過6個不同子實驗得到6個網(wǎng)絡(luò)架構(gòu),分別命名為EFGNAS_1,EFGNAS_2,EFGNAS_3,EFGNAS_4,EFGNAS_5和EFGNAS_6.在ModelNet40數(shù)據(jù)集上測試,搜索出6個網(wǎng)絡(luò)架構(gòu),得到三維點云分類的結(jié)果.將搜索的單元堆疊3次,采樣點為1 024個,通道數(shù)設(shè)置為128個,評估過程迭代次數(shù)設(shè)置為250次,批量大小設(shè)置為32個.使用Adam優(yōu)化模型權(quán)重,權(quán)重衰減值為1×10-4,學(xué)習(xí)率的值為0.001.測試結(jié)果見表1.

        從表1可以看出:在ModelNet10數(shù)據(jù)集上訓(xùn)練時,網(wǎng)絡(luò)收斂快,隨著損失的穩(wěn)步降低,訓(xùn)練準確率逐步上升,最高達到97.24%,而驗證分類準確率最高為90.23%,測試分類準確率最高為93.42%.研究分類準確率與GPU時長、參數(shù)量的關(guān)系得知:在同樣的迭代次數(shù)下,最優(yōu)網(wǎng)絡(luò)架構(gòu)所對應(yīng)的測試分類準確率與訓(xùn)練和測試所耗費的GPU時長、參數(shù)量沒有直接的對應(yīng)關(guān)系.

        表1 EFGNAS在ModelNet數(shù)據(jù)集上的分類效果Tab.1 Classification accuracy of EFGNASon ModelNet

        為了進一步說明本文算法的性能,圖3給出了EFGNAS的分類準確率與迭代次數(shù)的關(guān)系曲線圖.在圖3(a)中,模型的分類準確穩(wěn)步提升,從訓(xùn)練開始到第25次迭代,性能提升較快,在35~50次迭代中,前期表現(xiàn)較差的訓(xùn)練過程分類準確率提升較快,逐步接近最佳分類準確率;由圖3(b)和圖3(c)可知,在驗證和測試過程中,前10次迭代的性能提升比較快,在11~15次迭代過程中,性能出現(xiàn)大幅下降,之后又出現(xiàn)逐步提升.可見,在數(shù)據(jù)量較小的ModelNet10數(shù)據(jù)集上,容易出現(xiàn)過擬合的情況,通過引入的正則化項后,在一定程度上抑制了過擬合的產(chǎn)生,保證了在小數(shù)據(jù)量模型時訓(xùn)練的正常進行.

        圖3 EFGNAS在訓(xùn)練、驗證與測試中的分類準確率與迭代次數(shù)關(guān)系曲線圖Fig.3 Plot of classification accuracy with iterations in training,validation and testing by EFGNAS

        圖4為搜索出來的6個網(wǎng)絡(luò)架構(gòu)的圖形化表示,其中:c_{k}為所有中間節(jié)點的深度連接,表示當前網(wǎng)絡(luò)架構(gòu)的輸出;c_{k-1}和c_{k-2}分別表示第k-1,k-2個網(wǎng)絡(luò)架構(gòu)的輸出.從圖4可以看出:搜索結(jié)果中均出現(xiàn)本文所設(shè)計的EdgeConvDiff,EdgeGroupConv與EdgeGroupConvDiff等候選操作;測試分類準確率前3位分別為圖4(a)、圖4(c)和圖4(f)的網(wǎng)絡(luò)結(jié)構(gòu),新設(shè)計的候選操均出現(xiàn)2次,在圖4(d)中出現(xiàn)3次,但圖4(d)所對應(yīng)的網(wǎng)絡(luò)架構(gòu)測試分類準確率并不是最高,可見架構(gòu)性能的優(yōu)劣和整體架構(gòu)中所有候選操作及其構(gòu)成方式有很大關(guān)系.

        圖4 EFGNAS生成架構(gòu)的圖形化表示Fig.4 Gaphing of the searched architecture by EFGNAS

        EFGNAS與人工設(shè)計的網(wǎng)絡(luò)架構(gòu)、自動搜索的架構(gòu)在三維點云模型上的分類準確率、參數(shù)量和所需GPU時長對比結(jié)果見表2,其中:manual表示人工設(shè)計的網(wǎng)絡(luò)架構(gòu).

        由表2可知:本文方法EFGNAS(最佳值)與SGAS相比,參數(shù)量增加0.044 3 MB,所占用的GPU時長比SGAS減少0.031 2 d,分類準確率提升了1.42%,由于SGAS算法搜索空間中的候選操作沒有考慮到分組卷積和邊緣特征的提取,影響了分類準確率的提升;與RBNAS相比,本文方法EFGNAS(最佳值)的分類準確率提高了0.32%,參數(shù)量減少了0.204 3 MB,GPU時長增加了0.108 8 d,原因是RBNAS算法資源平衡型漸進式剪枝的思路存在對漸進系數(shù)的過分依賴;與NoisyDARTS相比,本文方法EFGNAS(最佳值)的分類準確率提高了0.52%,參數(shù)量減少了4.574 3 MB,GPU時長增加了0.118 8 d,原因是NoisyDARTS在候選操作中添加了噪聲,使候選操作之間公平競爭,特別是對跳躍連接的過快增長起到了一定的抑制作用,但是與選擇的噪聲及特定的數(shù)據(jù)集密切相關(guān),且泛化能力較弱;本文在SGAS的基礎(chǔ)上,采用邊緣卷積的方法提取了點云的全局特征與局部特征,同時,為降低引入圖卷積導(dǎo)致計算成本的增加,采用分組卷積的方法提升了搜索效率,本算法的平均分類準確率EFGNAS(平均值)為92.56%,最佳分類準確率EFGNAS(最佳值)為93.42%,搜索到的最佳網(wǎng)絡(luò)架構(gòu)取得了較低的GPU運行時長和參數(shù)量,且分類準確率高于目前常見的人工設(shè)計和自動搜索的網(wǎng)絡(luò)架構(gòu),說明采用邊緣卷積的方法能提取更豐富的點云特征.

        表2 本文方法與其他方法在三維模型分類上的比較Tab.2 Comparison with the proposed method with other methods in three-dimensional classification

        2.3 消融實驗

        為進一步驗證采用邊緣特征提取的方法對分類準確率的影響,本文完成了未進行邊緣特征提取的實驗,實驗名稱為EFGNAS*.實驗所得到的分類準確率、訓(xùn)練GPU時長、測試GPU時長和參數(shù)量見表3.從表1和表3可看出:EFGNAS(最佳值)測試分類準確率較EFGNAS*(最佳值)提高了1.12%,尤其在測試GPU時長方面,較EFGNAS*降低了74%,因此,本文算法有效提升了搜索效率,且在測試分類準確率有一定提升的前提下,網(wǎng)絡(luò)參數(shù)量和GPU運行時長降低顯著.

        表3 EFGNAS*在ModelNet數(shù)據(jù)集上的分類效果Tab.3 Classification accuracy of EFGNAS*on ModelNet

        圖5為EFGNAS*在訓(xùn)練、驗證與測試中的分類準確率與迭代次數(shù)關(guān)系曲線圖.如圖5(a)所示,EFGNAS*在訓(xùn)練過程中,分類準確率上升比較平穩(wěn),6次訓(xùn)練中,最高分類準確率為97.02%,比EFGNAS低0.22%,從開始訓(xùn)練到迭代10次,性能提升較快.其中:3次訓(xùn)練過程分類準確率較低,在迭代的中后期,雖然性能有一定提升,但仍與最高分類準確率存在差距,而EFGNAS前期性能提升較慢的訓(xùn)練過程在迭代的中后期提升較快,接近最高分類準確率.由圖5(b)和圖5(c)可知:EFGNAS*的驗證分類準確率和測試分類準確率在剛開始到第10次迭代過程中準確率提升較快,之后出現(xiàn)大幅下降,且后期提升緩慢.對比圖3(b)和圖3(c)可知:本算法魯棒性較強,能有效抑制過擬合,分類準確率上升平穩(wěn).

        圖5 EFGNAS*在訓(xùn)練、驗證與測試中的分類準確率與迭代次數(shù)關(guān)系曲線圖Fig.5 Plot of classification accuracy with iterations in training,validation and testing by EFGNAS*

        表4對比了EFGNAS和EFGNAS*分類準確率的排序.

        表4 2種不同網(wǎng)絡(luò)模型在訓(xùn)練、驗證和測試中分類準確率的排序Tab.4 Classification accuracy rank of two different network models in training,validation,and testing

        將排序表示為肯德爾相關(guān)性系數(shù)時可以分析出不同排序的相關(guān)性.肯德爾相關(guān)系數(shù)又稱和諧系數(shù),是一個用來測量2個隨機變量排序相關(guān)性的統(tǒng)計值,表示為

        其中:c為所對比的2個序列中擁有一致性的元素對數(shù);d表示序列中擁有不一致性的元素對數(shù);n表示樣本量表示所有樣本兩兩組合的數(shù)量.一個肯德爾檢驗是一個無參數(shù)假設(shè)檢驗,它使用計算所得的相關(guān)系數(shù)去檢驗2個隨機變量的統(tǒng)計依賴性.τ的取值范圍為[-1,1],當τ為1時,表示2個隨機變量擁有一致的等級相關(guān)性;當τ為-1時,表示2個隨機變量擁有完全相反的等級.理想的NAS算法應(yīng)該具有較高的搜索-測試肯德爾相關(guān)性系數(shù)τ.

        本實驗對比EFGNAS和EFGNAS*的訓(xùn)練階段、驗證階段和測試階段的肯德爾相關(guān)系數(shù).表5為EFGNAS和EFGNAS*分類準確率排序的肯德爾相關(guān)系數(shù)值,由訓(xùn)練階段、驗證階段和測試階段的分類準確率排名計算所得.從表5和式(6)可知:EFGNAS訓(xùn)練階段與驗證階段分類準確率的τ值為0.333 3,EFGNAS*訓(xùn)練階段與驗證階段分類準確率的τ值為0.200 0;EFGNAS訓(xùn)練階段與測試階段分類準確率的τ值為0.600 0,而EFGNAS*訓(xùn)練階段與測試階段分類準確率的τ值為-0.066 7.以上數(shù)據(jù)說明EFGNAS在訓(xùn)練階段和驗證階段、訓(xùn)練階段和測試階段均具有較高的相關(guān)性,同時也證明了EFGNAS模型的魯棒性較強.

        表5 EFGNAS和EFGNAS*分類準確率肯德爾相關(guān)性系數(shù)Tab.5 Comparison of search-evaluation Kendall coefficients and classification accuracy by EFGNAS&EFGNAS*

        3 結(jié)論

        針對目前大多數(shù)圖神經(jīng)網(wǎng)絡(luò)注重研究對象實體特征信息、忽略與邊相關(guān)的特征信息的問題,本文提出了基于邊緣特征提取的架構(gòu)搜索算法自動設(shè)計網(wǎng)絡(luò)架構(gòu).首先,提出了邊緣特征圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的方法,設(shè)計了基于邊緣特征的搜索空間和搜索算法;其次,將邊緣與實體視為等價體,利用雙層優(yōu)化方法對實體信息和邊信息進行了更新,采用邊緣卷積和通道洗牌操作,在有限的計算資源下,獲得了最佳的模型分類精度,并在速度和精度之間取得良好的平衡;最后,通過三維點云分類的實驗,對所提出的方法進行了驗證.仿真實驗結(jié)果表明:本文所提出的方法能提升網(wǎng)絡(luò)架構(gòu)搜索算法的效率,防止網(wǎng)絡(luò)過擬合,提高三維點云分類準確率,具有較強的魯棒性.總的來說,目前圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索取得了一定的效果,但在處理深層網(wǎng)絡(luò)結(jié)構(gòu)、大規(guī)模數(shù)據(jù)時,其適應(yīng)性、可擴展性和效率方面仍有很大的改進空間.

        猜你喜歡
        分類特征
        抓住特征巧觀察
        分類算一算
        垃圾分類的困惑你有嗎
        大眾健康(2021年6期)2021-06-08 19:30:06
        新型冠狀病毒及其流行病學(xué)特征認識
        如何表達“特征”
        不忠誠的四個特征
        當代陜西(2019年10期)2019-06-03 10:12:04
        分類討論求坐標
        數(shù)據(jù)分析中的分類討論
        教你一招:數(shù)的分類
        抓住特征巧觀察
        久久99精品这里精品动漫6| 国产农村妇女精品一二区| 伊人久久五月丁香综合中文亚洲| 日韩二三区| 自拍偷拍另类三级三色四色| 日本熟女中文字幕在线| 亚洲成av人片天堂网| 好吊妞人成免费视频观看| 精品久久日产国产一区| 亚洲永久国产中文字幕| 国产精品久久国产精品99| 日韩国产精品一区二区Hd| 日韩av一区二区三区精品| 亚洲香蕉av一区二区三区| 国产成人一区二区三区| 国产啪精品视频网给免丝袜| 亚洲午夜精品国产一区二区三区| 蜜桃传媒一区二区亚洲av婷婷| 女邻居的大乳中文字幕| 久久精品免费无码区| 风间由美中文字幕在线| 80s国产成年女人毛片| 在线永久免费观看黄网站| 九九99久久精品在免费线97| 亚洲伊人久久大香线蕉| 内射人妻视频国内| 在线亚洲综合| 亚洲精品成人久久av| 精品久久久久久综合日本| 免费观看黄网站| 丁香九月综合激情| 99在线视频这里只有精品伊人| 亚洲国产精品ⅴa在线观看| 国产91 对白在线播放九色| 久久国产精品免费一区二区三区| 亚洲av无码无限在线观看 | 自拍av免费在线观看| 国产一精品一av一免费爽爽| 在线永久看片免费的视频| 亚洲av高清资源在线观看三区| 中文乱码字幕精品高清国产|