王 詔,王 燕,蘇國輝,史升凱

(青島海洋地質(zhì)研究所,山東 青島 266071)

0 引 言

中國遙感衛(wèi)星初步具備了全天時、全天候觀測能力[1],形成的遙感影像大數(shù)據(jù)已深入應(yīng)用到各行各業(yè),對國民生活和經(jīng)濟(jì)發(fā)展起到重要支撐作用[2]。但在遙感影像采集系統(tǒng)中,受光線變化及線陣相機(jī)硬件影響,成像過程中存在輻射響應(yīng)非均勻性、不同行或列讀出電路不一致等問題[3],在掃描方向上容易產(chǎn)生條帶噪聲。這種噪聲會對遙感影像質(zhì)量及后續(xù)分析產(chǎn)生極大影響,因此去除條帶噪聲是遙感影像預(yù)處理的關(guān)鍵一環(huán)。目前高分遙感影像分辨率能達(dá)到亞米級[4],每個像素都包含了大量信息,因此對遙感影像進(jìn)行降噪時需要最大化保留影像細(xì)節(jié)特征。而傳統(tǒng)圖像降噪方法如灰度信息統(tǒng)計法、數(shù)字濾波法[5-7],存在噪聲去除“不干凈”、丟失圖像細(xì)節(jié)信息、圖像模糊等問題,對圖像細(xì)節(jié)處理表現(xiàn)欠佳。

隨著大數(shù)據(jù)、計算機(jī)硬件的快速發(fā)展,基于卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法在圖像降噪[8]、圖像識別[9-10]、語義分割[11]等計算機(jī)視覺領(lǐng)域展現(xiàn)出了巨大潛力,這為遙感影像大數(shù)據(jù)降噪提供了參考技術(shù)與方法。Jain 等[12]在2008年率先利用CNN處理自然圖像的去噪問題,并且得到了與小波變換和馬爾可夫隨機(jī)場相近或更優(yōu)的去噪結(jié)果;Zhang等[13]提出了一種針對高斯噪聲的去噪模型DnCNN,結(jié)合殘差學(xué)習(xí)和批量歸一化(BN)技術(shù)提高了模型的降噪性能;Isogawa等[14]使用彈性收縮方法作為神經(jīng)網(wǎng)絡(luò)模型的激活函數(shù),并提出了一種針對彈性收縮閾值的比例系數(shù)優(yōu)化方法;Han等[15]提出了一種深度殘差學(xué)習(xí)結(jié)合U型網(wǎng)絡(luò)模型(Unet),用于預(yù)測稀疏角度的低劑量CT重建,該方法能較好提取圖片中的噪聲和條紋偽影特征。但以上降噪模型主要針對點(diǎn)狀噪聲,仍缺少影響深遠(yuǎn)的條帶噪聲降噪模型。

另外,隨著卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用逐漸深入,其結(jié)構(gòu)逐步從單一、多層結(jié)構(gòu)演變?yōu)閺?fù)雜、深層結(jié)構(gòu),參數(shù)量日漸龐大,例如,VGG16模型的參數(shù)量達(dá)到552 MB[9]。而參數(shù)的訓(xùn)練受限于樣本數(shù)據(jù)的規(guī)模,過參數(shù)化會導(dǎo)致模型過擬合,降低模型泛化能力。因此,權(quán)衡卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力與模型過參數(shù)化、過擬合問題是研究設(shè)計深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的重點(diǎn)內(nèi)容之一。大量學(xué)者[16]在輕量化網(wǎng)絡(luò)架構(gòu)上相繼提出了SqueezeNet、MobileNet-v1、GhostNet等,主要是將1*1卷積替換為3*3卷積,通過降低通道數(shù)來減小計算量和參數(shù)量。蔣曉奔針對泊松噪聲提出了一種多尺度并行模型CT-ReCNN[17],通過深度可分離卷積和空洞卷積輕量化模型參數(shù),縮短了模型訓(xùn)練時間。

總結(jié)以上問題,針對遙感影像條帶噪聲的復(fù)雜性,該文從條帶噪聲精準(zhǔn)識別與深度網(wǎng)絡(luò)模型輕量化設(shè)計兩方面考慮,引用混合空洞卷積、1*1卷積,提出一種階梯型多尺度深度卷積神經(jīng)網(wǎng)絡(luò)條帶降噪模型,通過圖像像素級別的降噪處理實(shí)現(xiàn)條帶噪聲影像精細(xì)降噪。

1 基本原理

1.1 感受野與卷積核

1962年,Hubel和Wiesel通過對貓視覺皮層細(xì)胞的研究,提出了感受野的概念。在卷積神經(jīng)網(wǎng)絡(luò)中,感受野是卷積神經(jīng)網(wǎng)絡(luò)每一層輸出特征圖上的像素點(diǎn)在輸入圖片上映射的區(qū)域大小,感受野越大,反映出的圖像信息越多、大尺度特征越好。卷積核是對圖像做卷積處理的卷積算子,即系數(shù)矩陣,通過卷積核對圖像進(jìn)行局部加權(quán)求和,逐步遍歷整張圖像,實(shí)現(xiàn)對圖像的局部感知到整體感知,卷積核大小一般為奇數(shù),如1*1、3*3、5*5。感受野的大小與卷積核有關(guān),具體地,當(dāng)前層的感受野大小與卷積核大小和卷積核移動步長有關(guān),同時也與上一層感受野的大小有關(guān),見公式(1)。

(1)

其中,Fi為第i層感受野,Ki為第i層卷積核大小,Stride為卷積核移動步長。

參數(shù)量與卷積核大小、通道數(shù)、偏置和批量歸一化(BN)[18]有關(guān),見公式(2)。

Ci=Ki*Ki*Ni*Mi+3Mi

(2)

其中,Ci為第i層參數(shù)量,Ni、Mi分別為第i層輸入輸出通道數(shù),當(dāng)包含偏置時,偏置數(shù)量為Mi,當(dāng)使用BN時,還需學(xué)習(xí)2個超參數(shù),參數(shù)量均為Mi,總量為2Mi。

由式(1)、(2)可知,當(dāng)使用大卷積核時,感受野會變大,但參數(shù)量也會增大,導(dǎo)致計算量突增,不利于網(wǎng)絡(luò)結(jié)構(gòu)深度的增加。

1.2 空洞卷積

空洞卷積于2016年在ICLR會議上被首次提出,主要用于圖像分割領(lǐng)域,解決圖像經(jīng)下采樣、上采樣后導(dǎo)致的信息丟失問題[19]?？斩淳矸e是在常規(guī)卷積上引入了一個擴(kuò)張率(Dilation rate)超參數(shù),該參數(shù)定義了卷積核處理數(shù)據(jù)時各值的間距,當(dāng)擴(kuò)張率大于1時,空洞卷積可以在增大感受野的同時,不增加參數(shù)量,如圖1所示。其中空洞卷積核大小KD計算公式見式(3),其中R為擴(kuò)張率。

在不考慮偏置與BN條件下,以3*3空洞卷積為例,當(dāng)擴(kuò)張率為1時,其感受野等效于3*3常規(guī)卷積,當(dāng)擴(kuò)張率為2時,其感受野等效于5*5常規(guī)卷積 ,但參數(shù)量仍為9N1N2,遠(yuǎn)低于5*5常規(guī)卷積的參數(shù)量25N1N2圖1 常規(guī)卷積核與空洞卷積核

KD=K+(K-1)(R-1)

(3)

2 階梯型多尺度神經(jīng)網(wǎng)絡(luò)降噪模型設(shè)計

2.1 總體模型設(shè)計

在圖像降噪領(lǐng)域應(yīng)用較多的卷積神經(jīng)網(wǎng)絡(luò)模型DnCNN、Unet[20]等,本質(zhì)上都屬于全卷積神經(jīng)網(wǎng)絡(luò)(FCN)[21]。FCN最開始由UC Berkeley提出,主要用于實(shí)現(xiàn)圖像像素級別處理與分類。與常規(guī)卷積神經(jīng)網(wǎng)絡(luò)不同的是,FCN去掉了網(wǎng)絡(luò)末端的全連接層,通過下采樣、上采樣過程,使網(wǎng)絡(luò)輸入、輸出張量大小保持一致。在卷積神經(jīng)網(wǎng)絡(luò)中下采樣、上采樣主要是通過池化和反卷積操作實(shí)現(xiàn)。池化是通過壓縮特征數(shù)據(jù)起到降低計算量的作用,但在壓縮特征時不可避免丟失圖像細(xì)節(jié)特征信息。由于遙感影像的特殊性,需要最大化保留圖像細(xì)節(jié)信息,因此該文不引入池化和反卷積操作,而是通過引入混合空洞卷積、調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)降低計算量。

在卷積神經(jīng)網(wǎng)絡(luò)中,低層小感受野能獲取分辨率更高的特征,其包含更多的細(xì)節(jié)、位置信息,但信息量少,高層大感受野能獲取信息量豐富的大尺度特征,但分辨率低,細(xì)節(jié)感知能力弱。通過特征融合,使用多尺度網(wǎng)絡(luò)結(jié)構(gòu),取長補(bǔ)短,能有效融合多尺度特征,提高多尺度條帶噪聲識別能力。

隨著卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)加深,易導(dǎo)致梯度消失、梯度爆炸、網(wǎng)絡(luò)退化等問題,目前多在網(wǎng)絡(luò)中引入BN、Dropout[22]操作來解決上述問題,而He等[10]從調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)角度提出一種殘差網(wǎng)絡(luò)來解決這一問題。殘差網(wǎng)絡(luò)是在常規(guī)權(quán)重層輸出外,使用恒等映射直接將輸入連接到輸出上,該輸出和權(quán)重層輸出做相加運(yùn)算得到最終的輸出。大量實(shí)驗(yàn)表明,殘差網(wǎng)絡(luò)能提高網(wǎng)絡(luò)性能,提高網(wǎng)絡(luò)的魯棒性和精確性。

綜上,該文設(shè)計的遙感影像條帶降噪模型,總體思想上依據(jù)FCN實(shí)現(xiàn)圖像像素級別的噪聲識別,以均方誤差(MSE)為目標(biāo)函數(shù),通過自適應(yīng)梯度優(yōu)化,實(shí)現(xiàn)噪聲圖到“干凈”圖的端到端映射,從而達(dá)到降噪目的,網(wǎng)絡(luò)結(jié)構(gòu)見圖2。具體地,在傳統(tǒng)FCN模型基礎(chǔ)上,摒棄池化、反卷積層,引用混合空洞卷積,在降低網(wǎng)絡(luò)計算量的前提下盡量保留圖像細(xì)節(jié)信息;使用多尺度網(wǎng)絡(luò)結(jié)構(gòu),提高多尺度、非周期復(fù)雜條帶噪聲的識別、降噪能力;優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),設(shè)計一種階梯型多尺度網(wǎng)絡(luò)結(jié)構(gòu),并且引入空洞卷積和1*1卷積,輕量化模型參數(shù);在每一層卷積層后,加入BN正則化層和LeakyReLU激活函數(shù)層,緩解梯度爆炸或梯度消失問題,加快收斂速度;在深層網(wǎng)絡(luò)處引入Dropout和殘差網(wǎng)絡(luò),優(yōu)化深度網(wǎng)絡(luò)學(xué)習(xí)能力,提高降噪模型的魯棒性和精準(zhǔn)性。

圖2 階梯型多尺度卷積神經(jīng)網(wǎng)絡(luò)降噪模型網(wǎng)絡(luò)結(jié)構(gòu)

2.2 階梯型多尺度網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

該文在傳統(tǒng)多尺度網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上,提出一種階梯型多尺度網(wǎng)絡(luò)結(jié)構(gòu),其能在不使用大卷積核、不增加卷積核數(shù)量的基礎(chǔ)上,實(shí)現(xiàn)多尺度串、并行結(jié)構(gòu)的輕量化網(wǎng)絡(luò)結(jié)構(gòu),網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。由式(2)可知,卷積核越大,網(wǎng)絡(luò)層參數(shù)量以卷積核大小K的二次方形式增長,因此設(shè)計的網(wǎng)絡(luò)卷積層僅由1*1卷積和3*3空洞卷積構(gòu)成,通過擴(kuò)張率超參數(shù)R靈活調(diào)整空洞卷積感受野大小,依據(jù)式(1)可知,當(dāng)前層感受野大小與上一層感受野大小有關(guān),因此以串行連接方式可以逐階梯增加感受野大小,然后通過并行連接實(shí)現(xiàn)多層不同尺度特征融合。與傳統(tǒng)多尺度網(wǎng)絡(luò)結(jié)構(gòu)對比,在保持卷積核數(shù)量不變的前提下,階梯型多尺度網(wǎng)絡(luò)結(jié)構(gòu)通過改變網(wǎng)絡(luò)層連接方式,摒棄大卷積核,僅采用3*3空洞卷積可等效實(shí)現(xiàn)多尺度感受野融合。因?yàn)殡A梯型多尺度網(wǎng)絡(luò)結(jié)構(gòu)采用小卷積核代替大卷積核,由式(2)知,設(shè)置合適的輸入層、輸出層通道數(shù),可以大大減少參數(shù)量。為簡化闡述,假設(shè)輸入輸出通道數(shù)一致,參數(shù)量對比見表1,當(dāng)尺度數(shù)為5時,參數(shù)量壓縮至22.4%,隨著尺度數(shù)量越多,參數(shù)量壓縮效果越明顯。

表1 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量對比

(a)傳統(tǒng)多尺度網(wǎng)絡(luò)結(jié)構(gòu)示意

(b)階梯型多尺度網(wǎng)絡(luò)結(jié)構(gòu)示意(當(dāng)R=1時)圖3 多尺度網(wǎng)絡(luò)結(jié)構(gòu)對比

為便于參數(shù)量對比,簡化模型參數(shù),假設(shè)尺度以等差數(shù)列形式增長,n為多尺度數(shù)量,組合卷積中的1*1卷積通道數(shù)為0.25N,其余卷積層輸入輸出通道數(shù)均為N。

2.3 混合空洞卷積設(shè)計

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)越深、卷積核越大,其感受野越廣闊,能獲得基于簡單特征合成的越復(fù)雜的特征,但訓(xùn)練模型需要的計算資源、時間成本越多。受硬件環(huán)境限制,為盡可能獲得高性能模型,同時降低模型訓(xùn)練的計算資源和時間成本,主要采用3*3空洞卷積,設(shè)置擴(kuò)展率超參數(shù)來增加感受野。但多個空洞卷積疊加使用時,雖然會增大感受野,但會損失圖像信息的連續(xù)性。因此,有人提出混合空洞卷積[23]的概念以解決圖像信息不連續(xù)問題,其主要有如下兩個特征:①疊加的空洞卷積的擴(kuò)展率不能有大于1的公約數(shù)(例如[2,4,6]),不然會產(chǎn)生柵格效應(yīng)。②設(shè)計鋸齒狀空洞卷積網(wǎng)絡(luò)結(jié)構(gòu),例如[1,2,5,1,2,5]的循環(huán)結(jié)構(gòu)。該文借鑒混合空洞卷積思想,設(shè)置混合空洞卷積擴(kuò)展率組合主要有[1,2][1,2,5][1,2,5,7][1,3,5,7]。

2.4 1*1卷積網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

1*1卷積最早在network in network網(wǎng)絡(luò)結(jié)構(gòu)中被提出,是卷積核大小為1的特殊卷積。使用1*1卷積可以在保證感受野大小不變的條件下,通過降低通道數(shù)的方式壓縮參數(shù)量。如圖4所示,如果在輸入層與輸出層之間增加一個1*1卷積操作,參數(shù)量由式(4)變?yōu)槭?5),當(dāng)中間層通道數(shù)N2滿足式(6)條件時,達(dá)到壓縮參數(shù)量的目的。因此,該文設(shè)計主干網(wǎng)絡(luò)、階梯型多尺度網(wǎng)絡(luò)時,在通道數(shù)大的兩個卷積層間適當(dāng)引入1*1卷積,能在不降低網(wǎng)絡(luò)識別性能的前提下,進(jìn)一步壓縮卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)量。

C1=N1N2+K2N2N3

(4)

C2=K2N1N3

(5)

(6)

3 實(shí) 驗(yàn)

3.1 遙感影像數(shù)據(jù)處理

遙感圖像條帶噪聲可能呈周期性分布,可能呈非周期性均勻分布,也可能是非均勻分布;條帶噪聲的寬度或?qū)捇蛘?呈多尺度分布;條帶噪聲帶有一定方向性,但方向不定,可能垂直、水平或傾斜分布。對于一幅含噪聲遙感圖像,其加性噪聲方程式為:

X'=X+N

(7)

其中,X'為含噪圖像,X為純凈圖像,N為噪聲矩陣。

根據(jù)式(7)對公開數(shù)據(jù)集CCF-BDCI2020的純凈遙感圖像進(jìn)行加噪處理,生成覆蓋率分別為0.2、0.5、0.8的均質(zhì)多尺度非周期條帶噪聲圖和覆蓋率為0.5的非均質(zhì)多尺度非周期條帶噪聲圖,并對圖像像素值進(jìn)行歸一化處理,生成便于進(jìn)行圖像降噪實(shí)驗(yàn)的遙感條帶噪聲影像。

3.2 降噪實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)為純凈的遙感影像和加噪遙感影像,噪聲為非均質(zhì)多尺度非周期條帶噪聲,圖像大小為256*256(像素),共計11 000幅,以8∶2∶1的比例分為訓(xùn)練集、測試集和驗(yàn)證集。以加噪遙感影像數(shù)據(jù)作為網(wǎng)絡(luò)輸入層、純凈遙感影像數(shù)據(jù)作為網(wǎng)絡(luò)輸出層,迭代訓(xùn)練出降噪模型。實(shí)驗(yàn)在一臺高性能計算工作站中進(jìn)行,顯卡為NVIDIA Tesla P100-PCIE-12GB(2片),處理器為Intel(R) Xeon(R) CPU E5-2650 v4@ 2.20 GHz(2處理器),內(nèi)存為128 G。

根據(jù)圖2網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練獲得SmCNN模型,其大小為5.40 MB。定量化評價階梯型多尺度卷積神經(jīng)網(wǎng)絡(luò)模型降噪性能, 用訓(xùn)練好的SmCNN模型對不同條帶噪聲進(jìn)行降噪處理,選擇均方誤差(MSE)、峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)[24]三項(xiàng)圖像降噪質(zhì)量評價指標(biāo)評定降噪效果。由表2可知,對于均質(zhì)、非均質(zhì)多尺度條帶噪聲都表現(xiàn)出較好的降噪性能,SmCNN模型具備較好的泛化能力。與純凈原始影像對比,降噪圖像均方誤差達(dá)到e-04數(shù)量級、峰值信噪比均大于30、結(jié)構(gòu)相似性均達(dá)到0.97以上,但隨著噪聲覆蓋率的提高,模型降噪性能有所降低,在噪聲覆蓋率相同的情況下,對均質(zhì)噪聲降噪性能更好。定性觀察降噪性能(見圖5),肉眼幾乎很難察覺到降噪圖與原始影像的差異,對原始影像的細(xì)節(jié)信息保留較好。

表2 不同條帶噪聲圖降噪定量對比

圖5 不同條帶噪聲圖降噪定性對比

將SmCNN模型與現(xiàn)在主流的FCN模型和傳統(tǒng)的圖像去噪方法進(jìn)行降噪效果對比。為保證實(shí)驗(yàn)公平性,對DnCNN、Unet及SmCNN這類FCN模型,采用相同的非均質(zhì)非周期多尺度噪聲圖作為訓(xùn)練集、測試集和驗(yàn)證集,并設(shè)置相同的自適應(yīng)優(yōu)化器Adam與訓(xùn)練參數(shù)。各模型降噪性能見表3、圖6。分析結(jié)果可知,傅里葉變換、小波變換這類傳統(tǒng)降噪方法降噪性能明顯弱于FCN模型,其中使用傅里葉變換濾噪能獲得結(jié)構(gòu)相似性較高的降噪圖,但在圖像有效信息保留上不如FCN模型;其中,使用Unet模型降噪,圖像細(xì)節(jié)會模糊,且均方誤差較大;而對于DnCNN和SmCNN模型,肉眼幾乎看不出降噪后的圖像與原圖的差別,且SmCNN相對于DnCNN,在三項(xiàng)圖像降噪質(zhì)量評價指標(biāo)上分別提高了61.2%、11.8%和0.7%。

表3 不同方法降噪定量對比

圖6 不同方法對非均質(zhì)非周期多尺度噪聲降噪性能定性比較

由實(shí)驗(yàn)可知,DnCNN與SmCNN均具備較好的降噪性能,對比兩種模型訓(xùn)練時間,見表4中的結(jié)構(gòu)1、3,文中模型由于引入了階梯型多尺度網(wǎng)絡(luò)結(jié)構(gòu),參數(shù)量、網(wǎng)絡(luò)層數(shù)增加了1倍左右,模型訓(xùn)練時間也翻倍。

表4 模型參數(shù)量和訓(xùn)練時間對比

模型訓(xùn)練數(shù)據(jù)集10 000幅,epoch為100。參數(shù)、模型訓(xùn)練時間壓縮程度均以上一種模型為基準(zhǔn)。

為驗(yàn)證文中卷積神經(jīng)網(wǎng)絡(luò)模型輕量化效果,對比SmCNN與未作輕量化處理的SmCNN的模型參數(shù)量、神經(jīng)網(wǎng)絡(luò)層數(shù)與訓(xùn)練時間,具體結(jié)果見表4中的模型2、3。由于SmCNN使用階梯型多尺度網(wǎng)絡(luò)結(jié)構(gòu),采用混合空洞卷積等效代替常規(guī)卷積,并適當(dāng)引入了1*1卷積,其參數(shù)量、網(wǎng)絡(luò)層數(shù)相對于模型2分別壓縮了66.19%和56.56%,節(jié)約了53.11%的模型訓(xùn)練時間,但仍比模型1多了一倍有余的模型訓(xùn)練時間。

4 結(jié)束語

針對遙感影像復(fù)雜條帶噪聲,設(shè)計了一種階梯型多尺度卷積神經(jīng)網(wǎng)絡(luò)降噪模型,高度融合高、低層網(wǎng)絡(luò)的特征信息,以提高非均質(zhì)、高覆蓋、多尺度條帶噪聲識別、去除能力。實(shí)驗(yàn)證明,該多尺度降噪模型對不同覆蓋率、非均質(zhì)的多尺度非周期條帶噪聲,都具備優(yōu)秀的降噪能力。與其他降噪方法相比,其降噪性能明顯優(yōu)于傳統(tǒng)傅里葉濾波降噪和小波系數(shù)閾值降噪方法,與經(jīng)典的DnCNN、Unet降噪模型相比,由于SmCNN提高了對多尺度條帶噪聲的檢測能力,且引用混合空洞卷積,彌補(bǔ)了深度空洞卷積層特征提取不連續(xù)問題,使其在均方誤差、峰值信噪比、結(jié)構(gòu)相似性三個圖像降噪質(zhì)量評價指標(biāo)上有明顯提高。同時,通過設(shè)計階梯型網(wǎng)絡(luò)結(jié)構(gòu)、引入特殊卷積以輕量化卷積神經(jīng)網(wǎng)絡(luò)模型,大幅度降低了模型復(fù)雜度,提高了模型訓(xùn)練速度。

受硬件環(huán)境制約,更深、更寬、更靈活多變的階梯型多尺度網(wǎng)絡(luò)結(jié)構(gòu)對復(fù)雜條帶噪聲有效識別仍需進(jìn)一步驗(yàn)證。下一步將模塊化引入階梯型多尺度網(wǎng)絡(luò)結(jié)構(gòu),加強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)、超參數(shù)的科學(xué)性研究,提高模型的準(zhǔn)確度與泛化能力。