胡富杰，呂偉才*，周福陽，郭曉慧，盧?？?/p>

(1.安徽理工大學(xué) 空間信息與測繪工程學(xué)院，安徽 淮南 232001；2.安徽理工大學(xué) 礦區(qū)環(huán)境與災(zāi)害協(xié)同監(jiān)測煤炭行業(yè)工程研究中心，安徽 淮南 232001；3.安徽理工大學(xué)礦山采動災(zāi)害空天地協(xié)同監(jiān)測與預(yù)警安徽普通高校重點(diǎn)實驗室，安徽 淮南 232001；4.東華理工大學(xué) 測繪與空間信息工程學(xué)院，江西 南昌 330013)

0 引言

滑坡是一種典型的地質(zhì)災(zāi)害,對人們生命財產(chǎn)安全和自然環(huán)境造成了嚴(yán)重的威脅。因此,如何在短時間內(nèi)對滑坡進(jìn)行精確提取已經(jīng)成為當(dāng)下研究的熱點(diǎn)問題?；碌刭|(zhì)災(zāi)害在貴州和四川等地發(fā)生尤為頻繁,該地區(qū)內(nèi)的滑坡范圍大、持續(xù)時間長、崩塌速度快,這些問題是快速提取滑坡的難點(diǎn)之一。此外,由于滑坡主要發(fā)生在背景復(fù)雜的山體地區(qū),滑坡現(xiàn)場土質(zhì)疏松、碎石多,且受到覆蓋密度較大的樹木和地形的影響,調(diào)查人員難以到達(dá)災(zāi)害發(fā)生地點(diǎn),所以準(zhǔn)確提取滑坡已成為國家自然災(zāi)害等部門快速救援的巨大難題。

遙感技術(shù)作為實時、動態(tài)的新型滑坡提取手段,不僅可以對滑坡進(jìn)行監(jiān)測分析,而且還可以對災(zāi)后滑坡進(jìn)行范圍估算。但是對于較為精細(xì)化的滑坡提取,衛(wèi)星遙感由于時間、環(huán)境等條件限制,提取滑坡的時效性很難達(dá)到對滑坡應(yīng)急的需求。以往遙感技術(shù)提取滑坡的方法可以歸納為監(jiān)督分類和面向?qū)ο蠓诸惙?。針對于監(jiān)督分類的方法,傅文杰等[1]提出了支持向量機(jī)方法的原理和滑坡提取的過程,為后期滑坡的災(zāi)害建設(shè)提供了一定的理論基礎(chǔ)。牛全福等[2]利用監(jiān)督分類、密度分割和面向?qū)ο蟮募夹g(shù),分析了不同時期,即地震前和地震后的數(shù)據(jù),進(jìn)行遙感應(yīng)用快速提取滑坡。許沖[3]基于ENVI平臺,對湔江流域的一部分SPOT5影像用最大似然法進(jìn)行了滑坡的自動提取,結(jié)果顯示正確率達(dá)到35.52%?；谧畲笏迫环ㄋ崛〉降幕戮绕毡檩^低,陳勇國等[4]結(jié)合TM影像和數(shù)字高程模型(Digital Elevation Model,DEM)數(shù)據(jù),通過決策樹模型提取了3期滑坡災(zāi)害,相比于最大似然法,分類在精度上有了明顯提高。黃維江[5]通過基于監(jiān)督分類的支持向量機(jī)方法、基于規(guī)則的多尺度分割方法和基于三維分析技術(shù)3種提取滑坡手段進(jìn)行研究區(qū)滑坡提取,其中多尺度分割方法識別滑坡百分比達(dá)到了94.3%,三維分析技術(shù)方法經(jīng)過2期的DEM數(shù)據(jù)變化檢測,直觀顯示了滑坡變化區(qū)域范圍。但監(jiān)督分類的方法由于以像元的光譜信息為根本依據(jù),難以表達(dá)同一地物本身的光譜特性而不能滿足遙感信息快速提取的需要。針對上述問題,許多研究人員提出了大量面向?qū)ο蟮姆诸惙椒?如閆琦等[6]根據(jù)改進(jìn)otsu算法,利用2008年汶川地震后ADS40航空遙感影像的光譜、形狀和紋理等特征進(jìn)行滑坡的提取,在時間和精度上都滿足地震災(zāi)害應(yīng)急的要求。宿方睿等[7]基于ENVI5.1和eCognition軟件平臺,采用面向?qū)ο蠓诸惙ɡ酶叻直媛蔠orld View-2以及Landsat遙感衛(wèi)星數(shù)據(jù)進(jìn)行處理并同時提出GVI模型,為判別古滑坡和新滑坡提供了理論依據(jù)。上述傳統(tǒng)方法雖然利用了影像的光譜、紋理和形狀等信息,但并未對該信息進(jìn)行深層次挖掘,無法提取滑坡的高級語義信息,從而導(dǎo)致對滑坡的提取精度不高,邊緣分割不準(zhǔn)確。

相比之下,深度學(xué)習(xí)方法不僅能夠提取滑坡的淺層特征和高級語義信息,而且還能精確地檢測滑坡以及分割滑坡邊緣,在實踐中表征出較高的識別準(zhǔn)確度。其中常用的深度學(xué)習(xí)方法都是通過卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)進(jìn)行特征提取的,如SU-Net[8]、E-Unet[9]。為了驗證CNN所能提取到滑坡的精度,Bragagnolo等[10]使用U-Net模型在尼泊爾喜馬拉雅地區(qū)進(jìn)行山體滑坡檢測,F1得分最高為67%。針對樣本數(shù)據(jù)的不足和方法的創(chuàng)新,付蕭等[11]以2013年4月20的蘆山地震區(qū)域為研究區(qū),自制標(biāo)簽樣本庫,引入遷移學(xué)習(xí)的方法進(jìn)行滑坡的提取,總體精度(Overall Accuracy,OA)值達(dá)到了87.2%,僅僅耗時0.8 h,為滑坡的提取提供了具體的新型解決思路。許瀕支[12]以四川蘆山、九寨溝的地震區(qū)為研究區(qū),構(gòu)建了完整的樣本數(shù)據(jù)庫,設(shè)計了合理的數(shù)據(jù)擴(kuò)充方法,提出了多尺度深度注意力模型和一種評價指標(biāo),結(jié)果顯示在評價指標(biāo)中其模型的精度優(yōu)于FCN-16s、U-Net、ResNet50等模型,驗證了模型的合理性。由于滑坡結(jié)構(gòu)復(fù)雜,困難樣本提取較多,姜萬冬等[13]以畢節(jié)滑坡數(shù)據(jù)集實驗并用天水地區(qū)震區(qū)數(shù)據(jù)驗證,針對困難樣本進(jìn)行數(shù)據(jù)增強(qiáng)并將困難樣本輸入到Mask R-CNN網(wǎng)絡(luò)進(jìn)行滑坡精細(xì)檢測分割,平均準(zhǔn)確率達(dá)到了90.3%,驗證了算法的可行性。

然而CNN中卷積操作本身感受野有限,不能很好地利用全局信息,局部信息中遠(yuǎn)距離像素依賴關(guān)系不足。為了解決CNN的局限性,Transformer模型在處理語義分割領(lǐng)域表征出巨大的廣泛應(yīng)用。Transformer[14]是一種基于自注意力機(jī)制的模型,不僅對全局建模有極大的優(yōu)勢,而且在大規(guī)模的預(yù)訓(xùn)練中,體現(xiàn)出對下游任務(wù)優(yōu)越的可轉(zhuǎn)移性。針對CNN的局限性,Dosovitskiy等[15]基于自注意力機(jī)制提出改進(jìn)的Transformer 模型ViT,其結(jié)構(gòu)框架方面與 Transformer 相同,該模型的提出在圖像識別領(lǐng)域達(dá)到先進(jìn)水平。同年Carion 等[16]基于Transformer提出了DETR(一種端到端目標(biāo)檢測),其性能取得了與 Faster R-CNN 相當(dāng)?shù)乃?。Esser 等[17]構(gòu)建了VQGAN模型,將 Transformer 和 CNN 結(jié)合應(yīng)用,進(jìn)一步解決了感受野受限的問題。

本文針對傳統(tǒng)滑坡提取中滑坡邊緣信息不足、提取效果差且自動化程度低的現(xiàn)狀,采用CNN和Transformer融合的流對齊TransUNet(Flow Alignment TransUNet,FATransUNet)模型,創(chuàng)新性在于基于傳統(tǒng)的Transformer中多頭自注意力(Multi-Head Self-Attention,MSA)優(yōu)化為高效多頭自注意力(Efficient Multi-Head Self-Attention,EMSA)及流對齊模塊(Flow Alignment Module,FAM)的引入,有效地將模型提取到的局部信息與全局信息結(jié)合,實現(xiàn)高低分辨率特征圖的融合,從而獲得更深層語義信息并進(jìn)行滑坡的分割。為了驗證FATransUNet提取滑坡的性能,本文對5種模型以及模型的參數(shù)量和推理時間等理論性能指標(biāo)進(jìn)行對比實驗。

1 材料和方法

1.1 數(shù)據(jù)來源

本文采用畢節(jié)滑坡公開數(shù)據(jù)集作為實驗數(shù)據(jù),來驗證各模型的泛化性。研究區(qū)位于中國貴州省畢節(jié)市,面積約26 853 km2,海拔450～2 869 m,采集數(shù)據(jù)時間為2018年5—8月,該數(shù)據(jù)集遙感影像由TripleSat(北京二號)衛(wèi)星采集,影像分辨率0.8 m。其中包含770幅滑坡圖像和2 003幅非滑坡圖像。

1.2 數(shù)據(jù)預(yù)處理

由于畢節(jié)滑坡數(shù)據(jù)集只有770個滑坡樣本,為了避免數(shù)據(jù)量過少導(dǎo)致模型在訓(xùn)練過程中出現(xiàn)過擬合,同時提高模型的泛化性和魯棒性,本文采用數(shù)據(jù)增強(qiáng)的方式來進(jìn)行數(shù)據(jù)擴(kuò)充。數(shù)據(jù)增強(qiáng)由4種圖像變換組成:① 水平和垂直翻轉(zhuǎn);② 旋轉(zhuǎn)215°;③ 像素亮度值在50%～150%變化;④ 對比度在50%～150%變化。數(shù)據(jù)增強(qiáng)后最終獲得3 850個滑坡樣本,為了避免樣本之間的相似度過高對模型訓(xùn)練的影響,本文對增強(qiáng)后的數(shù)據(jù)進(jìn)行隨機(jī)打亂,將總數(shù)據(jù)集中80%用于模型的訓(xùn)練和驗證,20%用于測試。由于畢節(jié)滑坡數(shù)據(jù)集大小并不統(tǒng)一,本文利用填充和剪切的方法,將圖像設(shè)置為統(tǒng)一大小256 pixel×256 pixel。

1.3 FATransUNet網(wǎng)絡(luò)

Transformer塊中MSA的內(nèi)存和計算量與空間維度或嵌入維度(即通道數(shù))成二次方關(guān)系,導(dǎo)致訓(xùn)練和推理開銷較大。與此同時MSA中每個頭只負(fù)責(zé)嵌入維數(shù)的一個子集,這可能會損害網(wǎng)絡(luò)的性能,基于傳統(tǒng)的Transformer中MSA優(yōu)化為EMSA。原始的跳躍連接、特征拼接和解碼階段中的上采樣操作較為復(fù)雜,FAM既簡化了運(yùn)算過程,又有效融合了淺層中的高分辨率信息。針對以上不足,提出一種改進(jìn)的FATransUNet模型。

1.3.1 FATransUNet網(wǎng)絡(luò)結(jié)構(gòu)

FATransUNet的整體架構(gòu)如圖1所示,該模型是一個結(jié)合了CNN和Efficient Transformer的改進(jìn)混合架構(gòu)模型。FATransUNet模型受到UNet結(jié)構(gòu)的啟發(fā),同樣采用編碼-解碼結(jié)構(gòu)。

圖1 FATransUNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 FATransUNet network framework

FATransUNet編碼階段由兩部分組成,分別是CNN局部信息提取部分和Efficient Transformer全局信息提取部分,其中CNN部分采用ResNet-50架構(gòu)。Efficient Transformer部分中,在二維序列輸入到Efficient Transformer Layer之前,網(wǎng)絡(luò)會在序列中加入位置編碼,保留各個圖像塊的空間信息。之后將序列輸入到改進(jìn)的12層的Efficient Transformer模塊中進(jìn)行全局信息的提取。Efficient Transformer編碼器由EMSA和多層感知器(Multi-Layer Perceptron, MLP)塊組成。對于Efficient Transformer編碼的第L層,假設(shè)輸入為Zl-1,輸出為Zl,則其計算公式為:

(1)

(2)

式中:LN表示實例層歸一化算子,Zl表示編碼的圖像。

FATransUNet解碼階段的效果是將編碼器處理得到的特征圖的尺寸恢復(fù)成輸入圖像的同樣大小尺寸,實現(xiàn)端到端的網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練。將編碼階段輸出的序列進(jìn)行reshape后,通過一個卷積層將特征圖通道數(shù)由768轉(zhuǎn)換為512,之后進(jìn)行3次FAM模塊和3次上采樣操作,最后經(jīng)過一個Segmentation Head層,將特征圖通道數(shù)轉(zhuǎn)換為類別數(shù),得到分割結(jié)果。

FAM模塊如圖2所示,將高分辨率特征圖和低分辨率特征圖結(jié)合生成語義流場,利用語義流場將低分辨率特征圖轉(zhuǎn)化為高分辨率特征圖。

圖2 FAM結(jié)構(gòu)Fig.2 FAM framework

具體為給定2個相鄰的特征圖F2和F1具有相同的通道數(shù),本文通過雙線性插值層將F2上采樣到與F1相同的大小,然后將它們拼接在一起,并將拼接后的特征圖作為包含2個卷積層的子網(wǎng)絡(luò)的輸入,卷積層的核大小為3×3,之后進(jìn)行一個無參數(shù)的變形過程的融合輸出進(jìn)行新特征圖的疊加產(chǎn)生。

變形過程如圖3所示,采用的是可微雙線性采樣機(jī)制,對于空間網(wǎng)格上的每個位置通過加法操作映射后的點(diǎn)線性插值(左上、右上、左下和右下)的值來近似FAM的最終輸出。與普通的雙線性上采樣特征相比,變形特征在結(jié)構(gòu)上更加整潔,并導(dǎo)致滑坡更一致的表示。

圖3 變形過程Fig.3 Warp process

1.3.2 網(wǎng)絡(luò)訓(xùn)練參數(shù)

本實驗平臺采用Windows 11 64位操作系統(tǒng);AMD R7-5800H@3.20 GHz 八核處理器,16 GB內(nèi)存;NVIDIA?GeForce RTX 3060 6 GB顯卡。在軟件環(huán)境方面,本文以PyTorch作為后端的深度學(xué)習(xí)框架,使用CUDA11.3版本的GPU運(yùn)算平臺以及對應(yīng)的CUDNN深度學(xué)習(xí)GPU加速庫。

在訓(xùn)練過程中,本文使用相同的數(shù)據(jù)集對6個模型進(jìn)行訓(xùn)練,模型均采用相同的訓(xùn)練方案,并未使用遷移學(xué)習(xí)方法(預(yù)先訓(xùn)練的權(quán)重)。所有模型在訓(xùn)練過程中使用同一組超參數(shù),超參數(shù)是經(jīng)過測試,并考慮每個模型的訓(xùn)練情況確定的。優(yōu)化策略、批次大小、初始學(xué)習(xí)率、權(quán)重衰減系數(shù)和訓(xùn)練次數(shù)分別為Adam、4、0.000 1、0.001和60。學(xué)習(xí)率衰減策略采用PyTorch中的StepLR方法。目前常見的損失函數(shù)是交叉熵?fù)p失函數(shù)(Lce),由于滑坡數(shù)據(jù)集正樣本相比負(fù)樣本所占比例較小,本文為了避免模型對樣本較少的類別產(chǎn)生偏向性,以交叉熵?fù)p失和Dice損失(LDice)構(gòu)建的混合損失函數(shù)(Ltotal)來更新網(wǎng)絡(luò)的權(quán)重,混合損失函數(shù)見式(3)。交叉熵?fù)p失函數(shù)從全局上考察模型訓(xùn)練情況,計算量較少,有助于網(wǎng)絡(luò)穩(wěn)定擬合。Dice損失函數(shù)則從微觀上將逐像素拉近,減輕了樣本的不平衡。交叉熵?fù)p失函數(shù)和Dice損失函數(shù)公式為:

Ltotal=0.5Lce+0.5LDice,

(3)

(4)

(5)

1.3.3 精度評價指標(biāo)

本文選取精確度(Precision,P),召回率(Recall,R),平均交互比(mIoU)和F1-score(F1)四種常用的語義分割評價指標(biāo)來全面客觀地評估分類結(jié)果,同時驗證分割模型的準(zhǔn)確度和有效性。

(6)

(7)

(8)

(9)

式中:TP、FP、FN、TN分別表示滑坡正確分類的像素點(diǎn)數(shù)量、背景錯誤識別成滑坡的像素點(diǎn)數(shù)量、滑坡分割被識別成背景的像素點(diǎn)數(shù)量、背景正確分類的像素點(diǎn)數(shù)量。

4種評價指標(biāo)的取值均為[0,1],數(shù)值越接近1,代表分割結(jié)果越顯著。

2 結(jié)果與討論

2.1 模型訓(xùn)練過程

FCN、U-Net、SegNet、DeepLabV3+、TransUNet和FATransUNet的訓(xùn)練過程如圖4所示。圖中U-Net的訓(xùn)練損失最先在第20個epoch趨于平穩(wěn)且收斂;其次是FATransUNet的損失第25個epoch左右收斂;FCN和DeepLabV3+的損失隨著epoch的增加逐漸降低,均在第30個epoch左右上下浮動;TransUNet和SegNet的損失變化較慢,在第40個epoch左右時才趨于穩(wěn)定。由于FATransUNet模型訓(xùn)練過程中迭代的參數(shù)較多,但是收斂速度僅次于U-Net,同時FATransUNet是基于TransUNet的改進(jìn)且收斂速度快于TransUNet,證明了EMSA和FAM兩個模塊在改善收斂速度上的有效性。

圖4 訓(xùn)練集和驗證集損失變化Fig.4 Loss variation of training dataset and validation dataset

2.2 滑坡提取結(jié)果

為了驗證該模型在滑坡提取方面的顯著效果,本研究進(jìn)一步使用FCN、U-Net、SegNet、DeepLabV3+和TransUNet五種語義分割模型來對比評估FATransUNet模型的性能。對比實驗結(jié)果如表1所示,FATransUNet模型滑坡提取的精度最高,其次是DeepLabv3+、TransUNet、SegNet、U-Net,精度最低的為FCN,同時FATransUNet模型識別滑坡的精確度、召回率、F1評分和mIoU分別比FCN模型高0.210、0.138、0.175和0.149。由于FCN網(wǎng)絡(luò)是首個端對端的針對像素級預(yù)測的全卷積網(wǎng)絡(luò),其原理是通過將VGG16網(wǎng)絡(luò)結(jié)構(gòu)中的全連接層替換為卷積層,將圖像經(jīng)過下采樣后再通過雙線性插值方法上采樣回原始圖像分辨率,但受到卷積層固有的局限性,造成圖像下采樣過程后無法保留高分辨率信息,從而導(dǎo)致對較小物體的邊界分割效果較差,如圖5(c)所示,在U-Net、SegNet和DeepLabV3+網(wǎng)絡(luò)結(jié)構(gòu)中,由于引入了空洞卷積層和跳躍連接,不同程度地減緩了下采樣過程中特征圖高分辨率信息的損失,因此對滑坡邊緣的分割效果較好,DeepLabV3+存在提取少量空洞現(xiàn)象,U-Net邊緣角點(diǎn)提取效果略差、容易模糊,如圖5(d)～圖5(f)所示;對于較為復(fù)雜的滑坡,TransUNet的邊緣效果很差,如圖5(g)所示,SegNet和TransUNet 的結(jié)果“椒鹽效應(yīng)”較為明顯,存在大量誤提和漏提,田地等與滑坡顏色屬性相近的區(qū)域容易形成不確定區(qū)域;如圖5(h)所示,FATransUNet網(wǎng)絡(luò)是將CNN卷積和Transformer注意力機(jī)制進(jìn)行了融合,因此FATransUNet能夠?qū)W習(xí)到圖像的全局語義交互信息,不僅對于全局建模有極大的優(yōu)勢,而且在大規(guī)模的預(yù)訓(xùn)練中,體現(xiàn)出對下游任務(wù)優(yōu)越的可轉(zhuǎn)移性,提取到的滑坡信息保留較完整,特征提取穩(wěn)定,因此滑坡提取更接近真實滑坡。

表1 不同模型指標(biāo)對比結(jié)果

圖5 模型預(yù)測結(jié)果Fig.5 Model predict results

實驗表明FATransUNet效果優(yōu)于其他幾種模型,能有效、合理、準(zhǔn)確地提取到滑坡的細(xì)節(jié)信息,提取較為穩(wěn)定,細(xì)節(jié)保留度高?？紤]到滑坡已經(jīng)形成較長時間,滑坡附近植被居多,有些滑坡已經(jīng)被植被覆蓋,顯示為綠色,所以其滑坡特征并不突出,想要準(zhǔn)確地分離滑坡和植被不太容易。由于這種類型的滑坡過于復(fù)雜,根據(jù)這6種模型來看滑坡的識別效果,除了FCN提取效果較差,其他5種較優(yōu),FATransUNet模型可以分解為從周圍植被的特征來看滑坡,進(jìn)行邊界的精細(xì)化分割。

2.3 不同網(wǎng)絡(luò)時間、參數(shù)量性能統(tǒng)計

對于滑坡發(fā)生期間,往往按照區(qū)域受災(zāi)面積、受災(zāi)程度進(jìn)行不同優(yōu)先級的決策,時間上的有效性和精度上的準(zhǔn)確性是應(yīng)急部門開展應(yīng)急救援的重要保障,因此實驗分析了訓(xùn)練時間、推理時間和參數(shù)量,盡管FATransUNet在泛化能力上是最好的模型,但是由于12個Transformer層的堆疊,導(dǎo)致訓(xùn)練時間和參數(shù)量的增長。性能統(tǒng)計如表2所示,可以看出,FATransUNet的訓(xùn)練時間、推理時間和參數(shù)量處于中間水平,其中訓(xùn)練時間、推理時間分別是FCN的2.3倍和3.1倍,但是參數(shù)量低于FCN,是DeepLabV3+參數(shù)量的5.9倍,表征出FATransUNet在滑坡提取中的應(yīng)用還是有很大的創(chuàng)新潛力。

表2 時間和參數(shù)量分析結(jié)果

3 結(jié)束語

TransUNet的提出最早用于醫(yī)學(xué)圖像分割,并取得了較高的分割性能[17]。針對該模型在提取全局信息和局部信息的優(yōu)勢,能對圖像中的較小目標(biāo)實現(xiàn)精確度檢測和分割,許多研究人員基于該模型進(jìn)行變化檢測、醫(yī)學(xué)圖像分割和滑坡檢測等方面的研究,取得了不錯的效果[18-20]。本文將CNN和改進(jìn)的高效Transformer結(jié)合的混合架構(gòu)模型——FATransUNet應(yīng)用于滑坡提取,以畢節(jié)滑坡數(shù)據(jù)集為樣本,使用FCN、U-Net、SegNet、DeepLabV3+和TransUNet五種傳統(tǒng)的CNN進(jìn)行對比實驗,評估了FATransUNet的滑坡提取性能。實驗表明FATransUNet模型的F1評分和mIoU達(dá)到了91%,均高于其他5種CNN模型。此外,本文進(jìn)一步通過數(shù)據(jù)集數(shù)量和模型的參數(shù)量、訓(xùn)練時間和推理時間來評估該模型在滑坡提取中的實用性。FATransUNet相比其他5種模型能有效克服了樣本邊緣信息不足的問題,有效提升了高分辨率遙感影像中滑坡的提取精度,具有一定的實用性。

盡管FATransUNet模型的滑坡提取精度要比基于CNN的模型高,但在訓(xùn)練時間和推理時間方面并沒有優(yōu)勢,這是由于利用了ResNet結(jié)構(gòu)和Transformer模塊的多層堆疊,使得模型參數(shù)量較大,導(dǎo)致模型的訓(xùn)練和推理速度較慢。如何在準(zhǔn)確性和推理速度之間達(dá)到最佳平衡,設(shè)計專門用于快速準(zhǔn)確的語義分割模型是至關(guān)重要的。在今后的工作中,將進(jìn)一步改進(jìn)CNN和Transformer的混合模型來減少模型的參數(shù)量,使模型的推理速度能夠得到提高。