張 騫,陳紫強,孫宗威,賴鏡安

(桂林電子科技大學(xué)信息與通信學(xué)院,廣西 桂林 541004)

1 引言

隨著計算機技術(shù)以及新能源技術(shù)的快速發(fā)展,汽車行業(yè)逐漸朝著智能化的趨勢發(fā)展。目前,自動駕駛領(lǐng)域中許多關(guān)鍵技術(shù)都是基于視覺的智能感知和識別算法實現(xiàn)的。該類算法可以感知出道路、車輛及行人等信息,并基于感知結(jié)果獲取相應(yīng)的距離和狀態(tài)等信息,為車輛輔助控制系統(tǒng)提供決策依據(jù)。通過視覺傳感器獲取的道路圖像雖然能夠獲取豐富的目標信息,但是容易受到不利視覺條件如霧霾、雨雪等天氣的影響,這些來自外界環(huán)境的干擾會對相機中搭載的深度學(xué)習(xí)算法造成嚴重的影響。因此,如何提高檢測算法在霧天天氣下的檢測精度,是當(dāng)前目標檢測領(lǐng)域的關(guān)鍵問題之一。

隨著人工智能研究的不斷深入,基于深度學(xué)習(xí)的目標檢測算法憑借其優(yōu)異的檢測性能,被廣泛應(yīng)用于實際交通場景中。根據(jù)算法流程的不同,常見的目標檢測算法主要可以分為以下2類。第1類可以看作單階段的檢測算法,包含YOLO[1-4]系列、SSD(Single Shot multibox Detector)[5]、RetinaNet[6]等,將圖像輸入到卷積網(wǎng)絡(luò)提取特征,根據(jù)提取到的特征信息直接預(yù)測目標的類別和位置信息。文獻[7]將DehazeNet去霧網(wǎng)絡(luò)與SSD算法相結(jié)合,實現(xiàn)霧天場景下車輛和行人的檢測。文獻[8]提出了一種用于惡劣天氣條件下的目標檢測模型DSNet(Dual-Subnet Network),將采集的圖像輸入恢復(fù)子網(wǎng)絡(luò)中進行圖像增強,再引入RetinaNet檢測子網(wǎng)絡(luò)對增強后的圖像進行目標檢測。第2類可以看作雙階段的目標檢測算法,如Faster RCNN[9],Cascade RCNN[10]等,先采用候選區(qū)域生成網(wǎng)絡(luò)RPN(Region Proposal Network)、選擇性搜索等算法對提取的特征信息進行篩選,再對篩選出來的候選區(qū)域進行分類和回歸,最終得到檢測結(jié)果。該類算法犧牲了一定的推理速度,檢測效果更優(yōu)。文獻[11]提出了一種基于知識引導(dǎo)的目標檢測框架,通過統(tǒng)計先驗設(shè)計檢測網(wǎng)絡(luò)中的錨框面比,從而對網(wǎng)絡(luò)的特征學(xué)習(xí)進行指導(dǎo)。文獻[12]提出了一種嵌入霧濃度判別模塊的Faster RCNN目標檢測算法,先根據(jù)不同霧的濃度選擇對應(yīng)的目標檢測模型,再引入SENet(Squeeze-and-Excitation Networks)注意力模塊和可變性卷積對Faster RCNN進行改進,以半監(jiān)督的方式進行訓(xùn)練,提高目標識別的精度。上述算法未考慮到串聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)在下采樣的過程中存在一定信息損失,同時霧天圖像中的淺層特征受噪聲的干擾嚴重,使得網(wǎng)絡(luò)難以學(xué)習(xí)到目標輪廓、位置等有效的細粒度信息。

鑒于此,本文提出一種融合高分辨率網(wǎng)絡(luò)的目標檢測算法HR-Cascade RCNN(High Resolution Cascade RCNN)。采用雙階段檢測算法Cascade RCNN作為基準檢測算法,將高分辨率網(wǎng)絡(luò)HRNet(High Resolution Network)[13]作為主干特征提取網(wǎng)絡(luò),提取不同分辨率的特征信息進行聚合,以提升最終的檢測準確率;引入CIoU(Complete Intersection over Union)[14]損失函數(shù)替換原來的SmoothL1損失函數(shù),提升訓(xùn)練過程中邊界框的回歸效果,加快網(wǎng)絡(luò)的收斂速度,有助于提高網(wǎng)絡(luò)檢測性能;最后,采用SoftNMS(Soft Non-Maximum Suppression)[15]對候選框后處理,優(yōu)化候選框選擇機制,降低目標遮擋情況下的漏檢率。實驗結(jié)果表明,HR-Cascade RCNN能夠充分利用有益于目標檢測的高分辨率特征信息,同時減少下采樣過程中的信息損失,以提高霧天場景中車輛和行人的檢測精度,降低小目標及遮擋目標的漏檢率。

2 Cascade RCNN網(wǎng)絡(luò)模型

Cascade RCNN是基于Faster RCNN的多階段改進結(jié)構(gòu),將級聯(lián)回歸作為重采樣機制,通過遞增的交并比IoU(Intersection over Union)分階段訓(xùn)練檢測器,解決因訓(xùn)練候選框過多而導(dǎo)致的過擬合問題。Cascade RCNN的結(jié)構(gòu)由主干網(wǎng)絡(luò)ResNet[16]、特征增強網(wǎng)絡(luò)FPN(Feature Pyramid Networks)[17]和級聯(lián)檢測器組成,如圖1所示。圖像輸入到ResNet中提取圖像特征;接著,把提取的圖像特征輸入FPN進行特征增強,再經(jīng)過區(qū)域生成網(wǎng)絡(luò)RPN對增強后的特征信息生成候選區(qū)域;然后,通過設(shè)定不同的IoU閾值,訓(xùn)練多個級聯(lián)的檢測器進行檢測,其中每個檢測器包含ROI Align[18]、目標分類置信度C和邊界框置信度B;最終輸出分類和回歸結(jié)果。

課程的知識目標主要體現(xiàn)在學(xué)習(xí)本課程要讓學(xué)生知道效果圖的運用范圍，了解效果圖的特點，掌握室內(nèi)效果圖的表現(xiàn)流程；掌握3DSMAX9菜單欄、工具欄、視圖區(qū)、命令面板和視圖控制區(qū)5部分的界面布局；了解住宅室內(nèi)裝飾構(gòu)造特點；理解住宅室內(nèi)空間設(shè)計的基本原理；掌握室內(nèi)常用設(shè)計風(fēng)格，現(xiàn)代簡約、歐式和中式風(fēng)格；掌握二維線的創(chuàng)建和修改方法；掌握標準和擴展三維模型的創(chuàng)建及修改方法。

Figure 1 Network structure of Cascade RCNN圖1 Cascade RCNN網(wǎng)絡(luò)結(jié)構(gòu)

4.3.1 損失函數(shù)對比

f(I,b)=fT°fT-1°…°f1(I,b)

(1)

其中,I表示輸入圖像,b表示邊界框,T表示檢測器的總數(shù)。Cascade RCNN的損失函數(shù)L包含邊界框的回歸損失Lloc和分類損失Lcls,回歸損失函數(shù)沿用了Fast RCNN[19]中的SmoothL1損失,分類損失函數(shù)采用交叉熵損失,其計算公式[10]如式(2)～式(5)所示:

L(xt,g)=Lcls(ht(xt),yt)+

λ[yt≥1]Lloc(ft(xt,bt),g)

(2)

Lcls(ht(xt),yt)=-log(hyt(xt))

(3)

Lloc(ft(xt,bt),g)=

(4)

(5)

其中,t表示級聯(lián)的階段,xt表示第t個階段的輸入,g表示目標的真實邊界框,yt表示預(yù)測的類別,λ表示用于平衡損失的權(quán)重系數(shù),bt表示預(yù)測得到的邊界框,Cx和Cy表示邊界框中心點的橫縱坐標,w和h分別表示邊界框的寬和高。

HRNet40經(jīng)過高分辨率與低分辨率卷積之間的信息交互,將不同分支的特征信息進行拼接,共輸出4種不同尺度的特征圖,可視化結(jié)果如圖9所示。其中,圖9a表示第1個分支輸出的高分辨率特征信息,共有40個通道;第2個階段和第3個階段輸出的特征信息分別如圖9b和圖9c所示,分別共有80和160個通道;第4個階段的特征共有320個通道,拼接后的特征圖如圖9d所示。

一是建立黨員干部結(jié)對聯(lián)系群眾機制。實現(xiàn)黨員一對一直接聯(lián)系群眾全覆蓋，通過黨組織共建、部門與教研室、班級共建、黨員與教師、學(xué)生結(jié)對黨員幫扶困難師生等形式，建立起黨員干部與結(jié)對群眾之間的穩(wěn)定聯(lián)系，有效暢通和拓寬民情民意溝通反映渠道，有效提升為群眾解決實際問題的及時性、針對性和有效性。

Figure 2 Network structure of HR-Cascade RCNN圖2 HR-Cascade RCNN網(wǎng)絡(luò)結(jié)構(gòu)

Figure 3 Network structure of HRNet圖3 HRNet網(wǎng)絡(luò)結(jié)構(gòu)

3 HR-Cascade RCNN網(wǎng)絡(luò)模型

HR-Cascade RCNN的結(jié)構(gòu)如圖2所示,在Cascade RCNN的基礎(chǔ)上引入HRNet高分辨率主干網(wǎng)絡(luò),并對模型的損失函數(shù)和錨框選擇機制進行改進。輸入圖像經(jīng)過HRNet主干網(wǎng)絡(luò)提取不同分辨率的特征信息,接著對提取的信息進行拼接操作,輸出到RPN生成候選區(qū)域,最后將特征信息與候選區(qū)域輸入到3個級聯(lián)的檢測器中得到分類和回歸結(jié)果。

根據(jù)雷達回波監(jiān)測及廊橋附近的監(jiān)控視頻綜合分析(圖6),廊橋橋頂垮塌時間與合村氣象站所測得極大風(fēng)速時間基本一致,在19:34—19:35左右。0.5°仰角的雷達徑向速度為27～30 m/s。同時根據(jù)現(xiàn)場調(diào)查,廊橋周邊部分樹木存在折斷、倒伏現(xiàn)象,玉米地、大棚被破壞的情況,對照蒲氏風(fēng)級表對陸地地面征象表述的“九級風(fēng)為煙囪及平房頂受到損壞,小屋遭受破壞;十級風(fēng)為陸上少見,見時可使樹木拔起,或?qū)⒔ㄖ锎禋А?。?jù)此判斷,廊橋橋頂垮塌時可能有10級大風(fēng)。

3.1 HRNet結(jié)構(gòu)

HRNet網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示,整個網(wǎng)絡(luò)結(jié)構(gòu)由高分辨率網(wǎng)絡(luò)與低分辨率網(wǎng)絡(luò)并行連接,使網(wǎng)絡(luò)能夠在卷積的過程中保持高分辨率的圖像特征。此外,HRNet包含大量跨高分辨率和低分辨率的信息交互,可以改善采樣過程中的信息丟失問題[20]。其中,通過步長為2的3×3卷積實現(xiàn)高分辨率特征的下采樣;采用雙線性插值的方式進行上采樣,實現(xiàn)低分辨率向高分辨率的轉(zhuǎn)換。整體流程可分為4個階段,每個階段包含不同分辨率的卷積層。第1個階段由1個子網(wǎng)絡(luò)構(gòu)成,第2個階段由2個并行連接的子網(wǎng)絡(luò)構(gòu)成,第3個階段由3個并行子網(wǎng)絡(luò)構(gòu)成,第4個階段由4個并行子網(wǎng)絡(luò)構(gòu)成。每個階段之間將不同分辨率的特征信息進行融合,輸出4種尺度的特征圖。最終,將所有分辨率的特征圖進行拼接,并通過下采樣得到多種尺度的特征信息。

4.3.4 RTTS數(shù)據(jù)集對比實驗結(jié)果

3.2 CIoU損失函數(shù)

Cascade RCNN中設(shè)置了3個不同閾值的檢測器對篩選出來的候選框進行分類和回歸。其中,回歸損失函數(shù)采用SmoothL1損失進行計算。SmoothL1損失將檢測框的坐標以相對獨立的方式進行計算,忽略了檢測框坐標之間的關(guān)聯(lián)性。在實際的計算過程中可能會出現(xiàn)不同的檢測框具有相同的SmoothL1損失[21]。因此,SmoothL1損失在衡量預(yù)測框與真實框之間的關(guān)系時存在一定的局限性。為加快網(wǎng)絡(luò)的收斂速度,提升邊界框回歸過程中的收斂效果,采用CIoU作為回歸損失函數(shù),CIoU在DIoU[14]損失函數(shù)的基礎(chǔ)上引入了新的懲罰項,用來度量檢測框與真實框的長寬比之間的相關(guān)性。相比于SmoothL1損失函數(shù)僅僅計算檢測框坐標之間的關(guān)聯(lián),CIoU損失函數(shù)不僅計算2個檢測框之間的距離和IoU交并比,而且還引入了新的懲罰項,用來衡量檢測框相對比例的一致性,更關(guān)注檢測框之間的關(guān)聯(lián)性,符合實際的檢測場景。如圖4所示,d是2個重疊框中心點之間的距離,c是覆蓋2個重疊框最小包圍框的對角線長度。

Figure 4 Example of CIoU圖4 CIoU示例

CIoU損失函數(shù)的計算公式如式(6)～式(8)所示:

從圖8和圖9可以看出,ResNet50提取出來的特征信息受霧天環(huán)境的影響較大,如圖8a圖像受噪聲的干擾比較嚴重,提取到的特征信息存在一定的局限性,目標與背景的差異較小,無法學(xué)習(xí)到有效特征。從圖9b可以看出,HRNet輸出的高分辨率特征圖受霧天的干擾比較小,提取了如車輛、行人等關(guān)鍵特征,細節(jié)信息豐富,目標的輪廓更清晰,更有利于網(wǎng)絡(luò)模型的學(xué)習(xí)更新。對比圖8a和圖8b可以看出,ResNet提取的目標特征與背景特征差異并不明顯;而HRNet提取到的行人和車輛特征更為突出,且背景的關(guān)注度更低,使得網(wǎng)絡(luò)對目標的定位更加準確。從圖8d可以看到,ResNet提取的特征圖背景依舊存在部分噪聲;而圖9d中HRNet提取的低分辨率特征干擾信息更少,更具代表性,有利于網(wǎng)絡(luò)學(xué)習(xí)。

(6)

(7)

(8)

其中,IoU代表真實框與預(yù)測框之間的交并比;p表示模型檢測出來的邊界框;gt表示人工標注的真實邊界框;b表示邊界框的中心點坐標;ρ2(·)表示歐氏距離;α和v是引入的懲罰項,用來對重疊框的寬高比進行約束;w表示邊界框的寬度;h表示邊界框的高度。相比于SmoothL1損失函數(shù),CIoU考慮了檢測框與真實框的重疊面積、中心點距離以及寬高比,有助于提升檢測框的定位精度。

2010年4月，布朗造訪社區(qū)為選舉造勢。其間，一位66歲的女性工黨成員對布朗表示，她和家人一直支持工黨，并就東歐移民、福利金領(lǐng)取、國債等議題頻頻向布朗發(fā)問。

3.3 SoftNMS

非極大值抑制NMS(Non-Maximum Suppression)對篩選出來的候選框按照得分從高到低進行排序,選中分數(shù)最高的候選框,然后抑制與選中框有明顯重疊的候選框。但是,NMS算法存在一定的局限性:一方面如果閾值的選取過高,將會刪除更多的候選區(qū)域,導(dǎo)致漏檢的情況發(fā)生;另一方面,如果輸入圖像中出現(xiàn)2個重合度較高的目標,分數(shù)較低的候選框會因為重疊的面積較大而被刪除。如圖5所示,放大的圖像中存在2輛汽車,實線邊界框和虛線邊界框分別對應(yīng)不同車輛的檢測框,虛線檢測框中的汽車因遮擋導(dǎo)致置信度較低。傳統(tǒng)的NMS算法會選擇置信度較高的實線檢測框而刪除虛線候選框,導(dǎo)致出現(xiàn)漏檢的現(xiàn)象。

Figure 5 Example of NMS deletion by mistake圖5 NMS誤刪示例圖

本文實驗所用到的數(shù)據(jù)集包括BDD100k[22]、Foggy CityScapes[23]和RTTS(Real-world Task-driven Testing Set)[24]。其中,BDD100k共包含10萬幅圖像,分別拍攝于不同時間、不同天氣條件下的駕駛場景,目標標簽共包含汽車、交通標志和行人等10個類別;Foggy CityScapes是在CityScapes[25]數(shù)據(jù)集基礎(chǔ)上,使用大氣散射模型合成的霧天數(shù)據(jù)集,共有2 975幅訓(xùn)練圖像,包含汽車、自行車和摩托車等9類標簽;RTTS是真實場景下獲取的霧天數(shù)據(jù)集,共有4 322幅圖像,其中包含汽車、公交車和行人等5個類別。為了規(guī)范數(shù)據(jù)集的類別,后續(xù)的實驗統(tǒng)一采用RTTS數(shù)據(jù)集中的標簽類別。訓(xùn)練時從BDD100k數(shù)據(jù)集中隨機抽選12 000幅圖像,并按照9∶1的比例劃分訓(xùn)練集和驗證集,將微調(diào)后的模型分別在RTTS和Foggy Cityscapes上進行測試。

(9)

其中,Nt是設(shè)定的閾值,M是得分最高候選框的坐標,bi表示第i個待處理的候選框坐標,IoU(·)表示交并比,Si是第i個候選框的得分。因此,與M距離較遠的候選框不受影響,與M距離較近的候選框的得分會有一定的衰減。

4 實驗與結(jié)果分析

4.1 實驗數(shù)據(jù)

霧天環(huán)境中車速較緩,常出現(xiàn)交通堵塞等現(xiàn)象,且車輛之間易出現(xiàn)遮擋的情況,導(dǎo)致目標檢測算法無法對車輛進行有效的檢測,模型的檢測精度偏低。為改善因多個目標檢測框相近被誤刪,使得遮擋目標出現(xiàn)漏檢的問題,采用SoftNMS算法對候選框進行篩選,計算公式如(9)所示[15]:

參加捐款的干部職工紛紛表示，災(zāi)區(qū)群眾不會孤獨，水利系統(tǒng)的干部職工永遠與災(zāi)區(qū)人民心連心，繼續(xù)為受災(zāi)地區(qū)群眾提供更多的支持和幫助。

遷安海綿城市建設(shè)思路與創(chuàng)新模式研究 ……………………………………………………………………………… 孫迎春（4/49）

4.2 實驗環(huán)境及參數(shù)設(shè)置

本文的實驗環(huán)境及參數(shù)設(shè)置如下:操作系統(tǒng)為Windows10,CUDA版本為11.1.1,CUDNN版本為8.1.1,GPU型號為GetForce RTX 3060,顯存為12 GB,實驗均在MMDetection[26]目標檢測框架上進行。在訓(xùn)練階段,采用預(yù)訓(xùn)練權(quán)重在訓(xùn)練集上微調(diào)訓(xùn)練12個epoch,學(xué)習(xí)率初始值為1.25×10-3,學(xué)習(xí)率的衰減策略為階段衰減,衰減系數(shù)為1×10-4,動量為0.9,優(yōu)化算法為隨機梯度下降。當(dāng)?shù)螖?shù)達到8和11的時候,學(xué)習(xí)率根據(jù)衰減策略調(diào)整為1.3×10-4和1×10-5。實驗中采用單個類別的平均精度AP(Average Precision)和所有類別的平均精度均值mAP(mean Average Precision)對模型的性能進行評估,采用的IoU閾值為0.5。

在對照組綜合方案治療的基礎(chǔ)上，再予溫針灸治療：取會陰穴，囑患者取仰臥位，常規(guī)會陰穴及局部消毒后，用一次性針灸針直刺2寸，待得氣后行提插捻轉(zhuǎn)，2 min后在針柄處插入長為2 cm的艾柱并點燃，每日治療1次，每次30 min。共治療1個月。

4.3 實驗結(jié)果分析

Cascade RCNN包含多個具有不同IoU閾值的級聯(lián)檢測器,每個檢測器都包含一個分類器hi和一個回歸器fi。將前一檢測器的回歸結(jié)果作為后一檢測器的輸入,通過級聯(lián)檢測的方式,可以獲取定位更精準的候選框,有助于提升最終的檢測精度。單個回歸器fi的計算公式如式(1)所示:

為驗證CIoU損失函數(shù)對于邊界框回歸訓(xùn)練的有效性,分別采用CIoU損失函數(shù)和Smooth L1損失函數(shù)對HR-Cascade RCNN進行對比實驗,回歸損失的對比曲線如圖6所示。

Figure 6 Comparison of regression error curves圖6 回歸誤差曲線對比

圖6顯示了采用不同損失函數(shù)時,候選框回歸損失的下降情況。可以看出,2條曲線在第35 000次迭代的附近,誤差值均出現(xiàn)了一次明顯的下降。這是因為學(xué)習(xí)率在訓(xùn)練第8個epoch時進行了階躍性的衰減,衰減后的學(xué)習(xí)率使得損失可以達到更優(yōu)的局部最小值。此外,CIoU的誤差值要明顯低于Smooth L1的誤差值,證明CIoU損失更有利于網(wǎng)絡(luò)整體的訓(xùn)練。相比于Smooth L1損失,CIoU損失函數(shù)不僅考慮了重疊區(qū)域和中心點之間的距離,并且還考慮了預(yù)測框與真實框?qū)捀弑鹊囊恢滦?因此能夠使網(wǎng)絡(luò)達到更好的收斂效果,有助于提高網(wǎng)絡(luò)的檢測性能。

4.3.2 特征圖可視化對比

本節(jié)以Cascade RCNN為基準,分別采用ResNet50和HRNet40作為主干網(wǎng)絡(luò),輸入如圖7所示的測試圖像,對提取到的特征圖進行可視化對比,旨在分析不同主干網(wǎng)絡(luò)在不同階段提取到的特征信息,以驗證HRNet提取高分辨率信息的能力。

Figure 7 Test image of feature visualization圖7 特征可視化測試圖像

ResNet50共有50層運算,共分為5個階段,其中第1個階段結(jié)構(gòu)相對簡單,可以視為對輸入圖像的預(yù)處理;后4個階段都是由BottleNeck組成,結(jié)構(gòu)較為類似。在對網(wǎng)絡(luò)進行測試的時候,分別提取后4個階段輸出的特征圖進行可視化分析,結(jié)果如圖8所示,圖8a表示ResNet50第2個階段輸出的特征圖,圖8b、圖8c和圖8d分別表示第2,3和4階段輸出的特征圖。

Figure 8 ResNet50 feature map visualization圖8 ResNet50特征圖可視化

（2）運輸。運料車每次使用之前必須保持車廂內(nèi)清潔干凈，不得有余料集存在車廂內(nèi)。另外，在車廂底板和側(cè)板涂抹一薄層隔離劑或防黏劑。由于母體瀝青混合料空隙較大，熱量容易散失，在運輸過程中混合料應(yīng)有篷布覆蓋，做好保溫、防雨和避免污染環(huán)境工作。

Figure 9 HRNet40 feature map visualization圖9 HRNet40特征圖可視化

何良諸恍然明白，趙集、小勺把他弄到井下，讓他避開風(fēng)頭。要不，他跟鬧事的礦工們混在一起，就說不清道不明了。何良諸問：“趙集被抓走了？”

日照時長與水體蒸發(fā)的強度呈現(xiàn)出正相關(guān)的關(guān)系.流域內(nèi)1995年日照時長為1 874.1 h，均高于其他年份，由此推測，椒江水體1995年蒸發(fā)強度為五年內(nèi)最大，地表徑流因蒸發(fā)作用而損失的水量最多.同時，流域于1995年降雨最少，地表徑流的補充相對減少，其與日照綜合作用，推測椒江地表徑流年內(nèi)水量最少，進一步減弱了水體對懸浮泥沙的“稀釋”作用，導(dǎo)致椒江水體懸浮泥沙濃度高于其他年份.

4.3.3 消融實驗

為了驗證HR-Cascade RCNN改進算法的有效性,本節(jié)將在RTTS數(shù)據(jù)集上進行消融實驗。首先,以Cascade RCNN為基準,分別采用不同通道的HRNet主干網(wǎng)絡(luò)與原ResNet50網(wǎng)絡(luò)進行實驗對比,驗證高分辨率網(wǎng)絡(luò)融合多分辨率特征信息的有效性,實驗結(jié)果如表1所示。

Table 1 Experimental results comparison of different backbone networks of Cascade RCNN on RTTS dataset表1 Cascade RCNN不同主干網(wǎng)絡(luò)在RTTS數(shù)據(jù)集上的實驗結(jié)果對比 %

從表1可以看出,隨著HRNet網(wǎng)絡(luò)通道維度的增加,單個類別的AP和整個數(shù)據(jù)集的mAP均有一定的提升,如HRNet18的mAP相比ResNet50的提高了0.7%,HRNet32的mAP相比HRNet18的提高了1.3%,HRNet40的mAP相比HRNet32的提高了1.5%。對比實驗結(jié)果表明,相比于直接采用ResNet串聯(lián)結(jié)構(gòu),HRNet可以更加有效地提取多分辨率的特征信息,提高網(wǎng)絡(luò)的檢測精度。因此,后續(xù)實驗中的HR-Cascade RCNN模型均采用HRNet40作為主干特征提取網(wǎng)絡(luò)。

為驗證CIoU損失函數(shù)和SoftNMS改進的有效性,HR-Cascade RCNN在RTTS數(shù)據(jù)集上的消融實驗結(jié)果如表2所示。消融實驗結(jié)果表明,HR-Cascade RCNN在RTTS數(shù)據(jù)集上相比于Cascade RCNN網(wǎng)絡(luò),改進主干網(wǎng)絡(luò)使檢測均值平均精度mAP提升了3.9%,表明采用HRNet提取不同分辨率的特征信息,增強了特征圖深淺層特征信息融合,從而提升了檢測效果;對損失函數(shù)優(yōu)化后,mAP在改進主干網(wǎng)絡(luò)的基礎(chǔ)上提升了1.2%,說明CIoU損失相比于SmoothL1損失,更注重真實框與候選框之間的相關(guān)性,有效提升了網(wǎng)絡(luò)的泛化性能;優(yōu)化錨框選擇機制使mAP提升了0.8%,說明SoftNMS可以有效地降低目標的漏檢率。與Cascade RCNN的mAP相比,HR-Cascade RCNN的平均檢測精度由52.1%提升至58%,大幅度提升了檢測精度。

Table 2 Comparison of HR-Cascade RCNN ablation experiments on RTTS dataset表2 HR-Cascade RCNN在RTTS數(shù)據(jù)集上的消融實驗對比 %

本文研究選擇我院在2015年5月~2017年9月診治的頸動脈病變患者35例作為檢查對象,患者均確診為頸動脈狹窄疾病,其中腦梗死24例,短暫性腦缺血11例,患者均經(jīng)過顱腦CT和MIR檢查確診,無肝腎疾病、其他心腦血管疾病和碘過敏史等?；颊咄鈪⑴c本次檢測分析,可以配合?；颊咧心?0例,女15例,年齡為(45.3±0.6)歲,患者的年齡、疾病類型等數(shù)據(jù)可比。

先驗P（θ）決定質(zhì)點的初始化狀態(tài)。好的先驗包含有地理信息，例如附近斷層線相對于第一個被觸發(fā)臺站的位置，以及在斷層線上產(chǎn)生的地震最常見震級。這些信息都可以根據(jù)每個臺站的歷史地震目錄得到，并在對質(zhì)點濾波進行初始化時實時使用。如果先驗信息缺失，則可以使用平坦先驗來進行替代。先驗分布的選擇會影響估計的質(zhì)量和收斂速度。大覆蓋的先驗分布可能會使初始估計不穩(wěn)定，這是因為幾乎沒有證據(jù)存在。小覆蓋的先驗分布則可能導(dǎo)致收斂速度慢或收斂錯誤（即在錯誤值上收斂）。這就需要根據(jù)經(jīng)驗來進行權(quán)衡。在本文中，我們使用統(tǒng)一的平坦先驗，即位置為±100km，深度為±10km，震級為±1級，事件發(fā)震時刻為±10s。

本節(jié)將在RTTS數(shù)據(jù)集上對HR-Cascade RCNN和其他的目標檢測算法進行對比實驗,通過結(jié)合不同的圖像去霧算法如DCP和AOD-Net,驗證本文算法的有效性。表3展示了在RTTS數(shù)據(jù)集上的對比實驗結(jié)果。從表3可以看出,結(jié)合去霧算法前,本文算法HR-Cascade RCNN的平均檢測精度mAP為58.0%,單個類別的AP及mAP均高于其他對比算法的;Faster RCNN和Cascade RCNN的平均檢測精度次之,分別為52.7%和52.1%。其次是單階段的目標檢測方法,如YOLOX的mAP為50.5%,YOLOv3的mAP為34.0%,RetinaNet的mAP為33.1%。在結(jié)合去霧算法之后,檢測結(jié)果有所下降。如Faster RCNN對DCP去霧后的圖像進行檢測,檢測類別中行人和摩托車的平均精度得到一定程度的提升,但是其他類別檢測精度均出現(xiàn)了不同程度的下降,整體的平均檢測精度mAP下降了1.1%;結(jié)合AOD-Net去霧算法之后,單個類別的檢測精度均出現(xiàn)不同程度的提升或下降,整體的平均檢測精度mAP保持在52.7%不變。同樣地,從表3可以看到,RetinaNet和YOLOX算法對去霧后的圖像進檢測得到的檢測精度都降低了約1%。此外,YOLOv3、Cascade RCNN和HR-Cascade RCNN在結(jié)合不同的去霧算法之后均有0.8%～1%的提升。如YOLOv3結(jié)合DCP去霧算法之后檢測精度提升了0.9%,結(jié)合AOD-Net去霧后的檢測精度提升了1%;Cascade RCNN結(jié)合DCP去霧算法之后檢測精度下降了0.3%,結(jié)合AOD-Net去霧算法后的檢測精度提升了0.6%;本文算法HR-Cascade RCNN在結(jié)合DCP去霧算法之后的檢測精度并未得到有效的提升,結(jié)合AOD-Net去霧算法之后的檢測精度提升了0.8%。結(jié)合去霧算法之后的檢測精度一方面取決于去霧算法自身的去霧能力,當(dāng)出現(xiàn)細節(jié)丟失或顏色失真等情況時,會影響檢測器后續(xù)的檢測任務(wù),出現(xiàn)檢測精度下降的情況;另一方面,檢測網(wǎng)絡(luò)本身的特征提取能力和訓(xùn)練數(shù)據(jù)集的限制也會對檢測精度出現(xiàn)不同程度的影響,如主干網(wǎng)絡(luò)提取能力強的檢測模型受到的影響較小,且訓(xùn)練集的大小和圖像種類也會影響模型的魯棒性和泛化能力。

圖10～圖15分別展示了HR-Cascade RCNN和對比算法在真實霧天數(shù)據(jù)集RTTS上的部分檢測效果,霧天圖像代表的是未使用去霧算法,直接對原始霧天圖像進行檢測的結(jié)果;DCP代表在檢測前使用DCP去霧算法對圖像進行去霧后,各檢測算法的檢測效果;AOD-Net表示使用AOD-Net去霧算法對圖像進行去霧后,使用檢測算法對去霧后的圖像進行檢測的效果。從圖10可以看出,在車輛目標較小、難以辨認的情況下,Faster RCNN未能準確地檢測出圖中的小目標,如對于圖10a測試圖像,Faster RCNN僅能檢測到圖像右側(cè)的車輛和行人,左側(cè)的行人和車輛等目標均未檢測到;在圖10b和圖10c測試圖像中,使用不同的圖像去霧算法之后,圖像變得更清晰,漏檢現(xiàn)象得到了改善,圖像左側(cè)的部分目標被檢測到,但仍有一定的提升空間。因存在車輛目標密集的情況,各算法均存在一定的漏檢情況,相對于其他的檢測算法,本文算法的漏檢率更低,可以檢測出更多的車輛。圖11為YOLOv3算法的檢測圖。從圖11a可以看到,YOLOv3算法在霧天圖像中檢測到的目標較少,檢測效果較差;經(jīng)過圖像去霧之后,YOLOv3的檢測效果獲得不同程度的提升,如圖11b和圖11c所示,更多的車輛和行人目標被檢測到,但相比于其他算法仍有一定的差距。圖12為RetinaNet算法的檢測結(jié)果。從圖12可以看到,RetinaNet出現(xiàn)了漏檢的現(xiàn)象,僅檢測到少量的行人和車輛目標;使用DCP和AOD-Net去霧之后,更多的行人被檢測到,但是相比于其他的檢測算法仍有一定的差距。圖13為YOLOX的檢測對比圖。從圖13a可以看到,YOLOX在去霧前能夠檢測到較多的車輛和行人等目標,優(yōu)于YOLOv3和RetinaNet算法,但是仍有部分車輛和行人未被檢測到;使用去霧算法之后的檢測效果未得到明顯的提升,如圖13b和圖13c,圖像中的部分車輛仍未被檢測到。圖14是Cascade RCNN的檢測對比圖。圖14a為去霧前的檢測圖,圖像左側(cè)的車輛和行人未被檢測到;圖14b和圖14c為去霧后的檢測效果圖,漏檢現(xiàn)象得到改善,但是被遮擋的出租車未被檢測到。圖15為本文算法HR-Cascade RCNN的檢測效果圖,在去霧前也存在一定的漏檢現(xiàn)象,如圖15a所示;使用圖像去霧算法之后,圖像左側(cè)的行人和車輛均被檢測到,且被遮擋的出租車也被檢測到了。由此可以看出,在真實霧天場景中,HR-Cascade RCNN在結(jié)合一些去霧算法之后的檢測效果更好,檢測精度更高。

Table 3 Detection results comparison of different detection algorithms on RTTS dataset表3 不同檢測算法在RTTS數(shù)據(jù)集上的檢測結(jié)果對比 %

Figure 10 Detection results comparison of Faster R-CNN on RTTS dataset圖10 Faster R-CNN在RTTS數(shù)據(jù)集上的檢測結(jié)果對比

Figure 11 Detection results comparison of YOLOv3 on RTTS dataset圖11 YOLOv3在RTTS數(shù)據(jù)集上的檢測結(jié)果對比

Figure 12 Detection results comparison of RetinaNet on RTTS dataset圖12 RetinaNet在RTTS數(shù)據(jù)集上的檢測結(jié)果對比

Figure 13 Detection results comparison of YOLOX on RTTS dataset圖13 YOLOX在RTTS數(shù)據(jù)集上的檢測結(jié)果對比

Figure 14 Detection results comparison of Cascade RCNN on RTTS dataset圖14 Cascade RCNN在RTTS數(shù)據(jù)集上的檢測結(jié)果對比

Figure 15 Detection results comparison of HR-Cascade RCNN on RTTS dataset圖15 HR-Cascade RCNN在RTTS數(shù)據(jù)集上的檢測結(jié)果對比

4.3.5 Foggy Cityscapes數(shù)據(jù)集實驗結(jié)果

本節(jié)在合成的霧天數(shù)據(jù)集Foggy Cityscapes上進行對比實驗,通過結(jié)合不同的去霧算法,驗證HR-Cascade RCNN在合成霧圖中的準確率,實驗結(jié)果如表4所示。從表4可以看出,在結(jié)合去霧算法之前,與其他的算法相比,HR-Cascade RCNN的檢測性能在各個類別的平均檢測精度AP都有一定的提升,平均檢測精度mAP為43.8%,相比于Faster RCNN、YOLOv3、YOLOX-s、RetinaNet和Cascade RCNN的分別提高了2.1%,15.5%,10.2%,13.5%和3%,性能得到了明顯的提高。使用去霧算法之后,一些檢測算法的檢測性能有所下降,如Faster RCNN在結(jié)合DCP算法之后的mAP降低了0.3%;YOLOX結(jié)合DCP算法之后的mAP降低了0.6%。更多的檢測算法在結(jié)合圖像去霧算法之后的檢測性能均提升1%～2%,如Faster RCNN結(jié)合AOD-Net去霧算法之后的mAP提升了1.2%,RetinaNet結(jié)合AOD-Net去霧算法之后的mAP提升了1.1%,本文算法結(jié)合AOD-Net之后mAP提升了1.3%。實驗結(jié)果表明,HR-Cascade RCNN在合成數(shù)據(jù)集上的檢測性能存在一定的優(yōu)勢。

為了測試HR-Cascade RCNN和對比算法在Foggy CityScapes上的檢測效果,從測試集中選取了部分檢測圖進行對比,結(jié)合去霧算法前后的檢測效果如圖16～圖21所示。從圖16a可以看出,使用Faster RCNN直接對霧天的圖像進行檢測時可以正確檢測到車輛和行人等目標;圖16b是結(jié)合DCP去霧算法之后的檢測圖像,因為顏色失真和細節(jié)丟失的原因,出現(xiàn)了漏檢的現(xiàn)象,沒有正確地檢測出遮擋汽車。結(jié)合AOD-Net去霧算法后,依然可以精確地檢測到目標。圖17a為YOLOv3的檢測結(jié)果圖,去霧前的檢測圖中存在漏檢的汽車;在使用去霧算法之后,如圖17b和圖17c漏檢現(xiàn)象得到改善,但仍有遠處的汽車沒有檢測到。圖18為RetinaNet算法的檢測圖,圖中依然存在未檢測到的汽車和行人,使用DCP和AOD-Net去霧算法之后,檢測效果有所提升,如圖18c右側(cè)的行人被檢測到,但對于遠處的汽車未能全部檢測到。圖19為YOLOX算法的檢測對比圖,相比于YOLOv3,YOLOX的檢測效果具備一定的優(yōu)勢,如圖19a右側(cè)的自行車可以被準確地檢測到;結(jié)合不同的去霧算法之后,YOLOX的檢測效果得到不同程度的提升,如從圖19b可以看到,YOLOX能夠檢測到圖像中遠處的汽車。圖20和圖21分別為Cascade RCNN和HR-Cacasde RCNN的檢測結(jié)果對比圖,去霧前Cacade RCNN和HR-Cascade RCNN難以檢測到全部目標,如圖20a和圖21a所示;在使用去霧算法之后,漏檢現(xiàn)象均得到了一定程度的改善,如圖20c中Cascade RCNN可以檢測到圖像中遠處的汽車,但仍有一輛汽車未被檢測到。從圖21c可以看到,HR-Cascade RCNN在結(jié)合AOD-Net去霧算法后,可以準確地檢測到圖像中遠處的汽車,且圖像左側(cè)的遮擋車輛也能夠被正確地檢測到。在合成數(shù)據(jù)集中,對于霧天場景中模糊、難以辨認等未檢測出來的目標,改進后的模型能夠準確地檢測出來,證明了本文算法的有效性。因此,對于真實霧天場景和合成霧天場景下的目標檢測,HR-Cascade RCNN的檢測性能相比于Cascade RCNN有顯著的提高。

參照文獻[7], 它的耗散另行在ξh=π處設(shè)置r=10加以限定. 改進B最終的系數(shù)為al= {-0.032 803, 0.225 61, -0.885 98, 0.110 61, 0.720 07, -0.159 24, 0.021 742}, 如圖1所示, 該改進關(guān)于色散獲得相當(dāng)大的改善并在整個波數(shù)范圍滿足r≤10. 通過以上改進, 可在較短的距離內(nèi)從主波面中消除原始的7點6階中心格式的偽波, 見圖2.

Table 4 Detection results comparison of different detection algorithms on Foggy CityScapes dataset表4 不同檢測算法在Foggy CityScapes數(shù)據(jù)集上的檢測結(jié)果對比 %

Figure 16 Detection results comparison of Faster R-CNN on Foggy Cityscapes dataset圖16 Faster R-CNN在Foggy Cityscapes數(shù)據(jù)集上的檢測結(jié)果對比

Figure 17 Detection results comparison of YOLOv3 on Foggy Cityscapes dataset圖17 YOLOv3在Foggy Cityscapes數(shù)據(jù)集上的檢測結(jié)果對比

Figure 18 Detection results comparison of RetinaNet on Foggy Cityscapes dataset圖18 RetinaNet在Foggy Cityscapes數(shù)據(jù)集上的檢測結(jié)果對比

Figure 19 Detection results comparison of YOLOX on Foggy Cityscapes dataset圖19 YOLOX在Foggy Cityscapes數(shù)據(jù)集上的檢測結(jié)果對比

Figure 20 Detection results comparison of Cascade RCNN on Foggy Cityscapes dataset圖20 Cascade RCNN在Foggy Cityscapes數(shù)據(jù)集上的檢測結(jié)果對比

Figure 21 Detection results comparison of HR-Cascade RCNN on Foggy Cityscapes dataset圖21 HR-Cascade RCNN在Foggy Cityscapes數(shù)據(jù)集上的檢測結(jié)果對比

5 結(jié)束語

為了提高霧天場景中車輛和行人等目標檢測的精度,本文提出一種融合高分辨率的目標檢測網(wǎng)絡(luò)HR-Cascade RCNN。在網(wǎng)絡(luò)結(jié)構(gòu)上采用HRNet作為主干網(wǎng)絡(luò),通過高分辨率和低分辨率的信息交互,改善下采樣過程中的信息損失問題,提高網(wǎng)絡(luò)特征提取能力;引入CIoU損失函數(shù)替換原有的SmoothL1損失,提升訓(xùn)練時的收斂效果,提高模型的檢測精度;最后使用SoftNMS優(yōu)化錨框選擇機制,有效地降低了目標遮擋情況下的漏檢率,提高網(wǎng)絡(luò)的魯棒性和泛化能力。在真實霧天數(shù)據(jù)集RTTS和合成霧天數(shù)據(jù)集Foggy Cityscapes上的實驗結(jié)果表明,HR-Cascade RCNN準確率均優(yōu)于其他的檢測算法,平均檢測精度相比于原算法分別提高了5.9%和3%,有效地提升了網(wǎng)絡(luò)的檢測精度。后續(xù)將研究更輕量化的網(wǎng)絡(luò)模型,在不降低檢測精度的前提下,進一步提升檢測速度。