朱文杰,李宏偉,姜懿芮,程相龍,趙 珊

(1. 鄭州大學計算機與人工智能學院,河南 鄭州 450001; 2. 鄭州大學地球科學與技術(shù)學院,河南 鄭州 450052)

基于深度學習的人工智能技術(shù)的快速發(fā)展使得實現(xiàn)低成本的基于視覺的自動駕駛技術(shù)成為可能。自動駕駛技術(shù)的關(guān)鍵問題之一是如何構(gòu)建一個高效的環(huán)境感知系統(tǒng)。目前的輔助自動駕駛技術(shù)多是基于高精度地圖實現(xiàn)的,但是高精地圖的生成往往需要借助多種傳感器進行數(shù)據(jù)采集和大量的后處理工作。如果能采用成本低廉的視覺相機構(gòu)建實時的環(huán)境感知系統(tǒng),則可以大大減少高精地圖生成所耗費的時間和費用,甚至可以通過車聯(lián)網(wǎng)的方法達成對高精地圖的更新,因此其具有更多的實際應用前景。此外,交通目標檢測、車道線分割和可駕駛區(qū)域分割這3項技術(shù)提供的信息在車輛的駕駛決策中起著至關(guān)重要的作用[1]。

交通目標檢測、車道線分割和可駕駛區(qū)域分割這3項任務在各自的單一領(lǐng)域得到了廣泛的研究。在目標檢測方面,出現(xiàn)了以RCNN[2]、Fast-RCNN[3]等為代表的一系列Two-stage目標檢測算法,以及以YOLO系列[4-7]為代表的One-stage目標檢測算法。其中,Two-stage方法的精確度較高,但是實時性較差;One-stage方法精度略低,但是具有高實時性,更符合現(xiàn)實生產(chǎn)生活的需要。在車道線分割與可駕駛區(qū)域分割方面,由于近年來卷積神經(jīng)網(wǎng)絡的大規(guī)模應用,傳統(tǒng)的分割算法迅速地被取代。到目前已經(jīng)出現(xiàn)了大量的高性能分割模型,如U-Net[8]中的encoder-decoder結(jié)構(gòu),以及特征金字塔 (feature pyramid network,FPN)[9]中使用的特征金字塔結(jié)構(gòu),使網(wǎng)絡能夠獲得不同尺度的特征,大大提高了分割網(wǎng)絡的精度。此外,RESA[10]方法、SCNN[11]方法和Lanenet[12]方法在車道線分割領(lǐng)域也顯示出優(yōu)異的效果。

在自動駕駛的應用場景中,往往需要多種任務同時工作來提供服務,考慮車載電腦的計算資源有限且有高實時性要求,為每個任務單獨設(shè)置模型是不現(xiàn)實的。因此,需要一種可以將這些類似的任務耦合起來,并可以使用較少的資源且保持實時性的方法。多任務學習網(wǎng)絡[13]為此類問題提供了有效的解決方案,可以實現(xiàn)相關(guān)任務之間共享特征提取網(wǎng)絡,從而節(jié)省時間、空間和資源,已在NLP(natural language processing)及推薦算法領(lǐng)域證實了其有效性[14-16]。在計算機視覺領(lǐng)域,大量的模型采用Faster RCNN[17]的思想,使用ResNet[18]結(jié)構(gòu)進行特征提取。這充分證明了其強大的特征提取能力可以滿足多任務學習網(wǎng)絡的需要, LSNet[19]、MultiNet[20]、YOLOP[21]和HyBrid-Net[22]均采用了以ResNet為基礎(chǔ)的共享編碼器,結(jié)果表明多任務學習網(wǎng)絡可以在僅增加少量的時間和資源占用的情況下同時完成多種相關(guān)任務。

本文提出一種結(jié)合FPN網(wǎng)絡的解碼器頭(Decoder Head)結(jié)構(gòu),并將其應用于以YOLOv4為主干網(wǎng)絡的多任務道路特征提取網(wǎng)絡中,該網(wǎng)絡可以同時完成交通目標檢測、車道線分割、可駕駛區(qū)域分割3項任務;此外,針對多任務學習網(wǎng)絡的特點對該網(wǎng)絡進行優(yōu)化,以期為基于視覺的自動駕駛過程中車輛的自主道路感知及高精地圖的生成提供新思路、新方法。

1 道路特征提取網(wǎng)絡設(shè)計

本文使用的多任務學習道路特征提取網(wǎng)絡核心包括: ①共享的特征提取模塊的實現(xiàn)及協(xié)同工作,以完成交通目標檢測、車道線分割和可駕駛區(qū)域分割任務; ②損失函數(shù)的計算方式,以及如何使用損失函數(shù)控制不同任務的權(quán)重。

2.4.3 懸尾實驗 連續(xù)注射CORT 21 d后，小鼠禁食不禁水24 h后，將動物尾巴靠近尾部部分固定在距離地面60 cm處，使其呈倒掛狀態(tài)，動物之間留有一定距離，并視線彼此隔離，適應30 s后，記錄動物3 min內(nèi)四肢不動時間。

1.1 網(wǎng)絡結(jié)構(gòu)

已有研究如YOLOP、HybridNet中表明目前的主流特征提取網(wǎng)絡如Darknet[6]等可以很好地完成特征提取任務。因此,本文保留了同類優(yōu)秀算法中的核心設(shè)計理念。利用現(xiàn)行目標檢測算法中較為優(yōu)秀的特征提取網(wǎng)絡部分作為主干網(wǎng)絡(Backbone),但是目前此類算法中很少考慮分支任務的輸出頭(Head)設(shè)計。因此在YOLOv4網(wǎng)絡的基礎(chǔ)上為分支任務設(shè)計了一種結(jié)合FPN網(wǎng)絡的解碼器頭結(jié)構(gòu),以便更好地利用主干網(wǎng)絡提取的特征提高性能。詳細的網(wǎng)絡結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡結(jié)構(gòu)

1.1.1 主干網(wǎng)絡

本文的主干網(wǎng)絡部分與YOLOv4網(wǎng)絡類似,將原始的RGB圖像交替通過CBH與BottleneckCSP模塊后進入頸部(Neck)部分。主干網(wǎng)絡部分的結(jié)構(gòu)如圖2所示。

圖2 主干網(wǎng)絡結(jié)構(gòu)

交通目標檢測結(jié)果的可視化如圖4所示?？紤]同類算法往往只能檢測車輛目標,因此僅考慮BDD100K數(shù)據(jù)集上的車輛目標檢測結(jié)果。其結(jié)果見表2,本文選取Recall、mAP50作為評估的指標,性能結(jié)果表明本文方法已經(jīng)達到了主流目標檢測方法的精度。盡管在實時性上相比速度較快的YOLOv5s等方法仍有較大的差距,但是本文方法可以同時完成額外的可駕駛區(qū)域分割及車道線分割任務,且在速度方面也達到了實時性的要求。

綜上所述，對腦血管疾病合并糖尿病患者而言，優(yōu)質(zhì)護理的實施具有重要意義，可幫助其平穩(wěn)度過圍術(shù)期，減少術(shù)后各類并發(fā)癥，促進早日康復。

1.1.2 解碼器頭

本區(qū)后期構(gòu)造對巖、礦體有錯斷位移現(xiàn)象，可以解釋多個礦點深部礦化、蝕變突變問題。深部找礦需研究斷層構(gòu)造位移方向和距離，確認找礦位置。已知礦床均產(chǎn)于主拆離滑脫剝離復合構(gòu)造鏟形(犁式)斷裂緩傾斜地段；主、次級滑脫剝離斷層交匯帶控礦規(guī)模大，主拆離滑脫剝離斷裂帶伴派生構(gòu)造控礦；次級滑脫剝離斷層虛脫部位或產(chǎn)狀變化處控礦；滑脫剝離斷裂帶控制礦化富集規(guī)律等，研究這些對找礦預測有一定指導意義。

2.1.2 參數(shù)及試驗設(shè)置

小兒化食口服液由山楂、六神曲、麥芽、檳榔、三棱、大黃、莪術(shù)、牽牛子組成，具有消食化滯、瀉火通便的作用，前期藥理學研究表明有促進大鼠胃排空，促進便秘小鼠的糞便排出及其止痛的作用［10］。楊亞紅［11］用該藥聯(lián)合媽咪愛治療64例2～6歲便秘患兒，總有效率達到96.9%。

2.1.1 數(shù)據(jù)集

圖3 解碼器頭結(jié)構(gòu)

在可駕駛區(qū)域分割方面,使用類似于車道線分割任務解碼器頭也可以提高精度。由于可駕駛區(qū)域的面積較大但是邊緣區(qū)域并不規(guī)整,大部分算法在邊緣區(qū)域的提取效果較差。而類似的設(shè)計可以有效改善在邊緣區(qū)域的分割效果。但由于類似的網(wǎng)絡在這項任務中的精度已經(jīng)很高,因此提升的幅度有限,而且會導致每幀約0.003 s的推理時間損失。

1.2 損失函數(shù)

對于多任務學習網(wǎng)絡,常見的損失函數(shù)設(shè)置方案是獨立計算不同任務的損失,再進行加權(quán)平均?？倱p失Lall計算方法為

Lall=α1Ldet+α2Lda+α3Lll

(1)

式中,Lda為可駕駛區(qū)域分割任務的損失;Lll為車道線分割任務的損失, 這兩部分均采用了傳統(tǒng)的分割損失計算方法,即交叉熵損失函數(shù)LCE;Ldet為交通目標檢測任務部分的損失,由3部分組成:分類損失Lclass、對象損失Lobj和邊界損失Lbox。其計算也采用加權(quán)平均的方式,即

Ldet=β1Lclass+β2Lobj+β3Lbox

(2)

式中,Lclass和Lobj為焦點損失,用于判斷分類是否良好;Lbox用于衡量生成的預測框與實際值之間的相似性,采用LIoU(交并比)的計算方法。

將這些損失加權(quán)求和得到最終的總損失。式(1)-式(2)中的α1、α2、α3、β1、β2、β3為對應部分損失的權(quán)值。在多任務學習網(wǎng)絡中,不同任務之間的權(quán)重設(shè)置往往由損失函數(shù)的權(quán)值控制,因此不同任務的損失權(quán)重對網(wǎng)絡中不同任務的精度影響很大,而在類似的算法(如YOLOP、HybridNet)中,并沒有考慮權(quán)重設(shè)置對最終網(wǎng)絡精度的影響。因此,本文分析了權(quán)重設(shè)置對網(wǎng)絡精度的影響,并通過比較不同的配置方案優(yōu)化權(quán)重配置,以得到效果較好的配置方案。

2 道路特征提取網(wǎng)絡試驗

2.1 試驗設(shè)置

在車道線分割任務的設(shè)計方面,考慮車道線的細長且分散的特性,其往往跨越多個卷積塊,并且在較大的卷積塊中不能提取出足夠的特征,這會造成語義信息在特征提取過程中的消失。因此,本文采用FPN的思想,在進行上采樣之前,將主干網(wǎng)絡中前兩層的淺層低級語義信息與1.1.1節(jié)得到的結(jié)果相結(jié)合,以便解碼器頭能夠更好地識別在卷積過程中消失的小尺度語義信息。解碼器頭設(shè)計如圖3所示。

在數(shù)據(jù)集方面,本文采用BDD100K數(shù)據(jù)集。BDD100K數(shù)據(jù)集是近年來較為全面的面向自動駕駛領(lǐng)域的數(shù)據(jù)集之一,包含10萬幀的圖片及10個與自動駕駛方向相關(guān)的任務標注信息,便于開展多任務學習網(wǎng)絡的研究。此外,由于該數(shù)據(jù)集數(shù)據(jù)量龐大,因此具有地理、時間及天氣方面的多樣性,這使得本文在該數(shù)據(jù)集中訓練的網(wǎng)絡具有很強的泛化性;而且選用該數(shù)據(jù)集便于與同類方法進行性能對比。在數(shù)據(jù)集的劃分方面,本文抽取了10萬幀圖片數(shù)據(jù)中的7萬幀作為訓練集,2萬幀作為驗證集,剩下的1萬幀數(shù)據(jù)作為測試集。

請10名具有一定品評經(jīng)驗的人員組成品評小組，根據(jù)評分標準（見表2）從色澤、風味、組織和口感4個方面對紫薯酥性餅干進行感官評定，取10名評判分數(shù)的平均值作為各項指標的評分，以感官評分的高低來判定產(chǎn)品的優(yōu)良。

目標管理是進行任何一項管理工作的基本方法和手段，成本控制也應遵循這一原則，即目標設(shè)定、分解、責任到位和成本執(zhí)行結(jié)果、評價和目標修正，從而形成目標管理的計劃、實施、檢查、處理的循環(huán).在實施目標管理過程中，目標的設(shè)定應切合實際，更落實到各部門、班組甚至個人；目標責任應全面，既有工作責任，更有成本責任[3].

在交通目標檢測任務頭方面,保留了YOLOv4中的設(shè)計方案,采用基于錨點的多尺度檢測方案。將自下而上的特征聚合網(wǎng)絡與FPN相結(jié)合,然后分配給不同尺度的錨點進行目標檢測。

在參數(shù)設(shè)置方面,本文采用Adam優(yōu)化器進行模型訓練,并使用預熱和退火算法調(diào)整學習率,從而保證模型能夠更好地收斂。這確保了可以在相同的條件下研究多任務權(quán)重設(shè)置對多任務學習網(wǎng)絡最終精度的影響。

在試驗方面,在選取現(xiàn)存的同類多任務學習方法進行性能對比的同時也選取了部分專注于單一任務的優(yōu)秀方法,這些方法均在BDD100K數(shù)據(jù)集上取得了優(yōu)異的性能,如YOLOv4與Faster-RCNN分別是One-Stage與Two-Stage目標檢測算法的代表。PSP-Net[25]則是語義分割領(lǐng)域的代表性方法。由于應用在BDD100K數(shù)據(jù)集上的車道線分割方法并不是很多,因此本文采用了在其他數(shù)據(jù)集中優(yōu)秀的方法進行性能對比。本文方法均在最佳權(quán)重設(shè)置的條件下進行試驗,其中具體的硬件信息及設(shè)置見表1。

采用循環(huán)煙氣焙燒的方法，可以提高鉬錸的收率，也提高產(chǎn)品質(zhì)量，還可以獲得高濃度的SO2煙氣直接送去制硫酸，這是可以解釋清楚的。例如這一爐輝鉬礦需要5次循環(huán)煙氣焙燒才能完成，那么前4次獲得的SO2煙氣都是高濃度的，只有最后一次才是低濃度的SO2煙氣，這5次煙氣混合起來肯定可以用于制硫酸。如果是2～3臺以上的焙燒爐，錯開作業(yè)，通過混合罐調(diào)節(jié)，就可以連續(xù)用于制硫酸。所以采用循環(huán)煙氣焙燒鉬精礦，是提高產(chǎn)品質(zhì)量、提高鉬錸回收率約100%、還可以用自己的焙燒煙氣制硫酸的很好方案。

在車道線分割和通過區(qū)域分割方面,試驗發(fā)現(xiàn)在YOLOP方法中僅使用從頸部最后一層提取的特征時,網(wǎng)絡的精度較低。因此,本文根據(jù)這兩項任務的特點為其設(shè)計解碼器頭。

表1 試驗設(shè)置

2.2 試驗結(jié)果

2.2.1 交通目標檢測結(jié)果

在頸部(Neck)部分,使用SPP[24]模塊與FPN模塊融合主干網(wǎng)絡提取的特征。其中,SPP模塊用于融合不同尺度的特征,FPN模塊用于融合不同層次語義信息的特征。融合后得到的特征將進一步在解碼器輸出頭進行處理。

表2 交通目標檢測結(jié)果

圖4 交通目標檢測結(jié)果

2.2.2 可駕駛區(qū)域分割結(jié)果

以高分四號衛(wèi)星影像和HJ-1B衛(wèi)星影像重疊區(qū)作為實驗驗證區(qū)，采用分層隨機采樣的方式，隨機選擇512個驗證點，基于臨近時期高分一號衛(wèi)星影像和圖像間對比解譯分析，逐點確定積雪覆蓋情況，計算積雪識別精度、Kappa系數(shù)等統(tǒng)計值，對積雪覆蓋精度進行統(tǒng)計，結(jié)果如表2.基于多時相高分四號衛(wèi)星圖像積雪提取結(jié)果的Kappa系數(shù)達到0.84，表明該方法生產(chǎn)的積雪覆蓋產(chǎn)品與真值基準數(shù)據(jù)間具有很強的一致性、精度高.

可駕駛區(qū)域分割結(jié)果的可視化如圖5所示。在此類任務中,只需要將可供車輛行駛的區(qū)域從背景中分割出來(即道路部分)即可,采用mIoU作為評價指標,具體評估指標數(shù)據(jù)見表3。從結(jié)果可以看出,本文方法的精度要高于同類方法,已經(jīng)達到了PSPNet方法的水平;并且在速度上也高于同類方法,滿足了實時性的要求。從結(jié)果推斷可以發(fā)現(xiàn),本文的網(wǎng)絡結(jié)構(gòu)得到的結(jié)果在邊緣部分更加平滑,且減少了在對向車道中產(chǎn)生的結(jié)果,使得本文方法在測試集上擁有更高的精度。

在世界屋脊采集種子的艱苦，非親歷難以想象。每一種植物的樣本數(shù)量要達到5000粒，瀕危物種樣本一般需要500粒。為了保證植物遺傳信息獨立，每個樣本之間的距離不能少于50公里，同時在整個西藏境內(nèi)，任何一個物種的樣本不能超過5個群體……于是，在廣袤的高原上，有時一天奔波800公里，他的足跡遍布西藏最偏遠、最艱苦、最荒蕪的地區(qū)。峭壁上蜿蜒的盤山路，曾有巨石滾落砸中他所乘的車；沒有水，就不洗臉；沒有旅店，就裹著大衣睡在車上……早上五六點出發(fā)，晚上八九點鐘到達宿營點，之后還需要連續(xù)幾個小時整理標本，一天睡3個小時是常態(tài)。

表3 可駕駛區(qū)域分割結(jié)果

圖5 可駕駛區(qū)域分割結(jié)果

2.2.3 車道線分割結(jié)果

車道線分割結(jié)果的可視化如圖6所示。本文采用精確度(Accuracy)、Lane IoU作為評價指標,具體的結(jié)果見表4。從結(jié)果可以發(fā)現(xiàn)本文方法的性能較對比方法有顯著提升,減少了車道線檢測過程中同一條車道線中斷的現(xiàn)象。相比于作為Baseline的YOLOP方法,本文方法在車道線分割任務中精確度提升了8.2%,盡管本文方法中增加的結(jié)構(gòu)相比于Baseline增加了額外的推理時間,但是其仍舊可以滿足實時性的需要。

表4 車道線分割結(jié)果

圖6 車道線分割結(jié)果

2.3 消融試驗

本節(jié)通過對比單任務方案與多任務方案來驗證多任務方案的有效性。

分別使用該網(wǎng)絡執(zhí)行單一任務與多任務方案,得到的性能數(shù)據(jù)見表5。從性能數(shù)據(jù)可以發(fā)現(xiàn),執(zhí)行多任務模型可以達到甚至超過執(zhí)行單一任務時的精度,并且可以節(jié)省大量的時間。出現(xiàn)這一情況是因為在訓練過程中,目標檢測任務的損失函數(shù)下降較快,可以快速收斂;且由于采用了共享編碼器的思路,在目標檢測任務收斂后,對于收斂較慢的另外兩個任務,整個網(wǎng)絡處于一種預訓練的狀態(tài)下,在此基礎(chǔ)上進行剩余的訓練則可以達到提升精度的效果。

表5 多任務與單任務

其中消融試驗的評估指標與相關(guān)設(shè)置均與上述內(nèi)容中的設(shè)置一致。

3 多任務權(quán)重平衡研究

一般而言,多任務學習中不同任務之間的平衡是通過控制損失函數(shù)的權(quán)重實現(xiàn)的,不同的權(quán)重設(shè)置,也會對網(wǎng)絡的最終精度造成影響。本文將采用同樣的方法來研究權(quán)重對多任務學習網(wǎng)絡的影響,從而得到最佳的權(quán)重配置方案。

3.1 權(quán)重對不同任務的影響

通過隨機設(shè)定的方案探討權(quán)重影響的總體趨勢,其中初始的任務權(quán)重設(shè)置見表6中方案1,之后按一定的比例設(shè)置了額外的幾種方案,其具體設(shè)置見表6方案2-方案5。

表6 權(quán)重方案及結(jié)果

經(jīng)過相同的訓練后,得到不同方案的結(jié)果。分析結(jié)果可知,不同任務受權(quán)重的影響不同。其中,道路目標檢測任務對權(quán)重的改變影響最小,即使設(shè)置較小的權(quán)重也不會對其精度造成影響;對于可行駛區(qū)域分割任務而言,其受權(quán)重的影響適中,在權(quán)重增加時,該任務的精度也在上升,當權(quán)重過大時便不再提升;車道線分割任務對權(quán)重設(shè)置最為敏感,當權(quán)重改變時,其精度就會隨之產(chǎn)生比較大的變化。

由于本問題的解構(gòu)建圖基于成本矩陣構(gòu)建，每個元素均為一個節(jié)點，故將信息素τij置于每個節(jié)點上，代表第i個車組擔任第j個車次的期望程度。在初始時刻設(shè) τij(0)=K(K為常數(shù))。

3.2 最佳權(quán)重設(shè)置

針對表6試驗所得數(shù)據(jù),進行進一步優(yōu)化調(diào)整,得到了最佳的權(quán)重及對應結(jié)果(見表7)。結(jié)果表明,本文方法可以通過該方式進行優(yōu)化,從而使網(wǎng)絡擁有更好的性能。

表7 最佳權(quán)重結(jié)果

為了驗證本文權(quán)重設(shè)置方案的有效性,在同類的算法中應用了類似的權(quán)重設(shè)置方案,以此驗證權(quán)重設(shè)置的有效性。在保持其他設(shè)置相同的情況下,將同樣的權(quán)重方案應用在YOLOP的模型中,得到的結(jié)果見表7。從性能數(shù)據(jù)可知,本文的權(quán)重設(shè)置方案具有一定的遷移性,可以在類似的多任務網(wǎng)絡模型中采取相同的優(yōu)化方案。

4 結(jié) 語

本文設(shè)計了一種結(jié)合FPN網(wǎng)絡的解碼器頭結(jié)構(gòu),并將其應用于多任務學習道路特征提取網(wǎng)絡。該結(jié)構(gòu)在保證模型實時性的基礎(chǔ)上有效提升了分支任務中可駕駛區(qū)域分割任務及車道線分割任務的精度。此外,也對多任務學習網(wǎng)絡的任務權(quán)重配置進行了分析,通過分析不同任務對權(quán)重的敏感程度得到最佳的權(quán)重配置方案,降低多任務之間的影響,進一步提高了精度?？紤]本文主干網(wǎng)絡的特點,未來可以在此基礎(chǔ)上拓展更多的分支任務,進一步提高方法的靈活性;并且將多任務學習網(wǎng)絡與高精度的語義分割及檢測任務相結(jié)合,為未來高精度地圖的實時生成提供新思路與新方法。