武斯全,田震,廖開沅,徐嘉勃
(北京交通大學(xué)計算機與信息技術(shù)學(xué)院,北京 100044)
高速鐵路接觸網(wǎng)是指沿著鐵路干道在其上方所搭設(shè)的為來往列車輸送電能的特殊供電線路。隨著中國鐵路的高速發(fā)展以及運營里程的快速增長,有關(guān)于高速鐵路接觸網(wǎng)的安全問題日益突出。其中,由于鐵路周圍鳥類活動而引起的關(guān)于接觸網(wǎng)安全事故頻頻發(fā)生。為減少接觸網(wǎng)上鳥窩搭建鳥類停留所造成的不良影響,主要還是采用結(jié)構(gòu)優(yōu)化、封堵以及驅(qū)趕等方式進行防護,此外,類似視覺驚嚇法這樣的民間防治方法也因其操作方便、資金較低的優(yōu)點而被采用。由于接觸網(wǎng)的位置較為分散,異物位置并不固定,所以單一依靠人工巡檢的方式存在高成本及低可靠性等缺點。目前主要采用視頻分析技術(shù)從而對接觸網(wǎng)入侵異物進行檢測的方法,但這項工作仍然需要有人工的參與并且具有較差的實時性。為改進高速鐵路接觸網(wǎng)的智能識別技術(shù),提高檢測效率,本文提出了一種新的高鐵接觸網(wǎng)鳥窩識別算法。
針對接觸網(wǎng)鳥窩的體積較小,缺乏顯著的形狀和紋理特征,采用已有的人工設(shè)計特征對條紋圖像進行分類難以得到理想的結(jié)果。對此,深度學(xué)習(xí)提供了一種可行的解決方案,YOLO神經(jīng)網(wǎng)絡(luò)作為一種常見的目標(biāo)檢測網(wǎng)絡(luò)具有強大的檢測性能。本研究利用兩級預(yù)測網(wǎng)絡(luò)級聯(lián)的檢測網(wǎng)絡(luò)進行接觸網(wǎng)鳥窩檢測,采用YOLOv3-SPP網(wǎng)絡(luò)結(jié)構(gòu)作為分級檢測器。當(dāng)目標(biāo)物體形體微小或者樣本較少,同時環(huán)境樣本較多時,用一級網(wǎng)絡(luò)先訓(xùn)練檢測興趣域,擴大目標(biāo)的檢測比例,這樣使無關(guān)樣本也能提升目標(biāo)的檢測概率。然后用第二級網(wǎng)絡(luò)訓(xùn)練識別待測物體,這樣即便只有很少的樣本數(shù)據(jù)也能有不錯的檢測效果。
模型流程圖如1。
圖1 級聯(lián)模型檢測流程簡圖
YOLOv3采用K-means聚類方法得到先驗框的尺寸,并且為每種下采樣尺度設(shè)定3種不同大小的先驗框,一共聚類出9種尺寸的先驗框。當(dāng)輸入圖像的分辨率是416×416時,得到的9個先驗框在不同大小的特征圖上的分配如表1所示。
表1 特征圖與先驗框
直接使用YOLO網(wǎng)絡(luò)進行接觸網(wǎng)鳥窩的檢測效果并不理想,因為鳥窩在圖片中占比很小,導(dǎo)致大量的網(wǎng)格進行無效運算,浪費計算資源。第二級Yolo網(wǎng)絡(luò)以第一級網(wǎng)絡(luò)預(yù)測的興趣域子圖像集作為輸入,對子圖集進行YOLO級聯(lián)檢測,其本質(zhì)為網(wǎng)格的二次劃分,盡可能地在訓(xùn)練過程中增大邊界框的IOU來提高訓(xùn)練的準(zhǔn)確度并且進行盡可能多的有效計算。
在接觸網(wǎng)鳥窩的數(shù)據(jù)集中,帶有鳥窩標(biāo)注的樣本數(shù)據(jù)集很少,大部分圖片不含鳥窩。但興趣域數(shù)據(jù)集樣本數(shù)量極大,與待測物體鳥窩無關(guān)的興趣域?qū)B窩的分布具有信息增益,興趣域的訓(xùn)練增益可以增高整體檢測器的精度。檢測器的精度由第二級檢測器的精度決定,第一級檢測器起到了物體放大的作用,第二級檢測器在興趣域中檢測待測物體鳥窩,物體的平均IoU值明顯大于單級檢測器,檢測器的檢測精度可以預(yù)期會明顯提高。
本研究內(nèi)容的實驗硬件環(huán)境為英特爾Core i9-10900K處理器主頻3.70GHz,內(nèi)存為64GB,Nvidia GeForce RTX 3090顯卡;實驗軟件環(huán)境為Win10專業(yè)版,Python3.8,Pytorch1.7.1,CUDA 11。
通過正確預(yù)測的樣本數(shù)與總預(yù)測樣本數(shù)的比值來反映預(yù)測的準(zhǔn)確率,準(zhǔn)確率越高,說明檢測模型越精確。而檢出率率是指正確預(yù)測的樣本數(shù)與真實樣本總數(shù)的比值,檢出率越高,說明檢測模型越可靠。
為了實現(xiàn)實時檢測,在保證模型具有比較高的檢測精度的同時,還要盡可能提高模型的檢測速度。一般使用每秒內(nèi)處理圖像的數(shù)量(秒幀率FPS)反映檢測速度的快慢,對于單網(wǎng)絡(luò)檢測器,其檢測速度為檢測網(wǎng)絡(luò)處理圖像的速度;而對于級聯(lián)網(wǎng)絡(luò),第二級網(wǎng)絡(luò)的輸入要求第一級網(wǎng)絡(luò)具有輸出。
第一級檢測器的數(shù)據(jù)集為3900張圖片,使用Faster R-CNN、YOLOv3-spp、YOLOv4等基于深度學(xué)習(xí)的目標(biāo)檢測算法對鐵路沿線的興趣域進行識別訓(xùn)練。
第二級檢測器的數(shù)據(jù)集為130張圖片,使用Faster R-CNN、YOLOv3-spp、YOLOv4等基于深度學(xué)習(xí)的目標(biāo)檢測算法對逆向推理算法得到的興趣域中的鳥窩進行識別訓(xùn)練。
(1)直接檢測
當(dāng)數(shù)據(jù)集規(guī)模較小時,無論YOLO系列等two-stage算法還是Faster R-CNN等one-stage算法,均對小目標(biāo)物體的識別能力有限,并且接觸網(wǎng)鳥窩形體特征較為單一,難以與環(huán)境樣本區(qū)分,具有很大的訓(xùn)練難度,在測試集很難有較好的表現(xiàn)。
YOLOv3-spp,YOLOv4與Faster R-CNN等識別檢測模型進行識別,結(jié)果如表2。
表2 不同目標(biāo)檢測算法直接檢測性能對比
由表1可以看出,無論是YOLO系列等two-stage網(wǎng)絡(luò)還是Faster R-CNN等one-stage網(wǎng)絡(luò),當(dāng)鳥窩數(shù)據(jù)集較少且體積較小、形體特征單一時,網(wǎng)絡(luò)的學(xué)習(xí)效果不佳,難以學(xué)習(xí)到鳥窩存在的整體性特征,均無法準(zhǔn)確地標(biāo)注出鐵路沿線接觸網(wǎng)的鳥窩。
(2)級聯(lián)檢測
對測試集126張圖片共210個鳥窩進行檢測,使用不同的第一級檢測器檢測興趣域,測試第二級檢測器的檢測性能,采用第一、二級檢測器串行計算,第二級檢測器并行檢測的計算方法。
其檢測結(jié)果如表3。
表3 不同目標(biāo)檢測算法級聯(lián)檢測性能對比
由表2結(jié)果可以看出,三種檢測模型級聯(lián)結(jié)果的最差檢出率為84.68%,仍然高于直接檢測的最好結(jié)果77.48%。級聯(lián)網(wǎng)絡(luò)識別,通過第一級網(wǎng)絡(luò)誘導(dǎo)識別先驗的興趣域,而第二級在興趣域中識別待測物體鳥窩,興趣域中鳥窩的分布情況較為單一,可以減少其他環(huán)境樣本的干擾,提高了鳥窩的區(qū)分度,降低訓(xùn)練的難度。因此,級聯(lián)網(wǎng)絡(luò)對第二級待測物體的數(shù)據(jù)集規(guī)模依賴較小,只需要很少的圖片就可以學(xué)習(xí)到興趣域中鳥窩的分布特征。
本研究針對高速鐵路接觸網(wǎng)異物入侵提出了一種基于機器視覺的解決方法?;谌斯は闰炚页鲽B窩可能存在的興趣域,在第一級檢測器中實現(xiàn)對興趣域的定位檢測,大幅縮小異物目標(biāo)檢測的搜索范圍。然后,使用第二級檢測器檢測興趣域中的鳥窩位置。在鳥窩數(shù)據(jù)集較少的情況下,檢測器級聯(lián)了兩個one-stage檢測模型,發(fā)掘不同階段檢測算法的可并行性,實現(xiàn)了高速鐵路接觸網(wǎng)上鳥窩的快速準(zhǔn)確檢測。