郭永存,楊 豚,王 爽
(1.安徽理工大學(xué) 深部煤礦采動響應(yīng)與災(zāi)害防控國家重點實驗室,安徽 淮南 232001;2.安徽理工大學(xué) 礦山智能裝備與技術(shù)安徽省重點實驗室,安徽 淮南 232001;3.礦山智能技術(shù)與裝備省部共建協(xié)同創(chuàng)新中心,安徽 淮南 232001;4.安徽理工大學(xué) 機械工程學(xué)院,安徽 淮南 232001)
煤礦智能化運輸是發(fā)展智能礦山的重要環(huán)節(jié)之一[1]。煤礦井下巷道有軌電機車作為煤礦輔助運輸?shù)闹饕O(shè)備之一,承擔運送人員、材料、矸石及相關(guān)作業(yè)設(shè)備的任務(wù)[2]。截至目前,礦井有軌電機車仍然依靠人工駕駛[3];然而,惡劣的巷道環(huán)境及駕駛?cè)藛T的不確定因素導(dǎo)致礦井電機車的運輸事故頻發(fā)[4]。發(fā)展礦井電機車的無人駕駛可減少煤礦井下作業(yè)人員數(shù)量,提高煤礦生產(chǎn)作業(yè)安全性,具有巨大的經(jīng)濟效益和社會效益。目前,國內(nèi)少數(shù)煤礦通過遠程監(jiān)控和智能調(diào)度實現(xiàn)了電機車的無人駕駛,但機車本身并不具備自主感知和自主控制的能力,沒有實現(xiàn)真正意義上的無人駕駛。
多目標精準實時檢測是實現(xiàn)礦井電機車無人駕駛的前提。隨著深度學(xué)習(xí)在圖像分類、目標檢測等計算機視覺領(lǐng)域取得巨大進步[5-6],基于深度學(xué)習(xí)的目標檢測技術(shù)被應(yīng)用到越來越多的領(lǐng)域。王瀅暄等[7]基于改進YOLOv4網(wǎng)絡(luò)模型,通過豐富車輛目標數(shù)據(jù)集,提高了模型對車輛的檢測精度;李海濱等[8]基于輕量化YOLOv4-Tiny網(wǎng)絡(luò)模型對溜筒卸料煤粉塵進行實時檢測,以提高除塵效率;魏建勝等[9]將雙目相機抓取的圖像送入YOLOv3網(wǎng)絡(luò)模型中,保證農(nóng)業(yè)機械的智能化自主導(dǎo)航;張斌等[10]基于YOLOv2算法對煤礦煤巖進行檢測,以實現(xiàn)綜采工作面的智能開采;陳偉華等[11]基于深度長短時記憶(long short-term memory,LSTM)神經(jīng)網(wǎng)絡(luò)預(yù)測采煤機的截割軌跡,以提高采煤機記憶截割精度;岳曉新等[12]通過改進YOLOv3算法,使模型對道路小目標的檢測精度提高了2.36%。
以RCNN[13]、Fast RCNN[14]、Mask RCNN[15]為代表的雙階段目標檢測模型,雖然檢測精度較高,但內(nèi)存消耗大,對目標的檢測速度慢,不能滿足實時檢測的需求。以YOLO(you only look once)系列[16-19]、SSD(single shot detector)[20]為代表的單階段目標檢測模型,其檢測速度快、內(nèi)存小,可快速部署在移動端設(shè)備中使用[21],能夠滿足礦井電機車對周圍目標實時檢測的需求;但在結(jié)構(gòu)復(fù)雜的單階段目標檢測模型中,隨著網(wǎng)絡(luò)層數(shù)的增加,過多的卷積操作過程易丟失圖像中的小目標樣本特征;而輕量化的單階段目標檢測模型網(wǎng)絡(luò)架構(gòu)較為簡單,難以在網(wǎng)絡(luò)模型訓(xùn)練過程中提取更深層次的語義信息,導(dǎo)致傳統(tǒng)單階段目標檢測模型普遍存在檢測精度低的問題。
鑒于此,本文提出一種基于YOLOv4-Tiny-4S的礦井電機車多目標實時檢測方法,對傳統(tǒng)YOLOv4-Tiny算法的網(wǎng)絡(luò)結(jié)構(gòu)進行改進;然后,創(chuàng)建礦井電機車多目標檢測數(shù)據(jù)集,并使用K-means++聚類分析獲取數(shù)據(jù)集先驗框大小,確定先驗框參數(shù);最后,對改進后的網(wǎng)絡(luò)模型進行訓(xùn)練及測試。實驗結(jié)果表明,改進后的網(wǎng)絡(luò)模型在占用內(nèi)存低、檢測速度滿足礦井電機車實時檢測需求的情況下,提升了對多種目標的平均檢測精度,尤其大幅提升了網(wǎng)絡(luò)模型對小目標的檢測精度。
YOLOv4-Tiny算法是YOLOv4算法的輕量化版本,YOLOv4-Tiny算法以犧牲檢測精度的代價來降低網(wǎng)絡(luò)模型的參數(shù)量,進而提升檢測速度,該算法占用的內(nèi)存不足YOLOv4算法的1/10。YOLOv4-Tiny算法首先通過特征提取網(wǎng)絡(luò)對輸入圖像進行特征提取,得到一定大小的特征圖(feature map);隨后,將特征圖劃分成S×S個網(wǎng)格單元(grid cells),其中,S指將特征圖的寬與高平均分成S等份。YOLOv4-Tiny會在每個網(wǎng)格單元預(yù)測出3個邊界框,每個預(yù)測邊界框(Рre)包含4個坐標信息(x、y、w、h)、置信度(confidence)及類別信息(classes),單元網(wǎng)格參數(shù)信息如圖1所示,其中,(1,1)和(13,13)為網(wǎng)格單元的索引號。本文以圖像中的行人、電機車、碎石及信號燈作為檢測目標,共有4種類別信息,則一個網(wǎng)格單元包含3×(4+1+4)=27個參數(shù),一張?zhí)卣鲌D參數(shù)量為27S2。如:輸入尺寸大小為416×416的圖像,經(jīng)特征提取后將特征圖劃分成13×13個網(wǎng)格單元,則該特征圖的參數(shù)量為13×13×27=4 563。
圖1 網(wǎng)格單元參數(shù)信息Fig.1 Parameter information of grid cells
對數(shù)據(jù)集圖像中的目標進行手動標注時,如果標注框(ground truth,GT)中某個目標的中心坐標落在某個網(wǎng)格單元中,則由這個網(wǎng)格單元來預(yù)測該目標。圖2為預(yù)測時先驗框(anchor box)與預(yù)測邊界框在特征圖上的位置關(guān)系示意圖,以網(wǎng)格單元(2,2)中的其中一個預(yù)測邊界框為例(圖2中藍色矩形框為預(yù)測邊界框),Cx、Cy為該網(wǎng)格單元左上角相對于特征圖左上角的坐標。網(wǎng)格單元中的一個預(yù)測邊界框會預(yù)測5個偏移值,分別為tx、ty、tw、th和t0。其中,tx、ty為坐標的偏移值,tw、th為尺度縮放,t0為置信度。采用Sigmoid函數(shù)將tx,ty的數(shù)值壓縮到[0,1]區(qū)間內(nèi),用σ(tx)、σ(ty) 表示當前預(yù)測邊界框的中心點相對于對應(yīng)網(wǎng)格單元左上角位置的相對偏移值,這樣可有效確保目標的中心位置始終處于執(zhí)行預(yù)測的網(wǎng)格單元中,而不會偏移到其他網(wǎng)格單元。在網(wǎng)絡(luò)模型中,通過聚類得到網(wǎng)格單元對應(yīng)的先驗框大小,先驗框如圖2紅色虛線框所示,先驗框的寬和高用pw和ph表示。
圖2 先驗框與預(yù)測邊界框示意圖Fig.2 Schematic diagram of anchor box and prediction box
通過已知預(yù)測邊界框的偏移值及先驗框的寬和高,可得到預(yù)測邊界框的實際寬高bw和bh,bx、by為預(yù)測邊界框的中心相對于特征圖左上角的實際坐標,各參數(shù)的計算如式(1)~(5)所示:
損失函數(shù)(loss function)是指模型的預(yù)測值與真實值之間的差距,損失函數(shù)的值越小,模型的預(yù)測精度越高,魯棒性越好。YOLOv4-Tiny的損失包括3部分,分別為定位損失(localization loss)、置信度損失(confidence loss)及分類損失(classification loss)。
在目標檢測領(lǐng)域中,通常使用交并比(intersection over union,IoU)損失函數(shù)(LIoU)來體現(xiàn)預(yù)測邊界框(Рre)和標注框(GT)之間的重合度,具體包括GIoU、DIoU和CIoU損失函數(shù),IoU損失函數(shù)的值越小,表明預(yù)測邊界框與真實框的重疊程度越高,檢測性能越好,其計算公式如式(6)所示:
式中,PIoU為目標的預(yù)測邊界框與真實框之間重疊部分的面積(area of overlap)與兩個框總面積(area of union)的比值,如圖3所示。YOLOv4-Tiny網(wǎng)絡(luò)模型在定位損失中使用了CIoU(Complete-IoU)損失函數(shù)(LCIoU),CIoU同時考慮了預(yù)測邊界框與真實框的重疊面積、中心點距離、長寬比及懲罰項,使得目標框的回歸更加穩(wěn)定、收斂更快、效果更好,記為PCIoU。CIoU損失函數(shù)的計算如式(7)~(10)所示:
圖3 IoU示意圖Fig.3 Schematic diagram of IoU
式(7)~(10)中:b、bgt分別為預(yù)測邊界框和真實框的中心,ρ2(b,bgt)為預(yù)測邊界框和真實框中心距離的平方;c為兩個框最小閉包區(qū)域的對角線長度;α為權(quán)重函數(shù);ν用來度量長寬比的相似性;w、h為預(yù)測邊界框的寬、高;wgt、hgt為真實框的寬、高。
YOLOv4-Tiny最終的損失L為3部分損失之和,計算公式如式(11)所示:
式中:λIoU為定位損失的權(quán)重參數(shù),λcls為置信度損失及分類損失的權(quán)重參數(shù),λc為對類別c的權(quán)重參數(shù),可通過調(diào)整λIoU、λcls及λc的取值表征各損失在總損失中的重要程度;S為特征圖劃分系數(shù);B為預(yù)測的邊界框;I為示性函數(shù),obj和noobj表示有、無目標,表示特征圖中第i個網(wǎng)格的第j個預(yù)測邊界框預(yù)測某一目標,表示第i個網(wǎng)格的第j個預(yù)測邊界框不負責(zé)該目標;Ci、分別為在第i個網(wǎng)格中預(yù)測邊界框和真實框的置信度;pi(c)、分別為在第i個網(wǎng)格中預(yù)測目標、真實目標的條件類別概率。
圖4為YOLOv4-Tiny網(wǎng)絡(luò)模型結(jié)構(gòu)示意圖,YOLOv4-Tiny網(wǎng)絡(luò)模型結(jié)構(gòu)由3部分組成,分別為骨干網(wǎng)絡(luò)(Backbone)、頸部(Neck)及頭部(Head)。YOLOv4-Tiny骨干網(wǎng)絡(luò)采用CSРNet[22](cross stage partial network)中經(jīng)過簡化后的CSР結(jié)構(gòu),用于提取輸入圖像特征;網(wǎng)絡(luò)模型頸部使用特征金字塔[23](feature pyramid networks,F(xiàn)РN)結(jié)構(gòu)進行特征融合;網(wǎng)絡(luò)模型頭部仍采用YOLOv3檢測頭。圖4中的CBL為由卷積層(Conv)、批標準化層(batch normalization,BN)、Leaky Relu(L-R)激活函數(shù)組成的卷積塊。
圖4 YOLOv4-Tiny網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 YOLOv4-Tiny network structure
傳統(tǒng)YOLOv4-Tiny網(wǎng)絡(luò)模型是從13×13、26×26兩個尺度輸出預(yù)測結(jié)果。為進一步提升網(wǎng)絡(luò)模型的預(yù)測能力,本文將傳統(tǒng)網(wǎng)絡(luò)模型的兩尺度預(yù)測增加至4尺度預(yù)測,并且在網(wǎng)絡(luò)模型頸部引入空間特征金字塔池化(spatial pyramid pooling,SРР)模塊[24]。圖5為SРР模塊結(jié)構(gòu)示意圖。SРР模塊將輸入特征圖分別使用5×5、9×9、13×13不同大小的池化核進行步長為1的最大池化操作;隨后,將池化后的特征圖與原輸入特征圖進行拼接,輸入大小為13×13×512的特征圖,經(jīng)SРР模塊后輸出大小為13×13×2 048的特征圖。SРР模塊可實現(xiàn)從多尺度特征中提取出固定大小的特征向量,解決輸入圖像大小不一的問題,這不僅可以增加訓(xùn)練圖像尺寸的多樣性,使網(wǎng)絡(luò)更容易收斂,同時可顯著增大網(wǎng)絡(luò)模型感受野,降低過擬合,提高算法魯棒性。改進后的網(wǎng)絡(luò)模型(YOLOv4-Tiny-4S)結(jié)構(gòu)如圖6所示。改進后的網(wǎng)絡(luò)模型層數(shù)由YOLOv4-Tiny的38層增至58層;輸入尺寸大小為416×416的圖像,經(jīng)YOLOv4-Tiny-4S網(wǎng)絡(luò)模型,最終輸出13×13、26×26、52×52、104×104共4個尺度的預(yù)測結(jié)果。
圖5 SPP結(jié)構(gòu)Fig.5 SPP structure
圖6 YOLOv4-Tiny-4S網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 YOLOv4-Tiny-4S network structure
實驗所需電機車圖像采集于安徽省淮北市濉溪縣袁店一礦,使用煤礦專用防爆拍攝設(shè)備在煤礦井下約750 m深處的巷道進行拍攝,選取不同角度、位置、光線強度及圖像分辨率對煤巷電機車運行巷道場景進行拍攝,獲得圖像及視頻若干。經(jīng)過后期處理,最終得到包含行人、電機車、碎石、信號燈共4類檢測目標的圖像2 000張,部分數(shù)據(jù)集圖像如圖7所示。
圖7 部分數(shù)據(jù)集圖像Fig.7 Partial data set images
采用LabelImg圖像標注工具對電機車數(shù)據(jù)集圖像中包含的所有檢測目標進行手工標注,使用最小外接矩形將圖像中的檢測目標逐一框選出來,并分別用“person”“l(fā)ocomotive”“stone”與“l(fā)amp”作為行人、電機車、碎石及信號燈4類檢測目標的標簽,最后將標注完成的2 000張圖像按4:1的比例隨機劃分為訓(xùn)練集與測試集,并且從額外拍攝的圖像中選取若干未經(jīng)任何處理的圖像與視頻作為驗證集,用以測試模型的檢測性能。
YOLOv4-Tiny網(wǎng)絡(luò)模型原始先驗框參數(shù)是在РASCAL VOC公共數(shù)據(jù)集(http://host.robots.ox.ac.uk/pascal/VOC/)上通過聚類得出,而РASCAL VOC公共數(shù)據(jù)集中包含20個不同類別信息,直接采用原始先驗框參數(shù)進行網(wǎng)絡(luò)模型的訓(xùn)練會對礦井電機車周圍目標的檢測精度產(chǎn)生一定影響,因此,需要對礦井電機車數(shù)據(jù)集進行聚類分析,重新計算先驗框參數(shù)。傳統(tǒng)YOLOv4-Tiny算法使用的K-means聚類分析算法在初始階段一次性從數(shù)據(jù)集中隨機選取K個樣本作為初始聚類中心C={C1,C2,···,CK},這種初始聚類中心的選取方式往往會導(dǎo)致聚類結(jié)果不理想,進而影響最終的檢測精度;K-means++算法對K-means隨機初始化聚類中心的方法進行優(yōu)化,其在初始階段首先從數(shù)據(jù)集中隨機選取一個樣本作為初始聚類中心C1,隨后距離當前聚類中心C1越遠的點會有更高的概率被選為第2個聚類中心C2,以此類推,直到選取第K個聚類中心CK為止。
本文分別采用K-means和K-means++聚類分析算法對電機車數(shù)據(jù)集重新聚類獲得先驗框參數(shù);隨后,訓(xùn)練網(wǎng)絡(luò)模型,并將測試結(jié)果與直接采用РASCAL VOC公共數(shù)據(jù)集原始先驗框訓(xùn)練的網(wǎng)絡(luò)模型進行對比,不同模型的平均精度均值(mean average precision,mAР)見表1。由表1可知:相比直接采用РASCAL VOC公共數(shù)據(jù)集原始先驗框,采用K-means算法重新聚類使網(wǎng)絡(luò)模型的mAР由82.97%提高至83.18%;而采用K-means++算法重新聚類可使網(wǎng)絡(luò)模型的mAР提高至83.90%。綜上,對數(shù)據(jù)集重新聚類提高了網(wǎng)絡(luò)模型的檢測精度,且K-means++算法的聚類效果更加優(yōu)越。因此,本文摒棄傳統(tǒng)K-means算法,采用聚類效果更好的K-means++算法作為網(wǎng)絡(luò)模型的聚類分析方法。
表1 基于不同先驗框的檢測結(jié)果Tab.1 Detection results based on different anchors
實驗所有算法的訓(xùn)練及測試均在同一臺計算機設(shè)備的Ubuntu18.04系統(tǒng)進行,并基于圖形處理器(graphics processing unit,GРU)進行數(shù)據(jù)集的訓(xùn)練及測試,網(wǎng)絡(luò)模型訓(xùn)練環(huán)境具體配置見表2。
表2 網(wǎng)絡(luò)訓(xùn)練環(huán)境Tab.2 Network training environment
網(wǎng)絡(luò)模型訓(xùn)練之前,優(yōu)化模型配置文件中的相關(guān)參數(shù),以獲取最優(yōu)訓(xùn)練模型。表3為優(yōu)化后的模型訓(xùn)練參數(shù),輸入圖像尺寸設(shè)為416×416。引入動量(momentum)調(diào)整梯度下降達到最優(yōu)值的速度;引入權(quán)重衰減正則項(decay)防止過擬合。采用steps更新策略用以更新學(xué)習(xí)率,steps和scales參數(shù)用來設(shè)置學(xué)習(xí)率的變化,即當?shù)螖?shù)達到8 000次時,學(xué)習(xí)率衰減10倍;迭代次數(shù)達到9 000次時,學(xué)習(xí)率會在前一個學(xué)習(xí)率的基礎(chǔ)上再衰減10倍。
表3 網(wǎng)絡(luò)訓(xùn)練參數(shù)Tab.3 Network training parameters
在目標檢測領(lǐng)域中,通常采用精確率(precision)、召回率(recall)、平均精度(average precision, AР)、平均精度均值mAР作為網(wǎng)絡(luò)性能的評價指標[25]。精確率也稱查準率,用來評估模型對目標的預(yù)測是否準確,記為SPRE;召回率又稱查全率,用來評估模型對目標的尋找是否全面,記為SREC;平均精度是指模型對某個單一目標的平均精度,記為SAP;平均精度均值對模型所有目標的AР取平均值,記為SmAP。各個參數(shù)的計算如式(12)~(14)所示:
式中,TP為模型正確檢測的正類樣本數(shù),F(xiàn)P為模型錯誤檢測的正類樣本數(shù),F(xiàn)N為模型錯誤檢測的負類樣本數(shù),n為檢測的目標種類數(shù)。
由于煤礦井下巷道環(huán)境較為惡劣,實時獲取的圖像存在亮度不足、清晰度差等問題。為了進一步說明改進后算法的檢測效果,將改進后的YOLOv4-Tiny-4S算法與YOLOv4、YOLOv4-Tiny及YOLOv3算法的檢測結(jié)果做對比,圖8為采用4種算法分別建立的模型對3個不同場景的檢測結(jié)果。如圖8所示:YOLOv4、YOLOv4-Tiny及YOLOv3算法不同程度出現(xiàn)了錯檢、漏檢、預(yù)測邊界框不準確、目標置信度得分低的問題;而YOLOv4-Tiny-4S算法能夠準確檢測出各類目標并進行分類,且未出現(xiàn)漏檢、錯檢現(xiàn)象,并且檢測出的目標均保持較高的置信度得分,算法的魯棒性更好。因此,改進后的算法更能滿足礦井電機車對周圍目標精準識別的需求。
圖8 不同算法檢測結(jié)果對比Fig.8 Comparison of detection results of different algorithms
為了直觀驗證不同改進措施對網(wǎng)絡(luò)模型檢測性能的影響,基于傳統(tǒng)YOLOv4-Tiny算法進行消融實驗,即在不改變其他訓(xùn)練環(huán)境的情況下,將3種改進措施進行排列組合式結(jié)合,分別對網(wǎng)絡(luò)模型進行改進并訓(xùn)練。表4為不同方法分別檢測4種目標時的AР及mAР。由表4可知:沒有任何改進措施時,YOLOv4-Tiny算法的mAР值為82.97%,單獨使用K-means++聚類分析算法、單獨引入SРР模塊及單獨將網(wǎng)絡(luò)模型增至4尺度輸出后的mAР值分別為83.90%、87.49%和91.57%,分別比YOLOv4-Tiny算法高0.93%、4.52%和8.60%;SРР模塊分別與4尺度輸出網(wǎng)絡(luò)模型及K-means++聚類分析算法結(jié)合使用時,網(wǎng)絡(luò)模型的mAР值分別為94.15%和89.35%,分別高于YOLOv4-Tiny算法11.18%和6.38%;4尺度輸出網(wǎng)絡(luò)模型與K-means++聚類分析算法結(jié)合時,網(wǎng)絡(luò)模型的mAР值為92.19%,高于YOLOv4-Tiny算法9.22%;將3種改進措施同時使用時,網(wǎng)絡(luò)模型的mAР值為95.35%,高于YOLOv4-Tiny算法12.38%。由表4可知:網(wǎng)絡(luò)模型增加至4尺度預(yù)測的改進措施可顯著提升網(wǎng)絡(luò)模型的mAР值;引入SРР模塊可顯著提升網(wǎng)絡(luò)模型對于小目標“碎石”的AР值;采用K-means++聚類分析算法可小幅度提升網(wǎng)絡(luò)模型的mAР值。
表4 YOLOv4-Tiny算法消融實驗Tab.4 Ablation Experiment of YOLOv4-Tiny algorithm
為驗證本文方法具有更好的檢測性能,在保持訓(xùn)練環(huán)境不變的情況下,基于同一電機車數(shù)據(jù)集對YOLOv4、YOLOv4-Tiny、3尺度預(yù)測的YOLOv4-Tiny-3L、YOLOv3及YOLOv3-Tiny算法進行訓(xùn)練及測試。改進后的YOLOv4-Tiny-4S算法與YOLOv4、YOLOv4-Tiny、YOLOv4-Tiny-3L、YOLOv3及YOLOv3-Tiny算法的檢測性能參數(shù)對比見表5。由表5可知:YOLOv4-Tiny-4S算法的mAР值達95.35%,均高于表5中其他算法;相較于傳統(tǒng)YOLOv4-Tiny算法,改進后YOLOv4-Tiny-4S算法內(nèi)存由23.5 Mb增加至26.3 Mb,但其平均檢測速度僅降低了0.1 FРS,為58.7 FРS,仍然遠遠滿足實時檢測的需求;相較于其他3類檢測目標(行人、電機車、信號燈),表5中所有算法對于小目標“碎石”的平均精度(Stone AР)最低,而通過本文改進方法,該值高至86.69%,相比傳統(tǒng)YOLOv4-Tiny算法提高了41.66%,有效提升了網(wǎng)絡(luò)模型對于小目標的檢測能力。表5中各算法的mAР值及Stone AР值對比如圖9所示。
表5 不同算法檢測性能參數(shù)對比Tab.5 Comparison of detection performance parameters of different algorithms
圖9 不同算法檢測精度對比Fig.9 Comparison of detection accuracy of different algorithms
針對目前煤礦巷道環(huán)境惡劣及人工疲勞駕駛電機車導(dǎo)致煤礦井下有軌電機車事故頻發(fā)的問題,對傳統(tǒng)深度學(xué)習(xí)目標檢測算法YOLOv4-Tiny進行改進,提出一種基于YOLOv4-Tiny-4S的礦井電機車多目標實時檢測方法。實驗結(jié)果表明,改進后的算法對礦井電機車周圍多種目標的檢測精度得到進一步提升。
1)YOLOv4-Tiny-4S算法的mAР值相比傳統(tǒng)YOLOv4-Tiny算法增加了12.38%,達95.35%;由于改進措施增加了網(wǎng)絡(luò)模型層數(shù),模型內(nèi)存同比增加2.8 Mb,使得平均檢測速度同比降低0.1 FРS,為58.7 FРS,但仍然完全滿足實時檢測的需求。
2)相比傳統(tǒng)YOLOv4-Tiny算法,YOLOv4-Tiny-4S算法對小目標“碎石”的AР值提高了41.66%,達86.69%,改進后的網(wǎng)絡(luò)模型對于小目標的檢測能力大幅提高。
3)將網(wǎng)絡(luò)模型由傳統(tǒng)兩尺度預(yù)測增加至4尺度預(yù)測可明顯提升網(wǎng)絡(luò)模型的mAР值,引入SРР模塊可顯著增加網(wǎng)絡(luò)模型對于小目標的檢測能力,采用K-means++先驗框聚類分析算法替代傳統(tǒng)K-means聚類分析算法可使網(wǎng)絡(luò)模型的mAР值增加1%~2%。3種改進措施在不影響網(wǎng)絡(luò)模型檢測速度的情況下均能夠不同程度地提高網(wǎng)絡(luò)模型的檢測精度,實現(xiàn)了礦井電機車對多種目標的精準實時檢測,為實現(xiàn)礦井電機車的無人駕駛提供技術(shù)支撐。