范新南，黃偉盛，史朋飛，辛元雪，朱鳳婷，周潤康

基于改進YOLOv4的嵌入式變電站儀表檢測算法

范新南1,2，黃偉盛2，史朋飛1,2，辛元雪2，朱鳳婷2，周潤康2

(1. 江蘇省輸配電裝備技術重點實驗室，江蘇 常州 213022；2. 河海大學物聯(lián)網(wǎng)工程學院，江蘇 常州 213022)

隨著機器人技術的快速發(fā)展，智能機器人廣泛應用于變電站巡檢，針對目前目標檢測算法參數(shù)量過大且嵌入式設備性能有限，難以在嵌入式平臺上實現(xiàn)實時檢測的問題，提出了一種基于改進YOLOv4的嵌入式變電站儀表檢測算法。以YOLOv4為基礎，采用MobileNetV3作為主干特征提取網(wǎng)絡，在保證模型能夠有效提取特征的情況下，降低運算量，提高檢測速度；與此同時，將特征提取后的路徑聚合網(wǎng)絡(PANet)中的卷積運算替換成深度可分離卷積；采用遷移學習的訓練策略克服模型訓練困難問題；最后，利用TensorRT對改進后的模型進行重構和優(yōu)化，實現(xiàn)快速和高效的部署推理。改進后的算法在嵌入式端NVIDIA Jetson Nano上進行了測試，實驗結果表明，在犧牲了較少精度的情況下，檢測速度提高了2倍，達到15 FPS，為邊緣計算場景下的儀表實時檢測提供了可能。

深度學習；變電站儀表；目標檢測；YOLOv4；遷移學習

變電站是電力傳輸?shù)臉屑~，在變換電壓、分配電能等方面起著重要作用。在變電站中，各類儀表顯示的信息反映了設備的運行情況，需要對儀表進行監(jiān)測以保證設備的正常運行。目前，人工巡檢是大多數(shù)變電站采用的巡檢方案，主要依靠專業(yè)技能和主觀判斷。但是，人工巡檢存在可靠性差、巡檢效率低等問題，甚至在一些極端天氣或高危場所中并不具備可行性，不利于變電站的智慧化管理。近些年，國家大力推行變電站智能巡檢機器人代替或輔助人工進行儀表檢測，引起了人們的廣泛關注，成為了研究的熱點話題[1-2]。變電站中的儀表讀數(shù)巡檢方案已經(jīng)向無人化、自動化方向升級優(yōu)化。

視覺系統(tǒng)能否準確識別出儀表的讀數(shù)是衡量智能巡檢機器人能否穩(wěn)定運行的標準之一[3]。變電站機器人按照事先規(guī)劃好的路線進行巡檢，通過拍攝變電站儀表圖像，在機器人前端完成儀表信息識別或傳回后臺系統(tǒng)(在后臺完成識別任務)。在視覺系統(tǒng)部分，儀表檢測識別由2部分組成：①儀表定位，從變電站環(huán)境圖像中找到儀表的位置；②儀表讀數(shù)，通過計算機視覺相關技術對儀表圖像進行信息提取并獲取讀數(shù)。儀表定位的準確性對整個檢測識別任務有較大影響，定位問題本質(zhì)上屬于計算機視覺中的目標檢測問題，但巡檢機器人工作的特殊性使得該問題不同于一般的目標檢測問題。變電站巡檢機器人對儀表圖像的采集具有定點、定向、定焦等特點，定點即巡檢機器人依照事先設定好的巡檢路線到達指定的圖像采集區(qū)域；定向即在拍攝時固定攝像頭角度，定焦即拍攝時固定攝像頭的焦距。理想情況下，多次巡檢任務中相同采集點的儀表位置是固定的，但由于巡檢機器人的定位誤差、相機的機械誤差等因素，實際獲取的圖像和理想圖像存在不可預測的誤差，主要體現(xiàn)為較小的位置偏差，無明顯拍攝角度偏差。如果能夠采集到數(shù)量較多的實際儀表圖像，充分學習各類不同偏移程度的特征，就可以實現(xiàn)較高的定位精度。

儀表定位算法主要包括傳統(tǒng)的基于特征檢測與匹配的檢測算法和基于深度學習的檢測算法。房樺等[4]利用尺度不變特征變換算法(scale invariant feature transform，SIFT)實現(xiàn)儀表表盤區(qū)域特征檢測與匹配；楊志娟等[5]采用定向二進制描述算法(oriented fast and rotated brief，ORB)定位儀表表盤區(qū)域。GAO等[6]利用加速魯棒特征(speeded up robust features，SURF)方法與模板圖像匹配，從巡檢機器人拍攝的圖像中檢測儀表區(qū)域。黃炎等[7]使用加速穩(wěn)健特征算法進行圖像匹配以實現(xiàn)儀表表盤檢測。隨著機器學習的發(fā)展和計算機性能的提高，機器學習在儀表定位上的應用越來越多。其中，邢浩強等[8]在SSD (single shot multibox detector)網(wǎng)絡的基礎上加以改進以適用于儀表表盤檢測的任務需求；徐發(fā)兵等[9]則采用改進的YOLO9000網(wǎng)絡快速檢測儀表表盤的包圍框位置，去除冗余背景信息干擾。語義分割網(wǎng)絡在儀表表盤檢測方面的應用研究也取得了一定的成果，周楊浩等[10]采用全卷積神經(jīng)網(wǎng)絡(fully convolutional networks，F(xiàn)CN)對儀表圖像數(shù)據(jù)進行語義分割，以精確分割儀表表盤的位置。LIU等[11]借助特征對應算法和兩階段目標檢測算法Faster R-CNN來檢測目標儀表的位置。

針對現(xiàn)有算法存在網(wǎng)絡參數(shù)量過大、檢測效率低等問題，為了實現(xiàn)嵌入式平臺的實時檢測，實現(xiàn)變電站儀表實時檢測任務，本文提出一種輕量級的變電站儀表檢測算法。一般生成輕量化網(wǎng)絡的方法包括：輕量化網(wǎng)絡設計、模型剪枝、量化、知識蒸餾等。本文同時采用第1種和第3種，結合模型設計階段和推理階段同時實現(xiàn)網(wǎng)絡的輕量化，并在YOLOv4的基礎上進行以下改進：

(1) 針對在移動端、嵌入式端等邊緣計算場景，實時性不高、檢測效率低等問題，測試了多種方案后，將YOLOv4原始CSPDarknet-53 Backbone替換為MobileNetV3 Backbone，MobileNetV3經(jīng)歷了前兩代更新后精度得已提高，檢測速度也得到改善。相比CSPDarknet-53以及其他輕量級網(wǎng)絡，參數(shù)量與計算量大大降低，為嵌入式端的變電站儀表實時檢測提供了可能。

(2) 在改進了主干網(wǎng)絡的基礎上，將特征提取后的路徑聚合網(wǎng)絡(path aggregation network，PANet)中的卷積運算替換為深度可分離卷積，通過減少模型的參數(shù)、降低模型的大小，進一步提高檢測速度。

(3) 為了提高在嵌入式設備上的推理效率，將其部署在嵌入式平臺上，對改進后的模型采用TensorRT量化，利用TensorRT對模型進行重構和優(yōu)化，達到網(wǎng)絡加速的目的。

1 基于改進YOLOv4的嵌入式變電站儀表檢測算法

1.1 YOLOv4網(wǎng)絡

YOLOv4[12]的網(wǎng)絡結構主要包括：輸入(Input)、主干(Backbone)、特征融合網(wǎng)絡(Neck)和頭部(Head) 4個部分。

(1) 輸入端。為了增強模型的魯棒性，YOLOv4采用了SAT自對抗訓練和Mosaic數(shù)據(jù)增強的方式。SAT策略使神經(jīng)網(wǎng)絡反向更新圖像，在添加擾動后的圖像上訓練，實現(xiàn)數(shù)據(jù)的擴充。Mosaic數(shù)據(jù)增強利用隨機縮放、隨機裁剪和隨機排布的方式對4張圖片進行拼接，擴充檢測數(shù)據(jù)集。

(2) 主干網(wǎng)絡。YOLOv4在YOLOv3的Darknet-53基礎上，利用跨階段局部網(wǎng)絡(cross stage partial network，CSPNet)[13]提出CSPDarknet-53特征提取網(wǎng)絡。圖1是CSPNet將Darknet中的殘差塊進行拆分成左右2部分，右邊作為主干部分繼續(xù)堆疊原來的殘差塊，左邊部分只進行少量處理后進行直連。該方式在減少計算量的同時使梯度在不同的路徑上進行傳播，實現(xiàn)了豐富的梯度組合，避免了梯度消失等問題。

圖1 CSPNet結構圖

(3) 特征融合網(wǎng)絡。YOLOv4使用了空間金字塔池化(spatial pyramid pooling，SPP)[14]模塊和路徑聚合網(wǎng)絡(path aggregation network，PANet)模塊，采用SPP模塊的方式，相較于簡單的使用×最大池化的方式，有效增加主干特征的接受范圍。PANet在YOLOv3的FPN (feature pyramid network)層后增加了一個自底向上的特征金字塔，F(xiàn)PN層實現(xiàn)自頂向下傳達強語義特征，而特征金字塔則自下而上傳達強定位特征，從不同的主干層對不同的檢測層進行參數(shù)聚合，避免在傳遞過程中出現(xiàn)淺層信息丟失的問題，提高網(wǎng)絡預測的準確性。

(4) 頭部(預測網(wǎng)絡)。YOLOv4利用多尺度預測的方式，輸出3個不同大小的feature map，分別檢測小、中、大3種目標，特征圖的每個網(wǎng)格對應3個預測框，利用預測框偏移對物體位置進行預測，同時輸出目標屬于每種類別的概率，整個模型網(wǎng)絡結構如圖2所示。

1.2 改進YOLOv4變電站儀表檢測算法

1.2.1 主干網(wǎng)絡結構改進

考慮到實際應用中的變電站巡檢機器人大多數(shù)使用CPU平臺，盡管有部分使用GPU平臺，但其性能仍然有限。在實際應用中，不能只考慮模型的性能，還要解決大規(guī)模網(wǎng)絡模型在嵌入式設備上的部署問題。YOLOv4在嵌入式平臺上存在檢測速度較慢，難以滿足儀表實時檢測的問題，由于主干網(wǎng)絡是模型的重要組成部分，是提取儀表圖像特征的關鍵網(wǎng)絡，原主干網(wǎng)絡的模型較為復雜，參數(shù)量相較過大，考慮將一種性能優(yōu)異且輕量化的網(wǎng)絡引入YOLOv4中并構成新的網(wǎng)絡結構。相比其他輕量級網(wǎng)絡，MobiletNetV3具有計算量小、參數(shù)少的特性，在目標檢測任務取得了較好的成績，提出使用MobileNetV3代替YOLOv4的主干特征提取網(wǎng)絡CSPDarknet-53進行儀表檢測定位，加快模型的檢測速度。MobileNet[15]適合應用于設備性能有限的場景，例如移動或嵌入式等邊緣計算設備。

MobileNetV3采用NetAdapt算法對每一層的核數(shù)量進行優(yōu)化，獲得卷積核和通道的最佳數(shù)量。在繼承了V1中的深度可分離卷積，減少模型參數(shù)的同時。保留了MobileNetV2[16]中具有線性瓶頸的殘差結構，線性瓶頸殘差塊(Bottleneck)是對residual block的拓展，將重點聚焦在殘差網(wǎng)絡各層的層數(shù)，在進入block之后通過1×1的卷積將低維空間映射到高維空間，將特征維數(shù)放大，使用輕量級深度卷積進行過濾，隨后用linear bottleneck將特征投影回低維壓縮表示。

圖2 YOLOv4整體結構

引入基于squeeze和excitation結構的輕量級通道注意力機制[17]，對圖像中的空間域信息進行空間轉換提取關鍵信息，找到圖像信息中需要被關注的區(qū)域。通過squeeze運算得到每個特征通道的權重，將該權重應用在原來的每個特征通道，學習不同通道的重要性，針對不同的任務增強或抑制不同的通道。在增加少量計算量的情況下，可以獲得明顯的性能提升。具體實現(xiàn)為：特征在上一層被輸出，分為2條路徑：第1條不進行任何處理；第2條首先進行squeeze操作，將每個通道的特征壓縮成一維，從而得到一個特征通道向量。然后進行excitation操作，將這一列特征通道向量輸入2個全連接層和sigmoid，建模出特征通道間的相關性，得到每個通道對應的權重。最后將權重通過scale乘法加權到原來的特征上，實現(xiàn)特征通道的權重分配。

1.2.2 引入深度可分離卷積

深度神經(jīng)網(wǎng)絡依靠巨大網(wǎng)絡參數(shù)獲得優(yōu)越的性能，隨著網(wǎng)絡結構越復雜、模型層數(shù)越深，存儲空間和計算損耗的壓力也越來越大。在1.1節(jié)中已經(jīng)介紹了YOLOv4算法的整體結構，本文在修改了主干網(wǎng)絡的基礎上，準備修改其特征融合網(wǎng)絡，使其網(wǎng)絡整體結構的復雜度和參數(shù)量都得到了明顯的下降。在保持特征融合網(wǎng)絡SPP模塊和PANet模塊基礎結構不變的情況下，保證其本身的優(yōu)勢，只減少其參數(shù)，將深度可分離卷積引入特征融合網(wǎng)絡PANet[18]中替換原標準卷積，進一步壓縮模型參數(shù)量，使模型更容易部署到嵌入式設備上。

普通的標準卷積使用一個和輸入具有相同通道數(shù)的卷積核，在整個特征通道上進行乘法和累加運算，將得到的數(shù)據(jù)作為輸出，單次計算量為D×D×，其中為輸入的通道數(shù)，D為濾波器的大小。當一個卷積核對輸入數(shù)據(jù)進行濾波處理時，計算量為D×D××D×D，D為輸入特征圖的尺寸大小。在使用個卷積核運算時，計算量為D×D××D×D×，標準卷積的計算過程如圖3所示。

圖3 標準卷積過程

普通的卷積運算，在進行濾波的同時，都涉及了所有輸入通道特征的組合，從而產(chǎn)生新的特征。但是，濾波和組合可以分解為2個步驟，顯著降低計算成本。深度可分離卷積由逐通道卷積和逐點卷積組成，逐通道卷積將單個濾波器應用于每個輸入通道，逐點卷積通過1×1卷積來組合不同深度卷積的輸出，逐通道卷積的過程如圖4所示，計算復雜度為D×D××D×D。

圖4 逐通道卷積過程

逐通道卷積相對于普通的標準卷積效率高，但只是對輸入通道做了濾波處理，并未結合各個通道的特征圖生成新的特征。為了解決這一問題，將1×1的逐點卷積施加在逐通道卷積之后。逐點卷積的功能就是通過收集每個點的特征信息，使用尺寸為1×1的卷積聯(lián)合逐通道卷積收集多個通道空間信息，同時在逐點卷積層后增加BN層和ReLU層可以增加模型的非線性變化，從而增強模型的泛化能力，其計算量為D×D××，逐點卷積過程如圖5所示。

圖5 逐點卷積過程

1.2.3 遷移學習策略

遷移學習[19]是將網(wǎng)絡中每個節(jié)點的權重從一個訓練好的網(wǎng)絡遷移到一個全新的網(wǎng)絡。在實際應用中，通常不會針對一個新任務從頭開始訓練新的神經(jīng)網(wǎng)絡，此方式效率較低，當數(shù)據(jù)集不夠龐大時，要訓練出泛化能力足夠強的網(wǎng)絡模型較為困難。因此本文采用遷移學習訓練策略，加快網(wǎng)絡的收斂速度，訓練過程簡單并且在相同的訓練時間內(nèi)能夠得到高精度的檢測模型。

1.2.4 TensorRT加速推理

TensorRT是一個可以在NVIDIA GPU硬件平臺下運行的推理框架[20]。ONNX是一種用于深度學習模型的開放格式，利用該格式可以用任何的框架設計、訓練和部署深度學習模型。在完成網(wǎng)絡的改進之后，網(wǎng)絡訓練完畢后得到一個輕量化的網(wǎng)絡，在實際推理運行前，對模型進行TensorRT量化操作。具體實現(xiàn)為：將訓練好的Pytorch模型導出為ONNX格式，轉換后的ONNX模型可能會有很多冗余操作，利用ONNX Simplifier進行簡化，得到轉換后的ONNX模型。借助onnx2trt工具生成TensorRT引擎，然后利用TensorRT推理引擎運行模型。TensorRT可以將訓練好的模型進行分解再進行融合，融合后的模型具有較高的集合度。例如：將卷積層和激活層進行融合，提升計算速度。將TensorRT加速后的模型部署到嵌入式開發(fā)板上，能夠提高吞吐量并減少推理的延遲，有著更高的推理效率。

2 實驗結果與分析

2.1 數(shù)據(jù)集與實驗平臺

由于本文針對的是變電站儀表檢測，場景較為特殊，并沒有大量公開可用的專業(yè)數(shù)據(jù)集，因此在實驗中采取了網(wǎng)上收集和自行制作的數(shù)據(jù)集。在經(jīng)過篩選之后，進行圖像裁剪、添加噪聲、對比度處理等基本圖像擴充手段，一共制作了850張圖片，利用LabelImg對其進行手工標注，用于模型的訓練、驗證和測試，數(shù)據(jù)集中的部分圖像如圖6所示，本文服務器實驗平臺配置見表1。

圖6 部分數(shù)據(jù)集圖片

本文實驗測試在服務器和NVIDIA Jetson Nano上同時進行，Jetson Nano作為嵌入式移動平臺，是一款功能強大的小型計算機，搭載128核心GPU，包含豐富的API接口和CUDA庫，支持邊緣AI應用程序，能夠滿足邊緣計算場景的有效應用。

表1 具體環(huán)境配置

2.2 模型訓練設置

將訓練集、驗證集、測試集依照8∶1∶1的方式進行分配，為了提高訓練的效率，采用遷移學習的訓練策略，使用已經(jīng)在PASCAL VOC數(shù)據(jù)集上訓練達到收斂的MobileNetV3權重文件。實驗過程中，輸入之前先將圖像調(diào)整為416×416，保證輸入圖像的統(tǒng)一性，采用Adam優(yōu)化算法計算每個參數(shù)的自適應學習率，開啟Mosaic數(shù)據(jù)增強和余弦退火衰減，最大學習率為0.001，學習率周期迭代次數(shù)為5。

整個訓練過程分為2步：①為了避免MobileNet權重被破壞，凍結MobileNet網(wǎng)絡參數(shù)，為加快訓練速度將學習率設為0.001，采用小批量梯度下降法，一次輸入16張圖片進行訓練。②解凍MobileNet參數(shù)，為了充分學習提取儀表圖像的特征，更好地達到收斂效果，學習率設為0.000 1，一次性訓練8張圖片。

2.3 計算量與模型參數(shù)對比

為了比較本算法相對于目前其他目標檢測模型的優(yōu)越性，本文在硬件平臺相同的情況下，以計算量來衡量算法對應的時間復雜度，模型參數(shù)大小是模型訓練時的參數(shù)，對應著空間復雜度。表2為本文算法與現(xiàn)有算法在運算量和模型參數(shù)量大小方面的比較。從表中可以看出，在優(yōu)化了模型的主干網(wǎng)絡、引入深度可分離卷積之后，網(wǎng)絡得到簡化，提高了模型效率。因此，在浮點數(shù)計算量方面，相比與Faster-RCNN，本文算法計算量顯著下降，相較于YOLOv3降低了89.2%，與YOLOv4相比減少了88.15%，相較于EfficientDet-D1下降了46.04%，同時遠遠低于CenterNet；而在模型規(guī)模方面，較于Faster-RCNN下降了51.47%，相比于YOLOv3減少了71.12%，比YOLOv4減少了78%，高于EfficientDet-D1，但較于CenterNet下降了56.95%?？梢钥闯?，無論是在計算量還是參數(shù)量方面，本文算法都遠遠小于YOLOv4，較于其他算法有明顯的優(yōu)勢，具備部署到嵌入式等移動終端的可能。

表2 不同模型運算量對比

2.4 檢測精度與檢測速度對比

除了對計算量和參數(shù)量進行分析外，還將本文算法與Faster-RCNN[21]，YOLOv3[22]，YOLOv4 EfficientDet[23]和CenterNet[24]主流模型在檢測速度和檢測精度進行對比。本文訓練環(huán)境使用的GPU型號為NVIDIA RTX 3070，但在實際變電站巡檢機器人應用場景中，一般的硬件設備是普通的CPU設備或計算能力較差的GPU設備。因此，為了更好地評估算法在實際工業(yè)應用中的性能表現(xiàn)，本文在RTX 3070和NVIDIA Jetson Nano 2種不同的硬件條件下對模型進行檢測推理分析。

本文對模型進行了檢測速度測試(該時間為輸入圖像通過網(wǎng)絡模型、對網(wǎng)絡輸出的解碼操作和非極大值抑制運算三者的總和)，輸入圖像大小統(tǒng)一為416×416。在RTX3070上的測試結果見表3，從表中可以看出，F(xiàn)aster-RCNN在RTX 3070上僅達到15 FPS，本文算法相比Faster-RCNN有明顯的改善，提升了233%，相較于YOLOv3提高了19 FPS，同時在YOLOv4的基礎上提到了50 FPS，與EfficientDet-D1和CenterNet相比分別提高了138%和42.86%。本文算法和目前主流檢測模型相比，檢測效率得到了明顯地提升。

表3 在RTX 3070上檢測結果

在網(wǎng)絡訓練階段，為了保證網(wǎng)絡訓練過程中的精度，使用32位浮點數(shù)，而在部署階段，為了減少計算量、提高推理速度，采用16位浮點模型。在嵌入式平臺Jetson Nano上檢測，受限于硬件設備的條件和性能限制。借助于TensorRT技術，利用半精度浮點(FP16)代替全精度浮點(FP32)對模型進行重構和優(yōu)化。測試結果見表4，F(xiàn)aster-RCNN幀率過低，YOLOv3和YOLOv4在Jetson Nano速度方面差異不大，是由于在嵌入式上進行推理測試，硬件設備的性能限制造成差異并不明顯。以半精度浮點數(shù)(FP16)進行分析，本文算法與YOLOv3和YOLOv4相比，檢測效率得到明顯地改善，比YOLOv4提升了200%，最高可達15 FPS。在速度明顯優(yōu)于其他算法的同時，檢測精度也得到了保障，相較于YOLOv3降低到94.72%，精度下降了3.03%，而較于YOLOv4下降了4.25%。與EfficientDet-D1和CenterNet相比時，速度有著顯著地改進，同時可以保持可觀的精度?？梢娫趯嶋H檢測變電站儀表的過程中，以犧牲較小精度為代價的情況下，極大地提高了檢測的速度，能夠實現(xiàn)變電站儀表實時檢測任務。

表4 在Jetson Nano上檢測結果

同時，為了更好驗證本算法各模塊及策略的作用，進行了詳盡的消融實驗，本次消融實驗均在RTX 3070配置的服務器下進行，具體結果見表5。從表中可以看出，在改進主干網(wǎng)絡后，由于特征提取能力得到弱化，不能完全有效地提取圖像深層次特征，精度得到明顯下降，幀率提高到了47 FPS。在此基礎上修改特征融合網(wǎng)絡時，模型精度進一步下降。但在采用遷移學習的訓練策略時，由于預訓練模型學習并保留了大部分目標的通用特征，能夠在有效縮短訓練收斂時間的基礎上，大幅度提高精度。本文算法精度相比YOLOv4下降了4.25%，F(xiàn)PS提高了16.28%，結果證明所采用的模塊和策略能夠在保證精度的情況下，提高檢測效率。

為了直觀、有效地展現(xiàn)本文算法的檢測效果，選取單儀表和多儀表特殊應用場景下的圖像進行檢測效果驗證，對包含儀表的多張圖像進行測試，利用紅色矩形框將儀表從圖像中標識出來。

由于變電站場景的特殊性，變電站儀表型號相同，排列整齊有規(guī)律，且不存在遮擋或重疊等現(xiàn)象，圖像拍攝不會造成目標之間的相互干擾。此外，變電站巡檢機器人在拍攝時存在定點、定向、定焦等特點，拍攝過程中不會存在較大誤差。圖7和圖8分別選取了多張單個儀表和多張多個儀表圖像進行檢測結果對比。從圖7中可以看出，在面對不同型號及不同位置的儀表時，均能做出正確的檢測，檢測結果滿足需求。從圖8的檢測結果可以看出，本文算法能夠一次性檢測出圖中不同位置的多個儀表，方便后續(xù)的儀表讀數(shù)等步驟。與此同時，對多個儀表同時檢測比分多次檢測單個儀表耗費時間更少，能夠有效提高檢測效率。經(jīng)過上述分析，基于YOLOv4改進后的儀表檢測算法能夠快速準確檢測變電站中的儀表，具有較好的實時性和魯棒性，滿足實際檢測的需求。

表5 各模塊策略消融實驗結果對比

注：×表示沒有采用該模塊，ü表示采用該模塊

圖7 單儀表檢測結果展示

圖8 多儀表檢測結果展示

3 結論與展望

針對目標檢測模型參數(shù)量大、占用資源多、難以部署到嵌入式設備上的問題，本文提出了一種基于改進YOLOv4的嵌入式變電站儀表檢測算法。在YOLOv4算法上進行輕量化改進，采用MobileNet V3作為主干特征提取網(wǎng)絡的同時，引入深度可分離卷積，采用遷移學習策略進行網(wǎng)絡訓練，利用TensorRT對模型進行優(yōu)化，使之更適合應用在性能有限的嵌入式設備中。實驗結果表明，該算法在損失4.25%精度的情況下，模型數(shù)據(jù)保存為半精度浮點型(FP16)時，相比于YOLOv4在Jetson Nano上將檢測速度(FPS)提高了約200%。其對于變電站環(huán)境下的儀表檢測表現(xiàn)出良好的魯棒性和實時性，能夠滿足變電站儀表檢測任務，方便在不同變電站中遷移部署，具有很好的實際應用價值。檢測之后，利用深度學習的方法根據(jù)不同類型儀表進行讀數(shù)識別將是后續(xù)重點研究內(nèi)容。

[1] 高旭, 王育路, 曾健. 基于移動機器人的變電站儀表自動識別研究[J]. 電網(wǎng)與清潔能源, 2017, 33(11): 85-90.

GAO X, WANG Y L, ZENG J. Automatic recognition of substation instrument based on mobile robot[J]. Power System and Clean Energy, 2017, 33(11): 85-90 (in Chinese).

[2] LU S Y, ZHANG Y, SU J J. Mobile robot for power substation inspection: a survey[J]. IEEE/CAA Journal of Automatica Sinica, 2017, 4(4): 830-847.

[3] WANG H P, LI J X, ZHOU Y, et al. Research on the technology of indoor and outdoor integration robot inspection in substation[C]//2019 IEEE 3rd Information Technology, Networking, Electronic and Automation Control Conference. New York: IEEE Press, 2019: 2366-2369.

[4] 房樺, 明志強, 周云峰, 等. 一種適用于變電站巡檢機器人的儀表識別算法[J]. 自動化與儀表, 2013, 28(5): 10-14.

FANG H, MING Z Q, ZHOU Y F, et al. Meter recognition algorithm for equipment inspection robot[J]. Automation & Instrumentation, 2013, 28(5): 10-14 (in Chinese).

[5] 楊志娟, 袁縱橫, 喬宇, 等. 基于圖像處理的指針式儀表智能識別方法研究[J]. 計算機測量與控制, 2015, 23(5): 1717-1720.

YANG Z J, YUAN Z H, QIAO Y, et al. Research of intelligent recognition method of pointer instrument based on image processing[J]. Computer Measurement & Control, 2015, 23(5): 1717-1720 (in Chinese).

[6] GAO J W, XIE H T, ZUO L, et al. A robust pointer meter reading recognition method for substation inspection robot[C]//2017 International Conference on Robotics and Automation Sciences. New York: IEEE Press, 2017: 43-47.

[7] 黃炎, 李文勝, 麥曉明, 等. 基于一維測量線映射的變電站指針儀表智能識讀方法[J]. 廣東電力, 2018, 31(12): 80-85.

HUANG Y, LI W S, MAI X M, et al. Intelligent recognition method for substation pointer meter images based on one-dimensional measuring line mapping[J]. Guangdong Electric Power, 2018, 31(12): 80-85 (in Chinese).

[8] 邢浩強, 杜志岐, 蘇波. 變電站指針式儀表檢測與識別方法[J]. 儀器儀表學報, 2017, 38(11): 2813-2821.

XING H Q, DU Z Q, SU B. Detection and recognition method for pointer-type meter in transformer substation[J]. Chinese Journal of Scientific Instrument, 2017, 38(11): 2813-2821 (in Chinese).

[9] 徐發(fā)兵, 吳懷宇, 陳志環(huán), 等. 基于深度學習的指針式儀表檢測與識別研究[J]. 高技術通訊, 2019, 29(12): 1206-1215.

XU F B, WU H Y, CHEN Z H, et al. Research on pointer instrument detection and recognition based on deep learning[J]. Chinese High Technology Letters, 2019, 29(12): 1206-1215 (in Chinese).

[10] 周楊浩, 劉一帆, 李瑮. 一種自動讀取指針式儀表讀數(shù)的方法[J]. 山東大學學報: 工學版, 2019, 49(4): 1-7.

ZHOU Y H, LIU Y F, LI L. An automatic reading method for pointer meter[J]. Journal of Shandong University: Engineering Science, 2019, 49(4): 1-7 (in Chinese).

[11] LIU Y, LIU J, KE Y C. A detection and recognition system of pointer meters in substations based on computer vision[J]. Measurement, 2020, 152: 107333.

[12] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. (2020-04-23) [2021-08-07]. https://arxiv.org/abs/2004.10934.

[13] WANG C Y, MARK LIAO H Y, WU Y H, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. New York: IEEE Press, 2020: 1571-1580.

[14] HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[15] HOWARD A G, ZHU M L, CHEN B, et al. Mobilenets: efficient convolutional neural networks for mobile vision applications[EB/OL]. (2017-04-17) [2021-09-16]. https://arxiv.org/abs/1704.04861.

[16] SANDLER M, HOWARD A, ZHU M L, et al. Mobilenetv2: inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 4510-4520.

[17] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 7132-7141.

[18] LIU S, QI L, QIN H F, et al. Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 8759-8768.

[19] 朱惠玲, 牛哲文, 黃克燦, 等. 基于單階段目標檢測算法的變電設備紅外圖像目標識別及定位[J]. 電力自動化設備, 2021, 41(8): 217-224.

ZHU H L, NIU Z W, HUANG K C, et al. Identification and location of infrared image for substation equipment based on single-stage object detection algorithm[J]. Electric Power Automation Equipment, 2021, 41(8): 217-224 (in Chinese).

[20] STEPANENKO S O, YAKIMOV P Y. Using high-performance deep learning platform to accelerate object detection[C]//International Conference on Information Technology and Nanotechnology. Samara: CEUR-WS, 2019: 26-29.

[21] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[22] REDMON J, FARHADI A. YOLOv3: an incremental improvement[EB/OL]. (2018-04-08) [2021-07-16]. https://arxiv.org/abs/1804.02767.

[23] TAN M X, PANG R M, LE Q V. EfficientDet: scalable and efficient object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 10778-10787.

[24] ZHOU X Y, WANG D Q, KR?HENBüHL P. Objects as points[EB/OL]. (2019-04-25) [2021-12-04]. https://arxiv.org/abs/1904.07850.

Embedded substation instrument detection algorithm based on improved YOLOv4

FAN Xin-nan1,2, HUANG Wei-sheng2, SHI Peng-fei1,2, XIN Yuan-xue2, ZHU Feng-ting2, ZHOU Run-kang2

(1. Jiangsu Key Laboratory of Power Transmission & Distribution Equipment Technology, Changzhou Jiangsu 213022, China; 2. College of Internet of Things Engineering, Hohai University, Changzhou Jiangsu 213022, China)

With the rapid development of robotics technology, intelligent robots are widely used in substation inspections. Aiming at the problem that the current target detection algorithms have too many parameters and the performance of embedded devices is limited. It is difficult to achieve real-time detection on the embedded platform. A n improved YOLOv4 embedded substation instrument detection algorithm is proposed. The algorithm is based on YOLOv4 and uses MobileNetV3 as the backbone feature extraction network. It reduces the amount of calculation and increases the detection speed while ensuring that the model can effectively extract features. At the same time, the convolution operation in the path aggregation network (PANet) is replaced with a depthwise separable convolution after feature extraction; the training strategy of transfer learning is used to overcome the difficult problem of model training. Finally, the improved model is optimized by TensorRT to achieve fast and efficient deployment reasoning. The improved algorithm is tested on the embedded NVIDIA Jetson Nano, and the experimental results show that the detection speed is increased by 2 times to 15 FPS at the expense of less accuracy. This provides the possibility for real-time instrument detection in edge computing scenarios.

deep learning; substation instrument; object detection; YOLOv4; transfer learning

TP 391

10.11996/JG.j.2095-302X.2022030396

A

2095-302X(2022)03-0396-08

2021-09-23；

2022-02-19

23 September，2021；

19 February，2022

江蘇省輸配電裝備技術重點實驗室開放研究基金項目(2021JSSPD03)

The Open Research Fund of Jiangsu Key Laboratory of Power Transmission & Distribution Equipment Technology (2021JSSPD03)

范新南(1965–)，男，教授，博士。主要研究方向為探測與成像、智能感知技術等。E-mail：fanxn@hhuc.edu.cn

FAN Xin-nan (1965–), professor, Ph.D. His main research interests cover detection and imaging, intelligent perception technology, etc. E-mail：fanxn@hhuc.edu.cn

史朋飛(1985–)，男，副教授，博士。主要研究方向為探測與成像、信息獲取與處理等。E-mail：shipf@hhu.edu.cn

SHI Peng-fei (1985–), associate professor, Ph.D. His main research interests cover detection and imaging, information acquisition and processing, etc. E-mail：shipf@hhu.edu.cn