陳華超 李剛領(lǐng) 廖承就 張惠榮 張磊

1. 廣東電網(wǎng)有限責(zé)任公司惠州供電局 廣東 惠州 516000；2. 廣州中科智巡科技有限公司 廣東 廣州 510623

引言

目前輸電線路防外破監(jiān)測的方式主要為視頻監(jiān)控，利用網(wǎng)絡(luò)攝像機實時回傳線路的監(jiān)控畫面，由工作人員判斷線路是否存在外力破壞隱患，可以實現(xiàn)了輸電線路狀態(tài)與外力破壞風(fēng)險的集中監(jiān)測。但隨著電網(wǎng)規(guī)模的增加，視頻監(jiān)控系統(tǒng)的規(guī)模也不斷擴大，靠工作人員從監(jiān)控畫面中時刻判斷線路是否存在外力破壞隱患變得不太現(xiàn)實。在電網(wǎng)智能化的大背景下，利用無線視頻傳輸技術(shù)結(jié)合圖像處理算法，自動化分析監(jiān)控視頻中的輸電線路是否存在外力破壞隱患顯得十分必要。本文基于單目深度估計方法結(jié)合，實現(xiàn)自動化、高準(zhǔn)確率、高實用性的輸電線路防外破監(jiān)測。

1 相關(guān)理論

1.1 Transformer編碼器

Transformer編碼器的作用是負(fù)責(zé)把自然語言序列映射稱為隱藏層（含有自然語言序列的數(shù)學(xué)表達），然后解碼器把隱藏層在映射為自然語言序列。Transformer編碼器由L層多頭注意力模塊和多層感知器模塊的組合組成，本文采用的多頭注意力模塊和多層感知器模塊均與常規(guī)的Transformer模型內(nèi)的模塊結(jié)構(gòu)一致[1]。

1.2 CNN解碼器

解碼器（Decoder）是負(fù)責(zé)將特征（Feature）轉(zhuǎn)化為目標(biāo)（Target）的結(jié)構(gòu)[2]。傳統(tǒng)的CNN解碼器為了將小尺寸多通道的特征圖解碼成大尺寸單通道的深度圖，大多采用如UNet模型解碼器一樣的逐層上采樣結(jié)構(gòu)，通過多個上采樣操作和卷積操作，在特征映射過程中逐層擴大尺寸并縮小特征通道，直至獲取深度圖[3]。

本文設(shè)計一種深度-空間轉(zhuǎn)換模塊應(yīng)用于CNN解碼器中實現(xiàn)高效率的特征映射：先使用兩個3×3卷積層依次將Transformer解碼器輸出的張量特征通道從768減少至256[4]，卷積層濾波器的數(shù)量分別是512和256；其次深度-空間轉(zhuǎn)換模塊直接將28×28×256的張量按照行優(yōu)先的順序?qū)⒉煌疃鹊奶卣饕来沃嘏帕谐?48×448×1的深度圖，像素重排列的過程可用公式表達為：

2 本文算法

2.1 構(gòu)建改進深度估計模型

本文設(shè)計了一種結(jié)合Transformer編碼器和CNN解碼器的深度估計模型，所設(shè)計深度估計模型框架如下圖所示。

在推理前需對圖像進行預(yù)處理，首先，將輸入圖像縮放至448×448×3的尺寸后裁剪成784個長寬均為16的正方形圖塊（patch），得到784×16×16×3的張量；其次將這些圖塊逐個采用flatten()函數(shù)線性投影至一維向量，因此可以獲得784×768的二維特征圖，768代表每個圖塊的特征向量長度；最后，向特征圖增加1個1×768的可學(xué)習(xí)向量實現(xiàn)位置信息嵌入，使模型在訓(xùn)練中學(xué)習(xí)到圖塊間的位置信息。圖像經(jīng)過預(yù)處理后最終得到785×768的二維特征圖。

在推理時，將特征圖輸入Transformer編碼器進行特征編碼，通過一系列的多頭注意力（Multi-Head Attention）模塊和多層感知器（multi-layerperceptron，MLP）模塊提取魯棒性更高的特征，最終輸出大小為785×768的特征圖，刪除位置信息特征，得到大小為784×768的特征圖，并通過reshape()函數(shù)轉(zhuǎn)換為28×28×768的張量。將張量輸入CNN解碼器，通過兩個3×3卷積層和一個深度-空間轉(zhuǎn)換（Depth-to-Space）模塊實現(xiàn)特征映射，獲取448×448×1的深度圖，每個像素點上的值表示該點的深度信息。

圖1 深度估計模型結(jié)構(gòu)

2.2 深度估計模型訓(xùn)練

在深度估計模型部署進計算平臺前，需先進行模型訓(xùn)練。由于獲取圖像深度圖的工作十分復(fù)雜，因此本文直接采用公共的深度估計數(shù)據(jù)集Cityscape對所設(shè)計的深度估計模型進行訓(xùn)練。Cityscape數(shù)據(jù)集由2975組訓(xùn)練圖像（RGB圖像及其相應(yīng)的深度圖）和500對用于驗證的圖像組成。

在模型訓(xùn)練階段，采用Huber()損失函數(shù)計算模型Loss值，計算公式如下：

在計算得到Loss值后，采用自適應(yīng)矩估計優(yōu)化器作為模型的訓(xùn)練優(yōu)化策略，通過反向傳播梯度優(yōu)化模型權(quán)重，共訓(xùn)練100輪次。學(xué)習(xí)率從0.001開始動態(tài)調(diào)整，每一輪次更新完成后，學(xué)習(xí)率乘以0.9。觀察驗證集Loss值的變化，當(dāng)Loss值連續(xù)5個輪次沒有下降的時候，停止訓(xùn)練，獲取收斂效果最好（最終Loss值最低）的深度估計模型。

3 實驗過程與結(jié)果分析

3.1 算法過程

本文采用檢測效率高的YOLOX模型對圖像內(nèi)施工機械目標(biāo)進行檢測。在模型推理前先將圖像大小縮放為640×640以加快推理速度，之后圖像經(jīng)過模型推理后得到一個規(guī)模為（R，4）的二維數(shù)組，數(shù)組行數(shù)R表示模型檢測出圖像內(nèi)施工機械目標(biāo)的數(shù)量，每一行表示圖像內(nèi)一個施工機械目標(biāo)的外接矩形框的位置信息是目標(biāo)矩形框的左上角坐標(biāo)的橫坐標(biāo)和縱坐標(biāo)，是目標(biāo)矩形框的右下角坐標(biāo)的橫坐標(biāo)和縱坐標(biāo)。

模型在部署前需進行訓(xùn)練，模型訓(xùn)練采用自適應(yīng)矩估計優(yōu)化器作為網(wǎng)絡(luò)的訓(xùn)練優(yōu)化策略，共訓(xùn)練50輪次。學(xué)習(xí)率從0.0003開始動態(tài)調(diào)整，每一輪次更新完成后，學(xué)習(xí)率乘以0.9。模型采用原YOLOX模型的主干網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)權(quán)重作為預(yù)訓(xùn)練模型權(quán)重，并初始化檢測頭網(wǎng)絡(luò)的權(quán)重參數(shù)。前25個輪次凍結(jié)主干網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)的權(quán)重參數(shù)，僅對檢測頭網(wǎng)絡(luò)進行微調(diào)以加速訓(xùn)練；后25個輪次則對模型整體進行訓(xùn)練。每一輪訓(xùn)練后計算模型在測試集上Loss值，當(dāng)Loss值連續(xù)5個輪次沒有下降的時候，停止訓(xùn)練，獲取收斂效果最好（最終Loss值最低）的YOLOX模型。

訓(xùn)練所用的數(shù)據(jù)通過抽取輸電線路區(qū)域監(jiān)控視頻的畫面組成，并以人工分揀的方式，清洗亮度異常、噪聲較大和圖像模糊的數(shù)據(jù)。利用標(biāo)注工具，對圖像中的施工機械目標(biāo)進行標(biāo)注，并以VOC數(shù)據(jù)格式保存成xml標(biāo)簽文件。在本實施例中，施工機械目標(biāo)主要包括吊車、挖掘機、推土機和塔吊。最后，將圖像數(shù)據(jù)和對應(yīng)標(biāo)注文件按照4∶1的數(shù)量比例劃分出訓(xùn)練集和測試集用于訓(xùn)練模型。檢測到的圖像內(nèi)施工機械目標(biāo)的檢測框位置信息，可以在深度圖的相同位置處獲取每一個施工機械目標(biāo)的深度區(qū)域，并以該區(qū)域內(nèi)所有像素的深度值的平均值作為該目標(biāo)的參考深度值，設(shè)定告警閾值，若圖像內(nèi)有任一施工機械目標(biāo)的參考深度值大于告警閾值，則進行告警，提醒工作人員輸電線路區(qū)域存在外破隱患。

推理圖像利用模擬機械施工設(shè)備進入攝像頭，進行抓拍的方式進行，得到不同距離和不同設(shè)備類型的數(shù)據(jù)875張。標(biāo)注此批數(shù)據(jù)之后，即可進行自動化的比對。

3.2 實驗環(huán)境與配置

采用設(shè)備參數(shù)如下：CPU：主頻2.40GHz，8C/16T；顯卡：NVIDIA Geforce 3070ti；操作系統(tǒng)：Redhat Centos 9.2207

3.3 算法訓(xùn)練與結(jié)果測試

表1 算法實驗結(jié)果

3.4 結(jié)果分析

通過分析比較，基于單目深度估計的深度學(xué)習(xí)模型能夠有效地監(jiān)測現(xiàn)場是否存在施工機械，并且根據(jù)距離預(yù)警輸出，滿足現(xiàn)場實際應(yīng)用的需要。

4 結(jié)束語

本文提出了一種結(jié)合Transformer編碼器（一種采用自注意力機制的深度學(xué)習(xí)模型）和CNN解碼器（一種采用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型）的強大性能，直接建立RGB彩色像素與深度值之間的關(guān)系映射，在單一圖像上進行深度估計，獲取深度圖，最終根據(jù)目標(biāo)檢測結(jié)果和深度圖進行告警判斷，實現(xiàn)自動化防外破監(jiān)測。