賀洲強(qiáng)，夏 天，陳 亮，楊 康，胡進(jìn)棟

（1.國(guó)網(wǎng)甘肅省電力公司，甘肅蘭州 730030；2.國(guó)網(wǎng)甘肅省電力公司蘭州供電公司，甘肅 蘭州 730070）

隨著人工智能技術(shù)的不斷進(jìn)步，對(duì)電力作業(yè)人 員違規(guī)動(dòng)作監(jiān)控也提出了更嚴(yán)格的要求。但由于監(jiān)管部門(mén)的責(zé)任缺失，違規(guī)動(dòng)作易引發(fā)安全事故的發(fā)生[1-3]。為提高電力施工的安全系數(shù)，采用智能化技術(shù)對(duì)施工現(xiàn)場(chǎng)進(jìn)行監(jiān)控識(shí)別成為當(dāng)前的主流[4]。移動(dòng)巡檢機(jī)器人搭載高清攝像頭獲取電力施工現(xiàn)場(chǎng)的實(shí)時(shí)數(shù)據(jù)，并基于高精度機(jī)器視覺(jué)技術(shù)形成智能分析算法。當(dāng)發(fā)現(xiàn)有電力作業(yè)人員出現(xiàn)違規(guī)動(dòng)作時(shí)，即可在控制中臺(tái)實(shí)時(shí)反映[5-7]。近年來(lái)，機(jī)器視覺(jué)與深度學(xué)習(xí)算法被研究者廣泛關(guān)注，卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)識(shí)別中也取得了突破性進(jìn)展，增加了算法的應(yīng)用場(chǎng)景[8-10]。文獻(xiàn)[11]利用神經(jīng)網(wǎng)絡(luò)在目標(biāo)數(shù)據(jù)集上進(jìn)行測(cè)試與識(shí)別，取得了高達(dá)90%的識(shí)別率，為深度學(xué)習(xí)的進(jìn)一步推廣奠定了良好的基礎(chǔ)。文獻(xiàn)[12]采用雙流網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)從CNN（Convolutional Neural Network）中提取有效信息并優(yōu)化視頻的參數(shù)與特征，進(jìn)而獲得了包含4 種數(shù)據(jù)流的網(wǎng)絡(luò)模型，且取得了良好的效果[12]。國(guó)內(nèi)學(xué)者利用前端管理系統(tǒng)對(duì)電力作業(yè)現(xiàn)場(chǎng)進(jìn)行了智能巡查，通過(guò)海量數(shù)據(jù)的對(duì)比分析，可有效降低電力作業(yè)的安全風(fēng)險(xiǎn)[13]。但在實(shí)際應(yīng)用中，由于作業(yè)人員的軌跡動(dòng)態(tài)變化以及周?chē)h(huán)境錯(cuò)綜復(fù)雜，在監(jiān)控識(shí)別方面存在精度較低、誤差較大的問(wèn)題。因此，該文開(kāi)展了基于高精度機(jī)器視覺(jué)的電力違規(guī)作業(yè)動(dòng)作監(jiān)控識(shí)別算法設(shè)計(jì)研究。

1 高精度機(jī)器視覺(jué)算法

1.1 改進(jìn)FP-FRCNN模型

為解決數(shù)據(jù)規(guī)模較小、特征提取困難的問(wèn)題，建立了改進(jìn)FP-FRCNN 模型。該模型主要由金字塔結(jié)構(gòu)組成，包括主干網(wǎng)絡(luò)與壓縮激勵(lì)網(wǎng)絡(luò)，通過(guò)對(duì)信息層的不斷壓縮來(lái)實(shí)現(xiàn)單元網(wǎng)絡(luò)的信息壓縮操作，使神經(jīng)元之間形成相互依賴(lài)的聯(lián)系[14]。為降低設(shè)置參數(shù)對(duì)過(guò)程帶來(lái)的影響，故而減少通道因子，并對(duì)數(shù)據(jù)進(jìn)行重新校準(zhǔn)。建立特征網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖1 所示，圖中對(duì)每個(gè)SE-Dense Net 網(wǎng)絡(luò)均進(jìn)行了卷積操作與采樣分析，從而形成網(wǎng)絡(luò)結(jié)構(gòu)。

圖1 金字塔網(wǎng)絡(luò)結(jié)構(gòu)

1.2 池化層調(diào)整

為了使RPN（Region Proposal Network）模塊與預(yù)測(cè)層相連接，需先將各個(gè)模塊相連，進(jìn)而建立改進(jìn)的FP-FRCNN 模型，整體結(jié)構(gòu)如圖2 所示。通過(guò)池化與卷積操作形成特征融合層，并通過(guò)預(yù)測(cè)層連接到RolAlign 層，進(jìn)而建立模型的整體結(jié)構(gòu)。

圖2 改進(jìn)FP-FRCNN模型的整體結(jié)構(gòu)

1.3 特征提取

該文通過(guò)交叉混合操作提取圖像的目標(biāo)特征，基本思路是將若干個(gè)獨(dú)立并行的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行混合操作，并對(duì)全連接層進(jìn)行拆分與混合連接，以得到圖像特征。為了提取反映不同違規(guī)操作的典型特征，需對(duì)每組CNN 特征進(jìn)行交叉處理。若特征向量過(guò)多將會(huì)造成圖像特征的疊加與冗余，不利于分類(lèi)處理，所以需要對(duì)全連接層進(jìn)行擴(kuò)充。CNN 模型的運(yùn)行速度由收斂速度決定，而收斂速度的快慢取決于神經(jīng)元數(shù)量。但神經(jīng)元的數(shù)量同卷積與步長(zhǎng)相關(guān)性較大，因此為保證特征提取的一致性，需增加樣本特征的魯棒性。此過(guò)程具體操作為：對(duì)輸入神經(jīng)網(wǎng)絡(luò)的圖像信息進(jìn)行變換，并將該信息進(jìn)行歸一化處理，經(jīng)HSV 變換后提取圖像的V 通道分量[15-16]。

在進(jìn)行圖像訓(xùn)練時(shí)，通過(guò)多次卷積操作獲取圖像特征。并根據(jù)反向傳播機(jī)制向前傳播，再基于鏈?zhǔn)角髮?dǎo)法則獲取權(quán)值，其步驟如下：

1）樣本數(shù)據(jù)設(shè)置。對(duì)輸入神經(jīng)網(wǎng)絡(luò)的樣本數(shù)據(jù)進(jìn)行歸一化設(shè)置，調(diào)整圖像的長(zhǎng)與寬，并以相同比例變換原始數(shù)據(jù)，得到的數(shù)據(jù)庫(kù)即為CNN 的輸入集。

3）應(yīng)用FP 算法。假設(shè)XL為輸入，wL、gL分別為權(quán)值矩陣和激活函數(shù)，則算法的輸出z可表示為：

在網(wǎng)絡(luò)層中，損失函數(shù)可表示為：

式中，λ為正則化系數(shù)，n為樣本數(shù)據(jù)集中的樣本數(shù)量，xi為數(shù)據(jù)輸入值。

4）應(yīng)用BP 神經(jīng)網(wǎng)絡(luò)算法。假設(shè)目標(biāo)函數(shù)為：

在求取目標(biāo)函數(shù)的最優(yōu)解過(guò)程中，不斷迭代上述模型，以達(dá)到最優(yōu)收斂值。在統(tǒng)計(jì)最大池化層的誤差時(shí)，需計(jì)算卷積層的誤差。假設(shè)卷積層輸出個(gè)數(shù)為M，則最大池化層的誤差計(jì)算公式為：

式中，Kij為池化層對(duì)應(yīng)的權(quán)值。

2 電力作業(yè)現(xiàn)場(chǎng)監(jiān)控識(shí)別

2.1 電力違規(guī)作業(yè)動(dòng)作分類(lèi)

根據(jù)算法檢測(cè)流程，需對(duì)電力違規(guī)作業(yè)進(jìn)行動(dòng)作分類(lèi)，常用的機(jī)器學(xué)習(xí)方法有支持向量機(jī)（Support Vector Machine，SVM）、貝葉斯方法（Bayesian Analysis）等。貝葉斯分類(lèi)法需提前采集前期數(shù)據(jù)；而神經(jīng)網(wǎng)絡(luò)分類(lèi)方法則需準(zhǔn)備大量的樣本數(shù)據(jù)及參數(shù)，所占用的資源過(guò)多。綜合各種分類(lèi)方法的優(yōu)缺點(diǎn)，選擇SVM 分類(lèi)算法具有更優(yōu)的效果。在SVM 分類(lèi)算法檢測(cè)之前，需獲得違規(guī)動(dòng)作的關(guān)鍵坐標(biāo)數(shù)據(jù)。動(dòng)作監(jiān)控識(shí)別需進(jìn)行兩次人體關(guān)鍵點(diǎn)檢測(cè)及動(dòng)作分類(lèi)。其中，第一次是為了檢測(cè)電力工作人員是否發(fā)生違規(guī)動(dòng)作行為。第二次檢測(cè)是為了檢測(cè)電力工作人員是否采取了接地措施。為防止電力工作人員在違規(guī)過(guò)程中設(shè)備發(fā)生放電現(xiàn)象，故在訓(xùn)練時(shí)分成兩個(gè)分類(lèi)器，以分別針對(duì)不同的違規(guī)行為。

大功率參量陣定向揚(yáng)聲器聲學(xué)空間覆蓋特性如圖5所示。由圖5可知，大功率參量陣定向揚(yáng)聲器區(qū)別于普通揚(yáng)聲器的特性在于它有著極強(qiáng)的指向性，聲音發(fā)散角度達(dá)到±15°，在其指向區(qū)間范圍外幾乎無(wú)聲音；且定向揚(yáng)聲器的發(fā)聲強(qiáng)度超過(guò)100 dB，該指標(biāo)非常先進(jìn)，目前國(guó)內(nèi)外類(lèi)似產(chǎn)品均未達(dá)到該水平。當(dāng)定向場(chǎng)聲器安裝于室內(nèi)空間通道內(nèi)時(shí)，沒(méi)有了致命的強(qiáng)近場(chǎng)聲音反射，僅僅產(chǎn)生遠(yuǎn)端反射(見(jiàn)圖6)。遠(yuǎn)端反射通常比直接傳播到聽(tīng)者的聲強(qiáng)要低2個(gè)dB左右，而人耳的定向能力則在0.1 dB范圍內(nèi)即可明確方向，因此在封閉的室內(nèi)空間，大功率參量陣定向揚(yáng)聲器有著極強(qiáng)的音源方向性。

通過(guò)對(duì)比物體的關(guān)鍵坐標(biāo)點(diǎn)，定義物體的高度與寬度，得到高寬比因子為：

由于發(fā)生電力違規(guī)動(dòng)作時(shí)，人體的關(guān)鍵部位位置會(huì)發(fā)生肉眼可見(jiàn)的偏移，因此可通過(guò)坐標(biāo)的改變反映動(dòng)作的變化。在相機(jī)視野內(nèi)，當(dāng)工作人員靠近電氣設(shè)備時(shí)，二者之間的間距顯著變小。但由于相機(jī)與人體間的距離會(huì)發(fā)生變化，所以不能作為特征進(jìn)行識(shí)別，而是利用二者間的比值作為特征向量，便可增加識(shí)別的魯棒性。

2.2 間隔幀間差分法

間隔幀間差分法是識(shí)別兩相鄰灰度圖像素差別的經(jīng)典方法，其可檢測(cè)兩幀圖像間的差異。此外，在間隔差分法之間融合HSV 顏色特征還能夠檢測(cè)相對(duì)運(yùn)動(dòng)的變化。圖3 所示為該方法的流程，將兩圖像進(jìn)行差分，利用重疊影響擴(kuò)大運(yùn)動(dòng)特征差異，可有效減少運(yùn)動(dòng)物體的干擾。該方法不易受到周?chē)饩€及聲音的影響，具有較強(qiáng)的魯棒性。

圖3 間隔幀間差分法流程圖

假設(shè)第t幀圖像和第t+n幀圖像的灰度值分別為ft(x,y) 與ft+n(x,y)，取二者的灰度值并作差可得到：

式中，dt+n(x,y)表示兩幀圖像的差分值。對(duì)其進(jìn)行二值化，可得到二值圖像b(t,t+n)，根據(jù)二值圖像像素點(diǎn)的位置來(lái)判斷兩幀圖像間是否發(fā)生運(yùn)動(dòng)軌跡的改變。

2.3 特征識(shí)別

作為有監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法，特征提取依賴(lài)于卷積與池化操作來(lái)實(shí)現(xiàn)。其權(quán)重參數(shù)的選取主要依賴(lài)于梯度下降法，并通過(guò)不斷地反復(fù)迭代訓(xùn)練提高網(wǎng)絡(luò)的識(shí)別精度。在對(duì)提取到的典型特征進(jìn)行分類(lèi)時(shí)，采用Logistic 分類(lèi)器，其常用于解決二分類(lèi)問(wèn)題。假設(shè)X1、X2、…、Xn分別為特征向量，其對(duì)應(yīng)的圖像類(lèi)別分別為y1、y2、…、yn，并用二值數(shù)字0 或1 代表其二分類(lèi)問(wèn)題，則二者間關(guān)系的計(jì)算公式為：

式中，z=β0+β1xi1+β2xi2+…+βdxid，且f是在[0,1]之間呈單調(diào)遞增的函數(shù)，yi的極大似然函數(shù)可表示為：

其中，P為yi的概率函數(shù)。

電力違規(guī)作業(yè)種類(lèi)較多，且電力施工現(xiàn)場(chǎng)環(huán)境錯(cuò)綜復(fù)雜，導(dǎo)致獲取的圖像背景也異常繁雜。雖然Logistic 分類(lèi)器常用于二分類(lèi)問(wèn)題，但其容易混淆特定目標(biāo)，故通常會(huì)造成較大的誤差。而機(jī)器學(xué)習(xí)在語(yǔ)音及語(yǔ)言處理方面均取得了較大突破，且在精度方面也得到了顯著提高。因此，該文提出一種高精度機(jī)器視覺(jué)算法，實(shí)現(xiàn)對(duì)結(jié)果的高預(yù)測(cè)性能。該算法采用了隨機(jī)森林分類(lèi)器，通過(guò)在多個(gè)樣本子集中形成決策森林，以得到高精度的分類(lèi)結(jié)果，其基本框架如圖4 所示。從圖中可知，該分類(lèi)方法由訓(xùn)練及測(cè)試兩部分構(gòu)成。通過(guò)在DCNN（Diffusion-Convolutional Neural Networks）庫(kù)中選取特征，并根據(jù)適應(yīng)性對(duì)圖像特征進(jìn)行在線分析。同時(shí)采用特征子集的最終特征對(duì)輸入圖像加以分類(lèi)，得到最終的特征分類(lèi)結(jié)果。

圖4 隨機(jī)森林分類(lèi)框架

為訓(xùn)練隨機(jī)森林樹(shù)，在每個(gè)根節(jié)點(diǎn)確定分割規(guī)則，以降低損失值。假設(shè)隨機(jī)森林F={si=(xi,yi)}，對(duì)于給定的隨機(jī)森林節(jié)點(diǎn)，從x1開(kāi)始，當(dāng)其數(shù)值大于閾值時(shí)，該節(jié)點(diǎn)將發(fā)送特征信息至左子樹(shù)；當(dāng)x1的值小于或等于閾值時(shí)，該節(jié)點(diǎn)將發(fā)送特征信息至右子樹(shù)，并持續(xù)分類(lèi)樣本數(shù)據(jù)，直至樣本測(cè)試完畢。

3 算例分析

采用搭載在巡檢機(jī)器人上的攝像頭進(jìn)行數(shù)據(jù)采集，配置的計(jì)算機(jī)內(nèi)存為8 GB、Intel Core i5-9300H，使用64 位操作系統(tǒng)連接Visual 軟件平臺(tái)；并采用特征融合的高精度機(jī)器學(xué)習(xí)算法對(duì)電力施工現(xiàn)場(chǎng)進(jìn)行實(shí)時(shí)數(shù)據(jù)跟蹤與采集，以獲取工作人員的位置信息；再通過(guò)Yolov3 算法進(jìn)行人臉識(shí)別，最終輸出監(jiān)控識(shí)別結(jié)果。

根據(jù)算法流程，在獲取H-S 二維直方圖的基礎(chǔ)上，設(shè)置特征融合系數(shù)，實(shí)驗(yàn)數(shù)據(jù)的相關(guān)屬性如表1所示，并將該文算法與傳統(tǒng)方法進(jìn)行對(duì)比分析。

表1 實(shí)驗(yàn)數(shù)據(jù)相關(guān)屬性

表2 視頻編號(hào)1的實(shí)驗(yàn)結(jié)果

表3 視頻編號(hào)2的實(shí)驗(yàn)結(jié)果

在進(jìn)行實(shí)驗(yàn)時(shí)所采用的評(píng)價(jià)標(biāo)準(zhǔn)主要包括算法的運(yùn)行速度、準(zhǔn)確幀數(shù)占總幀數(shù)的比例（正確跟蹤電力違規(guī)作業(yè)情形）及誤差參數(shù)。其中，視頻編號(hào)1-2的實(shí)驗(yàn)結(jié)果如表2-3 所示。

由上表可知，編號(hào)1 中FRCNN 算法和該文所提改進(jìn)FP-FRCNN 算法的準(zhǔn)確率均高于傳統(tǒng)的SVM算法，且分別提高了1.22%、4.83%，且?guī)室灿兴岣?；同理，編?hào)2 中FRCNN 算法和該文算法的準(zhǔn)確率相對(duì)于SVM 算法分別提高了0.74%、3.56%，幀率也同樣有所提升。綜合兩組實(shí)驗(yàn)可知，該文所提算法的綜合性能更為理想。

為獲取違規(guī)人員的檢測(cè)坐標(biāo)，將坐標(biāo)值輸入到算法中，記錄每幀圖像的有效幀數(shù)以及正確幀數(shù)，其實(shí)驗(yàn)結(jié)果如表4 所示。

表4 違規(guī)檢測(cè)實(shí)驗(yàn)結(jié)果

根據(jù)實(shí)驗(yàn)結(jié)果分析，在實(shí)驗(yàn)設(shè)定的情形中，該判斷算法性能優(yōu)越且平均準(zhǔn)確率超過(guò)90%。通過(guò)對(duì)比實(shí)驗(yàn)，驗(yàn)證了該文所述方法的優(yōu)越性。

4 結(jié)束語(yǔ)

該文采用CNN 模型對(duì)電力作業(yè)人員的違規(guī)作業(yè)動(dòng)作進(jìn)行智能化識(shí)別，為了提高識(shí)別結(jié)果的精確度，用隨機(jī)森林分類(lèi)器對(duì)采集到的視頻信息進(jìn)行處理，再通過(guò)間隔幀間差分檢測(cè)兩幀圖像之間的差異，進(jìn)行兩次人體關(guān)鍵點(diǎn)檢測(cè)及動(dòng)作分類(lèi)，可有效識(shí)別出違規(guī)作業(yè)現(xiàn)象。實(shí)驗(yàn)結(jié)果表明，該算法具有更高的精度，并具備良好應(yīng)用價(jià)值。下一步將繼續(xù)研究改進(jìn)機(jī)器視覺(jué)與隨機(jī)森林的識(shí)別算法，并對(duì)該算法進(jìn)行實(shí)時(shí)檢測(cè)與驗(yàn)證，以取得更高的精度。