趙連斌，張鋒，楊輝

（1.國(guó)網(wǎng)甘肅省電力公司，甘肅蘭州 730000；2.國(guó)網(wǎng)甘肅省電力公司定西供電公司，甘肅定西 743000）

隨著電力行業(yè)數(shù)字化轉(zhuǎn)型的推進(jìn)，對(duì)于無(wú)人值守的變電站、電力施工作業(yè)現(xiàn)場(chǎng)多采用視頻球機(jī)進(jìn)行遠(yuǎn)程監(jiān)控，以識(shí)別電力生產(chǎn)參與人員的違規(guī)作業(yè)行為[1-4]。因此，提升視頻識(shí)別檢測(cè)的算法精度，對(duì)提升電力生產(chǎn)的安全管控水平具有重要意義。

當(dāng)前，電力生產(chǎn)上使用的視頻識(shí)別技術(shù)多針對(duì)于人體的行為和活動(dòng)。根據(jù)視頻識(shí)別理論，人體行為可分解為底層的抬手、轉(zhuǎn)頭、行走、奔跑等基本動(dòng)作單元[5-11]。因此，需要基于采集的視頻信息來(lái)提取相關(guān)的底層特征，并依據(jù)電力生產(chǎn)的相關(guān)規(guī)范，對(duì)相關(guān)行為進(jìn)行違規(guī)判別。以卷積神經(jīng)網(wǎng)絡(luò)(CNN)為代表的深度學(xué)習(xí)算法是當(dāng)前計(jì)算機(jī)領(lǐng)域進(jìn)行視頻識(shí)別的主要方法。CNN 網(wǎng)絡(luò)通過(guò)搭建具有極強(qiáng)非線性擬合能力的神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)視頻信息提取、分類和判別。該文針對(duì)CNN 網(wǎng)絡(luò)的特征提取范圍、訓(xùn)練方式等進(jìn)行了改進(jìn)，進(jìn)一步提升了該網(wǎng)絡(luò)的識(shí)別精度和訓(xùn)練效率。

1 理論基礎(chǔ)

1.1 3D卷積神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中主要包含卷積(Conv)、池化(Pooling)、全連接(Full Connect,FC)三種不同的連接單元，且具備良好的特征提取與表達(dá)能力，可實(shí)現(xiàn)二維的圖像識(shí)別。其基本結(jié)構(gòu)如圖1 所示[12-13]。

圖1 CNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

CNN 網(wǎng)絡(luò)通過(guò)多個(gè)神經(jīng)單元組成深層次的網(wǎng)絡(luò)，完成圖像的識(shí)別與處理。但對(duì)于視頻信號(hào)，其包含了時(shí)間、空間信息，傳統(tǒng)的二維卷積運(yùn)算無(wú)法滿足特征提取需求，故需引入包含時(shí)間信息的3D 卷積結(jié)構(gòu)。圖2 給出了2D、3D 卷積結(jié)構(gòu)的區(qū)別[14]。

圖2 2D和3D卷積運(yùn)算的對(duì)比

在圖2 中，H為二維圖像的高度，W為寬度，k為卷積運(yùn)算的卷積核大小。

根據(jù)圖2，式（1）給出了3D 卷積運(yùn)算的數(shù)學(xué)表達(dá)式：

其中，Tm為視頻幀的時(shí)間長(zhǎng)度，ymn(w,h,t)為視頻序列中第m層、第n個(gè)特征塊在該位置的卷積輸出，vmn(·)為網(wǎng)絡(luò)的連接權(quán)重，umn(·)為該層的卷積輸入，bmn為該卷積元的直流偏置。

對(duì)應(yīng)于3D 卷積運(yùn)算，池化運(yùn)算也可以擴(kuò)展到三維空間：

網(wǎng)絡(luò)采用的是最大值池化操作，通過(guò)池化可以有效降低網(wǎng)絡(luò)參數(shù)，提升模型訓(xùn)練效率。

借鑒Google 公司Inception 的改進(jìn)思路，在3D 卷積層使用更小尺寸的卷積核，捕獲更多的信息，從而進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的非線性學(xué)習(xí)能力。具體方法如圖3 所示。

圖3 使用1×3和3×1卷積核替代3×3卷積核

1.2 C3D網(wǎng)絡(luò)的訓(xùn)練方法

在CNN 網(wǎng)絡(luò)中，權(quán)重和偏置參數(shù)的訓(xùn)練通常是基于隨機(jī)梯度下降法(Stochastic Gradient Descent,SGD)[15-16]進(jìn)行計(jì)算的：

其中，E為網(wǎng)絡(luò)在優(yōu)化時(shí)使用的誤差函數(shù)，η為訓(xùn)練時(shí)的學(xué)習(xí)率。在使用隨機(jī)梯度下降法訓(xùn)練時(shí)，由于學(xué)習(xí)率無(wú)法隨著網(wǎng)絡(luò)訓(xùn)練過(guò)程的推進(jìn)動(dòng)態(tài)調(diào)整，在進(jìn)行三維網(wǎng)絡(luò)訓(xùn)練時(shí)，導(dǎo)致后期訓(xùn)練參數(shù)更新速度降低，陷入局部最優(yōu)。該文使用一種基于分?jǐn)?shù)階動(dòng)量的梯度下降法進(jìn)行訓(xùn)練(Fractional Momentum Gradient Descent,FMGD)：

其中，μ為動(dòng)量的調(diào)節(jié)因子，為誤差傳遞過(guò)程中蘊(yùn)含的動(dòng)量信息。為了保證訓(xùn)練過(guò)程中誤差收斂的穩(wěn)定，通常μ=0.9。取動(dòng)量的γ階差分為：

采用G-L差分公式，對(duì)式（6）進(jìn)行二項(xiàng)展開(kāi)可得：

結(jié)合式（3）對(duì)式（6）進(jìn)行整理可以得到，分?jǐn)?shù)階動(dòng)量的梯度下降訓(xùn)練下的參數(shù)更新方式：

在工程應(yīng)用中，由于無(wú)法進(jìn)行全量的二次項(xiàng)展開(kāi)，因此需要引入截?cái)鄼C(jī)制，根據(jù)要求的計(jì)算精度進(jìn)行適當(dāng)?shù)慕財(cái)唷Ｔ谑褂檬剑?）、式（9）進(jìn)行訓(xùn)練時(shí)，γ可以調(diào)節(jié)動(dòng)量的作用力度。當(dāng)γ較小時(shí)，有利于加速網(wǎng)絡(luò)的訓(xùn)練速度；當(dāng)γ較大時(shí)，有利于提升訓(xùn)練精度。γ的取值和γmin、γmax、迭代次數(shù)m、最大迭代次數(shù)M間需滿足：

2 方法實(shí)現(xiàn)

2.1 仿真實(shí)驗(yàn)設(shè)計(jì)

該文設(shè)計(jì)的仿真實(shí)驗(yàn)流程，如圖4 所示。算法的仿真包括模型的訓(xùn)練與測(cè)試階段。訓(xùn)練時(shí)，將視頻片段、視頻類別分別作為網(wǎng)絡(luò)的輸入和期望輸出，使用分?jǐn)?shù)階動(dòng)量隨機(jī)梯度下降法進(jìn)行訓(xùn)練。

圖4 仿真實(shí)驗(yàn)流程

為了對(duì)算法的性能進(jìn)測(cè)試，以某電力公司2020—2021 年間安全監(jiān)察部門(mén)采集的電力作業(yè)現(xiàn)場(chǎng)典型違章行為視頻作為模型訓(xùn)練和驗(yàn)證的數(shù)據(jù)集。該數(shù)據(jù)中包含了電力現(xiàn)場(chǎng)非法進(jìn)入帶電區(qū)、未戴安全帽、接地線懸掛錯(cuò)誤、未佩戴安全繩等多個(gè)動(dòng)作，且在不同的相機(jī)角度、采集光線、鏡頭深遠(yuǎn)等條件下進(jìn)行樣本采集，表1 給出了該數(shù)據(jù)集的相關(guān)參數(shù)。

表1 數(shù)據(jù)集參數(shù)

如上文所述，設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)是基于3D 卷積結(jié)構(gòu)，根據(jù)數(shù)據(jù)集規(guī)模，該文使用的C3D 網(wǎng)絡(luò)結(jié)構(gòu)如表2 所示。

表2 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

為了使3D 卷積運(yùn)算獲取更多的信息，根據(jù)圖3的方案，使用1×3 和3×1 卷積核替代3×3 卷積核。而基于分?jǐn)?shù)階動(dòng)量的梯度下降法網(wǎng)絡(luò)訓(xùn)練過(guò)程中所采用的相關(guān)參數(shù)設(shè)置，如表3 所示。

表3 FMGD訓(xùn)練參數(shù)設(shè)置

為了便于評(píng)估算法運(yùn)行的時(shí)間、硬件損耗，表4給出了算法仿真時(shí)使用的計(jì)算機(jī)軟硬件環(huán)境參數(shù)。

表4 算法仿真環(huán)境

2.2 仿真結(jié)果

評(píng)估基于分?jǐn)?shù)階動(dòng)量網(wǎng)絡(luò)訓(xùn)練方法的效率，根據(jù)表3 的訓(xùn)練參數(shù)設(shè)置，對(duì)5、15、20 三個(gè)不同截?cái)嚅L(zhǎng)度下的模型訓(xùn)練效果進(jìn)行了評(píng)估，具體結(jié)果如圖5所示。

圖5 網(wǎng)絡(luò)訓(xùn)練效率仿真

在圖5 中，還增加了傳統(tǒng)的基于隨機(jī)梯度下降(SGD)的訓(xùn)練方式作為對(duì)比。從圖中可以看出，SGD在400 次訓(xùn)練后，訓(xùn)練損失趨于平穩(wěn)；FMGD 的訓(xùn)練效率明顯優(yōu)于SGD，且其的訓(xùn)練效果與截?cái)嚅L(zhǎng)度的取值相關(guān)。當(dāng)取值為5 時(shí)，F(xiàn)MGD 在訓(xùn)練約200 次后，訓(xùn)練的損失趨于平穩(wěn)；當(dāng)取值為15、20 時(shí)，F(xiàn)MGD在訓(xùn)練約150 次后，訓(xùn)練損失趨于平穩(wěn)。但考慮到隨著截?cái)嚅L(zhǎng)度的增加，訓(xùn)練的時(shí)間成本也會(huì)增長(zhǎng)，故該文最終選取截?cái)嚅L(zhǎng)度為15。該文以動(dòng)作識(shí)別的精度作為評(píng)判模型性能的指標(biāo)，算法識(shí)別指標(biāo)測(cè)試結(jié)果如表5 所示。

表5 算法識(shí)別指標(biāo)測(cè)試結(jié)果

從表5 中可看出，改進(jìn)后的算法在測(cè)試集上的識(shí)別精度可達(dá)到92.25%，相較于C3D 算法，識(shí)別精度提升了4.89%。此外，由于網(wǎng)絡(luò)采取了新的訓(xùn)練方式，訓(xùn)練時(shí)間下降了61.41%。圖6 為算法在實(shí)際生產(chǎn)環(huán)境下部署后的識(shí)別效果圖。

圖6 變電站違規(guī)行為識(shí)別效果圖

3 結(jié)束語(yǔ)

該文以電力生產(chǎn)的違規(guī)作業(yè)行為檢測(cè)為應(yīng)用背景，對(duì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、訓(xùn)練方式進(jìn)行了改進(jìn)，并在電力生產(chǎn)現(xiàn)場(chǎng)采集的數(shù)據(jù)集上對(duì)改進(jìn)后的算法進(jìn)行了性能評(píng)估。測(cè)試結(jié)果證明，該文算法可以有效提升視頻動(dòng)作的識(shí)別精度，降低模型的訓(xùn)練時(shí)間。隨著電力生產(chǎn)數(shù)字化建設(shè)進(jìn)程的推進(jìn)，該算法能夠有效應(yīng)用于電力生產(chǎn)中。