常政威,蒲 維,吳 杰,黃坤超,熊興中,陳明舉

(1.國網(wǎng)四川省電力公司電力科學(xué)研究院,成都 610041;2.四川輕化工大學(xué) 自動化與信息工程學(xué)院,四川 宜賓 644002)

0 引 言

在電力、礦山以及油田等施工現(xiàn)場中，工作人員的不規(guī)范穿戴往往是造成安全生產(chǎn)事故的主要因素之一。近年來，隨著信息技術(shù)的發(fā)展，利用計算機(jī)視覺技術(shù)可以實(shí)現(xiàn)對施工作業(yè)人員的穿戴情況進(jìn)行檢測與識別，對不規(guī)范的穿戴行為進(jìn)行預(yù)警，從而避免安全事故的發(fā)生。

傳統(tǒng)的穿戴識別方法主要采用圖像分割與特征識別兩個步驟。圖像分割技術(shù)實(shí)現(xiàn)人物目標(biāo)與背景的分離，再利用膚色與衣服的特征定位人體的各個區(qū)域，最后通過機(jī)器學(xué)習(xí)算法對穿戴區(qū)域的顏色、形狀和紋理特征進(jìn)行分類與識別[1-2]。傳統(tǒng)方法主要提取目標(biāo)較淺的顯著特征[3]進(jìn)行識別，其識別性能受環(huán)境影響大，魯棒性不強(qiáng)，難以適應(yīng)復(fù)雜施工現(xiàn)場人員的穿戴設(shè)備識別[4]。

近年來，深度學(xué)習(xí)通過自主學(xué)習(xí)大樣本數(shù)據(jù)深層次的特征，建立魯棒性強(qiáng)的泛化網(wǎng)絡(luò)，能有效地實(shí)現(xiàn)復(fù)雜環(huán)境下的目標(biāo)檢測與識別?；谏疃葘W(xué)習(xí)的目標(biāo)檢測算法主要包括基于區(qū)域建議的兩階網(wǎng)絡(luò)和基于回歸策略的單階網(wǎng)[5]。兩階網(wǎng)絡(luò)先生成可能含有待檢測物體的預(yù)選框，再利用主干網(wǎng)絡(luò)提取特征信息進(jìn)行分類和回歸[6-7]；單步檢測算法直接在網(wǎng)絡(luò)中提取特征，輸出目標(biāo)的類別概率以及位置邊界框，如SSD、YOLO網(wǎng)絡(luò)等等[8-9]。與二階網(wǎng)絡(luò)相比，單階網(wǎng)絡(luò)不僅提高了識別的速度，且識別的準(zhǔn)確率接近于二階網(wǎng)絡(luò)。通常神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的加深與加寬可以提高網(wǎng)絡(luò)的特征表征能力，但增加網(wǎng)絡(luò)的深度與寬度，不但會增加網(wǎng)絡(luò)的復(fù)雜度，甚至還會產(chǎn)生梯度彌散與過擬合現(xiàn)象，從而導(dǎo)致特征表示能力的下降。為解決上述現(xiàn)象，深度殘差網(wǎng)絡(luò)通過在高層和低層之間相互信息傳導(dǎo)，并抑制錯誤信息傳播到網(wǎng)絡(luò)低層，從而緩解梯度彌散問題[10]。另一方面，Google提出的Inception系列網(wǎng)絡(luò)采用稀疏連接代替全連接層，并將稀疏矩陣聚類成密集矩陣，以減少網(wǎng)絡(luò)參數(shù)，緩解過擬合的發(fā)生[11]。

與傳統(tǒng)算法相比，深度學(xué)習(xí)技術(shù)獲得了更好的穿戴檢測與識別性能。文獻(xiàn)[12]與[13]分別針對交通與施工環(huán)境的復(fù)雜性，將深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用于安全帽識別中，從而實(shí)現(xiàn)了復(fù)雜施工環(huán)境下的安全帽識別。但直接將深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用于安全帽識別中，其耗時較大，無法滿足實(shí)時性要求。為解決深層網(wǎng)絡(luò)運(yùn)算耗時的缺點(diǎn)，Wang[14]與Cheng[15]等人對YOLOv3網(wǎng)絡(luò)進(jìn)行簡化，從而減少安全帽識別的時間，但造成弱小目標(biāo)的漏檢與誤檢。一些學(xué)者將多尺度特征金字塔[16]與可分深度卷積模塊[17]引入到卷積神經(jīng)網(wǎng)絡(luò)中，從而提高了復(fù)雜環(huán)境下弱小安全帽的檢測能力。另外，一些學(xué)者針對穿戴服飾的特殊性，建立與之相適應(yīng)的深度卷積網(wǎng)絡(luò)，如油田作業(yè)安全環(huán)境的安全帽的識別殘差網(wǎng)絡(luò)[18]、流行服飾識別Inception網(wǎng)絡(luò)[19]等。

現(xiàn)有的作業(yè)人員穿戴設(shè)備識別網(wǎng)絡(luò)大都集中于單一穿戴設(shè)備進(jìn)行識別，且識別的搜索區(qū)域在整個圖像區(qū)域。施工作業(yè)人員穿戴規(guī)范性識別僅需在人形區(qū)域進(jìn)行，若將穿戴設(shè)備識別的搜索范圍限制在人形區(qū)域，勢必減少識別的運(yùn)算時間[20]。另外，現(xiàn)有的穿戴識別網(wǎng)絡(luò)著重于穿戴目標(biāo)的特性，忽略了穿戴設(shè)備與人形結(jié)構(gòu)特性的聯(lián)系，識別的準(zhǔn)確性有限。鑒于此，本文引入VGG(Visual Geometry Group)[21]與分裂-轉(zhuǎn)換-聚合(Split-Transfer-Agregation,STA)[22]模塊構(gòu)建基礎(chǔ)殘差網(wǎng)絡(luò)ResNeXt-50，利用ResNeXt-50不同卷積層不同深度殘差特征信息實(shí)現(xiàn)作業(yè)人員的姿態(tài)感知。在實(shí)現(xiàn)姿態(tài)感知的基礎(chǔ)上，將穿戴關(guān)鍵區(qū)域送入引入卷積塊注意力模塊(Convolutional Block Attention Module,CBAM)[23]的ResNeXt-50網(wǎng)絡(luò)中，進(jìn)而實(shí)現(xiàn)作業(yè)人員穿戴局部特征與全局特征的融合與精確識別。

1 基于姿態(tài)感知與遷移學(xué)習(xí)的殘差網(wǎng)絡(luò)

本文構(gòu)建的識別網(wǎng)絡(luò)由人形姿態(tài)感知與穿戴識別兩個階段組成，如圖1所示。網(wǎng)絡(luò)將VGG堆疊網(wǎng)絡(luò)與STA分裂-轉(zhuǎn)換-聚合技術(shù)引入到殘差網(wǎng)絡(luò)中，構(gòu)建ResNeXt-50作為基礎(chǔ)網(wǎng)絡(luò)。姿態(tài)感知利用ResNeXt-50不同深度卷積層的殘差圖像特征實(shí)現(xiàn)人形骨架估計與邊緣檢測，從而實(shí)現(xiàn)人形分割與人形關(guān)鍵區(qū)域的定位，如頭部、上身、下身等關(guān)鍵穿戴局部區(qū)域，從而縮小后續(xù)穿戴識別網(wǎng)絡(luò)搜尋的范圍。穿戴識別網(wǎng)絡(luò)將注意力模塊的CBAM引入到ResNeXt-50網(wǎng)絡(luò)，分別對人形的全局特征與穿戴局部特征進(jìn)行特征提取，并通過Concat層將局部特征與全局特征融合后送入Softmax層實(shí)現(xiàn)穿戴設(shè)備的識別。在訓(xùn)練階段，針對訓(xùn)練樣本數(shù)量不夠的缺點(diǎn)，引入遷移學(xué)習(xí)的方法，在保持預(yù)訓(xùn)練網(wǎng)絡(luò)的中低層網(wǎng)絡(luò)參數(shù)不變的情況下，僅對頂層Softmax層進(jìn)行遷移學(xué)習(xí)修正[24]，使遷移學(xué)習(xí)后的網(wǎng)絡(luò)具有更高的穿戴識別準(zhǔn)確率。

圖1 基于姿態(tài)感知與遷移學(xué)習(xí)的穿戴識別的網(wǎng)絡(luò)結(jié)構(gòu)

本文建立的穿戴識別網(wǎng)絡(luò)在態(tài)勢感知的基礎(chǔ)上確定穿戴的關(guān)鍵區(qū)域，僅對關(guān)鍵區(qū)域進(jìn)行穿戴規(guī)范檢測，不僅減少了識別的時間，而且提高了識別的準(zhǔn)確率。在確定的位置進(jìn)行穿戴設(shè)備識別，從而確定穿戴設(shè)備是否在正確的位置，可實(shí)現(xiàn)穿戴的規(guī)范性識別。

1.1 ResNeXt50基礎(chǔ)網(wǎng)絡(luò)的構(gòu)建

ResNet雖然解決了網(wǎng)絡(luò)加深造成梯度彌散問題，但是隨著超參數(shù)數(shù)量的增加，網(wǎng)絡(luò)的復(fù)雜度和計算開銷也會增加。相應(yīng)的研究表明[15，25]，將VGG堆疊網(wǎng)絡(luò)與STA技術(shù)相結(jié)合，在不增加參數(shù)復(fù)雜度的前提下可以減少超參數(shù)的數(shù)量，同時提高網(wǎng)絡(luò)識別的準(zhǔn)確率。圖2(a)給出了輸入與輸出通道都為256的ResNet模塊，其依次進(jìn)行1×1、3×3、1×1的卷積。圖2(b)為圖2(a)對應(yīng)的ResNeXt網(wǎng)絡(luò)模塊，ResNeXt模塊通過分裂32個卷積路徑group，再聚合輸出與ResNet模塊相同的輸出，且運(yùn)算復(fù)雜度與ResNet模塊相近。

圖2 殘差模塊示意圖

ResNeXt模塊分裂-轉(zhuǎn)換-聚合用數(shù)學(xué)表示為

(1)

式中：x為通道的輸入，Ti(x)為第i條卷積路徑的傳遞函數(shù)，D為卷積路徑數(shù)。根據(jù)式(1)可以得出殘差輸出方程：

(2)

ResNeXt的每條卷積路徑的Ti都具有相同的拓?fù)浣Y(jié)構(gòu)。借助AlexNet網(wǎng)絡(luò)grouped convolutions的思想[25]，通過限制本層卷積核和輸入通道的卷積，可得到更簡潔的ResNeXt模塊，如圖2(c)所示。圖2(c)將32個group的每個group的輸入輸出channels設(shè)置為4，最后把channels合并。簡化的ResNeXt模塊可以減少計算量，獲得相同的輸出，速度更快。這里在ResNet50的基礎(chǔ)上引入分裂-轉(zhuǎn)換-聚合結(jié)構(gòu)，構(gòu)建ResNXt50如表1所示。

表1 ResNeXt50簡化網(wǎng)絡(luò)結(jié)構(gòu)

1.2 基于殘差網(wǎng)絡(luò)穿戴區(qū)域檢測

建立的ResNeXt50網(wǎng)絡(luò)的低層輸出高分辨圖像結(jié)構(gòu)信息的特征圖像，高層輸出包含豐富的語義信息的特征圖像。借助于殘差網(wǎng)絡(luò)人體關(guān)鍵節(jié)點(diǎn)估計的方法[26]，這里將構(gòu)建的ResNXt50模塊的平均池化和全連接層刪除，將Res2-Res4輸出的特征圖送入特征聚合模塊(Feature Aggregation,FA)進(jìn)行特征融合。FA模塊由上采樣Upsampling模塊與聚合模塊Concatenation模塊組成，Upsampling模塊由K分組反卷積層實(shí)現(xiàn)，產(chǎn)生一個K個激活圖{A1，A2，…，AK}的集合，送入Concatenation模塊聚合得到邊緣圖[27]。將Res5輸出的語義特征圖送入由二級反卷積模塊組成的姿態(tài)解碼(Pose Encoder,PoE)，便可得到姿態(tài)關(guān)鍵節(jié)點(diǎn)圖[28]，整個過程如圖3所示。

圖3 基于ResNXt50的姿態(tài)感知網(wǎng)絡(luò)

圖4 人形關(guān)鍵節(jié)點(diǎn)示圖

1.3 基于CBAM+ResNeXt特征提取與識別網(wǎng)絡(luò)

CBAM是一種結(jié)合了空間(spatial)和通道(channel)的注意力的輕量級模塊，沿著空間和通道兩個維度依次推斷出注意力權(quán)重，實(shí)現(xiàn)對特征進(jìn)行自適應(yīng)調(diào)整，更加有效地表征目標(biāo)的本質(zhì)特征[23,29]。電力作業(yè)人員穿戴服飾具有多樣性，如顏色、材質(zhì)、款式等各種各樣。為了提高穿戴設(shè)備的準(zhǔn)確性，同時避免增加訓(xùn)練額外開銷，將CBAM無縫地集成到ResNeXt的上一個特征層的最后一個卷積模塊與下一個特征層的第一個卷積模塊之間，如圖5所示。

圖5 嵌入到ResNeXt網(wǎng)絡(luò)的CBAM模塊

對于上一殘差層的特征圖像(feature map)F∈C×H×W，CBAM將按順序推理出通道注意力特征圖(channel attention map)Mc∈C×1×1以及空間注意力特征圖(Spatial Attention Map)Ms∈1×H×W,整個過程如下：

F′=Mc(F)?F，

(3)

F″=Ms(F′)?F′ 。

(4)

式(3)和式(4)中：?為element-wise multiplication，F(xiàn)′、F″分別為通道注意力與空間注意力模塊的輸出。殘差卷積神經(jīng)網(wǎng)絡(luò)的每個通道傳遞的信息并不是都有用[23]。通道注意機(jī)制模塊通過增加有效通道的權(quán)重，減少無效通道的權(quán)重，實(shí)現(xiàn)有效特征的加強(qiáng)，其結(jié)構(gòu)如圖6所示。

圖6 通道注意力模塊

通道注意力特征圖Mc可表示為

Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))。

(5)

式中：AvgPool與MaxPool分別表示平均池化與最大值池化，σ為Sigmoid函數(shù)。池化輸出的矢量送入MLP多次多層感知機(jī)，最后逐個元素求和得到通道特征圖。

將通道模塊輸出的特征圖作為空間注意力模塊的輸入特征圖，如圖7所示。首先，做一個基于通道的全局最大值池化和全局平均值池化，將它們連接起來生成一個有效的特征描述符。然后，經(jīng)過一個7×7卷積操作后，經(jīng)過sigmoid生成spatial attention feature。最后將該feature和該模塊的輸入feature做乘法，得到最終生成的特征Ms：

圖7 空間注意力模塊

Ms(F′)=σ(cov(AvgPool(F′);MaxPool(F′)))。

(6)

1.4 特征識別網(wǎng)絡(luò)的遷移學(xué)習(xí)方法

對于殘差網(wǎng)絡(luò)，在訓(xùn)練過程中通常需要上百萬張標(biāo)注圖像。本文的穿戴識別網(wǎng)絡(luò)由姿態(tài)感知?dú)埐罹W(wǎng)絡(luò)與局部特征提取殘差網(wǎng)絡(luò)兩部分組成。姿態(tài)感知?dú)埐罹W(wǎng)絡(luò)可以通過現(xiàn)有開源的人體圖像數(shù)據(jù)庫進(jìn)行訓(xùn)練。作業(yè)人員穿戴識別CBAM+ResNeXt殘差網(wǎng)絡(luò)的訓(xùn)練，需要大量作業(yè)穿戴設(shè)備圖片數(shù)據(jù)集，目前沒有開源的安全帽、工作服、絕緣鞋等電力服飾的數(shù)據(jù)集，自行收集并且標(biāo)注上百萬的電力作業(yè)服飾圖片用于殘差網(wǎng)絡(luò)模型的訓(xùn)練是不夠現(xiàn)實(shí)的，這里將遷移學(xué)習(xí)技術(shù)應(yīng)用于CBAM+ResNeXt網(wǎng)絡(luò)訓(xùn)練中。

遷移學(xué)習(xí)考慮到訓(xùn)練模型任務(wù)之間的相關(guān)性，對先前任務(wù)學(xué)習(xí)到的知識進(jìn)行微小的調(diào)整以適應(yīng)當(dāng)前的新任務(wù)，從而解決當(dāng)前任務(wù)很難獲取到大量數(shù)據(jù)集的問題。這里采用ImageNet圖像數(shù)據(jù)庫中120萬張標(biāo)注圖片對CBAM+ResNeXt殘差網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到穿戴識別預(yù)訓(xùn)練網(wǎng)絡(luò)。接下來凍結(jié)預(yù)訓(xùn)練網(wǎng)絡(luò)的全部卷積層(各層參數(shù)保持不變)，利用收集并標(biāo)注的穿戴設(shè)備圖像僅對頂層部分參數(shù)進(jìn)行訓(xùn)練并微調(diào)。這里遷移學(xué)習(xí)包括加載預(yù)訓(xùn)練模型、特征提取、Softmax回歸三個步驟，具體實(shí)現(xiàn)流程如圖8所示。

圖8 穿戴設(shè)備識別遷移學(xué)習(xí)過程

Softmax實(shí)現(xiàn)多分類遷移回歸，對于遷移學(xué)習(xí)訓(xùn)練集{(x1,y1),(x2,y2),…,(xm,ym)}有k個類別，xi為輸入數(shù)據(jù)，yi為類別標(biāo)簽。Softmax回歸將輸入數(shù)據(jù)xi歸屬于j類的概率矩陣為

(7)

式中：θ為遷移學(xué)習(xí)的微調(diào)Softmax層矩陣參數(shù)，其代價函數(shù)為

(8)

式中：1{·}是示性函數(shù)。通過梯度下降法求解L(θ)，實(shí)現(xiàn)對參數(shù)θ的估計。在遷移學(xué)習(xí)中，標(biāo)注的穿戴設(shè)備樣本數(shù)有限，擬合參數(shù)數(shù)量非常大。為保證擬合的準(zhǔn)確性，這里在損失函數(shù)后面加上一個正則項(xiàng)，通過懲罰過大的參數(shù)值來修改代價函數(shù)。代價函數(shù)定義為

(9)

令λ>0，代價函數(shù)L(θ)為一個嚴(yán)格的凸函數(shù)，可以通過梯度下降法確保代價函數(shù)收斂于全局最優(yōu)解。遷移學(xué)習(xí)Softmax回歸模型通過以下梯度下降法極小化損失函數(shù)獲得：

(10)

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)環(huán)境與評價指標(biāo)

本次實(shí)驗(yàn)在深度學(xué)習(xí)服務(wù)器上搭建環(huán)境，服務(wù)器硬件配置為CPU(Inter Xeon 1顆)、GPU(Nvidia TITAN 4顆)、超微X10DRG-Q主板。操作系統(tǒng)為Windows10專業(yè)版操作系統(tǒng)，采用caffe深度學(xué)習(xí)框架，程序運(yùn)行平臺為Anaconda3。

姿態(tài)感知網(wǎng)絡(luò)的訓(xùn)練采用COCO2017數(shù)據(jù)集，該數(shù)據(jù)集包含45萬張關(guān)鍵點(diǎn)標(biāo)注的人體實(shí)例圖像。CBAM+ResNeXt特征提取與識別網(wǎng)絡(luò)采用ImageNet數(shù)據(jù)庫中120萬張標(biāo)注圖片進(jìn)行預(yù)訓(xùn)練。需識別的穿戴設(shè)備包括安全帽、安全帶、工作衣褲、手套、工作鞋，如圖9所示。針對穿戴設(shè)備圖片不足，這里采用爬蟲技術(shù)收集，并采用labelimg軟件進(jìn)行標(biāo)注。為了增強(qiáng)模型的泛化能力，對遷移學(xué)習(xí)數(shù)據(jù)集進(jìn)行圖像縮放、長寬扭曲、色域扭曲等處理。一共選擇3 500張圖像用于遷移學(xué)習(xí)所需的數(shù)據(jù)集并將數(shù)據(jù)集按8∶1∶1 的比例分成訓(xùn)練集、交叉驗(yàn)證集、測試集。

圖9 電力作業(yè)穿戴設(shè)備圖片

實(shí)驗(yàn)中的客觀評價指標(biāo)采用各種穿戴設(shè)備的識別精確率(Average Precision,AP)與平均精確率(Mean Average Precision,MAP)。

2.2 遷移學(xué)習(xí)對模型學(xué)習(xí)效果的影響

遷移學(xué)習(xí)設(shè)置迭代周期為20，每5個周期學(xué)習(xí)率變?yōu)樵瓕W(xué)習(xí)率的0.1。為證明遷移學(xué)習(xí)的收斂性情況，保持整個網(wǎng)絡(luò)其他參數(shù)不變，遷移學(xué)習(xí)僅對CBAM+ResNeXt的Softmax進(jìn)行學(xué)習(xí)修正，學(xué)習(xí)率設(shè)置為0.000 1。記錄訓(xùn)練迭代周期與平均精確率的關(guān)系，如圖10所示。從圖10中可以看出，準(zhǔn)確率從80%左右隨迭代周期開始逐步上升，當(dāng)?shù)芷跒?0個周期左右訓(xùn)練準(zhǔn)確率趨于穩(wěn)定，模型開始收斂。

圖10 迭代周期與平均精確率的關(guān)系

為進(jìn)一步證明遷移學(xué)習(xí)能提高網(wǎng)絡(luò)識別精確率，對遷移學(xué)習(xí)與非遷移學(xué)習(xí)模型的識別精確率進(jìn)行對比分析，如圖11所示。從圖中可以看出，未進(jìn)行遷移學(xué)習(xí)的網(wǎng)絡(luò)對穿戴情況的識別率不高于90%，進(jìn)行遷移學(xué)習(xí)的網(wǎng)絡(luò)的對穿戴設(shè)備的識別率提高了約10個百分點(diǎn)。

圖11 有無遷移學(xué)習(xí)識別精確率對比

2.3 不同模型識別效果比較

將本文網(wǎng)絡(luò)分別與SDD、ResNet50、Inception-v3網(wǎng)絡(luò)進(jìn)行對比分析，以驗(yàn)證本文基于姿態(tài)感知與遷移學(xué)習(xí)的殘差網(wǎng)絡(luò)的優(yōu)越性。對比網(wǎng)絡(luò)在預(yù)訓(xùn)練網(wǎng)絡(luò)的基礎(chǔ)上，采用同樣的遷移學(xué)習(xí)方式對頂層進(jìn)行修正，并在相同的數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)。

表2給出了4種網(wǎng)絡(luò)的模型參數(shù)與進(jìn)行單幀圖像(圖像大小為512×512×24 b)穿戴識別所耗的平均時間。從表2可以看出，本文模型參數(shù)量得到了極大的降低，單幀所耗的平均時間最少，相較于SDD、ResNet50和Inception-v3單幀的平均時間分別下降了0.06 s、0.02 s和0.17 s。其原因是，雖然本文網(wǎng)絡(luò)采用兩級網(wǎng)絡(luò)，但第一級姿態(tài)感知網(wǎng)絡(luò)實(shí)現(xiàn)人形姿勢的感知，并利用人形的特點(diǎn)確定穿戴設(shè)備區(qū)域；二級特征提取與識別網(wǎng)絡(luò)在確定的穿戴目標(biāo)區(qū)域進(jìn)行特征提取與識別，大大減少了錨框進(jìn)行回歸與目標(biāo)識別的時間。而其他網(wǎng)絡(luò)在整個圖像區(qū)域?qū)Χ鄠€穿戴目標(biāo)進(jìn)行搜索識別，運(yùn)算量較大。因此，本文網(wǎng)絡(luò)運(yùn)算量最低，降低了對硬件運(yùn)算能力的要求。

表2 網(wǎng)絡(luò)參數(shù)對比表

表3給出4種網(wǎng)絡(luò)在相同的測試數(shù)據(jù)集上識別的AP與MAP。從表中可以看出，本文網(wǎng)絡(luò)在穿戴各種穿戴設(shè)備的識別的精確率AP以及穿戴設(shè)備的識別平均精確率MAP都明顯高于其他網(wǎng)絡(luò)，說明本文采用在確定的穿戴識別區(qū)域，引入注意力的輕量級模塊CBAM的殘差網(wǎng)絡(luò)，有效地表征了穿戴設(shè)備的本質(zhì)特征，從而提高了穿戴設(shè)備的識別的準(zhǔn)確性。

表3 不同網(wǎng)絡(luò)識別穿戴設(shè)備的平均精確率

圖13給出了圖12所示的原始測試圖片進(jìn)行穿戴識別的結(jié)果，從中可以看出SDD、ResNet50對小目標(biāo)與部分遮擋的圖像無法進(jìn)行識別，如圖片1中的鞋子，圖片2、3的鞋子與手套都未實(shí)現(xiàn)識別。Inception-v3網(wǎng)絡(luò)與SDD、ResNet50相比，其識別能力有所提升，但仍然存在小目標(biāo)的錯誤識別，如圖片1中一只鞋子、圖2、3左手的手套都未正確識別。這說明本文引入CBAM注意力模塊建立的分裂-轉(zhuǎn)換-聚合的殘差網(wǎng)絡(luò)，在進(jìn)行人形姿態(tài)感知的基礎(chǔ)上，引導(dǎo)網(wǎng)絡(luò)注意于穿戴目標(biāo)區(qū)域進(jìn)行高效識別，不僅減少了目標(biāo)的搜尋時間，而且提高了網(wǎng)絡(luò)對于弱小目標(biāo)以及遮擋穿戴設(shè)備的識別的準(zhǔn)確率。

圖12 用于測試的部分圖片

圖13 不同網(wǎng)絡(luò)識別的結(jié)果(從左到右依次為SDD、Res-Net50、Inception-v3、本文網(wǎng)絡(luò))

3 結(jié) 論

為了提高基于機(jī)器視覺技術(shù)的電力作業(yè)人員穿戴檢測的精度與速度，本文建立一種基于姿態(tài)感知網(wǎng)絡(luò)與特征識別網(wǎng)絡(luò)的兩級網(wǎng)絡(luò)結(jié)構(gòu)。基礎(chǔ)網(wǎng)絡(luò)采用ResNeXt50網(wǎng)絡(luò)，該網(wǎng)絡(luò)將VGG模塊與STA引入到殘差網(wǎng)絡(luò)中，在減少網(wǎng)絡(luò)的參數(shù)的同時提高網(wǎng)絡(luò)的特征提取性能。姿態(tài)感知網(wǎng)絡(luò)利用ResNeXt50不同殘差層的特征圖具有不同分辨率與語義特性的特點(diǎn)進(jìn)行特征聚合與姿態(tài)解碼處理，分別得到人體邊緣圖與骨架圖，進(jìn)從而確定穿戴的關(guān)鍵區(qū)域。為提高特征網(wǎng)絡(luò)的特征感知能力，將CBAM無縫地集成在ResNeXt50網(wǎng)絡(luò)相鄰卷積層之間，以提高網(wǎng)絡(luò)對穿戴設(shè)備識別的能力。在訓(xùn)練環(huán)節(jié)，針對樣本數(shù)據(jù)不足的缺點(diǎn)，利用遷移學(xué)習(xí)的方法對預(yù)訓(xùn)練網(wǎng)絡(luò)的softmax層參數(shù)進(jìn)行修正。對比實(shí)驗(yàn)證明，建立的模型在減少識別時間的同時能提高穿戴設(shè)備識別的準(zhǔn)確率。

本文建立的基于姿態(tài)感知與遷移學(xué)習(xí)的穿戴識別的網(wǎng)絡(luò)不僅適用于電力作業(yè)人員穿戴識別中，在對Softmax層參數(shù)進(jìn)一步遷移學(xué)習(xí)修正后，可應(yīng)用于礦業(yè)、交通、醫(yī)療、建筑等行業(yè)的作業(yè)人員的穿戴識別中。因此，本文建立的穿戴識別網(wǎng)絡(luò)具有較大的應(yīng)用價值與學(xué)術(shù)參考價值。