劉庭煜，張 培，劉 洋，孫毅鋒，孫習(xí)武，劉曉軍

(1.東南大學(xué) 機(jī)械工程學(xué)院，江蘇 南京 210096;2.南京理工大學(xué) 機(jī)械工程學(xué)院，江蘇 南京 210094；3.上海航天設(shè)備制造總廠有限公司，上海 200245)

0 引言

隨著時(shí)代的發(fā)展，以互聯(lián)網(wǎng)信息技術(shù)和工業(yè)生產(chǎn)不斷融合為代表的智能制造技術(shù)發(fā)展迅速。數(shù)字孿生作為將制造信息物理融合的關(guān)鍵“粘合劑”逐漸被人們重視，該技術(shù)使用數(shù)字化手段，將多維度、多尺度的虛擬化模型與現(xiàn)實(shí)物理世界深度融合，使二者相互映射、相互影響。目前，已有不少研究成果采用信息傳感器網(wǎng)絡(luò)，將產(chǎn)品設(shè)計(jì)、生產(chǎn)、制造等全生命周期中的多源數(shù)據(jù)融合，構(gòu)建產(chǎn)品數(shù)字孿生模型[1]，并應(yīng)用到數(shù)字孿生車間[2-3]。

車間人員數(shù)字孿生技術(shù)的研究可以從宏觀和微觀兩個(gè)層面展開：宏觀上，忽略人員的具體行為，將人看作運(yùn)動(dòng)的質(zhì)點(diǎn)，主要關(guān)注其在車間內(nèi)的位置、分布和活動(dòng)軌跡等信息[4]；微觀上，重點(diǎn)解讀人員的肢體動(dòng)作等信息，針對(duì)具體工位的具體人員行為特征進(jìn)行識(shí)別與分析[5]。從宏、微觀兩個(gè)角度構(gòu)建生產(chǎn)車間數(shù)字孿生模型，可以實(shí)現(xiàn)車間內(nèi)人員數(shù)量、行為的多維度虛實(shí)映射。

車間是制造活動(dòng)的執(zhí)行基礎(chǔ)，車間內(nèi)的工人和制造資源是車間的基本組成單位，將人工智能技術(shù)有效地應(yīng)用到制造車間，是“工業(yè)4.0”和“中國制造2025”等先進(jìn)制造模式對(duì)智能生產(chǎn)和智能工廠的新要求。人作為車間管理五要素(人、機(jī)、料、法、環(huán))中的關(guān)鍵一環(huán)，在車間生產(chǎn)過程中，人員活動(dòng)具有主觀能動(dòng)性和高度不確定性。因此，對(duì)車間人員的監(jiān)管一直是車間生產(chǎn)活動(dòng)中較為困難的一環(huán)。在航天某些高危產(chǎn)品作業(yè)車間，出于安全考慮，往往對(duì)生產(chǎn)作業(yè)過程中的不同區(qū)域、不同作業(yè)環(huán)節(jié)、不同生產(chǎn)工序的人員數(shù)量和密度分布有著嚴(yán)格的要求，局部人員過密可能造成災(zāi)難性的安全事故，嚴(yán)重威脅車間生產(chǎn)人員的人身安全。目前，主流的監(jiān)管方式是使用攝像機(jī)全時(shí)錄像并安排專員監(jiān)視，但是利用海量監(jiān)控圖像進(jìn)行實(shí)時(shí)監(jiān)管容易讓監(jiān)控人員疲于應(yīng)付，難以實(shí)現(xiàn)全局全時(shí)高效管控。因此，基于計(jì)算機(jī)視覺實(shí)現(xiàn)人員數(shù)量等宏觀行為的智能管控具有重要的實(shí)際意義，既可以保障安全生產(chǎn)，又可以提高生產(chǎn)效率。

自2012年AlexNet[6]算法在ILSVRC(ImageNet large scale visual recognition challenge)競賽圖像分類子賽道中取得優(yōu)異的成績后，深度學(xué)習(xí)(deep learning)作為深層神經(jīng)網(wǎng)絡(luò)的代名詞被大家所熟知。隨后幾年，國內(nèi)外研究者相繼提出了如RCNN[7]、GoogLeNet[8]、ResNet[9]、YOLO[10-13](you only look once)、特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks，F(xiàn)PN)[14]等一系列優(yōu)秀的通用目標(biāo)檢測(cè)框架。然而自2017年至今，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)的發(fā)展速度逐漸減慢，之前的文獻(xiàn)大都提出一個(gè)又一個(gè)全新的主干網(wǎng)絡(luò)(backbone)，其網(wǎng)絡(luò)結(jié)構(gòu)變化多端，檢測(cè)效果提升顯著；近年來，研究者提出的基本都是一些“即插即用”的輕量級(jí)模塊化結(jié)構(gòu)，如更新數(shù)據(jù)增強(qiáng)的方式、在網(wǎng)絡(luò)的某兩層之間加入一個(gè)小結(jié)構(gòu)、更換一個(gè)全新的激活函數(shù)或損失函數(shù)、添加數(shù)據(jù)后處理等。

2017年，Zhang等[15]提出創(chuàng)新性的數(shù)據(jù)增強(qiáng)方式，隨機(jī)抽取兩張圖片，修改其透明度并按比例疊加在一起，形成一張新的圖片，該圖片的分類結(jié)果也按相應(yīng)比例進(jìn)行分配。Devries等[16]在此基礎(chǔ)上提出Cutout方式，即用一個(gè)固定大小(8×8 pixel或16×16 pixel)的純色(默認(rèn)黑色)正方形隨機(jī)覆蓋在圖片上，使CNN不僅限于局部特征，還會(huì)更多地用到整幅圖像的全局信息。2019年Yun等[17]提出的CutMix綜合了上述兩種方法各自的特點(diǎn)，將Cutout被黑色抹去的部分用另一個(gè)隨機(jī)選取圖片的像素塊進(jìn)行填充，將所形成的新圖片的分類結(jié)果也按一定比例分配。CutMix使神經(jīng)網(wǎng)絡(luò)能夠從一幅圖像的局部視圖上識(shí)別出兩個(gè)目標(biāo)，因此定位和分類更加準(zhǔn)確，訓(xùn)練效率明顯提高。

繼ResNet將殘差連接的概念引入CNN后，與之對(duì)應(yīng)的稠密連接也被證明能夠提升網(wǎng)絡(luò)的表達(dá)性。2017年Huang等[18]提出的DenseNet借鑒了ResNet的short cut連接，不同的是ResNet只將前后兩層卷積層連接在一起，而DenseNet將所有卷積塊(block)都連在一起，每一個(gè)卷積塊的輸入都來自前面所有卷積塊的輸出。這樣做有以下優(yōu)點(diǎn)：①網(wǎng)絡(luò)更窄，參數(shù)更少，減少了計(jì)算量；②減緩梯度消失，有利于搭建更深的網(wǎng)絡(luò)結(jié)構(gòu)；③有正則化效果，抑制過擬合。

Momenta團(tuán)隊(duì)[19]提出的SENet以大優(yōu)勢(shì)奪得了2017年最后一屆ILSVR競賽圖像分類子賽道的冠軍。SENet主要考慮了特征通道之間的關(guān)系，其可以在任意卷積位置加入，以此增加通道之間的信息交流，在基本不增加計(jì)算量的前提下提高了網(wǎng)絡(luò)的識(shí)別準(zhǔn)確性。

2019年提出的跨階段局部網(wǎng)絡(luò)CSPNet[20]在DenseNet的基礎(chǔ)上進(jìn)行改進(jìn)，其將特征圖在兩個(gè)方向進(jìn)行分裂，即一個(gè)dense block和一個(gè)過渡層，然后由一個(gè)跨階段的層次結(jié)構(gòu)將二者合并。通過這種切換、連接和轉(zhuǎn)換，被傳播的梯度信息產(chǎn)生了較大的差異，大大減少了計(jì)算量，提高了前向傳播的速度和準(zhǔn)確性。

鑒于此，針對(duì)車間內(nèi)復(fù)雜場(chǎng)景下的目標(biāo)檢測(cè)問題，本文提出一種自適應(yīng)車間人員識(shí)別網(wǎng)絡(luò)(Adaptive Rec-network)，并基于HITL對(duì)過時(shí)的權(quán)重進(jìn)行更新，以增強(qiáng)車間人員的檢測(cè)效果，為構(gòu)建車間數(shù)字孿生模型提供數(shù)據(jù)支持。

1 車間人員自適應(yīng)識(shí)別網(wǎng)絡(luò)

本文在Yolov3經(jīng)典結(jié)構(gòu)的基礎(chǔ)上，結(jié)合車間實(shí)際使用提出一種Adaptive Rec-network，其核心結(jié)構(gòu)如圖1所示。下面針對(duì)各模塊結(jié)構(gòu)及其功能進(jìn)行詳細(xì)闡釋。

1.1 ResNet殘差網(wǎng)絡(luò)

理論上隨著訓(xùn)練輪數(shù)的增加，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的錯(cuò)誤率會(huì)逐漸降低，但實(shí)際情況是，到訓(xùn)練后期，增多輪數(shù)反而會(huì)使錯(cuò)誤率逐步增大，這便是“退化問題”，即深層網(wǎng)絡(luò)準(zhǔn)確率不如稍淺層網(wǎng)絡(luò)的性能。ResNet很好地解決了這一問題，其創(chuàng)新性地提出了抄近道連接(short cut connection)，是對(duì)當(dāng)前殘差進(jìn)行學(xué)習(xí)而不是對(duì)整個(gè)得分進(jìn)行預(yù)測(cè)，如圖2所示。

這種針對(duì)殘差進(jìn)行學(xué)習(xí)的思想便是ResNet的精華。隨著網(wǎng)絡(luò)深度的增加，學(xué)習(xí)越來越難，學(xué)習(xí)效果開始出現(xiàn)波動(dòng)。當(dāng)本輪結(jié)果提升時(shí)，已有得分繼續(xù)提高；當(dāng)本輪結(jié)果下降時(shí)，舍棄本輪結(jié)果，繼續(xù)執(zhí)行后續(xù)過程，即負(fù)結(jié)果全部舍棄，正結(jié)果全部保留。因此，ResNet很好地解決了隨著網(wǎng)絡(luò)深度的增加，越來越多負(fù)結(jié)果累加導(dǎo)致錯(cuò)誤率上升的問題。

通過引用這種結(jié)構(gòu)，Adaptive Rec-network網(wǎng)絡(luò)的深度為118層。圖1上部虛線框的ResNet結(jié)構(gòu)的具體參數(shù)如表1所示。

表1 ResNet結(jié)構(gòu)參數(shù)

1.2 特征金字塔網(wǎng)絡(luò)

FPN實(shí)現(xiàn)了不同特征層之間的信息交流，使原本僅能使用一次的特征得到充分利用，通過多次預(yù)測(cè)來增加樣本的精確率和召回率，使模型預(yù)測(cè)更加準(zhǔn)確，其結(jié)構(gòu)如圖3所示。

從表 1第25行、21行和17行末尾可以看出，參與FPN的3個(gè)特征圖的大小分別是17×11，34×22，68×44，F(xiàn)PN的運(yùn)行機(jī)制為：

(1)直接對(duì)17×11的特征圖進(jìn)行第1次預(yù)測(cè)，隨后進(jìn)行上采樣，使用直接復(fù)制的方式進(jìn)行填充，最終放大兩倍變?yōu)?4×22大小。

(2)將其與第21行的34×22特征圖按位求和，得到新的34×22特征圖，用該特征圖進(jìn)行第2次預(yù)測(cè)。

(3)與第25行68×44的特征圖進(jìn)行上述重復(fù)操作。

由此，可以重復(fù)利用第17行和21行的特征圖進(jìn)行3次預(yù)測(cè)，而且特征圖之間進(jìn)行了直接的信息交流，提高了預(yù)測(cè)的準(zhǔn)確性；另外，特征圖從下到上無卡頓、無等待直接生成，最后3次預(yù)測(cè)按照并行的方式生成檢測(cè)結(jié)果，這也提高了網(wǎng)絡(luò)的運(yùn)行速度。

1.3 SE強(qiáng)化重要特征

FPN從卷積層和卷積層之間的信息交流為切入點(diǎn)，提高了識(shí)別準(zhǔn)確度。本文引入SE(squeeze and excitation)，表示壓縮和激發(fā)兩個(gè)過程，旨在通過卷積層內(nèi)部不同核之間的信息交流進(jìn)一步提升識(shí)別準(zhǔn)確度，具體運(yùn)行方式如圖4所示。

圖4清楚地展現(xiàn)了SE模塊如何進(jìn)行卷積內(nèi)部信息交流：

(1)針對(duì)大小為W×H×C的卷積U，將其沿厚度方向切分成{u1,u2,…,uc}共C片W×H的核。首先對(duì)各片核進(jìn)行全局平均池化(Global Average Pooling，GAP)操作：

(1)

即將每片核的所有數(shù)字相加取平均，最后只得到一個(gè)數(shù)字(zc)，該數(shù)字在某種程度上代表這一片卷積核的特點(diǎn)。式中用FGAP表示將uc轉(zhuǎn)換為zc的映射關(guān)系。

(2)將(1)得到的{z1,z2,…,zc}共C個(gè)數(shù)字與全連接層相連進(jìn)行信息交融，然后將結(jié)果進(jìn)行ReLU線性激活：

tc=δ(ω1·zc)。

(2)

式中δ表示線性激活函數(shù)。

(3)上兩步由多轉(zhuǎn)為一的過程便是壓縮(squeeze)過程。此時(shí)，各通道間可以進(jìn)行信息交流，下面需要將這種信息映射回去，對(duì)卷積的重要特征進(jìn)行強(qiáng)化激發(fā)(excitation)。

(4)進(jìn)行(2)的逆過程，恢復(fù)為{s1,s2,…,sc}，隨后將結(jié)果用Sigmoid非線性激活：

sc=σ(ω2,δ(ω1·zc))=σ(ω2·tc)。

(3)

式中σ表示非線性激活函數(shù)。

(5)將初始卷積的各核分別乘以與其對(duì)應(yīng)的sc，得到大小為W×H×C的新卷積核V。

vc=Fscale(uc,sc)=ucsc。

(4)

式中Fscale表示將uc，sc轉(zhuǎn)換為vc的映射關(guān)系，由此完成壓縮與激發(fā)。SE模塊的特點(diǎn)是即插即用，雖然中間引入全連接層進(jìn)行信息交融，但是其先將每一片核的諸多數(shù)字壓縮到1位，再進(jìn)行全連接運(yùn)算，幾乎不產(chǎn)生額外的計(jì)算量，卻能夠強(qiáng)化卷積內(nèi)部的重要特征，舍棄無用特征。

1.4 RPN增強(qiáng)檢測(cè)框?qū)捀弑?/h3>

針對(duì)檢測(cè)框?qū)捀弑?，可以直接采?∶2.5的單一寬高比，然而這種固定寬高比的檢測(cè)框顯然不能完全覆蓋車間可能出現(xiàn)的所有情況，造成檢測(cè)準(zhǔn)確率下降。為此，本文采用K-means++聚類的方法，通過統(tǒng)計(jì)分析得出適用于車間數(shù)據(jù)集的寬高比和適用于車間數(shù)據(jù)集的檢測(cè)框大小。

K-means++聚類方法是經(jīng)典K-means聚類的優(yōu)化版，其針對(duì)經(jīng)典K-means因初始中心選擇的隨機(jī)性導(dǎo)致結(jié)果不穩(wěn)定的問題進(jìn)行改進(jìn)，一步步擇優(yōu)確定K個(gè)初始中心，使最初的K個(gè)初始中心相隔較遠(yuǎn)，最終使聚類結(jié)果穩(wěn)定。K-means++聚類步驟如下：

步驟1計(jì)算數(shù)據(jù)集中標(biāo)簽的寬高比，比值存入csv。

步驟2從csv中隨機(jī)選取一個(gè)樣本，作為初始的聚類中心C1。

步驟4重復(fù)步驟3，直到選出所有K個(gè)聚類中心。

步驟5針對(duì)csv中每個(gè)樣本xi，計(jì)算其到當(dāng)前已有K個(gè)聚類中心的距離，并將其分配到與之最近的聚類中心所屬的類。

步驟7重復(fù)步驟5～步驟6，直到所有K個(gè)聚類中心的坐標(biāo)不再變化。

為了選定最優(yōu)的K值，本文進(jìn)行了12次實(shí)驗(yàn)，分別令K=1～12，將K-means++統(tǒng)計(jì)出的比值映射回?cái)?shù)據(jù)集，并進(jìn)行Avg IOU計(jì)算，結(jié)果如表2所示。

表2 選擇最合適的K值

圖5中橫坐標(biāo)表示K的不同選值，縱坐標(biāo)表示與K值相對(duì)應(yīng)的Avg IOU?？梢钥吹?，隨著K值變大，曲線變得逐漸平滑，表示神經(jīng)網(wǎng)絡(luò)檢測(cè)效果的提升越來越不明顯，K值增大也意味著神經(jīng)網(wǎng)絡(luò)的計(jì)算量線性倍增。綜合考慮Avg IOU與計(jì)算量，最終選取曲線變平滑的第一個(gè)K值，即K=3，寬高比比值如表2第3行所示。

1.5 錨點(diǎn)框加速搜索

對(duì)于檢測(cè)圖片來說，傳統(tǒng)的選擇性搜索(selective search)會(huì)采用先驗(yàn)檢測(cè)框在圖片上滑動(dòng)并裁剪，每張圖片都重復(fù)該過程。其實(shí)只要圖片大小和滑動(dòng)步長相同，兩次滑窗劃過的位置和裁剪的區(qū)域完全一樣，就沒有必要每次都進(jìn)行計(jì)算。錨點(diǎn)框(anchor box)從這一點(diǎn)出發(fā)，在第一次滑動(dòng)時(shí)就將被裁剪的坐標(biāo)統(tǒng)一存入一個(gè)矩陣中，然后對(duì)每張輸入圖片按照矩陣中的坐標(biāo)直接一次性獲取全部裁剪區(qū)域。

經(jīng)過1.4節(jié)已選取出{2∶1,1∶1,1∶2.5}3個(gè)寬高比的檢測(cè)框，下面需要進(jìn)一步選擇框的大小，使預(yù)測(cè)框面積盡量和車間數(shù)據(jù)集吻合，以提升檢測(cè)準(zhǔn)確率。將數(shù)據(jù)集中上述3種比值的檢測(cè)框分別進(jìn)行匯總計(jì)數(shù)，圖6所示的柱狀圖是寬高比為2∶1檢測(cè)框的數(shù)量統(tǒng)計(jì)情況，圖中橫坐標(biāo)為框的寬度(單位：pixel)，縱坐標(biāo)為相同寬度檢測(cè)框的數(shù)量和。

由圖6可見，寬高比為2∶1的檢測(cè)框在3處柱狀位置(49～65，105～125，217～233)達(dá)到數(shù)量的眾值。圖中剩余兩條折線是按照相同方式分別對(duì)寬高比1∶1，1∶2.5的檢測(cè)框數(shù)量進(jìn)行統(tǒng)計(jì)得到的，為便于區(qū)分直接用折線圖描述。同樣，二者也分別在3個(gè)寬度范圍內(nèi)出現(xiàn)數(shù)量的眾值，下面求解具體錨點(diǎn)框尺寸。

圖7將圖6中3條曲線的x坐標(biāo)分別按照0.5，1，2.5的斜率統(tǒng)一放置在相同坐標(biāo)系下。為了使預(yù)測(cè)框面積盡量吻合車間數(shù)據(jù)集，本文采用3條x·y=S的雙曲線與3種比值的檢測(cè)框數(shù)量的峰值區(qū)間擬合，發(fā)現(xiàn)x·y=1 600，x·y=6 400，x·y=25 600可以很好地代表車間數(shù)據(jù)集檢測(cè)框的面積，分別求解3條雙曲線與3條直線的交點(diǎn)，結(jié)果如表3所示。

由此求解出錨點(diǎn)框的具體數(shù)值。錨點(diǎn)框在1 088×704圖片中的真實(shí)大小如圖8所示，從圖中可以看出，經(jīng)過統(tǒng)計(jì)分析求解出的錨點(diǎn)框坐標(biāo)可以很好地對(duì)車間數(shù)據(jù)集中的工人進(jìn)行包圍。

1.6 人在回路增加網(wǎng)絡(luò)的自適應(yīng)性

人在回路(Human in the Loop， HITL)的原本意義是：武器操作員在經(jīng)過第一次指令輸入后，仍有機(jī)會(huì)進(jìn)行第二次或不間斷的指令更正。本文對(duì)其引申表述為：具備管理員權(quán)限的操作人員在發(fā)現(xiàn)權(quán)重檢測(cè)效果下降后，可以人為干預(yù)網(wǎng)絡(luò)識(shí)別結(jié)果，修正后的結(jié)果將被視為新的正、負(fù)樣本存入服務(wù)器，等待在非工作時(shí)段網(wǎng)絡(luò)自動(dòng)開啟自我修正程序，達(dá)到自動(dòng)適應(yīng)車間變化的異步更新效果。作為一個(gè)獨(dú)立的輔助模塊，HITL存在與否不影響識(shí)別網(wǎng)絡(luò)的正常工作，只會(huì)在必要(管理員干預(yù))的時(shí)候于非工作時(shí)段訓(xùn)練識(shí)別網(wǎng)絡(luò)。HITL的工作機(jī)制如圖9所示。

表3 選擇最合適的K值

為減輕管理員的工作量，神經(jīng)網(wǎng)絡(luò)在工作時(shí)段檢測(cè)目標(biāo)的同時(shí)也會(huì)自動(dòng)且不斷地分析其檢測(cè)結(jié)果。以30幀圖片為周期，幀序列不斷到來，神經(jīng)網(wǎng)絡(luò)不斷檢測(cè)，并將檢測(cè)框標(biāo)注在圖片中。Δ=4 pixel是人為設(shè)置的超級(jí)參數(shù)，由于攝像頭固定不動(dòng)，且人員基本不會(huì)保持完全靜止，如果某檢測(cè)框的上中心點(diǎn)坐標(biāo)在一段時(shí)間內(nèi)保在半徑為4 pix的圓內(nèi)波動(dòng)，則將被計(jì)數(shù)，一輪周期結(jié)束后，如果某坐標(biāo)點(diǎn)的出現(xiàn)率達(dá)到(包含)60%，則該檢測(cè)框極有可能是非人的誤檢對(duì)象，本輪結(jié)果將存入數(shù)據(jù)庫等待管理員定奪。

HITL的工作界面如圖10所示，主要由圖像、復(fù)選框、畫布和提交按鈕組成。HITL程序首先會(huì)讀取圖片，并將該圖片的包圍框、上中心點(diǎn)、方框編號(hào)相應(yīng)地標(biāo)注在圖片上。管理員需判斷圖片中所有檢測(cè)框的正負(fù)性，如果有正樣本(人員)遺漏，則勾選“添加正樣本”按鈕，然后直接在畫布內(nèi)框選出所有人員。點(diǎn)擊提交按鈕后，程序自動(dòng)將該圖片、正負(fù)樣本坐標(biāo)、手動(dòng)新增的正樣本坐標(biāo)一并存入數(shù)據(jù)庫，同時(shí)向計(jì)算機(jī)寫入指令，就近選擇非工作時(shí)段自動(dòng)執(zhí)行權(quán)重更新任務(wù)。

當(dāng)?shù)綑?quán)重更新計(jì)劃的預(yù)設(shè)時(shí)間點(diǎn)時(shí)，訓(xùn)練開始，每100輪保存一次新權(quán)重。結(jié)束訓(xùn)練的條件有3點(diǎn)，滿足任意一點(diǎn)即停止訓(xùn)練：①損失函數(shù)下降到預(yù)設(shè)閾值(本文選擇0.25)，表示訓(xùn)練完成；②損失函數(shù)出現(xiàn)震蕩，表示訓(xùn)練進(jìn)入瓶頸，無需繼續(xù)訓(xùn)練；③距離員工上班時(shí)間不到40 min，為保證工作時(shí)段檢測(cè)網(wǎng)絡(luò)正常運(yùn)行，應(yīng)立即停止。

訓(xùn)練結(jié)束后，執(zhí)行收尾工作，即刪除訓(xùn)練中間過程文件、釋放資源、將新權(quán)重移至工作目錄并重命名、將舊權(quán)重回收至指定目錄下等。等到工作時(shí)間點(diǎn)，檢測(cè)程序被自動(dòng)喚醒，新權(quán)重上線工作。

2 實(shí)驗(yàn)驗(yàn)證

已有的三階段級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(3-Stage Cascade Convolutional Neural Networks,3-Stage CCNN)[4]在車間數(shù)據(jù)集上的檢測(cè)速度為8幀/s，準(zhǔn)確率達(dá)到79.08%。為了驗(yàn)證Adaptive Rec-network網(wǎng)絡(luò)的效果，本文與3-Stage CCNN一樣，同時(shí)在Caltech Pedestrian[21]和本課題組車間生產(chǎn)人員數(shù)據(jù)集[4]上設(shè)計(jì)實(shí)驗(yàn)對(duì)效果進(jìn)行驗(yàn)證。

2.1 驗(yàn)證集對(duì)比分析

Caltech Pedestrian是目前最大的行人檢測(cè)數(shù)據(jù)集，其由11個(gè)文件組成，圖片分辨率為640×480，視頻幀率為30 fps，持續(xù)時(shí)長10 h，攝像頭固定在一輛行駛中的轎車上，沿途經(jīng)過各種街道、鬧市區(qū)、行人密集的場(chǎng)合等。該數(shù)據(jù)集最后公開了約250 000幀、2 300位不同行人、350 000個(gè)標(biāo)注框的數(shù)據(jù)集。

火工品生產(chǎn)車間是Adaptive Rec-network的應(yīng)用場(chǎng)景，采用車間內(nèi)高度約8m、俯仰角一致的19個(gè)攝像頭同步采集車間視頻數(shù)據(jù)，預(yù)處理后的圖像分辨率為1 088×704，通過人工標(biāo)注的方式建立車間數(shù)據(jù)集。圖片總數(shù)為13 420張，包括30 000多個(gè)標(biāo)注框，數(shù)據(jù)集圖片包括不同程度的遮擋和光照變化。

在使用這兩個(gè)數(shù)據(jù)集分別對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，數(shù)據(jù)集按照訓(xùn)練集∶測(cè)試集∶驗(yàn)證集=8∶1∶1的比例進(jìn)行劃分，數(shù)據(jù)集對(duì)比如表4所示。

表4 Caltech數(shù)據(jù)集和車間數(shù)據(jù)集對(duì)比

下面采用消融實(shí)驗(yàn)，從網(wǎng)絡(luò)準(zhǔn)確率和檢測(cè)速率兩方面對(duì)比Adaptive Rec-network網(wǎng)絡(luò)和3-Stage CCNN網(wǎng)絡(luò)的性能，并分析出現(xiàn)該結(jié)果可能的原因。

2.2 消融實(shí)驗(yàn)驗(yàn)證自適應(yīng)網(wǎng)絡(luò)的性能

2.2.1 FPN金字塔層數(shù)設(shè)置

如表1和圖3所示，本文分別將網(wǎng)絡(luò)17×11，34×22大小的特征圖上采樣，共進(jìn)行3次并行預(yù)測(cè)。為了驗(yàn)證FPN不同層數(shù)對(duì)網(wǎng)絡(luò)檢測(cè)效果的影響，本文設(shè)計(jì)了FPN層數(shù)的消融實(shí)驗(yàn)，分別將層數(shù)設(shè)置為0，1，2，3層(即網(wǎng)絡(luò)并行預(yù)測(cè)1，2，3，4次)，如圖11所示。其實(shí)驗(yàn)結(jié)果如表5所示。

表5 FPN金字塔層數(shù)消融實(shí)驗(yàn)結(jié)果

分析結(jié)果，得出如下結(jié)論：

(1)隨著FPN層數(shù)的增加，檢測(cè)準(zhǔn)確率逐漸上升，上升逐漸變緩；檢測(cè)速度逐漸下降，下降逐漸變快。

(2)因?yàn)镃altech數(shù)據(jù)集的目標(biāo)框普遍偏小，大尺度特征圖一般負(fù)責(zé)小目標(biāo)檢測(cè)，所以FPN層數(shù)越多，大尺度信息利用得越多，在Caltech數(shù)據(jù)集上的表現(xiàn)越好，準(zhǔn)確率越高；而車間數(shù)據(jù)集目標(biāo)框普遍略大于Caltech數(shù)據(jù)集，小尺度特征圖負(fù)責(zé)大目標(biāo)檢測(cè)，因此0層FPN結(jié)構(gòu)在車間數(shù)據(jù)集上的準(zhǔn)確率大于Caltech數(shù)據(jù)集。隨著層數(shù)的增多，對(duì)車間內(nèi)小目標(biāo)的檢測(cè)準(zhǔn)確率逐漸上升，整體準(zhǔn)確性呈上升趨勢(shì)。

(3)如前所述，由于Caltech圖片較小，其計(jì)算量少，運(yùn)行速度快，然而隨著FPN層數(shù)的增多，運(yùn)算量增加，檢測(cè)速率降低；車間數(shù)據(jù)集圖片的大小約為Caltech的3倍，其計(jì)算量大，速率普遍低于前者，隨著FPN層數(shù)的增多，其檢測(cè)速率也逐漸下降。

綜合考慮準(zhǔn)確性和檢測(cè)速度，本文選擇2層FPN特征融合的方案，其具體結(jié)構(gòu)及連接方式已在1.2節(jié)敘述。同時(shí)，注意到3-Stage CCNN在兩個(gè)數(shù)據(jù)集上的準(zhǔn)確率和檢測(cè)速度均劣于Adaptive Rec-network網(wǎng)絡(luò)，下面從網(wǎng)絡(luò)結(jié)構(gòu)的角度解釋該結(jié)果。

3-Stage CCNN的作用機(jī)制如圖12所示，其為一種串行運(yùn)行結(jié)構(gòu)，網(wǎng)絡(luò)深度為34層；整體采用3個(gè)階段級(jí)聯(lián)的方式運(yùn)行，即前一階段的輸出為后一階段的輸入，將第3階段的輸出作為最后的結(jié)果；檢測(cè)框采用1∶2.5的固定寬高比，比例單一。而Adaptive Rec-network引入了ResNet結(jié)構(gòu)，網(wǎng)絡(luò)深度增加到118層；FPN使3次檢測(cè)能夠并行執(zhí)行，特征之間融合能夠提取更多有效的信息；SE則增加了卷積層內(nèi)部的信息交流；多尺度的錨點(diǎn)框能夠更好地覆蓋車間人員的比例。這些結(jié)構(gòu)上的升級(jí)疊加在一起，最終不論在準(zhǔn)確率還是檢測(cè)速度上，Adaptive Rec-network均優(yōu)于3-Stage CCNN。

2.2.2 SE模塊效果驗(yàn)證

SE模塊作為即插即用的模塊存在于復(fù)合卷積單元中，為驗(yàn)證其對(duì)準(zhǔn)確率和檢測(cè)速率的影響(如圖13)，本文將初始復(fù)合卷積單元記作origin，將去除SE模塊剩下的復(fù)合卷積單元記作beta，分別將上述兩個(gè)單元替換進(jìn)入主體網(wǎng)絡(luò)部分，以此測(cè)試SE模塊對(duì)網(wǎng)絡(luò)準(zhǔn)確率和運(yùn)行速度的影響。實(shí)驗(yàn)結(jié)果如表6所示。

表6 SE模塊對(duì)網(wǎng)絡(luò)準(zhǔn)確率和運(yùn)行速度的影響

分析表6可知：

(1)在兩個(gè)數(shù)據(jù)集上，origin單元比beta單元的準(zhǔn)確率高出約1.2%，檢測(cè)速度平均慢約0.8幀/s，即提高準(zhǔn)確率的同時(shí)，速度幾乎不受影響。

(2)模型尺寸上，origin單元比beta單元大約16 MB。

2.2.3 人在回路適應(yīng)性研究

為檢測(cè)基于HITL的Adaptive Rec-network網(wǎng)絡(luò)對(duì)車間變化的自適應(yīng)性，筆者從2019年3月起開始進(jìn)行對(duì)比試驗(yàn)，分別于6，9，12月和2020年7，10月(2020年1～6月受疫情影響未能實(shí)驗(yàn))共進(jìn)行了5次適應(yīng)性實(shí)驗(yàn)，即更新過5次權(quán)重。

(1)月評(píng)測(cè)數(shù)據(jù)集 為了評(píng)估網(wǎng)絡(luò)準(zhǔn)確率，在上述時(shí)間內(nèi)將所有攝像頭按工作時(shí)間每小時(shí)保留一張車間實(shí)時(shí)圖片，這些數(shù)據(jù)以月為單位進(jìn)行匯總，并人為標(biāo)注檢測(cè)框，作為月評(píng)測(cè)數(shù)據(jù)集。19個(gè)攝像頭的每日工作時(shí)間按8∶00～18∶00算，一天190張圖片，每月約5 700張圖片，此即為月評(píng)測(cè)數(shù)據(jù)集的樣本容量。

(2)評(píng)測(cè)方式 為了對(duì)比執(zhí)行HITL前后的檢測(cè)效果，自2019年6月第一次更新權(quán)重起，每次評(píng)估都將現(xiàn)有的所有權(quán)重分別在該月的評(píng)測(cè)數(shù)據(jù)集上進(jìn)行測(cè)試，以此對(duì)比新老權(quán)重對(duì)車間現(xiàn)狀的平均檢測(cè)準(zhǔn)確率(mAP)。Month-mAP曲線如圖14所示。

(1)左數(shù)第一個(gè)柱狀表示2019年4月中旬，產(chǎn)品訂單發(fā)生改變，車間布局、背景等發(fā)生較大變化。

(2)左數(shù)第二個(gè)柱狀表示北方天氣變冷較早，從9月起，車間員工衣著開始出現(xiàn)變化，由原來的夏常服逐漸變?yōu)槎７?/p>

(3)左數(shù)第三個(gè)柱狀表示2020年上半年，受疫情影響，工廠停工。

下面對(duì)曲線進(jìn)行分析：

(1)圖中的最下方折線是最初運(yùn)行的權(quán)重，隨著時(shí)間的推移，其整體走勢(shì)呈下降趨勢(shì)，且上述3次改變對(duì)其均造成較大影響，準(zhǔn)確率下降較快。

(2)在圖中左數(shù)第二個(gè)柱狀位置，員工工作服出現(xiàn)更替，因?yàn)樵谠镜挠?xùn)練樣本中并沒有該類衣著數(shù)據(jù)，所以對(duì)網(wǎng)絡(luò)檢測(cè)效果產(chǎn)生沖擊，圖中位于該區(qū)間內(nèi)的3條曲線均有較大下降；然而隨著時(shí)間推移到2020年，同樣是9～10月，由于此前已經(jīng)經(jīng)過4次HITL的干預(yù)，權(quán)重已經(jīng)適應(yīng)了這種衣著的改變，此時(shí)衣著更替并未對(duì)網(wǎng)絡(luò)效果造成沖擊，曲線正常波動(dòng)。

(3)圖中黑色箭頭所指的位置為HITL進(jìn)行干預(yù)之處。權(quán)重更新完成后立即上線，檢測(cè)效率跳躍式回升到與之前相似的水平；觀察5次HITL的初始準(zhǔn)確率，大體趨勢(shì)是沿著圖中黑色虛線逐次升高，且每條曲線的下降趨勢(shì)逐漸變小，原因是樣本不斷增多，原本無用的特征被舍棄，重要特征的占比逐漸增加，網(wǎng)絡(luò)能夠更好地適應(yīng)車間檢測(cè)的要求。

由此得出結(jié)論：HITL可以通過打補(bǔ)丁的方式提升檢測(cè)效果，以此補(bǔ)救因訓(xùn)練樣本片面、樣本量少、環(huán)境變化劇烈而造成的權(quán)重過時(shí)問題。

3 結(jié)束語

本文針對(duì)車間人員增強(qiáng)檢測(cè)的數(shù)字孿生模型快速構(gòu)建問題，從宏觀層面出發(fā)，重點(diǎn)提出車間人員自適應(yīng)識(shí)別網(wǎng)絡(luò)Adaptive Rec-network，為獲取人員位置進(jìn)而構(gòu)建宏觀層面的數(shù)字孿生模型提供數(shù)據(jù)支持，而且設(shè)計(jì)了實(shí)驗(yàn)，將Adaptive Rec-network與已有3-Stage CCNN網(wǎng)絡(luò)進(jìn)行了對(duì)比，結(jié)果表明，Adaptive Rec-network不論在準(zhǔn)確率上還是速度上均優(yōu)于3-Stage CCNN。然而，該網(wǎng)絡(luò)仍然留有改進(jìn)和提升的空間，今后的研究將把重心放在以下幾個(gè)方面：①改進(jìn)網(wǎng)絡(luò)模型，提升檢測(cè)效率；②進(jìn)一步探究網(wǎng)絡(luò)如何自適應(yīng)不同光照，不同背景下的檢測(cè)工作，提高神經(jīng)網(wǎng)絡(luò)的魯棒性，使得檢測(cè)過程更加智能化。