趙恒 陳瑋 陳禹

(中國移動通信集團(tuán)江蘇有限公司，南京 210023)

0 引言

隨著5G、家寬與集客業(yè)務(wù)的大力發(fā)展，光交箱作為光纜接入網(wǎng)中主干光纜與接入光纜交接處的接口設(shè)備，其規(guī)?？焖僭鲩L。但是光交箱資源信息維護(hù)主要以手工臺賬為主，數(shù)據(jù)準(zhǔn)確率不高，變更不及時(shí)，對業(yè)務(wù)快速開通、網(wǎng)絡(luò)精準(zhǔn)投資、故障快速處理、風(fēng)險(xiǎn)有效防控等均有較大影響。

針對以上問題，本文對現(xiàn)有的圖像分類算法和目標(biāo)檢測算法進(jìn)行改進(jìn)，實(shí)現(xiàn)對光交箱工藝的分類檢測和端子占用情況的智能識別，打破長期以來識別精準(zhǔn)度不高的困局，滿足實(shí)際生產(chǎn)需求。在江蘇移動管線系統(tǒng)APP端開發(fā)現(xiàn)場核查功能，將AI能力嵌入到資源入網(wǎng)、資源調(diào)度、資源核查和資源釋放4個(gè)實(shí)際生產(chǎn)流程，構(gòu)建光交箱資源全生命周期的自動化、智能化的運(yùn)營能力。

1 基于圖像分類算法的光交箱工藝檢測

1.1 光交箱工藝檢測算法選擇

光交箱工藝圖像的檢測算法需要兼顧準(zhǔn)確率和速度，針對現(xiàn)有多目標(biāo)跟蹤算法參數(shù)量和計(jì)算量大，難以滿足移動端實(shí)時(shí)檢測要求的問題，而Transformer網(wǎng)絡(luò)模型采用自注意力機(jī)制提取圖形的特征信息，且可以并行化利用資源加快模型的訓(xùn)練速度[1]，因此適用于光交箱工藝圖像檢測的場景。為提高模型的識別速度和準(zhǔn)確率，考慮使用改進(jìn)的EfficientNetv2作為特征提取層，重新構(gòu)建YoloV5的特征提取網(wǎng)絡(luò)，增強(qiáng)網(wǎng)絡(luò)模型的提取能力，達(dá)到提高實(shí)時(shí)檢測速度的目標(biāo)。改進(jìn)后的Transformer模型結(jié)構(gòu)圖如圖1所示。

圖1 改進(jìn)后的Transformer模型結(jié)構(gòu)圖

圖1中的編碼器包含N個(gè)相同的編碼塊，每個(gè)編碼塊包含多頭注意力層和前饋全連接層，每個(gè)編碼塊中的前饋全連接層都是一樣的，包含兩個(gè)線性轉(zhuǎn)換和一個(gè)ReLU激活函數(shù)。多頭注意力是把多個(gè)自注意力塊連接，計(jì)算后進(jìn)行拼接操作形成同緯度的輸出。每個(gè)自注意力塊包含查詢Q、鍵K和值V，其中Q∈Rdk、K∈Rdk、V∈Rdv。注意力Attention(Q，K，V)的計(jì)算如公式(1)所示：

(1)

給定所有查詢Q，鍵K和值V后，先通過公式(2)計(jì)算得到每個(gè)注意力頭的輸出值headi，即：

headi=Attention(Q，K，V)

(2)

然后將不同注意力頭的輸出進(jìn)行拼接，得到多頭注意力MultiHead(Q，K，V)，如公式(3)所示：

MultiHead(Q，K，V)=Contact(head1，head2，…h(huán)eadh)WO

(3)

公式(3)中，h為注意力頭的數(shù)量，WO∈Rhdv*dmodel，dmodel表示模型的緯度。

圖1中的解碼器同樣包含N個(gè)相同的解碼塊，解碼塊的結(jié)構(gòu)與編碼塊類似，區(qū)別在于其多頭注意力層的K和V輸入來自編碼器的輸出，而查詢Q來自解碼塊的輸出。

考慮到光交箱工藝識別的圖片具有類似的背景，具有判別性的信息大多在局部區(qū)域。可以采用弱監(jiān)督注意力數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)(Weakly Supervised Data Augmentation Network, WS-DAN)，通過弱監(jiān)督注意力機(jī)制的數(shù)據(jù)增強(qiáng)解決背景過擬合的同時(shí)[2]，增強(qiáng)網(wǎng)絡(luò)對圖片局部特征的學(xué)習(xí)，即使用WS-DAN算法進(jìn)行工藝識別的測試。該算法先使用卷積操作獲取注意力特征圖，然后將注意力特征圖和特征圖進(jìn)行雙線性池化得到特征矩陣[3]，算法流程如圖2所示。

圖2中，輸入圖片經(jīng)過預(yù)處理后，通過卷積神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行特征提取得到特征圖F∈RH×W×C，其中H、W、C分別表示特征圖的長、寬和通道數(shù)，然后通過M個(gè)1×1的卷積核得到注意力圖A∈RH×W×M，計(jì)算使用的公式如下：

(4)

公式(4)中，f(·)表示卷積操作，M為超參數(shù)，代表特征圖的數(shù)量，Ak∈RH×W，表示目標(biāo)的部分特征。

圖2 WS-DAN算法流程圖

然后利用雙線性注意力池化操作將注意力圖和特征圖進(jìn)行融合，逐元素將特征圖F與每個(gè)注意力圖Ak相乘，生成M個(gè)部分特征圖Fk，接著使用全局平均池化或全局最大池化操作進(jìn)一步對Fk進(jìn)行特征提取，得到局部特征向量fk，通過將局部特征向量拼接得到特征矩陣，計(jì)算公式如下：

(5)

公式(5)中，P表示拼接得到的矩陣，Γ(A，F(xiàn))表示對注意力圖和特征圖的雙線性池化操作，g(·)表示全局池化操作，最后再通過全連接層計(jì)算損失函數(shù)。

為了比較EfficientNetv2改進(jìn)后的Transformer模型和WS-DAN模型兩個(gè)算法圖像檢測的性能，分別選擇WS-DAN細(xì)粒度分類算法和Efficientnetv2算法，搭建2個(gè)平臺進(jìn)行測試。從2022年4月1—30日，每天隨機(jī)抽樣選擇100 個(gè)光交進(jìn)行測試，50 個(gè)用WS-DAN細(xì)粒度分類算法平臺進(jìn)行識別，50 個(gè)用于Efficientnetv2平臺進(jìn)行識別，分析其總識別時(shí)長和光交工藝識別率，結(jié)果如圖3所示。WS-DAN細(xì)粒度分類算法平臺平均每天識別時(shí)長優(yōu)于Efficientnetv2算法平臺，且光交工藝識別率高于Efficientnetv2算法平臺，綜上所述，選擇WS-DAN細(xì)粒度分類算法。

圖3 WS-DAN細(xì)粒度分類算法和Efficientnetv2算法識別結(jié)果對比

1.2 光交箱工藝檢測算法優(yōu)化

利用WS-DAN深度神經(jīng)網(wǎng)絡(luò)構(gòu)建細(xì)粒度分類模型，通過采用類Center Loss的注意力監(jiān)督機(jī)制，在訓(xùn)練中快速實(shí)現(xiàn)模型“注意力”機(jī)制的構(gòu)建，提升訓(xùn)練效率。引入多種基于注意力的數(shù)據(jù)增強(qiáng)策略，提升模型的識別準(zhǔn)確率，彌補(bǔ)初始樣本不足的問題。通過在模型中引入雙線性注意力池化機(jī)制，有效地消減了光交箱在拍攝過程中受背景因素影響的特點(diǎn)，將模型“注意力”聚焦在光交箱本身。光交箱工藝檢測算法優(yōu)化過程如圖4所示。

圖4 光交箱工藝檢測算法優(yōu)化過程

2 基于目標(biāo)檢測算法的光交箱端子識別

2.1 光交箱端子識別算法選擇

光交箱端子圖像分辨率高，包含的像素點(diǎn)較多，圖像信息量較大，而Transformer網(wǎng)絡(luò)處理信息量大的圖像容易產(chǎn)生計(jì)算量大的問題。因此考慮采用包含滑窗操作和層級設(shè)計(jì)的Swin Transformer網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型的主要結(jié)構(gòu)如圖5所示。

圖5 Swin Transformer主要結(jié)構(gòu)

由圖5可知，網(wǎng)絡(luò)中主要包括多層感知機(jī)(Multi layer Perceptron，MLP)、窗口多頭自注意力層(Window Multi-head Self Attention，W-MSA)、滑動窗口多頭自注意力層(Shifted Window Based Multi-head Self attention，SW-MSA)和標(biāo)準(zhǔn)化層(Layer Normalization，LN)等。網(wǎng)絡(luò)的輸入首先通過LN層進(jìn)行歸一化，然后經(jīng)過W-SMA層進(jìn)行圖像特征的學(xué)習(xí)，計(jì)算殘差后再通過LN層和MLP層，再次計(jì)算殘差后得到這一層的輸出Xi。然后通過網(wǎng)絡(luò)的下一層，每部分的輸出計(jì)算公式如公式(6)～(9)所示：

(6)

(7)

(8)

(9)

通過這種層次結(jié)構(gòu)，Swin Transformer網(wǎng)絡(luò)在各類視覺任務(wù)中取得良好的效果。而YoloV5網(wǎng)絡(luò)作為一種目標(biāo)檢測算法，將目標(biāo)檢測問題中的目標(biāo)分類和目標(biāo)位置回歸兩個(gè)問題統(tǒng)一為回歸問題，有效減少了圖像處理的計(jì)算量[4]。YoloV5網(wǎng)絡(luò)結(jié)構(gòu)包括輸入(Input)、骨干網(wǎng)絡(luò)(Backbone)、頸部(Neck)和預(yù)測層(Prediction)4個(gè)部分[5],如圖6所示。

圖6 YoloV5網(wǎng)絡(luò)結(jié)構(gòu)框圖

輸入端部分用于圖片的預(yù)處理，包括圖片的縮放、自適應(yīng)錨框的計(jì)算等，并使用Mosaic進(jìn)行數(shù)據(jù)集擴(kuò)充。Backbone部分包含F(xiàn)ocus結(jié)構(gòu)、跨階段局部網(wǎng)絡(luò) (Cross Stagepartial Connections，CSP)結(jié)構(gòu)和空間金字塔池化模塊 (Spatial Pyramid Pooling，SPP)結(jié)構(gòu)等，用于輸入圖形的特征提取，Neck的作用是融合從Backbone部分提取的特征信息，并發(fā)送到Prediction部分，Neck包含F(xiàn)PN和PAN結(jié)構(gòu)，特征金字塔網(wǎng)絡(luò) (Feature Pyramid Networks，F(xiàn)PN)通過將高層特征上采樣和底層特征融合得到新的特征圖來進(jìn)行預(yù)測[6]。最后是Prediction用于目標(biāo)的檢測，包含預(yù)測框、損失函數(shù)等部分。YoloV5中GIoU損失函數(shù)計(jì)算如：

(10)

式(10)中，Ac是預(yù)測框與真實(shí)框的最小外接矩形，U表示Ac中不屬于預(yù)測框與真實(shí)框的部分。真實(shí)框與預(yù)測框越接近，U越小，則損失函數(shù)GIoU越小。當(dāng)網(wǎng)絡(luò)處于預(yù)測階段時(shí)，對同一個(gè)目標(biāo)會產(chǎn)生多個(gè)預(yù)測框，使用非極大值抑制使預(yù)測框合并。

為比較兩種目標(biāo)檢測算法的性能，分別搭建基于YoloV5目標(biāo)檢測算法和Swin Transformer算法的軟件識別系統(tǒng)，分別對100個(gè)光交進(jìn)行端子識別，分別對每個(gè)光交的光交信息識別精度進(jìn)行統(tǒng)計(jì)，通過圖7可以看出兩種系統(tǒng)的光交信息識別精度集中于92%～100%，且均值都為96%，無法判斷優(yōu)劣。

圖7 YoloV5目標(biāo)檢測算法和Swin Transforme算法識別精度對比

進(jìn)一步對兩種系統(tǒng)對每個(gè)光交圖像每秒的讀寫幀數(shù)進(jìn)行分析，如圖8所示，YoloV5目標(biāo)檢測算法的每秒讀寫幀數(shù)優(yōu)于Swin Transforme算法，因此選擇YoloV5目標(biāo)檢測算法。

圖8 YoloV5目標(biāo)檢測算法和Swin Transforme算法每秒讀寫幀數(shù)對比

2.2 光交箱端子識別算法優(yōu)化

YoloV5目標(biāo)檢測算法只支持水平矩形框的目標(biāo)檢測，對于傾斜的圖片檢測效果較差，但實(shí)際場景中由于設(shè)備安裝位置空間有限，拍攝圖片傾斜不可避免。本方案通過在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中對每個(gè)標(biāo)注目標(biāo)計(jì)算角度信息，從而使得改進(jìn)模型支持帶有傾斜角度的矩形框檢測，無需更改原有標(biāo)注，即使在推理階段輸入傾斜圖片，仍然能夠計(jì)算出需檢測目標(biāo)的坐標(biāo)及角度。同時(shí)，采用自適應(yīng)錨框設(shè)計(jì)，針對性地解決了光交接箱中法蘭盤、行標(biāo)簽以及空閑端子大小尺寸不一致的問題。

為了彌補(bǔ)初始樣本不足的問題，同時(shí)為了提升實(shí)際應(yīng)用場景中多種混合目標(biāo)的識別準(zhǔn)確率，在數(shù)據(jù)增強(qiáng)方面使用了Mosaic、Mixup、Random_Perspective等多種數(shù)據(jù)增強(qiáng)的級聯(lián)策略；在后處理階段，本方案設(shè)計(jì)并應(yīng)用了支持旋轉(zhuǎn)框的非極大值抑制算法，從而極大地提升了空閑端子的檢測準(zhǔn)確性，同時(shí)通過端子和法蘭盤的位置關(guān)系準(zhǔn)確定位空閑端子所在的行和列。現(xiàn)場檢測場景要求實(shí)時(shí)返回結(jié)果，因此為了使得復(fù)雜模型能夠滿足實(shí)時(shí)推理，通過使用自適應(yīng)圖片縮放技術(shù)，在大幅提升模型推理速度的同時(shí)，也大大節(jié)省了計(jì)算資源。光交箱端子識別算法優(yōu)化過程如圖9所示。

圖9 光交箱端子識別算法優(yōu)化過程

3 系統(tǒng)流程設(shè)計(jì)

基于光交箱工藝檢測和端子識別的人工智能算法，在江蘇移動管線系統(tǒng)APP端開發(fā)現(xiàn)場核查功能，現(xiàn)場核查流程如圖10所示。

(1)面板拍照

支持全景拍照和普通拍照兩種模式。

普通拍照：在拍照界面中，能標(biāo)示區(qū)域邊框，以輔助用戶在拍照時(shí)將光交箱面板拍入照片中。

全景拍照：支持用戶在狹小空間中拍出完整的設(shè)備面板照片。

圖10 光交箱現(xiàn)場資源核查流程

(2)照片上傳與合格判別

傳入?yún)?shù)：省份、地市、資源id、圖片文件。

返回參數(shù)：{“id”:202001002,”validate”:0,”msg”：“合格”}，其中Id:上傳文件的id；Validate:判斷文件是否合格，1：合格 0：不合格 -1：不合規(guī)；Msg:返回圖紙檢查信息，合格或不合格原因。

(3)光交箱面板圖識別與提取

傳入?yún)?shù)：Id:上傳文件返回的id。

返回參數(shù)：{“id”:“202001001”,“count”:20, “free_ports”:[{1,2},{3,4}],“free_count”:10,“tags”:10, “rows”：20}，其中Id:上傳文件的id；Count：返回識別的面板端口容量數(shù)；free_ports：返回識別的空閑端口位置，通過行列號標(biāo)識來標(biāo)識位置，[{1,2},{3,4}]；free_count：空閑數(shù)；tags：標(biāo)識的標(biāo)簽數(shù)量(白色標(biāo)簽)；rows：盤數(shù)。

(4)數(shù)據(jù)對比

將提取的空閑端子信息與資源系統(tǒng)的數(shù)據(jù)進(jìn)行比對，對存在差異的數(shù)據(jù)進(jìn)行標(biāo)識，為一線人員快速發(fā)現(xiàn)錯(cuò)誤提供輔助，提升勘誤效率。

4 試驗(yàn)結(jié)果

將訓(xùn)練完成的光交箱工藝檢測和端子識別的算法模型部署到中國移動九天人工智能平臺，通過江蘇移動管線系統(tǒng)APP端的3000 個(gè)現(xiàn)場核查任務(wù)工單對算法效果進(jìn)行驗(yàn)證，工藝檢測算法模型的查準(zhǔn)率為96.45%，端子識別算法模型的查準(zhǔn)率為97.11%，光交箱工藝檢測和端子識別效果如圖11所示。

圖11 光交箱工藝檢測(a)和光交箱端子識別試驗(yàn)效果(b)

5 結(jié)束語

本文利用WS-DAN深度神經(jīng)網(wǎng)絡(luò)構(gòu)建細(xì)粒度分類模型，增加注意力機(jī)制，模擬人眼觀察圖片時(shí)關(guān)注重點(diǎn)區(qū)域忽略無關(guān)信息，側(cè)重提取光交箱施工違規(guī)特征，提升分類識別準(zhǔn)確率達(dá)97.75%?；谏窠?jīng)網(wǎng)絡(luò)原理構(gòu)建光交箱端子、標(biāo)簽、法蘭盤識別模型，創(chuàng)新性提出支持旋轉(zhuǎn)角度的目標(biāo)檢測算法，解決現(xiàn)有算法只能識別水平視角目標(biāo)的弊端，光交箱端子信息識別平均精度MAP提高到97%。

通過江蘇移動管線系統(tǒng)APP端開發(fā)現(xiàn)場核查功能完成全省現(xiàn)網(wǎng)22.8 萬存量光交箱施工工藝、端子數(shù)量和占用情況的智能核查，并將識別提取的信息與系統(tǒng)中數(shù)據(jù)比對，觸發(fā)勘誤單5 萬+條。單光交箱巡檢時(shí)長由原來的0.5 天縮短到0.1 天，存量端子資源準(zhǔn)確性從70%提升到95%，全年節(jié)約一線人員現(xiàn)場維護(hù)工作量5.2 萬人/天，累計(jì)盤活光纜19.8 萬芯公里，可節(jié)省4 950萬元新建光纜投資。