王向周，楊敏巍，鄭戍華，梅云鵬

（北京理工大學 自動化學院，北京 100081）

角鋼塔作為輸電線路的重要組成部分，主材螺栓的緊固性對于鐵塔的防振動性能和結構穩(wěn)定具有重要作用. 目前，角鋼塔塔身螺栓緊固多采用人工高空作業(yè)的方式，效率不高且存在一定的安全隱患，使用自動化設備替代人工可以減少安全事故發(fā)生[1]. 本文主要研究角鋼塔主材螺栓的檢測和粗定位，快速引導螺栓緊固機器人的機械臂移動到待緊固螺栓上方，以實現螺栓的精準定位. 目前，常用的目標檢測方法可以分為三類：圖像處理、傳統的機器學習和深度學習. SONG 等[2]提出了一種基于形態(tài)學和小波變換的邊緣檢測算法來識別螺栓，經驗證該算法能準確識別螺栓結構，但只能處理簡單背景的圖像.RAMANA 等[3]使用傳統的機器學習算法Viola Jones檢測不同松動程度下的螺栓，準確率可達97%，但圖片中陰影、遮擋等情況會影響檢測效果. 相比之下，深度學習克服了上述缺點，可以從復雜圖像數據中學習高維特征，具有更強的魯棒性. ZHANG 等[4]為了改善傳統SSD 對小目標不敏感的缺點，提出了一種改進的基于多窗口多尺度融合的SSD 網絡，mAP 從0.360 提高到0.432. YANG 等[5]采用改進的YOLOv3-tiny 網絡識別螺栓，mAP 從0.813 增加到0.839，但該方法只適用于相機垂直拍攝物體的角度. GE 等[6]針對角鋼塔螺栓在識別過程中易受遮擋的情況，用ResNet50 代替VGG16 骨 干網絡，mAP 從0.896 提高到0.924，但推理速度有限，識別一幀耗時2.64 s. 上述方法主要集中在目標的二維定位上，采用機械臂緊固螺栓時，二維坐標難于實現引導作業(yè)，目前常用的方法是利用神經網絡對二維圖像進行目標檢測，然后通過立體視覺技術進行三維定位. KANDA 等[7]利用YOLOv3 網絡檢測開關按鈕，用RGB-D 相機輸出的點云估算按鈕中心點的三維坐標，經驗證當開關表面與RGB-D 相機前表面平行，二者中心點相距80 cm 時，x、y、z方向的定位誤差分別為0.6，0.8 和0.8 cm. HAN 等[8]使用動態(tài)模板匹配算法根據二維強度圖識別螺栓，達到99.4%的準確率，RGB-D 相機在實驗室條件下靜態(tài)測量精度為0.1 mm，列車運行環(huán)境下動態(tài)測量精度為0.5 mm. 但這些方法檢測的都是單個目標，不需要確定多目標的順序，不能滿足螺栓組緊固要求.

本文提出一種基于神經網絡和RGB-D 相機的螺栓檢測及定位系統，采用輕量化的YOLOv5s-T 對螺栓進行識別并篩選主材螺栓，通過英特爾?實感?深度攝像頭D435i 對主材螺栓進行三維定位，同時將輸出的坐標按照螺栓組緊固原則進行排序，實現了6 自由度機械臂末端到螺栓緊固點的快速引導.

1 系統方法

1.1 難點分析

圖1 為某角鋼塔塔身包括主材螺栓的5 個不同段位，框內是規(guī)格為M24 的主材螺栓，框外六角螺栓的規(guī)格為M20. 如圖1 所示，角鋼塔主材螺栓型號單一且分布集中，可據此分為不同的螺栓組模板，從左到右依次為模板a、b、c、d、e，按照模板類型進行螺栓緊固. 要準確識別并定位主材螺栓，存在3個難點：神經網絡具有龐大的參數量和計算量，搭載模型的硬件條件有限，故需要對網絡模型進行輕量化操作；規(guī)格為M24 的主材螺栓與其他規(guī)格的螺栓差別不大，神經網絡檢測時會檢測出所有規(guī)格的螺栓，需要篩選出主材螺栓；緊固一組螺栓時需要按照一定的順序分多次擰緊[9]，神經網絡本身不具備目標排序的功能，故要對所有主材螺栓的三維坐標進行排序.

圖1 主材螺栓組Fig. 1 Main material bolt set

1.2 螺栓檢測定位系統

角鋼塔螺栓檢測及定位系統總體方案如圖2 所示. 首先深度相機獲取彩色圖、深度圖和點云，利用深度信息去除彩色圖的背景，減少背景環(huán)境的干擾；然后將處理過的彩色圖送入YOLOv5s-T 網絡進行目標檢測，利用主材螺栓選取算法保留模板內主材螺栓的像素坐標；最后結合點云獲取三維坐標，利用螺栓排序算法進行排序，并將排序后的坐標保存到計算機.

圖2 系統總方案Fig. 2 General scheme of system

1.3 RGB-D 相機

RGB-D 相機選用了英特爾?實感?深度攝像頭D435i，外形如圖3 所示，包括立體視覺模塊和顏色傳感器兩部分. 立體視覺模塊由左、右成像器和紅外投影儀組成，同時搭載了英特爾實感視覺處理器，使用主動紅外立體技術來計算深度. 紅外投影儀投射不可見的靜態(tài)紅外圖案，以提高低紋理場景的深度精度，左、右成像器將數據發(fā)送到視覺處理器，處理器將左、右圖像相關聯，通過圖像上點之間的移動來計算圖像中每個像素的深度值. 整個系統的坐標系原點為顏色傳感器的物理光心，x軸、y軸和z軸的指向分別如圖3 所示. D435i 的各項技術規(guī)格如表1所示，由表1 可知，相機可在戶外使用，使用范圍滿足機械臂長度要求，采用USB Type-C 接口，體積小、視場大、分辨率高且易安裝. 該相機采用了英特爾最新的深度感知硬件和軟件，集成度高，英特爾官方網站提供了跨平臺的開發(fā)軟件Intel RealSense SDK 2.0，為二次開發(fā)提供了豐富的接口.

圖3 英特爾?實感?深度攝像頭D435iFig. 3 Intel? RealSense? depth camera D435i

表1 技術規(guī)格Tab. 1 Technical specifications

2 實 現

2.1 YOLOv5s-T 網絡

YOLOv5 網絡模型共有YOLOv5s、 YOLOv5m、YOLOv5l 和YOLOv5x 4 個版本，不同的是網絡的寬度與深度. 大的模型實時性差但精度高，小的模型實時性好但精度差. YOLOv5s 雖為最小版本，但該模型本身較大，依舊不利于實際的工業(yè)場景應用. 本文基于YOLOv5s 和常用的模型加速方法，提出了輕量化網絡模型YOLOv5s-T. YOLOv5s-T 保留原網絡YOLOv5s的整體結構，如圖4 所示，輸入端用Mosaic 數據增強方法，主要思想是將4 張圖片進行隨機裁剪，再拼接到一張圖上作為訓練數據，在豐富數據集的同時提升網絡的訓練速度，降低模型的內存需求. 開頭用Focus 操作代替普通的下采樣，將每一個通道的圖片進行切片，特征圖的尺寸減小為原來圖片的1/2，而通道數變?yōu)樵瓉淼? 倍，其后加上一個3×3 的點卷積來改變特征圖的通道數，極大地保留了原圖的特征信息. 提取特征的骨干網絡選用CSPDarknet53，SPP結構通過最大池化的方法進行多尺度特征融合. 頭部網絡在特征金字塔網絡(feature pyramid networks，FPN)+路徑聚合網絡(path aggregation network，PAN)的基礎上，用CSPDarknet53 設計的C3 結構代替普通的卷積網絡，加強網絡特征融合能力. FPN 結構通過上采樣將深層的語義信息傳到底層，補充淺層的語義信息，PAN 結構自底向上傳達強定位特征，從不同的主干層對不同的檢測層進行特征聚合，最后用3 個檢測頭來進行多尺度的預測.

YOLOv5s-T 使用深度可分離卷積(depthwise separable convolution)和分組卷積(group convolution)結合通道混洗(channel shuffle)操作對網絡進行輕量化，如圖4 所示，將YOLOv5s 網絡Unit 和Res Unit 中的1×1 標準卷積修改為分組卷積，3×3 標準卷積轉換為

圖4 YOLOv5s 和YOLOv5s-T 網絡結構Fig. 4 The network structures of YOLOv5s and YOLOv5s-T

2.2 主材螺栓的選取

表2 模板內主材螺栓的實際個數Tab. 2 The actual number of bolts in the template

2.3 主材螺栓排序

在高強度螺栓連接中，彈性相互作用影響較大，螺栓的預緊力也會有大幅度降低，為了減輕這種影響，螺栓組要按照一定的順序分多次擰緊其中的螺栓. 分次擰緊螺栓時只改變扳手的扭矩，不改變螺栓組中螺栓的緊固順序. YOLOv5s-T 網絡按照置信度高低的順序輸出坐標信息，不符合螺栓組的緊固規(guī)則，需要對模板內的主材螺栓重新排序. 5 個模板主材螺栓的分布均呈平行四邊形，如圖5 所示，按照先中間后兩邊、對角就近的原則對螺栓組進行緊固，圖片中螺栓上方的數字為模板螺栓組的緊固順序.

主材螺栓排序前需要確定螺栓組模板，不同模板排序算法實現不同但理念相同，即根據主材螺栓間的距離關系重新排序. 由圖5 可知，模板c 和模板e 主材螺栓緊固順序相同，所以可歸為一類. 以模板a 為例，先找出最大距離對應的兩顆螺栓，由于所有模板內主材螺栓分布均呈中心對稱狀，故任選其中一顆作為第一顆螺栓記為6 號，然后從剩下的螺栓中找到距離6 號螺栓最近的一顆螺栓，記為3 號；再從剩下的螺栓中找到距離3 號螺栓最近的一顆螺栓，記為2 號，以此類推，直到所有螺栓都被編號，其他模板排序算法理念與之相同. 根據螺栓序號保存主材螺栓的三維坐標.

3 實 驗

3.1 數據集

受到實驗室條件和角鋼塔螺栓組模板數據量的限制，用自制的5 個螺栓紙板模擬螺栓組模板驗證系統的各項性能. 如圖6 所示，從左到右依次為模板a、b、c、d、e. 數據集是從不同角度、不同距離和不同背景下采集的5 個模板圖片，共1 150 張，通過調整亮度和仿射變換的方法進行數據增強，將數據集擴充到4 600 張. 利用圖像標注工具LabelImg 進行人工標注，并按照6∶2∶2 的比例將圖片分為訓練集、驗證集和測試集.

3.2 實驗細節(jié)

視覺采集系統由英特爾?實感?深度攝像頭D435i 及其自帶的三腳架、USB 線和自制的螺栓紙板組成. 數據在服務器上訓練，硬件配置為帶兩塊顯卡的LT-6 028 GPU 服務器，其中顯卡型號為GeForce GTX 1080 Ti，內存均為11 G，操作系統為Ubuntu 16.04.模板和螺栓的檢測、定位在電腦端實現，電腦配置為Intel(R) Core(TM) i5-10210Y CPU. 系統運行所配置的軟件為python3.7.9，torch 1.8.0+cpu. 實驗用到了OpenCV 圖形開發(fā)庫和系統基本依賴以及RGB-D 相機的API 接口Intel Realsense SDK 2.0 和標定軟件Intel Realsense CalibrationTool API 2.11.0.0 等.

為了加快模型收斂，網絡在訓練時使用官方提供的預訓練權重文件初始化部分網絡權重參數. 使用SGD 優(yōu)化器進行參數更新，余弦退火方式進行學習率衰減，學習率初值設置為0.01，動量為0.937，訓練的類別數量設置為6，迭代次數為60，批數量為32，圖片分辨率設置為640×480.

3.3 實驗結果與分析

3.3.1 模型性能

實驗采用mAP@0.5、mAP@0.5:0.95 兩個評價指標來評估網絡模型的檢測性能，用訓練參數量T、浮點運算數F和攝像頭實時檢測速率v來評估模型的復雜度.

表3 為YOLOv5s-T、YOLOv5s、YOLOv3 和SSD的檢測結果，相對于原來的YOLOv5s 模型，本文提出的YOLOv5s-T 的mAP@0.5 降低0.02，mAP@0.5∶0.95 降低0.03，T減少36.2%，F減少42.1%，v提高31%；與YOLOv3 相比，YOLOv5s-T 的mAP@0.5 提高0.20，mAP@0.5∶0.95 提高0.23，T減少92.7%，F減少71.0%，v提高445%；與SSD 相比，YOLOv5s-T 的mAP@0.5 提高0.27，mAP@0.5∶0.95 提高0.30，T減少81.5%，F減少69.1%，v提高342%. 綜合考慮模型的準確度和復雜度，選擇輕量化模型YOLOv5s-T.

表3 檢測結果Tab. 3 Detection result

3.3.2 定位性能通過e對系統的定位性能進行分析，以模板b 為例，螺栓用排序之后的序號表示，如圖5(b)所示，計算相鄰螺栓間的距離. 為了保證數據的可靠性，每組實驗重復10 次，取平均值. 結果如表4 所示，忽略螺栓模板制造工藝的誤差，相鄰螺栓間距離的最大誤差不超過3 mm，平均誤差不超過1 mm.

表4 定位誤差Tab. 4 Location error

3.3.3 主材螺栓排序

螺栓組模板固定不動，將RGB-D 相機置于螺栓組模板的不同方位對主材螺栓進行排序. 以模板b為例，圖7 為RGB-D 相機正對螺栓組模板時的三視圖，設RGB-D 相機前表面中心點為Oc，螺栓組模板前表面中心點為Ot，兩點間的距離l為0.7 m. 實驗分為3 組，固定螺栓組模板不動，分別在x-O-y、y-O-z、z-O-x平面內旋轉RGB-D 相機，驗證RGB-D 相機在不同角度下拍攝螺栓組模板時主材螺栓排序算法的性能. 第1 組以RGB-D 相機正對螺栓組模板的x軸為基準線，Oc為旋轉中心，將RGB-D 相機的機身在x-Oy平面旋轉一定的角度，如圖7(a)所示，旋轉后的x軸與基準線間的夾角為α；第2 組以RGB-D 相機正對螺栓組模板的z軸為基準線，Ot為旋轉中心，l為半徑，將RGB-D 相機在y-O-z平面旋轉一定的角度，如圖7(b)所示，旋轉后的z軸與基準線之間的夾角為β；第3 組以RGB-D 相機正對螺栓組模板的z軸為基準線，Ot為旋轉中心，l為半徑，將RGB-D 相機在z-O-x平面旋轉一定的角度，如圖7(c)所示，旋轉后的z軸與基準線之間的夾角為γ. 其他螺栓組模板的實驗設計與此相同，對5 個螺栓組模板的主材螺栓進行排序，每組實驗重復ns次，統計每個螺栓組模板正確排序的次數nr，則螺栓組模板的正確排序率

圖7 模板b 主材螺栓排序三視圖Fig. 7 Three views of sorting of main material bolts of template b

RGB-D 相機在各個平面內旋轉后螺栓組模板的正 確 排 序 率 如 表5～表7 所示，ηa、ηb、ηc、 ηd、 ηe分別表示模板a、b、c、d、e 的正確排序率，當RGB-D 相機正對著螺栓組模板，即α、β、γ都為0°時，每個螺栓組模板的正確排序率均在95%以上. 由于神經網絡存在一定的誤檢，螺栓檢測不準確導致無法確認螺栓組模板類別. 此外，深度相機還受物體顏色和表面光滑度的影響，深色物體對紅外光的吸收能力非常強，導致投射在深色物體上的部分紅外光無法返回，左、右成像器因為無法接收到返回的紅外光，也就無法測量物體的深度. 漫反射是物體可以清晰成像的基礎，當物體表面過于光滑時發(fā)生鏡面反射，此時只有當被測物體位于深度相機的發(fā)射端和接收端的中垂線時，才能接收到反射光線，故當物體表面超過一定的光滑度時，深度相機測量精度會急劇下降，甚至無法測量深度. 由于上述原因，實驗的100幀圖片中存在極個別螺栓組模板無法被正確排序的情況.

表5 x-O-y 平面模板正確排序率Tab. 5 The correct sorting rate of templates in the x-O-y plane

如表5 所示，當RGB-D 相機在x-O-y平面旋轉時，模板b、c、d 不受旋轉角度的影響，正確排序率均在95%以上；當α=60°或者α=-30°時，模板a 的正確排序率為0；當α=30°或者α=-60°時，模板e 的正確排序率為0. 如圖8(a)所示，受到目標檢測框形狀的限制，其他規(guī)格的螺栓在旋轉RGB-D 相機后也被包含在模板內，檢測的主材螺栓個數會大于實際模板主材螺栓個數，無法確定模板類型，進而不能執(zhí)行下一步排序操作. 如表6、表7 所示，當RGB-D 相機在y-O-z平面旋轉，即-60°＜β＜60°時，5 個螺栓組模板的正確排序率均在95%以上. 當RGB-D 相機在z-O-x平面旋轉，即-60°＜γ＜-60°時，5 個螺栓組模板的正確排序率均在95%以上. 當RGB-D 相機在y-O-z和z-O-x平面內旋轉時，隨著旋轉角度絕對值的進一步增大，圖片中的螺栓開始相互遮擋，螺栓檢測框出現重疊現象，如圖8(b)所示，相鄰螺栓間的距離測量產生較大誤差，影響螺栓組模板正確排序.

表6 y-O-z 平面模板正確排序率Tab. 6 The correct sorting rate of templates in the y-O-z plane

表7 z-O-x 平面模板正確排序率Tab. 7 The correct sorting rate of templates in the z-O-x plane

圖8 螺栓組模板無法被正確排序的兩類情況Fig. 8 Two situations when bolt group templates cannot be sorted correctly

4 結 論

針對角鋼塔主材螺栓檢測與定位問題，結合輕量化的YOLOv5s-T 網絡和英特爾?實感?深度攝像頭D435i，提出了角鋼塔主材螺栓的檢測與定位系統. 通過一系列對比試驗，驗證了輕量化網絡模型YOLOv5s-T 在基本不降低mAP 的情況下，推理速度提高31%. 通過比較相鄰螺栓的測量距離與真實距離，驗證系統的平均誤差不超過1 mm. 對主材螺栓排序算法進行驗證，發(fā)現當RGB-D 相機正對螺栓組模板時，螺栓組模板的正確排序率不低于95%. 在x-O-y平面旋轉RGB-D 相機時，螺栓組模板的正確排序率會受到模板類別和旋轉角度的影響. 在y-O-z和z-O-x平面旋轉RGB-D 相機時，當旋轉角度絕對值小于60°，螺栓組模板的正確排序率在95%以上.

角鋼塔主材螺栓的檢測與定位系統實現了角鋼塔主材螺栓的實時檢測、三維定位和重新排序等功能，為快速導引6 自由度機械臂末端到達螺栓緊固點進行精確定位的二次成像及緊固作業(yè)奠定了基礎.