摘要：為提高螺栓連接的檢測(cè)效率，充分利用計(jì)算機(jī)視覺(jué)高效方便等特點(diǎn)，提出一種基于計(jì)算機(jī)視覺(jué)的螺栓松動(dòng)角度測(cè)量方法.該方法包括圖像獲取、圖像預(yù)處理、邊緣檢測(cè)和直線(xiàn)識(shí)別、角度計(jì)算四步.首先獲取螺栓圖像，用透視變換和圖像灰度化技術(shù)對(duì)圖像預(yù)處理，然后用Canny邊緣檢測(cè)算法檢測(cè)邊緣和Hough變換識(shí)別邊緣直線(xiàn)，最后計(jì)算螺栓角度.設(shè)計(jì)了一個(gè)螺栓模型驗(yàn)證該方法的可行性，實(shí)驗(yàn)結(jié)果表明，該方法可以高效準(zhǔn)確識(shí)別5°以上的螺栓松動(dòng)，且最大誤差僅為5%，滿(mǎn)足實(shí)際工程精度要求，具有良好應(yīng)用前景.

關(guān)鍵詞：計(jì)算機(jī)視覺(jué)；螺栓松動(dòng)；健康監(jiān)測(cè)；數(shù)字圖像處理

中圖分類(lèi)號(hào)： TU391文獻(xiàn)標(biāo)志碼：A

Bolt Loosening Angle Measurement Technology Based on Computer Vision

ZHOU Kui1， 2， WU Hao1， LIU Yujie1

（1. School of Environment and Architecture， University of Shanghai for Science and Technology，"Shanghai 200093， China；2. School of Civil Engineering， Kashi University， Kashi 844008， China）

Abstract： In order to improve the detection efficiency of bolt connections and make full use of the efficiency and convenience of computer vision， a method for measuring bolt loosening angle based on computer vision is proposed， which includes four steps： image acquisition， image preprocessing， edge detection and line recognition， and angle calculation. Firstly， the bolt image is acquired， the image is preprocessed with perspective transformation and image grayscale. Then， the edge is detected by Canny edge detection algorithm and straight line is recognized by Hough transform. Finally， the bolt angle is calculated. A bolt model is designed to verify the feasibility of the method， and the experimental results show that the method can efficiently and accurately recognize the bolt looseness above 5°， with a maximum error of only 5%， which meets the accuracy requirements of actual engineering and has good application prospects.

Key words： computer vision; loose bolts; health monitoring; digital image processing

螺栓作為結(jié)構(gòu)主要連接構(gòu)件被大量應(yīng)用在機(jī)械結(jié)構(gòu)中，但由于循環(huán)荷載和溫度等因素的影響，經(jīng)常會(huì)發(fā)生松動(dòng).如果不定期進(jìn)行檢測(cè)，就會(huì)導(dǎo)致螺栓預(yù)緊力下降以及承載力不足，對(duì)結(jié)構(gòu)的安全運(yùn)行將產(chǎn)生重大影響.因此，有必要對(duì)結(jié)構(gòu)中的螺栓進(jìn)行檢測(cè)識(shí)別，保證結(jié)構(gòu)的安全運(yùn)行.

現(xiàn)有的螺栓檢測(cè)方法一般以人工定期檢測(cè)為主，但由于結(jié)構(gòu)中的螺栓數(shù)量多且觀察困難，這就給螺栓松動(dòng)檢測(cè)帶來(lái)了很大困難，急需一種高效便捷的檢測(cè)方式.Shao等［1］ 建立了螺栓預(yù)荷載與其頻率偏移的關(guān)系，提出了一種壓電阻抗頻移法來(lái)估計(jì)螺栓預(yù)緊力，具有良好應(yīng)用前景.Jiang等［2］制作了一種壓電陶瓷傳感器并提出了一種利用螺栓應(yīng)力波的主動(dòng)傳感方法，利用小波變換對(duì)布置在鋼拱結(jié)構(gòu)上的PZT傳感器接收到的信號(hào)進(jìn)行分析.Liu等［3］提出了一種將壓電陶瓷與主動(dòng)傳感器技術(shù)相結(jié)合的螺栓松動(dòng)檢測(cè)方法.該方法通過(guò)測(cè)量螺栓接觸面超聲波能量的大小作為判斷螺栓是否發(fā)生松動(dòng)的指標(biāo).Huynh等［4］通過(guò)分析嵌入式螺栓連接系統(tǒng)的簡(jiǎn)化模型，提出了一種基于壓電陶瓷的智能接口技術(shù)，并通過(guò)EMI方法確定了敏感頻率范圍，實(shí)現(xiàn)了螺栓連接的松動(dòng)檢測(cè).Wang等［5］基于壓電陶瓷技術(shù)設(shè)計(jì)了一種可安裝在螺栓上的智能設(shè)備，實(shí)現(xiàn)了對(duì)螺栓的實(shí)時(shí)監(jiān)測(cè).該設(shè)備安裝方便但成本高昂，仍需改進(jìn).江文強(qiáng)等［6］對(duì)在橫向荷載作用下的螺栓節(jié)點(diǎn)進(jìn)行精細(xì)建模，以此得到螺栓節(jié)點(diǎn)預(yù)緊力變化規(guī)律.賀李平等［7］分別對(duì)剛性單元連接、梁?jiǎn)卧B接和真實(shí)螺栓進(jìn)行了有限元建模，分析了其適用范圍和計(jì)算精度.實(shí)驗(yàn)表明，梁?jiǎn)卧?jì)算精度高且會(huì)保留關(guān)鍵細(xì)節(jié)，適用范圍更廣.何佳龍等［8］同樣建立了螺栓有限元精細(xì)模型，并分別進(jìn)行了靜力學(xué)加載和瞬態(tài)動(dòng)力學(xué)仿真分析，驗(yàn)證了螺栓接觸面狀態(tài)改變會(huì)導(dǎo)致自鎖效果下降，從而導(dǎo)致松動(dòng).Huynh等［4］通過(guò)建立有限元模型，預(yù)先設(shè)定抗阻特征的敏感頻帶，對(duì)提出的嵌入式螺栓智能接口技術(shù)驗(yàn)證了其可行性.

隨著螺栓的大量應(yīng)用以及信息技術(shù)的飛速發(fā)展，傳統(tǒng)的檢測(cè)方法已不能滿(mǎn)足結(jié)構(gòu)智能化的發(fā)展趨勢(shì).因此，探索一個(gè)智能化的健康監(jiān)測(cè)方案以提高螺栓檢測(cè)效率，是目前亟待解決的問(wèn)題.

近年來(lái)計(jì)算機(jī)以及圖像處理技術(shù)飛速發(fā)展，基于信息化的智能健康監(jiān)測(cè)技術(shù)走進(jìn)人們的視野.Huynh等［9］提出了一種基于自主視覺(jué)的螺栓松動(dòng)檢測(cè)方法，依次設(shè)計(jì)了Faster區(qū)域卷積神經(jīng)網(wǎng)絡(luò)螺栓檢測(cè)器、自動(dòng)失真校正器、自適應(yīng)螺栓角度估計(jì)器和螺栓松動(dòng)分類(lèi)器，利用現(xiàn)場(chǎng)實(shí)驗(yàn)驗(yàn)證了該方法的穩(wěn)定性.Ramana等［10］使用Viola-Jones算法和支持向量機(jī)來(lái)檢測(cè)螺栓松動(dòng)，使用卷積神經(jīng)網(wǎng)絡(luò)在有螺栓和無(wú)螺栓的兩個(gè)圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練，以快速準(zhǔn)確定位圖像中的所有螺栓.周靖等［11］針對(duì)現(xiàn)有的螺栓檢查方法效率低等問(wèn)題，提出了一種基于質(zhì)心云點(diǎn)的螺栓松動(dòng)角度測(cè)量方法，該方法可從任意角度獲取圖像并得到螺栓松動(dòng)角度.Pan等［12］設(shè)計(jì)了一種具有物聯(lián)網(wǎng)設(shè)備的螺栓監(jiān)測(cè)系統(tǒng)，引入一種新的視覺(jué)條形碼，通過(guò)相應(yīng)的解碼設(shè)備，可以獲得高精度的角度信息.此外還驗(yàn)證了該條形碼并不會(huì)因螺栓轉(zhuǎn)動(dòng)而喪失信息.

針對(duì)結(jié)構(gòu)在役螺栓松動(dòng)檢測(cè)方面存在的一些問(wèn)題，本文采用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)螺栓進(jìn)行健康監(jiān)測(cè)，旨在提高結(jié)構(gòu)中的螺栓檢測(cè)效率，探索未來(lái)螺栓連接的智能化健康監(jiān)測(cè)方案.該方法在取得螺栓圖像后首先將圖像灰度化，利用Canny邊緣檢測(cè)算法檢測(cè)邊緣，并盡量減少圖像噪聲；然后利用Hough變換檢測(cè)直線(xiàn)，以此來(lái)確定螺栓角度；最后通過(guò)對(duì)比前后角度變化來(lái)確定轉(zhuǎn)動(dòng)角度.

1基于計(jì)算機(jī)視覺(jué)的螺栓角度檢測(cè)方法

1.1圖像獲取及預(yù)處理

使用智能手機(jī)在螺栓模型上方拍照，拍照時(shí)盡量保證在光照充足的條件下正面拍攝，保證模型清晰完整出現(xiàn)在照片內(nèi).為了更好地提取螺栓特征，需要對(duì)圖片進(jìn)行預(yù)處理，主要步驟為透視變換和圖像灰度化.

1.1.1透視變換

由于人工拍照不可能實(shí)現(xiàn)完全垂直模型，會(huì)導(dǎo)致一定角度的偏移.所以要對(duì)圖像進(jìn)行透視變換，將圖像轉(zhuǎn)變?yōu)榇怪蓖队?，從而更好地識(shí)別邊緣.透視變換用公式（1）來(lái)表示：

x′y′z′=a11a12a13a21a22a23a31a32a33xyz（1）

其中，（x′，y′，z′）T為透視變換后圖像中的任一點(diǎn)坐標(biāo)，（x，y，z）T為變換前圖像任一點(diǎn)的坐標(biāo).矩陣共有九個(gè)參數(shù)，可以根據(jù)未透視圖像中的四個(gè)點(diǎn)和透視圖像中的四個(gè)點(diǎn)來(lái)確定.通過(guò)求得上述矩陣的逆矩陣即可得透視變換后的圖像，圖1展示了透視變換的原理，通過(guò)透視變換可以將圖像轉(zhuǎn)化為垂直投影，以便圖像的后續(xù)處理.

1.1.2圖像灰度化

在對(duì)圖像進(jìn)行特征提取之前，一般會(huì)對(duì)圖像進(jìn)行灰度化［13］處理，使圖像變?yōu)榛疑?，提高運(yùn)算速度.常用的圖像灰度化方法有平均值法、加權(quán)平均值法、最大值和最小值法.相對(duì)于其它方法，加權(quán)平均值法運(yùn)行速度快且具有一定的抗噪性，故本文采用加權(quán)平均值法.彩色圖像中的每個(gè)像素都由紅色（R）、綠色（G）和藍(lán)色（B）組成，通過(guò)添加權(quán)重的方式，可以將這三個(gè)顏色通道值按照一定的權(quán)重組合，最終可得到相應(yīng)的灰度化圖像.常用的權(quán)重公式為：

Gray=0.299R+0.578G+0.114B（2）

1.2特征提取圖像進(jìn)行簡(jiǎn)單預(yù)處理后，需要對(duì)圖像進(jìn)行特征提取，主要為利用Canny邊緣檢測(cè)算法檢測(cè)螺栓邊緣以及利用Hough變換識(shí)別直線(xiàn).通過(guò)將螺栓單獨(dú)分割出來(lái)，提取每個(gè)螺栓直線(xiàn)邊緣的角度值，最終用于螺栓角度的計(jì)算.

1.2.1Canny邊緣檢測(cè)算法

Canny邊緣檢測(cè)［14］算法被廣泛應(yīng)用在圖像處理領(lǐng)域，是高性能邊緣檢測(cè)器之一.Canny邊緣檢測(cè)主要分為四個(gè)步驟：（1）使用高斯濾波去除圖像噪聲；（2）計(jì)算圖像中每個(gè)像素點(diǎn)在水平、垂直和對(duì)角線(xiàn)方向的梯度；（3）通過(guò)使用非極大值抑制來(lái)消除對(duì)邊緣檢測(cè)的錯(cuò)誤響應(yīng)；（4）設(shè)置最低閾值和最高閾值，根據(jù)最低和最高閾值來(lái)識(shí)別邊界.

使用兩個(gè)閾值是Canny邊緣檢測(cè)器的獨(dú)特特征.如果像素的梯度值大于最高閾值，它們則被標(biāo)記為強(qiáng)邊緣像素，而小于最低閾值的邊緣像素則不會(huì)被識(shí)別.介于最高和最低閾值之間的邊緣像素會(huì)被標(biāo)記為弱邊緣像素，它們通過(guò)滯后跟蹤潛在邊緣來(lái)檢測(cè)真實(shí)邊緣.強(qiáng)邊緣像素會(huì)被包含在最終的邊緣圖像中，如果任何弱邊緣像素連接到強(qiáng)邊緣像素，它被標(biāo)記為真實(shí)邊緣，否則將會(huì)被移出最終的邊緣圖像.

1.2.2Hough變換

Hough變換［15］是從圖像中檢測(cè)幾何形狀的重要方法，常用來(lái)檢測(cè)直線(xiàn)及其角度.其原理為假設(shè)圖像上的每個(gè)點(diǎn)都可能位于一條直線(xiàn)上，可以用極坐標(biāo)形式來(lái)表示每一條直線(xiàn)，即通過(guò)直線(xiàn)到原點(diǎn)距離d和直線(xiàn)的角度θ來(lái)表示.此時(shí)，每一對(duì)（d，θ）都代表一條可能的直線(xiàn).對(duì)于圖像中的每個(gè)點(diǎn)，遍歷所有可能的直線(xiàn)，并計(jì)算每條直線(xiàn)經(jīng)過(guò)該點(diǎn)的參數(shù)（d，θ）.然后在累加器數(shù)組中對(duì)相應(yīng)的（d，θ）位置進(jìn)行累加，這樣累加器數(shù)組中的值就代表了經(jīng)過(guò)該點(diǎn)的直線(xiàn)的數(shù)量，

且值最大的點(diǎn)對(duì)應(yīng)的直線(xiàn)就是圖像中最強(qiáng)的直線(xiàn)邊緣.圖2給出了Hough變換原理的圖形表示，在圖像空間中，每條直線(xiàn)可以用單獨(dú)的θ和d來(lái)表示，且有：

d=xcosθ+ysinθ（3）

其中，（x，y）是圖像空間下點(diǎn)的坐標(biāo)，θ表示直線(xiàn)的角度，d表示直線(xiàn)到原點(diǎn)的距離.

在霍夫空間中，有兩條曲線(xiàn)在點(diǎn)（θ，d）處相交，該點(diǎn)表示通過(guò)圖像空間中A、B兩點(diǎn)的線(xiàn).

使用上述公式可以將圖像空間中的點(diǎn)轉(zhuǎn)換成霍夫空間中的曲線(xiàn)，而轉(zhuǎn)換后的曲線(xiàn)可能在霍夫空間中的某個(gè)點(diǎn)交叉，曲線(xiàn)主要交叉的點(diǎn)則可能對(duì)應(yīng)螺栓的直線(xiàn)邊緣.

1.3損傷判定

圖像進(jìn)行Hough變換后可以獲得螺栓的k條邊緣（k≤6）.對(duì)于第i個(gè)螺栓，第j個(gè)邊緣的提取線(xiàn)可以用（θji，dji）來(lái)表示.考慮到k個(gè)檢測(cè)到的邊緣，第i個(gè)螺栓的角度φi可以估計(jì)為：

φi=1k∑kj=1mod（θji+90°60°）（4）

其中，mod（.）是一個(gè)求余函數(shù)，即做除法運(yùn)算后的余數(shù).由于螺栓為正六邊形，通過(guò)求余函數(shù)得出的φi范圍為0～60°.通過(guò)對(duì)比松動(dòng)前后的φi值，即可得出螺栓松動(dòng)角度.螺栓松動(dòng)角度可以表示為：

Δφi=φi－φ′i（5）

φi和φ′i為螺栓松動(dòng)前后的測(cè)量角度，Δφi可以作為判斷是否松動(dòng)的指標(biāo).由于螺栓自身的正六邊形特征，該公式僅適用于0～60°的角度識(shí)別.但由于螺栓松動(dòng)緩慢，是一個(gè)長(zhǎng)期漸進(jìn)的過(guò)程，且現(xiàn)實(shí)中也會(huì)對(duì)結(jié)構(gòu)進(jìn)行定期檢測(cè)，故該方法滿(mǎn)足實(shí)際需求.

2實(shí)驗(yàn)驗(yàn)證

2.1實(shí)驗(yàn)設(shè)置

為了驗(yàn)證本文提出方法的可行性，在一個(gè)螺栓連接模型上進(jìn)行了實(shí)驗(yàn)驗(yàn)證.螺栓連接模型是由一塊350 mm×220 mm×5 mm的鋼板以及六個(gè)M20螺栓組成，如圖3所示.六個(gè)螺栓分別用編號(hào)螺栓1至螺栓6來(lái)表示.

2.2工況設(shè)置

本實(shí)驗(yàn)設(shè)計(jì)了兩組工況，每組工況分別設(shè)置了包含三個(gè)轉(zhuǎn)動(dòng)不同角度的螺栓以及作為各自對(duì)照組的三個(gè)螺栓.由于螺栓松動(dòng)是一個(gè)緩慢過(guò)程，故轉(zhuǎn)動(dòng)角度選擇在60°以?xún)?nèi)，表1為具體的工況設(shè)置.

2.3結(jié)果分析

在光照充足的環(huán)境中用手機(jī)在模型上方分別拍攝每組工況下螺栓松動(dòng)前后的照片，保證螺栓模型完整出現(xiàn)在圖片內(nèi).在取得螺栓清晰圖像后，將圖像導(dǎo)入Python軟件中按照上述流程進(jìn)行處理.為了更清楚地顯示處理結(jié)果，本文只給出工況1的螺栓圖像處理過(guò)程，如圖4所示.所有數(shù)據(jù)處理結(jié)果如表2所示.

圖4（a）是手機(jī)拍攝的工況1的螺栓原圖，圖4（b）是Canny邊緣檢測(cè)結(jié)果，圖4（c）是Hough直線(xiàn)檢測(cè)結(jié)果.由表2數(shù)據(jù)可知，除去轉(zhuǎn)動(dòng)3°的情況，識(shí)別最大誤差控制在5%以?xún)?nèi)，平均誤差為2.9%，表明該方法可以有效識(shí)別螺栓松動(dòng).當(dāng)螺栓轉(zhuǎn)動(dòng)角度為3°時(shí)，識(shí)別誤差達(dá)到22.3%，但絕對(duì)誤差為0.7°，仍在1°范圍內(nèi).可見(jiàn)當(dāng)轉(zhuǎn)動(dòng)角度在3°以?xún)?nèi)時(shí)，識(shí)別精度較差，而當(dāng)轉(zhuǎn)動(dòng)角度為8°時(shí)，識(shí)別誤差僅為4.1%，綜合考慮可以認(rèn)為該方法可以準(zhǔn)確識(shí)別轉(zhuǎn)動(dòng)角度為5°以上的螺栓松動(dòng)情況，滿(mǎn)足實(shí)際測(cè)量精度需求.本方法由于螺栓自身特點(diǎn)，只能識(shí)別60°以?xún)?nèi)的轉(zhuǎn)動(dòng)，但考慮到實(shí)際應(yīng)用中螺栓松動(dòng)過(guò)程較為緩慢，不會(huì)在短時(shí)間內(nèi)大幅度松動(dòng)，因此該方法符合實(shí)際應(yīng)用需要，具有一定應(yīng)用前景.

3結(jié)語(yǔ)

本文在分析螺栓松動(dòng)檢測(cè)現(xiàn)狀的基礎(chǔ)上，提出了一種基于計(jì)算機(jī)視覺(jué)的螺栓松動(dòng)檢測(cè)方法.首先用智能手機(jī)獲取圖像，對(duì)圖像進(jìn)行預(yù)處理，包括透視變換和圖像灰度化；然后用Canny邊緣檢測(cè)算法檢測(cè)邊緣和利用Hough變換提取直線(xiàn)邊緣；最后識(shí)別提取的直線(xiàn)角度，通過(guò)計(jì)算螺栓前后的角度變化情況來(lái)判斷螺栓是否發(fā)生松動(dòng).設(shè)計(jì)制作了一個(gè)螺栓模型，驗(yàn)證該方法的可行性，結(jié)果表明該方法可以識(shí)別5°以上的螺栓松動(dòng)，具有經(jīng)濟(jì)高效、簡(jiǎn)便快捷等優(yōu)點(diǎn).當(dāng)然該方法仍有一定局限性，比如自動(dòng)化程度不高、僅適用于六角螺栓等，仍有較大提升空間.后續(xù)可進(jìn)一步提高自動(dòng)化水平，并在集成無(wú)人機(jī)等方面進(jìn)一步研究.

［參考文獻(xiàn)］

［1］SHAO J H，WANG T，YIN H Y，et al.Bolt looseness detection based on piezoelectric impedance frequency shift［J］.Applied Sciences，2016，6（10）：298（1-11）.

［2］JIANG T Y，WU Q L，WANG L，et al.Monitoring of bolt looseness-induced damage in steel truss arch structure using piezoceramic transducers［J］.IEEE Sensors Journal，2018，18（16）：6677-6685.

［3］LIU S P，LI Y R，WANG T，et al.A piezoelectric active sensing method for detection of bolt load loss［J］.Sensor Review，2014，34（4）：337-342.

［4］HUYNH T C，DANG N L，KIM J T.Preload monitoring in bolted connection using piezoelectric-based smart interface［J］.Sensors （Basel），2018，18（9）：2766（1-20）.

［5］WANG C Y，WANG N，HO S C，et al.Design of a novel wearable sensor device for real-time bolted joints health monitoring［J］.IEEE Internet of Things Journal，2018，5（6）：5307-5316.

［6］江文強(qiáng)，墨澤.橫向載荷作用下螺栓連接松動(dòng)過(guò)程仿真研究［J］.計(jì)算機(jī)仿真，2021，38（7）：385-390.

［7］賀李平，任雪梅.螺栓聯(lián)接的有限元建模方法研究［J］.北京理工大學(xué)學(xué)報(bào)，2020，40（12）：1275-1281.

［8］何佳龍，郭繼超，李雨露，等.螺紋連接松動(dòng)機(jī)理有限元仿真分析［J］.實(shí)驗(yàn)技術(shù)與管理，2022，39（10）：69-74.

［9］HUYNH T C.Vision-based autonomous bolt-looseness detection method for splice connections：Design，lab-scale evaluation，and field application［J］.Automation in Construction，2021，124：103591（1-22）.

［10］RAMANA L，CHOI W，CHA Y J.Fully automated vision-based loosened bolt detection using the Viola-Jones algorithm［J］.Structural Health Monitoring，2019，18（2）：422-434.

［11］周靖，劉煜，霍林生.基于機(jī)器視覺(jué)的螺栓松動(dòng)旋轉(zhuǎn)角度測(cè)量［J］.機(jī)械設(shè)計(jì)與研究，2021，37（4）：159-162+175.

［12］PAN Y，MA Y L，DONG Y Q，et al.A vision-based monitoring method for the looseness of high-strength bolt［J］.IEEE Transactions on Instrumentation and Measurement，2021，70：5013914（1-14）.

［13］顧梅花，蘇彬彬，王苗苗，等.彩色圖像灰度化算法綜述［J］.計(jì)算機(jī)應(yīng)用研究，2019，36（5）：1286-1292.

［14］SONG R J，ZHANG Z Q，LIU H Y.Edge connection based canny edge detection algorithm［J］.Pattern Recognition and Image Analysis，2017，27：740-747.

［15］WANG C Y，WANG N，HO S C，et al.Design of a new vision-based method for the bolts looseness detection in flange connections［J］.IEEE Transactions on Industrial Electronics，2020，67（2）：1366-1375.

［責(zé)任編輯趙小俠］