李星霖，周 洋，孫鑫垚，孫沐邦

（鄭州大學(xué)機(jī)械與動(dòng)力工程學(xué)院，河南 鄭州 450001）

1 引言

螺栓連接廣泛存在于橋梁，交通，航空航天，機(jī)床等設(shè)施和高端裝備中［1-2］。螺栓的連接質(zhì)量決定著裝備的服役性能。螺栓松動(dòng)是螺栓連接結(jié)合面中一種較為常見(jiàn)的失效形式，螺栓松動(dòng)會(huì)導(dǎo)致被連接面之間產(chǎn)生相對(duì)滑移，在剪切外力的作用下螺栓發(fā)生疲勞失效而斷裂，會(huì)對(duì)設(shè)備的服役性能和連接強(qiáng)度造成影響，甚至?xí)l(fā)生重大的安全事故。因此，為了保證機(jī)械裝備高質(zhì)量的工作性能，需要對(duì)螺栓連接結(jié)合面在服役狀態(tài)下的松緊度進(jìn)行實(shí)時(shí)的監(jiān)控。對(duì)螺栓連接狀態(tài)常用的監(jiān)測(cè)方法是通過(guò)人工排查［3］，壓電阻抗［4-6］，超聲導(dǎo)波［7-8］等方法。以上的方法雖然對(duì)螺栓松動(dòng)檢測(cè)取得了良好的效果，但是都屬于接觸式的，受環(huán)境和溫度影響較大，在工程實(shí)踐應(yīng)用中容易產(chǎn)生較大的誤差。因此，需要一種非接觸式螺栓松動(dòng)檢測(cè)方法。

基于機(jī)器視覺(jué)的深度學(xué)習(xí)方法在目標(biāo)識(shí)別和定位方面擁有著強(qiáng)大的能力，同時(shí)在螺栓松動(dòng)檢測(cè)方面擁有廣闊的應(yīng)用前景。文獻(xiàn)［9］使用深度學(xué)習(xí)算法識(shí)別螺栓，并通過(guò)框選螺栓端面的特征，獲得螺栓識(shí)別框與特征識(shí)別框的中心坐標(biāo)，并以此求解出螺栓相對(duì)應(yīng)的轉(zhuǎn)角。文獻(xiàn)［10］基于深度學(xué)習(xí)發(fā)展了一種新的螺栓松動(dòng)檢測(cè)方法，通過(guò)坐標(biāo)變換辨識(shí)螺栓是否發(fā)生松動(dòng)。文獻(xiàn)［11］從不同的拍攝角度獲取螺栓連接的圖片，并通過(guò)螺栓頭部的邊線來(lái)識(shí)別螺栓松動(dòng)的角度。

綜上可知，目前對(duì)螺栓檢測(cè)的方法重點(diǎn)集中在螺栓的目標(biāo)檢測(cè)，識(shí)別及定位。對(duì)于松動(dòng)后螺栓轉(zhuǎn)動(dòng)角度的檢測(cè)及檢測(cè)精度效果并不理想。因此，這里擬通過(guò)識(shí)別螺栓角點(diǎn)，提出一種螺栓松動(dòng)后轉(zhuǎn)角新計(jì)算的方法，為螺栓連接件的結(jié)構(gòu)健康監(jiān)測(cè)提供一種新的思路。

2 螺栓松動(dòng)檢測(cè)原理

這里根據(jù)監(jiān)控視頻來(lái)監(jiān)測(cè)螺栓的松動(dòng)情況。首先，輸入視頻，通過(guò)光流法將視頻轉(zhuǎn)化為灰度值，計(jì)算和框選出松動(dòng)的物體，并發(fā)出物體松動(dòng)報(bào)警；其次，通過(guò)深度學(xué)習(xí)detectron2算法對(duì)松動(dòng)的物體進(jìn)行識(shí)別，進(jìn)一步判斷是否是螺栓產(chǎn)生了松動(dòng)；最后，計(jì)算螺栓松動(dòng)的角度并完成監(jiān)測(cè)，檢測(cè)流程圖，如圖1所示。

圖1 螺栓松動(dòng)檢測(cè)流程圖Fig.1 Flow Chart of Bolt Looseness Detection

2.1 光流法

本節(jié)使用光流法定位松動(dòng)的螺栓。光流法是根據(jù)圖像前后兩幀像素在時(shí)間域上的變化，獲得相鄰兩幀圖像上物體運(yùn)動(dòng)信息的一種方法。光流約束的基本方程為［12］：

式中：x，y—圖像上的一點(diǎn)；I(x，y，t)—對(duì)應(yīng)的灰度值，光流在該點(diǎn)水平u(x，y)和豎直方向的分量v(x，y)為［12］：

光流法基于以下的兩種假設(shè)：

（1）亮度恒定不變；

（2）時(shí)間連續(xù)或者是運(yùn)動(dòng)幅度“微小”。

由于螺栓在實(shí)際工況下發(fā)生松動(dòng)持續(xù)的時(shí)間短，且都沿著中心軸做旋轉(zhuǎn)，運(yùn)動(dòng)幅度較小，滿(mǎn)足使用光流法的兩個(gè)條件。

由于式（1）是一個(gè)約束方程存在兩個(gè)未知變量，無(wú)法確定具體的參數(shù)，需要另外一個(gè)約束方程。因此，這里采用Horn-Schunck算法，該算法認(rèn)為光流在圖像中光滑變化，首先定義其約方程為［13］：

式中：λ—平滑度約束參數(shù)。

由式（1）、式（3）便可取得u(x，y)，v(x，y)值，即可獲得運(yùn)動(dòng)物體的光流矢量。

本次實(shí)驗(yàn)的螺栓的初始狀態(tài)，如圖2 所示。其中，螺栓1（Bolt1）保持固定，螺栓2（Bolt2）進(jìn)行松動(dòng)實(shí)驗(yàn)。若螺栓2松動(dòng)，則會(huì)通過(guò)光流矢量進(jìn)行標(biāo)注，如圖3所示。

圖2 實(shí)驗(yàn)所用的螺栓Fig.2 Bolts Used in the Experiment

圖3 松動(dòng)螺栓光流矢量圖Fig.3 Optical Flow Vector Diagram of Loosen Bolt

對(duì)螺栓2進(jìn)行光流矢量的閾值分割圖，如圖4所示。為檢測(cè)到螺栓2 松動(dòng)，并把螺栓框選出來(lái)，如圖5 所示。從圖4、圖5 可得，光流法能有效地檢測(cè)出松動(dòng)的螺栓。

圖4 松動(dòng)螺栓光流閾值分割圖Fig.4 Optical Flow Threshold Segmentation of Loosen Bolt

圖5 松動(dòng)螺栓檢測(cè)結(jié)果框選圖Fig.5 Frame Selection of Loose Bolt Detection Results

2.2 Detectron2深度學(xué)習(xí)

在這里，使用detectron2深度學(xué)習(xí)目標(biāo)識(shí)別方法檢測(cè)螺栓的松動(dòng)情況。Detectron2 算法的主框架是通過(guò)backbone基礎(chǔ)網(wǎng)絡(luò)（Resnet，ShuffleNet，F(xiàn)BNet等）生成候選框，將候選框進(jìn)行切割和包裹（crop&warp）主要應(yīng)用了邊界框的預(yù)測(cè)（box）和關(guān)鍵點(diǎn)檢測(cè)（keypoints）兩個(gè)功能結(jié)構(gòu)，如圖6所示。數(shù)據(jù)被分為2組，一組用于標(biāo)記，一組被用于預(yù)測(cè)。本次實(shí)驗(yàn)共收集366個(gè)螺栓圖片，其中335 照片用于訓(xùn)練，31 用于預(yù)測(cè)。其中，照片的像素為（640×640），水平和垂直深度為96dpi，位深度為24。圖片獲取設(shè)備為手機(jī)。這里使用detectron2 平臺(tái)進(jìn)行實(shí)力分割和目標(biāo)檢測(cè)，并通過(guò)GPU 進(jìn)行計(jì)算。由于detectron2 能識(shí)別的數(shù)據(jù)集的標(biāo)準(zhǔn)格式為COCO數(shù)據(jù)集樣式。因此，需將標(biāo)準(zhǔn)的形式轉(zhuǎn)成為COCO數(shù)據(jù)集的格式。

圖6 Detectron2 主框架Fig.6 Main Framework of Detectron2

通過(guò)dlib中的imglab工具制作標(biāo)注數(shù)據(jù)集。首先框取螺栓作為識(shí)別目標(biāo)，其次標(biāo)注螺栓的6個(gè)角點(diǎn)，最后通過(guò)角點(diǎn)的變化來(lái)判斷螺栓是否松動(dòng)。

標(biāo)注的螺栓，如圖7所示。在圖中，螺栓標(biāo)注通過(guò)一種色的方框框選出來(lái)，角點(diǎn)通過(guò)另一種色的圓圈標(biāo)記出來(lái)，角點(diǎn)坐標(biāo)按照順時(shí)針?lè)较蜻M(jìn)行編號(hào)。

圖7 螺栓和角點(diǎn)標(biāo)注圖Fig.7 Mark of Bolt and Corner

計(jì)算松動(dòng)后轉(zhuǎn)角的方法，如圖8所示。旋轉(zhuǎn)后角點(diǎn)的新坐標(biāo)可表示為：

圖8 螺栓轉(zhuǎn)動(dòng)幾何角度和轉(zhuǎn)動(dòng)坐標(biāo)點(diǎn)Fig.8 Rotation Geometry Angle and Rotation Coordinate Point of Bolt

式中：xi，yi—第i個(gè)角點(diǎn)的坐標(biāo)值，i的編號(hào)從0 開(kāi)始，依次為i=0，1，2，3，4，5。

由式（4）、式（5）可知，只需要知道旋轉(zhuǎn)前后的坐標(biāo)，便可求得轉(zhuǎn)動(dòng)角度。

3 實(shí)驗(yàn)及結(jié)果

這里實(shí)驗(yàn)的配置為：python3.6 環(huán)境，pytorch1.6 深度學(xué)習(xí)框架detectron2深度學(xué)習(xí)算法框架，GPU 1070Ti，8G顯存。

實(shí)驗(yàn)中使用pytorch1.6，bath_size 設(shè)置為4，初始化學(xué)習(xí)率為0.0025，訓(xùn)練集設(shè)置的關(guān)鍵點(diǎn)數(shù)目為6，訓(xùn)練迭代次數(shù)為220000步。

對(duì)六邊形螺栓的六個(gè)交點(diǎn)進(jìn)行關(guān)鍵點(diǎn)標(biāo)注，以螺栓中心為坐標(biāo)軸圓點(diǎn)，以第一象限最高的交點(diǎn)命名為ap0，其他的交點(diǎn)順時(shí)針依次為ap1、ap2、ap3、ap4、ap5。總計(jì)標(biāo)注了366 張圖的螺栓，其中，355 張圖作為訓(xùn)練集，31 張圖作為驗(yàn)證集。當(dāng)?shù)鷰У?20000，損失loss值為0.15，損失曲線，如圖9所示。

圖9 損失曲線圖Fig.9 Loss Curve

這里通過(guò)detectron2框架進(jìn)行訓(xùn)練和預(yù)測(cè)，獲得不同旋轉(zhuǎn)位置的預(yù)測(cè)結(jié)果，如圖10～圖12所示。由圖10～圖12可得，不同時(shí)刻下螺栓旋轉(zhuǎn)了不同的角度，其角點(diǎn)坐標(biāo)也跟隨螺栓轉(zhuǎn)動(dòng)而發(fā)生的相對(duì)的變化，根據(jù)式（5），則可獲得螺栓的相對(duì)轉(zhuǎn)角。在這里，選取編號(hào)為ap0 的角點(diǎn)為研究對(duì)象，其在不同時(shí)刻的角點(diǎn)和坐標(biāo)，如表1所示。

表1 不同位置的轉(zhuǎn)角Tab.1 Corner at Different Positions

圖10 P1位置的預(yù)測(cè)結(jié)果Fig.10 PredictionResultsofP1 Position

圖11 P2位置的預(yù)測(cè)結(jié)果Fig.11 PredictionResultsofP2 Position

圖12 P3位置的預(yù)測(cè)結(jié)果Fig.12 PredictionResultsofP3 Position

4 結(jié)論

這里為解決通過(guò)接觸式檢測(cè)螺栓松動(dòng)方法的缺陷，采用光流法結(jié)合深度學(xué)習(xí)檢測(cè)結(jié)構(gòu)件中的螺栓松動(dòng)。首先編制相應(yīng)的程序，通過(guò)光流法檢測(cè)出轉(zhuǎn)動(dòng)的物體，對(duì)視頻中松動(dòng)的螺栓進(jìn)行精準(zhǔn)的檢測(cè)和定位；然后基于深度學(xué)習(xí)的方法識(shí)別螺栓并計(jì)算螺栓轉(zhuǎn)動(dòng)角度的方法，推導(dǎo)了螺栓松動(dòng)轉(zhuǎn)角的計(jì)算公式，并進(jìn)行了相應(yīng)的實(shí)驗(yàn)進(jìn)行驗(yàn)證，實(shí)現(xiàn)對(duì)螺栓松動(dòng)的非接觸式檢測(cè)，為機(jī)械裝備健康監(jiān)測(cè)提供一種新的方法。