勞武略，徐 威，張清華，羅純坤，崔 闖，陳 杰

(1.西南交通大學(xué) 土木工程學(xué)院，四川 成都 610031；2.保利長(zhǎng)大工程有限公司，廣東 廣州 510620)

螺栓連接件結(jié)構(gòu)簡(jiǎn)單、裝卸便捷,已成為鋼橋建設(shè)中的主要連接方式之一[1]。但在車輛、溫度等動(dòng)力荷載作用下螺栓極易發(fā)生松動(dòng),造成栓接結(jié)構(gòu)預(yù)緊力不足、承載力下降。目前常用扭矩扳手進(jìn)行螺栓松動(dòng)檢測(cè),但該方法檢測(cè)效率低、漏檢率高,且因螺栓參數(shù)差異導(dǎo)致檢測(cè)誤差較大。因此,為保證鋼橋栓接結(jié)構(gòu)服役性能,需研發(fā)智能化、自動(dòng)化的螺栓松動(dòng)檢測(cè)方法,提高檢測(cè)效率和精度。

針對(duì)上述實(shí)際工程問題,國(guó)內(nèi)外學(xué)者提出了以結(jié)構(gòu)振動(dòng)、壓電阻抗、超聲導(dǎo)波等為基本原理的螺栓松動(dòng)檢測(cè)方法[2]。在基于振動(dòng)的技術(shù)中,主要通過(guò)結(jié)構(gòu)的固有頻率、模態(tài)和頻響函數(shù)等動(dòng)態(tài)特性分析螺栓狀態(tài)[3]。在基于壓電阻抗的技術(shù)中,利用壓電材料將激勵(lì)電壓轉(zhuǎn)換為振動(dòng)信號(hào),使得壓電材料與螺栓結(jié)構(gòu)形成的耦合系統(tǒng)發(fā)生諧振,根據(jù)諧振頻率反演螺栓的預(yù)緊力[4]。在應(yīng)用超聲導(dǎo)波技術(shù)時(shí),先利用壓電材料激勵(lì)出更高頻的振動(dòng)信號(hào),從而在板件中產(chǎn)生超聲導(dǎo)波,再根據(jù)導(dǎo)波的線性或非線性特征檢測(cè)螺栓的狀態(tài)變化[5]。然而這幾類方法檢測(cè)結(jié)果易受環(huán)境影響,且均需提取信號(hào)特征與螺栓狀態(tài)間的復(fù)雜映射關(guān)系[6]。

近年來(lái),基于計(jì)算機(jī)視覺的健康監(jiān)測(cè)方法因其具有低成本、易部署、非接觸測(cè)量等眾多優(yōu)點(diǎn)而受到學(xué)者們的廣泛關(guān)注[7-9]。Pan等[10]利用終端設(shè)備采集松動(dòng)前后螺栓頭上預(yù)置的編碼圖像,在識(shí)別其編碼特征后計(jì)算松動(dòng)角度,但該方法檢測(cè)成本較高,不適用于鋼橋螺栓群的松動(dòng)監(jiān)測(cè)。隨著深度學(xué)習(xí)理論的發(fā)展,國(guó)內(nèi)外學(xué)者又提出以RCNN[11]、Yolo[12]、SSD[13]為代表的目標(biāo)檢測(cè)模型,其中Yolo已更新至YoloV5且具有較高的檢測(cè)效率。陳永等[14]在Mask-RCNN的基礎(chǔ)上提出一種鐵路異物檢測(cè)方法。Zhang等[15]和Yuan等[16]分別利用RCNN、Mask-RCNN檢測(cè)外露螺桿的螺栓。程敦誠(chéng)等[17]利用SSD定位并截取鐵路接觸網(wǎng)頂緊螺栓區(qū)域,并由此判斷螺栓狀態(tài)。為檢測(cè)螺栓的松動(dòng)角度,還需檢測(cè)與螺栓相關(guān)的幾何圖素,并根據(jù)圖素的相對(duì)位置關(guān)系計(jì)算角度。Yu等[18]和Zhao等[19]以SSD檢測(cè)出的螺栓標(biāo)記物為角度計(jì)算依據(jù),但當(dāng)標(biāo)記物被遮擋或脫落時(shí)該方法將失效。文獻(xiàn)[20-22]通過(guò)邊緣檢測(cè)、Hough變換等圖像處理方法檢測(cè)螺栓邊線進(jìn)而計(jì)算松動(dòng)角度,但所采用的圖像處理技術(shù)對(duì)外界干擾較為敏感且易發(fā)生誤檢,這導(dǎo)致其穩(wěn)定性與精度均難以保證。為規(guī)避上述圖像處理技術(shù)中的缺點(diǎn),本文采用深度學(xué)習(xí)方法檢測(cè)螺栓關(guān)鍵點(diǎn),即六角螺栓的6個(gè)角點(diǎn),并將其作為計(jì)算螺栓松動(dòng)角度的幾何圖素。

基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的另一個(gè)熱點(diǎn)研究問題,其核心思想是利用神經(jīng)網(wǎng)絡(luò)提取圖像特征,并由此確定關(guān)鍵點(diǎn)類別及位置[23]。多個(gè)目標(biāo)的關(guān)鍵點(diǎn)檢測(cè)可分為自上而下[24]和自下而上[25]2種方法。自上而下的方法中需先檢測(cè)出圖像中的目標(biāo),然后對(duì)每個(gè)目標(biāo)的關(guān)鍵點(diǎn)進(jìn)行檢測(cè)。自下而上的方法則包含圖像中所有關(guān)鍵點(diǎn)的檢測(cè)與檢出關(guān)鍵點(diǎn)的聚類組合。較于自下而上的方法,自上而下的方法檢測(cè)精度較高,但檢測(cè)速度稍遜。由于螺栓關(guān)鍵點(diǎn)檢測(cè)精度將直接影響后續(xù)的角度計(jì)算,故本文采用自上而下的方法檢測(cè)螺栓關(guān)鍵點(diǎn)。既有研究[24]表明,自上而下的方法中,在目標(biāo)檢測(cè)算法可檢測(cè)出所有目標(biāo)的前提下,其檢測(cè)框的精度對(duì)后續(xù)關(guān)鍵點(diǎn)檢測(cè)影響較小,如何提高關(guān)鍵點(diǎn)檢測(cè)的精度才是至關(guān)重要的。為提高檢測(cè)效率,本文先利用YoloV5檢測(cè)圖像中的螺栓目標(biāo),然后基于深度學(xué)習(xí)理論建立螺栓關(guān)鍵點(diǎn)檢測(cè)模型,在比選出性能較優(yōu)的關(guān)鍵點(diǎn)檢測(cè)模型后,再利用該模型檢測(cè)各個(gè)螺栓目標(biāo)的關(guān)鍵點(diǎn)。

綜上所述,本文提出一種基于計(jì)算機(jī)視覺的鋼橋螺栓松動(dòng)檢測(cè)方法:首先建立螺栓關(guān)鍵點(diǎn)檢測(cè)模型,分別構(gòu)建YoloV5數(shù)據(jù)集和關(guān)鍵點(diǎn)檢測(cè)模型數(shù)據(jù)集;然后訓(xùn)練檢測(cè)模型,并在訓(xùn)練過(guò)程中比選出性能較優(yōu)的關(guān)鍵點(diǎn)檢測(cè)模型;利用訓(xùn)練后的YoloV5模型和關(guān)鍵點(diǎn)檢測(cè)模型自上而下檢測(cè)初始、松動(dòng)狀態(tài)圖像中的螺栓目標(biāo)及關(guān)鍵點(diǎn),并根據(jù)關(guān)鍵點(diǎn)確定各個(gè)螺栓的中心點(diǎn)位置,再以中心點(diǎn)的相對(duì)位置矯正兩幅圖像的幾何變形,并求解透視變換矩陣;最后利用透視變換矩陣對(duì)關(guān)鍵點(diǎn)進(jìn)行重投影,根據(jù)松動(dòng)前后關(guān)鍵點(diǎn)間的位置變化判斷螺栓松動(dòng),并計(jì)算松動(dòng)角度。

1 鋼橋螺栓松動(dòng)檢測(cè)方法

1.1 基本原理

鋼橋螺栓松動(dòng)檢測(cè)方法框架見圖1。圖1中,圖像數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練是該方法的準(zhǔn)備階段,目的是生成2個(gè)數(shù)據(jù)集,分別訓(xùn)練Yolov5模型和關(guān)鍵點(diǎn)檢測(cè)模型。該過(guò)程中螺栓目標(biāo)和關(guān)鍵點(diǎn)均由人工標(biāo)注,其中,目標(biāo)標(biāo)注結(jié)果中包含目標(biāo)框的坐標(biāo)和長(zhǎng)寬信息,關(guān)鍵點(diǎn)標(biāo)注結(jié)果中包含關(guān)鍵點(diǎn)的坐標(biāo)信息。螺栓關(guān)鍵點(diǎn)檢測(cè)步驟中,需利用訓(xùn)練后的2個(gè)模型檢測(cè)初始、松動(dòng)狀態(tài)圖像中的螺栓目標(biāo)和關(guān)鍵點(diǎn),檢測(cè)結(jié)果包含檢測(cè)框的坐標(biāo)和長(zhǎng)寬信息,以及關(guān)鍵點(diǎn)的坐標(biāo)信息。其中螺栓目標(biāo)裁剪時(shí),需將目標(biāo)框或真實(shí)框向外擴(kuò)展20%后作為裁剪框,以保留充足的螺栓邊緣信息。螺栓松動(dòng)識(shí)別步驟中,需同時(shí)對(duì)初始狀態(tài)圖像和松動(dòng)狀態(tài)圖像執(zhí)行以下操作:

圖1 螺栓松動(dòng)檢測(cè)方法框架

Step1將6個(gè)關(guān)鍵點(diǎn)坐標(biāo)的平均值作為中心點(diǎn)的坐標(biāo),并采用基于Voronoi圖確定邊界點(diǎn)的方法分類匹配中心點(diǎn)。

Step2根據(jù)匹配結(jié)果擬合透視變換矩陣的最小二乘解,并利用該矩陣對(duì)螺栓關(guān)鍵點(diǎn)與中心點(diǎn)進(jìn)行重投影。

Step3根據(jù)松動(dòng)前后螺栓各點(diǎn)間的位置變化判斷螺栓松動(dòng),并計(jì)算松動(dòng)角度。

1.2 螺栓目標(biāo)與關(guān)鍵點(diǎn)檢測(cè)

鋼橋螺栓通常分布較為密集,因此本文采用先檢測(cè)螺栓再檢測(cè)其關(guān)鍵點(diǎn)的方法。首先將圖像輸入至YoloV5得到螺栓目標(biāo)的檢測(cè)框,根據(jù)檢測(cè)框裁剪原始圖像得到螺栓子圖塊,然后利用關(guān)鍵點(diǎn)檢測(cè)模型檢測(cè)子圖塊中的關(guān)鍵點(diǎn)。螺栓目標(biāo)、關(guān)鍵點(diǎn)檢測(cè)過(guò)程見圖2。圖2中,w、h分別為檢測(cè)框的長(zhǎng)、寬;裁剪框?yàn)闄z測(cè)框向外擴(kuò)展20%,即裁剪尺寸為1.2w×1.2h。

圖2 螺栓目標(biāo)、關(guān)鍵點(diǎn)檢測(cè)過(guò)程

1.2.1 螺栓目標(biāo)檢測(cè)模型

螺栓目標(biāo)檢測(cè)模型見圖3。圖3中,Backbone(骨干網(wǎng)絡(luò))、Neck(特征融合提取結(jié)構(gòu))、Head(檢測(cè)頭)3個(gè)模塊組成YoloV5[12];原始輸入圖像的像素尺寸為640×640×3(3個(gè)顏色通道);在Backbone模塊,首先利用注意力機(jī)制對(duì)輸入進(jìn)行像素間隔采樣生成4張圖像,并對(duì)其進(jìn)行卷積后生成初始特征圖,再利用DarkNet53網(wǎng)絡(luò)提取特征圖中的紋理、形狀等特征;在Neck模塊,利用特征金字塔對(duì)不同尺度特征進(jìn)行拼接融合,生成的特征圖尺寸分別為128×80×80、256×40×40、512×20×20;在Head模塊,將特征圖映射為候選框的坐標(biāo)、置信度、概率分布等7個(gè)參數(shù),其中,置信度反映候選框內(nèi)是否有目標(biāo)的概率,概率分布是螺栓目標(biāo)的分類概率。Head模塊中的3組特征圖分別用于預(yù)測(cè)大、中、小目標(biāo),各特征值的先驗(yàn)框數(shù)量為3,因此每個(gè)尺度下的參數(shù)預(yù)測(cè)數(shù)量為s×s×3×7,s為特征圖的大小。

圖3 螺栓目標(biāo)檢測(cè)模型

1.2.2 螺栓關(guān)鍵點(diǎn)檢測(cè)模型

螺栓關(guān)鍵點(diǎn)檢測(cè)模型見圖4。當(dāng)前常用的關(guān)鍵點(diǎn)檢測(cè)思路有2種[26]:①利用Backbone提取圖像特征,由全連接層直接回歸關(guān)鍵點(diǎn)坐標(biāo),如圖4(a)所示;②直接利用Backbone輸出Heatmap(熱圖),通過(guò)Heatmap信息反算關(guān)鍵點(diǎn)的像素坐標(biāo),如圖4(b)所示。前者在全連接層回歸坐標(biāo)時(shí)不會(huì)丟失數(shù)據(jù)精度,但缺乏泛化能力,即對(duì)未知數(shù)據(jù)的檢測(cè)效果較差;后者需要高分辨率的Heatmap才能保證檢測(cè)精度,但這使得模型計(jì)算量大,且反算關(guān)鍵點(diǎn)坐標(biāo)過(guò)程是不可微的,導(dǎo)致無(wú)法對(duì)模型進(jìn)行端到端的訓(xùn)練。綜合考慮2種方法的特性,本文在Heatmap后接DSNT(可微變換)模塊[26],將Heatmap回歸為關(guān)鍵點(diǎn)坐標(biāo),使模型完全可微,如圖4(c)所示。

圖4 關(guān)鍵點(diǎn)檢測(cè)模型

圖5 DSNT模塊結(jié)構(gòu)

(1)

(2)

式中:winput、hinput分別為輸入圖像的寬度、高度。

X、Y矩陣的維度與Heatmap相同,X、Y矩陣中(i,j)處的元素Xi，j、Yi，j為

(3)

由此可知,DSNT模塊不會(huì)引入額外的訓(xùn)練參數(shù),且可通過(guò)低分辨率的Heatmap得到具有數(shù)據(jù)精度的關(guān)鍵點(diǎn)像素坐標(biāo)。

在Heatmap回歸過(guò)程中,由于螺栓關(guān)鍵點(diǎn)間的特征較為類似,為避免在某個(gè)通道的Heatmap中出現(xiàn)多個(gè)局部峰值,需將關(guān)鍵點(diǎn)分為6類。又由于螺栓關(guān)鍵點(diǎn)分布方位不同,考慮到關(guān)鍵點(diǎn)檢測(cè)模型中的回歸過(guò)程具有位置記憶,即可根據(jù)關(guān)鍵點(diǎn)的相對(duì)位置關(guān)系對(duì)其進(jìn)行分類,故本文以左上關(guān)鍵點(diǎn)作為第一類關(guān)鍵點(diǎn)P1,然后沿逆時(shí)針依次為關(guān)鍵點(diǎn)P2～P6。左上關(guān)鍵點(diǎn)的判斷準(zhǔn)則為:螺栓中心點(diǎn)O與6個(gè)關(guān)鍵點(diǎn)構(gòu)成向量集合OPi,i=1,2,…,6,單位向量[1 1]記為OP0,計(jì)算OPi與OP0之間的順時(shí)針夾角值θi,θi最小的關(guān)鍵點(diǎn)作為螺栓的左上關(guān)鍵點(diǎn)。螺栓關(guān)鍵點(diǎn)分類見圖6。

圖6 螺栓關(guān)鍵點(diǎn)分類

關(guān)鍵點(diǎn)檢測(cè)模型中的待訓(xùn)練參數(shù)僅來(lái)源于Backbone,其特征提取能力直接影響模型檢測(cè)性能,而Heatmap大小將直接決定Backbone提取出的信息量。因此本文選取4種經(jīng)典的圖像分類網(wǎng)絡(luò):EfficientNet[27]、ResNet[28]、DenseNet[29]、MobileNet[30]分別作為模型的Backbone,對(duì)比不同Heatmap大小時(shí)的模型性能,以比選出更優(yōu)的關(guān)鍵點(diǎn)檢測(cè)模型。上述4種圖像分類網(wǎng)絡(luò)的輸入圖像像素尺寸為224×224,下采樣率為25(5個(gè)步長(zhǎng)均為2的下采樣階段),網(wǎng)絡(luò)末端輸出的特征圖尺寸為dc×7×7,dc為通道數(shù),經(jīng)過(guò)池化層與全連接層后輸出當(dāng)前圖像的分類結(jié)果。為將上述分類網(wǎng)絡(luò)應(yīng)用于關(guān)鍵點(diǎn)檢測(cè)模型中,需進(jìn)行以下改動(dòng):①將分類網(wǎng)絡(luò)中某個(gè)下采樣階段的步長(zhǎng)改為1,減小下采樣率,使得網(wǎng)絡(luò)末端輸出的特征圖尺寸變?yōu)閐c×14×14;②將分類網(wǎng)絡(luò)末端的池化層與全連接層改為卷積層,將dc×7×7(或dc×14×14)的特征圖轉(zhuǎn)換為6×7×7(或6×14×14)的Heatmap。

對(duì)上述關(guān)鍵點(diǎn)檢測(cè)模型還需建立損失函數(shù)。本文將歸一化的關(guān)鍵點(diǎn)坐標(biāo)預(yù)測(cè)值與真實(shí)值的L2范數(shù)、Heatmap預(yù)測(cè)值與真實(shí)值的JS散度正則項(xiàng)共同作為損失函數(shù),如圖4(c)所示。L2范數(shù)可直接量化關(guān)鍵點(diǎn)預(yù)測(cè)位置與實(shí)際位置之間的距離,其計(jì)算式為

(4)

(5)

1.3 圖像幾何矯正

圖像采集過(guò)程中,視平面與螺栓所在平面(物面)難以保證平行關(guān)系,導(dǎo)致圖像存在幾何變形,此時(shí)視平面中的物像無(wú)法正確反映出物體的角度特征。因此需矯正圖像的幾何變形,使圖像中的角度關(guān)系具有實(shí)際的物理意義。首先將1.2節(jié)中檢測(cè)出的6個(gè)關(guān)鍵點(diǎn)的坐標(biāo)平均值作為中心點(diǎn)的坐標(biāo),并匹配中心點(diǎn),即將各中心點(diǎn)坐標(biāo)作為矯正前的坐標(biāo),在確定各中心點(diǎn)的相對(duì)位置后,指定各中心點(diǎn)幾何矯正后的坐標(biāo)。隨后根據(jù)矯正前后的中心點(diǎn)坐標(biāo)求解透視變換矩陣,并對(duì)關(guān)鍵點(diǎn)進(jìn)行重投影,圖像幾何矯正過(guò)程見圖7。圖7中,物面、視平面、視點(diǎn)構(gòu)成了基本的透視投影模型,其實(shí)質(zhì)是以中心點(diǎn)的相對(duì)位置關(guān)系為參照,重新建立投影體系,將視平面中的物像投影至與物面平行的重投影面上。

圖7 圖像幾何矯正

1.3.1 螺栓中心點(diǎn)匹配

螺栓中心點(diǎn)匹配過(guò)程見圖8。由于圖像中的螺栓數(shù)量未知,且在幾何矯正前螺栓中心點(diǎn)呈不規(guī)則離散分布,如圖8(a)所示,這對(duì)中心點(diǎn)匹配方法的準(zhǔn)確性和穩(wěn)定性提出了較高要求。為實(shí)現(xiàn)中心點(diǎn)的自動(dòng)化匹配,本文采用基于Voronoi圖確定邊界的方法對(duì)螺栓中心點(diǎn)由外至內(nèi)逐層分類,再根據(jù)過(guò)各點(diǎn)特定斜率直線的坐標(biāo)軸截距確定每層邊界點(diǎn)的拐點(diǎn),并以這些點(diǎn)為參考將各點(diǎn)與實(shí)際的螺栓逐個(gè)對(duì)應(yīng),最終確定矯正后各點(diǎn)的像素坐標(biāo)。

圖8 螺栓中心點(diǎn)匹配

對(duì)于本文中的螺栓中心點(diǎn),其Voronoi圖的定義為[31]:設(shè){O1,O2,…,On}為螺栓中心點(diǎn)集合,對(duì)于該集合中任意點(diǎn)Oi,平面中與Oi最為接近的點(diǎn)集構(gòu)成一個(gè)多邊形區(qū)域Vi,稱為Oi的Voronoi區(qū)域,如圖8(b)所示。由此可以看出,Voronoi圖將無(wú)限平面劃分為有限個(gè)區(qū)域,記為{V1,V2,…,Vn},當(dāng)Vi無(wú)界時(shí),可判斷與其相關(guān)聯(lián)的Oi為邊界點(diǎn)。圖8(b)中的V1～V12均是無(wú)界的,因此可將O1～O12分類為第1層邊界點(diǎn)。剔除中心點(diǎn)集合中的第1層邊界點(diǎn)后,對(duì)剩余點(diǎn)重復(fù)上述分類過(guò)程,并依次記為第2層邊界點(diǎn)、第3層邊界點(diǎn),等等,直至對(duì)所有點(diǎn)均進(jìn)行了分類。

完成螺栓中心點(diǎn)分類后,先求解圖像坐標(biāo)系中,過(guò)各點(diǎn)且斜率分別為±1的直線與坐標(biāo)軸的截距,并根據(jù)截距大小關(guān)系篩選出各層邊界點(diǎn)的拐點(diǎn),如圖8(c)中所示。對(duì)于第1層邊界點(diǎn),過(guò)所有點(diǎn)且斜率為-1的直線與豎軸的截距最小值、最大值分別對(duì)應(yīng)的點(diǎn)為O1、O7,過(guò)所有點(diǎn)且斜率為1的直線與橫軸的截距最小值、最大值分別對(duì)應(yīng)的點(diǎn)為O4、O10;第2層邊界點(diǎn)、第3層邊界點(diǎn)等同理。確定每層邊界點(diǎn)的4個(gè)拐點(diǎn)后再分別指定各中心點(diǎn)矯正后的像素坐標(biāo),如圖8(d)所示。

1.3.2 透視變換原理

從數(shù)學(xué)角度而言,透視變換就是坐標(biāo)系的轉(zhuǎn)換,包含線性變化、平移變化、透視變化。其中,線性變化與平移變化不會(huì)改變圖像中的平行關(guān)系,透視變化會(huì)在三維空間中改變重投影面方位。本文為計(jì)算圖像中的角度特征,取重投影面與物面平行,即屬于二維平面的透視變換,該變換過(guò)程[32]可表示為

(6)

式中:M為透視變換矩陣;(xo,yo)為中心點(diǎn)矯正后的像素坐標(biāo);(x′o,y′o)為中心點(diǎn)矯正前的像素坐標(biāo);f為尺度因子。M矩陣中有8個(gè)未知參數(shù),每個(gè)中心點(diǎn)變換前后像素坐標(biāo)可提供2個(gè)獨(dú)立方程,因此求解M矩陣至少需要4個(gè)中心點(diǎn)的變換前后像素坐標(biāo)。

1.4 螺栓松動(dòng)檢測(cè)

利用求解出的透視變換矩陣對(duì)螺栓關(guān)鍵點(diǎn)進(jìn)行重投影,可使各點(diǎn)的相對(duì)位置反映出真實(shí)的角度關(guān)系,并進(jìn)一步根據(jù)松動(dòng)前后關(guān)鍵點(diǎn)間的位置變化計(jì)算松動(dòng)角度。但關(guān)鍵點(diǎn)檢測(cè)時(shí)存在離散誤差,且該誤差會(huì)在透視變換矩陣求解與重投影過(guò)程中放大,這將會(huì)影響向量夾角的計(jì)算精度。因此,需統(tǒng)計(jì)分析螺栓向量夾角的誤差分布,并確定判斷螺栓松動(dòng)的閾值。

圖9 角度計(jì)算

2 試驗(yàn)與數(shù)據(jù)分析

2.1 圖像數(shù)據(jù)準(zhǔn)備

利用消費(fèi)級(jí)相機(jī)采集某鋼橋栓接結(jié)構(gòu)的高強(qiáng)螺栓圖像,并通過(guò)變換圖像采集的角度、距離、光照等獲得大量不同質(zhì)的螺栓圖像,以保證數(shù)據(jù)集的復(fù)雜性與多樣性,最終共采集螺栓圖像1 340張。

圖像采集完成后,需對(duì)圖像進(jìn)行標(biāo)注,標(biāo)注過(guò)程見圖10。首先標(biāo)注每張圖像中的螺栓目標(biāo)真實(shí)框,如圖10(a)所示,然后將真實(shí)框向外擴(kuò)展20%后作為裁剪框,裁剪完成后得到1.4萬(wàn)張螺栓子圖塊。為便于將子圖塊輸入到關(guān)鍵點(diǎn)檢測(cè)模型中,本文將所有子圖塊的像素尺寸統(tǒng)一為224×224。其次按圖6所示的關(guān)鍵點(diǎn)分類順序標(biāo)注每個(gè)子圖塊中的6類關(guān)鍵點(diǎn),標(biāo)注過(guò)程見圖10(b)。所有關(guān)鍵點(diǎn)的分布見圖11。由圖11可知,每類關(guān)鍵點(diǎn)分布集中且相對(duì)位置關(guān)系明確,關(guān)鍵點(diǎn)檢測(cè)模型可學(xué)習(xí)到這種關(guān)鍵點(diǎn)的分布特征,并在預(yù)測(cè)過(guò)程中根據(jù)位置關(guān)系判斷點(diǎn)的類別。

圖10 圖像標(biāo)注

圖11 關(guān)鍵點(diǎn)分布

2.2 模型訓(xùn)練過(guò)程

2.2.1 目標(biāo)檢測(cè)模型

采用遷移學(xué)習(xí)方式對(duì)YoloV5進(jìn)行訓(xùn)練,即預(yù)加載已在其他大型數(shù)據(jù)集中訓(xùn)練后的模型參數(shù),使其快速收斂。為真實(shí)反映模型檢測(cè)性能,需統(tǒng)計(jì)分析YoloV5識(shí)別結(jié)果的精確率p和召回率r,其計(jì)算式分別為

(7)

式中:TP為真陽(yáng)性識(shí)別結(jié)果;FP為假陽(yáng)性識(shí)別結(jié)果;FN為假陰性識(shí)別結(jié)果。同時(shí)引入交并比IoU,反映預(yù)測(cè)框與真實(shí)框的相關(guān)度。對(duì)于所有預(yù)測(cè)框,其IoU為

(8)

取交并比閾值為0.6,當(dāng)預(yù)測(cè)框的IoU值大于0.6時(shí)預(yù)測(cè)結(jié)果為TP,當(dāng)預(yù)測(cè)框的IoU值在0～0.6范圍內(nèi)時(shí)預(yù)測(cè)結(jié)果為FP,當(dāng)預(yù)測(cè)框與真實(shí)框沒有交集即IoU值為0時(shí)預(yù)測(cè)結(jié)果為FN。因此p衡量了模型檢測(cè)的查準(zhǔn)度,r衡量了模型的查全度。

YoloV5訓(xùn)練過(guò)程中p、r變化趨勢(shì)見圖12。由圖12可知,訓(xùn)練前期網(wǎng)絡(luò)泛化能力較差,網(wǎng)絡(luò)性能波動(dòng)較大;經(jīng)40次迭代訓(xùn)練后,p、r趨于平穩(wěn),訓(xùn)練結(jié)束后p、r分別達(dá)到了0.99、0.98,表明網(wǎng)絡(luò)已達(dá)到較好的檢測(cè)性能。

圖12 YoloV5性能曲線

2.2.2 關(guān)鍵點(diǎn)檢測(cè)模型

影響關(guān)鍵點(diǎn)檢測(cè)模型性能的主要因素有2個(gè):①Backbone特性與數(shù)據(jù)集特征的匹配程度;②Heatmap的大小。因此針對(duì)4種Backbone,分別取7×7與14×14兩種Heatmap大小,組合成多種不同的網(wǎng)絡(luò)結(jié)構(gòu),其中ResNet、DenseNet、EfficientNet、MobileNet的參數(shù)量分別為23.5、7.0、4.2、3.1 MB,訓(xùn)練過(guò)程中各網(wǎng)絡(luò)的損失函數(shù)見圖13。由圖13可知:訓(xùn)練過(guò)程中,ResNet由于待訓(xùn)練參數(shù)量較大,其損失收斂較慢,而MobileNet則收斂較快;訓(xùn)練結(jié)束后,當(dāng)輸出Heatmap維度為14×14時(shí),其模型損失低于Heatmap維度為7×7時(shí)的模型,原因是此時(shí)Heatmap所描述的分布概率更加精細(xì),其預(yù)測(cè)結(jié)果也更加精準(zhǔn),不同Heatmap大小時(shí)關(guān)鍵點(diǎn)的分布概率見圖14。由于ResNet參數(shù)量較大,其特征提取能力更強(qiáng),因此本文將以ResNet作為螺栓關(guān)鍵點(diǎn)檢測(cè)模型的Backbone,Heatmap大小取14×14。最終,利用YoloV5與關(guān)鍵點(diǎn)檢測(cè)模型對(duì)圖像中的所有螺栓關(guān)鍵點(diǎn)進(jìn)行檢測(cè),檢測(cè)結(jié)果見圖15。

圖13 關(guān)鍵點(diǎn)檢測(cè)模型損失函數(shù)

圖14 不同Heatmap大小時(shí)關(guān)鍵點(diǎn)的分布概率

圖15 螺栓關(guān)鍵點(diǎn)檢測(cè)結(jié)果

2.3 透視變換矩陣求解

在得到螺栓關(guān)鍵點(diǎn)的像素坐標(biāo)后,將其坐標(biāo)的均值作為螺栓中心點(diǎn)的坐標(biāo),采用1.3節(jié)中所述方法對(duì)中心點(diǎn)由外至內(nèi)逐層分類并確定各點(diǎn)矯正后的像素坐標(biāo),圖像矯正過(guò)程見圖16。為求解透視變換矩陣,式( 6 )可改寫為

圖16 圖像矯正過(guò)程

(9)

式中:n為螺栓中心點(diǎn)數(shù)量。當(dāng)n=4時(shí),該方程組有唯一解,即透視變換矩陣唯一確定;當(dāng)n>4時(shí),該方程組為超定方程組,其最小二乘解即為最優(yōu)的透視變換矩陣。利用該矩陣對(duì)螺栓圖像進(jìn)行透視變換,結(jié)果見圖16(b)。

圖17 分布

2.4 方法有效性驗(yàn)證

為驗(yàn)證本文所提出的鋼橋螺栓松動(dòng)檢測(cè)方法的有效性,分別對(duì)不同采集環(huán)境下的螺栓松動(dòng)進(jìn)行識(shí)別,螺栓松動(dòng)識(shí)別過(guò)程見圖18～圖22。驗(yàn)證步驟如下:

圖18 螺栓松動(dòng)圖像采集

Step1選取某背景較為復(fù)雜的鋼橋拼接板結(jié)構(gòu)采集初始狀態(tài)圖像,如圖18所示。

Step2將4、6號(hào)螺栓分別松動(dòng)20°、25°,并分別控制圖像采集距離d=0.9～1.8 m(θ=0°)、角度θ=10°～40°(d=0.9 m),得到多個(gè)松動(dòng)狀態(tài)圖像。其中,d為圖像采集設(shè)備視點(diǎn)至螺栓平面的距離;θ為圖像采集設(shè)備視線與螺栓平面法向的夾角。

Step3利用本文方法分別對(duì)初始狀態(tài)圖像和松動(dòng)狀態(tài)圖像,進(jìn)行螺栓目標(biāo)及關(guān)鍵點(diǎn)檢測(cè)、圖像幾何矯正、關(guān)鍵點(diǎn)定位誤差分析、角度計(jì)算,如圖19～圖21所示,最終得到螺栓松動(dòng)檢測(cè)結(jié)果,見表1。

表1 螺栓松動(dòng)檢測(cè)結(jié)果

圖19 螺栓目標(biāo)及關(guān)鍵點(diǎn)檢測(cè)

圖20 螺栓松動(dòng)圖像幾何矯正

圖21 螺栓松動(dòng)識(shí)別過(guò)程中分布

上述步驟在配置CPU和GPU的實(shí)驗(yàn)平臺(tái)上進(jìn)行,其中運(yùn)算量較大的步驟是螺栓目標(biāo)檢測(cè)和關(guān)鍵點(diǎn)檢測(cè),分別為16.3 GFLOPS和32.3 GFLOPS,最終檢測(cè)每張圖像耗時(shí)約0.33 s,即可達(dá)到3幀/s的檢測(cè)速度。

由圖18～圖22、表1可知:

圖22 螺栓松動(dòng)識(shí)別過(guò)程中分布

1)本文采用的目標(biāo)、關(guān)鍵點(diǎn)檢測(cè)方法在不同圖像采集環(huán)境下均能檢測(cè)出螺栓目標(biāo)及關(guān)鍵點(diǎn)。

5)利用本文方法識(shí)別螺栓松動(dòng)時(shí),4、6號(hào)螺栓的松動(dòng)角度計(jì)算誤差在不同圖像采集環(huán)境下的最小值分別為1.0%、0%,最大值分別為9.0%、9.6%,均在可接受范圍內(nèi),最終在所有圖像采集環(huán)境下僅發(fā)生3例誤檢,誤檢率為2.7%,表明本文所提出方法具有較高的檢測(cè)精度與穩(wěn)定性。

3 結(jié)論

對(duì)于不同圖像采集條件下的鋼橋螺栓,本文提出基于計(jì)算機(jī)視覺的螺栓松動(dòng)識(shí)別方法,可實(shí)現(xiàn)螺栓目標(biāo)及關(guān)鍵點(diǎn)檢測(cè)、圖像幾何矯正、角度計(jì)算等,并通過(guò)對(duì)比初始狀態(tài)圖像與松動(dòng)狀態(tài)圖像中關(guān)鍵點(diǎn)的位置變化識(shí)別螺栓松動(dòng),大幅提升螺栓松動(dòng)檢測(cè)的自動(dòng)化程度。結(jié)果表明:

1)由于鋼橋螺栓分布較為密集,本文采用自上而下的方法檢測(cè)螺栓關(guān)鍵點(diǎn),先利用YoloV5檢測(cè)螺栓目標(biāo),然后基于深度學(xué)習(xí)理論建立多個(gè)關(guān)鍵點(diǎn)檢測(cè)模型,通過(guò)比選各個(gè)網(wǎng)絡(luò)的性能最終確定以ResNet作為Backbone,并取特征圖尺寸為14×14;利用該目標(biāo)檢測(cè)模型與關(guān)鍵點(diǎn)檢測(cè)模型可較為準(zhǔn)確地檢測(cè)出螺栓的6個(gè)關(guān)鍵點(diǎn)。

2)由螺栓關(guān)鍵點(diǎn)確定中心點(diǎn)位置,基于Voronoi圖分類、匹配中心點(diǎn)進(jìn)而矯正圖像的幾何變形的方法具有較好的穩(wěn)定性,且由所有中心點(diǎn)像素坐標(biāo)擬合透視變換矩陣最小二乘解,可提高圖像幾何矯正的精度。

3)利用本文方法檢測(cè)不同圖像采集環(huán)境下的關(guān)鍵點(diǎn)時(shí),檢測(cè)誤差總體上表現(xiàn)出隨圖像采集距離、角度的增大而增大,且對(duì)圖像采集角度更為敏感,因此還需提高關(guān)鍵點(diǎn)檢測(cè)的魯棒性,提高本文方法在惡劣圖像采集環(huán)境下的適用性。

4)不同圖像采集環(huán)境下,松動(dòng)螺栓的角度檢測(cè)誤差在0%～9.6%之間,誤檢率僅為2.7%,表明本文所提出方法的檢測(cè)精度和穩(wěn)定性均較高。