劉士興,汪一丹,王 野,王金博

(1.合肥工業(yè)大學(xué) 微電子學(xué)院,安徽 合肥 230009;2.安徽省特種設(shè)備檢測院,安徽 合肥 230041)

0 引 言

隨著我國經(jīng)濟社會的快速發(fā)展和城鎮(zhèn)化速度的加快,高層建筑中必不可少的電梯的數(shù)量快速增加。2020年我國電梯產(chǎn)量達(dá)到了105萬臺,在電梯領(lǐng)域已經(jīng)成為產(chǎn)能最大、配套最完善、出口最多的國家[1]。

曳引系統(tǒng)是電梯中重要的組成部分,用于提供動力、驅(qū)動轎廂的正常運行[2]。在電梯的運行過程中,曳引輪與鋼絲繩反復(fù)摩擦,導(dǎo)致繩槽面產(chǎn)生磨損[3]。如果其過度磨損,可能引發(fā)鋼絲繩斷裂、轎廂振動、沖頂?shù)仁鹿蔥4],對電梯的安全運行具有重大影響。

根據(jù)調(diào)查,使用年限較久的電梯都存在曳引輪磨損嚴(yán)重、曳引力不符合要求的情況,部分電梯的繩槽出現(xiàn)缺損和裂紋[5],存在比較嚴(yán)重的安全隱患。因此,按時檢測曳引輪的磨損情況對于電梯的安全運行意義重大。

曳引輪磨損量傳統(tǒng)測量法包括目視法、角尺與塞尺結(jié)合法、橡皮泥或塑性膠法等[6]。陳本瑤等人[7]提出了一種規(guī)塞式工裝測量法,該方法可以同時測量繩槽寬度、深度以及切口上寬度等多個信息,測試精度高;但其通用性不強。

非接觸式測量有利于提高測量的自動化水平,降低人工成本[8]。謝曉娟等人[9]提出了一種基于圖像處理的曳引輪磨損識別方法,該方法不僅簡單有效,還可以降低檢測的成本;但該方法不適用于繩槽磨損均勻的檢測情況[10]。陳建勛等人[11]將激光三角法應(yīng)用于曳引輪磨損的非接觸測量中,該方法具有檢測精度高、自動化程度高等特點;但其無法實現(xiàn)便捷檢測,且實時檢測的可操作性差。林永森等人[12]提出了一種基于線激光位移法的磨損檢測法,該方法測量精度高,與其他方法相比效率也有所提升;但其有效測試區(qū)域長度有限。劉士興等人[13]研制了一種基于單目視覺的曳引輪磨損檢測系統(tǒng),完成了對曳引輪磨損的非接觸測量,且與傳統(tǒng)方法比,其測量的精度更高。

為了提高計算效率,研究人員進(jìn)一步提出了一種基于機器視覺的曳引輪磨損檢測方法[14]。該方法解決了弱光環(huán)境下測量不準(zhǔn)確的問題;但其測量過程中需要人工選取測量點,因此,其自動化程度還有待于提高。

為了提高電梯曳引輪磨損測量的精度和自動化程度,筆者提出一種電梯曳引輪磨損自動測量算法。

通過改進(jìn)后的模型DeepLabV3s,筆者對制作好的數(shù)據(jù)集進(jìn)行訓(xùn)練,將曳引輪與鋼絲繩區(qū)域劃分,并采用融合曳引輪特征的圖像處理算法,實現(xiàn)邊緣快速提取、目標(biāo)區(qū)域截取以及磨損點定位的目標(biāo);最后,在實驗平臺進(jìn)行測量,以驗證該算法的精度與可行性。

同時,根據(jù)國家相關(guān)標(biāo)準(zhǔn),筆者建立曳引輪磨損物理模型,以在不同光照環(huán)境下可以對磨損進(jìn)行精準(zhǔn)測量。

1 曳引輪磨損自動測量系統(tǒng)

1.1 曳引輪繩槽磨損模型

電梯曳引輪繩槽分為凹型槽、半圓槽、V形槽等[15]。筆者以帶切口的V形槽為研究對象,使用工業(yè)相機對V形槽磨損量進(jìn)行非接觸測量。

曳引輪磨損測量系統(tǒng)示意圖如圖1所示。

圖1 曳引輪磨損測量系統(tǒng)示意圖

磨損主要是壓力和運動摩擦的產(chǎn)物[16]。根據(jù)曳引輪檢測國家標(biāo)準(zhǔn),在未磨損情況下,曳引輪繩槽底部到鋼絲繩外緣最大間距為6 mm,當(dāng)間距小于3 mm時,需嚴(yán)密監(jiān)測。

假設(shè)曳引輪繩槽兩側(cè)磨損均勻,曳引輪繩槽的磨損量即為鋼絲繩的下沉量。為實現(xiàn)下沉量的計算,筆者基于曳引輪實際特征構(gòu)建V形槽截面的物理模型。

曳引輪磨損物理模型如圖2所示。

圖2 曳引輪磨損物理模型r—曳引輪繩槽深度;AA1—繩槽切口長度

由圖2得:當(dāng)曳引輪未磨損時,A0為鋼絲繩與繩槽的左側(cè)接觸點,B0為右側(cè)接觸點。從A0、B0兩點垂直于繩槽底部構(gòu)建兩條直線,與繩槽底部延長線交于A1、B1。忽略鋼絲繩的磨損,當(dāng)曳引輪發(fā)生磨損后,鋼絲繩豎直下沉,A0、B0移動至A、B兩點,A、B即為磨損點。

1.2 算法流程

基于曳引輪磨損物理模型,筆者提出一種基于改進(jìn)DeepLabV3的磨損自動測量算法。該算法基于PyCharm平臺,使用python語言開發(fā),分為語義分割和圖像處理兩個模塊。

曳引輪磨損自動測量算法流程如圖3所示。

圖3 曳引輪磨損自動測量算法流程

由圖3可知:語義分割模塊主要用于解決原圖像紋理復(fù)雜、輪廓不清晰、干擾性特征點過多、受光照影響大等問題,通過深度卷積神經(jīng)網(wǎng)絡(luò)對制作好的數(shù)據(jù)集進(jìn)行訓(xùn)練,實現(xiàn)對鋼絲繩和曳引輪的圖像分割;

圖像處理模塊主要用于解決傳統(tǒng)目標(biāo)區(qū)域匹配方法限制物距的問題,以及測量的實時性和準(zhǔn)確性較差等問題,以實現(xiàn)實時、自動化且不受相機物距限制的磨損值測量的目的。

2 DeepLabV3模型

2.1 模型性能對比

在工業(yè)領(lǐng)域中,采用機器視覺和非接觸式測量的方式,可以減少人為干預(yù),提高響應(yīng)速度[17]。目前,融合深度學(xué)習(xí)的非接觸式測量方式在工業(yè)中得到了廣泛應(yīng)用。其中,語義分割通過神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)處理,在提升特征提取能力的同時,也在特征提取過程中去除了人工的干預(yù),實現(xiàn)了特征提取自動化和端到端學(xué)習(xí)的目的,有利于系統(tǒng)的自動化。

筆者使用fully convolutional networks(FCN)、DeepLabv3、Unet、DeepLabV3+這4個網(wǎng)絡(luò)模型,對曳引輪數(shù)據(jù)集進(jìn)行訓(xùn)練測試。測量目標(biāo)為帶切口的V形槽。

為收集足夠的訓(xùn)練樣本進(jìn)行訓(xùn)練,需建立曳引輪磨損數(shù)據(jù)集。筆者使用工業(yè)相機采集不同光照、角度下的曳引輪圖片,用標(biāo)注軟件LabelMe對采集到的圖像進(jìn)行標(biāo)注,利用數(shù)據(jù)增強方法提高深度學(xué)習(xí)模型精度與泛化能力[18],最終得到完整的數(shù)據(jù)集(圖片共3 055張,其中訓(xùn)練集2 138張,測試集917張)。

筆者采用相同損失函數(shù)、學(xué)習(xí)率、學(xué)習(xí)率衰減函數(shù)優(yōu)化器,分別對數(shù)據(jù)集訓(xùn)練相同的epoch,針對訓(xùn)練后的模型進(jìn)行預(yù)測效果評價;采用平均交并比(mean intersection over union,MIoU)和準(zhǔn)確率(accuracy,Acc)作為評價指標(biāo)。

MIoU計算方法如下式所示:

(1)

式中:i—曳引輪圖像實際值;j—預(yù)測值;k+1—類別個數(shù)(包括背景);pij—將i預(yù)測為j的個數(shù);pji—將j預(yù)測為i的個數(shù);pii—將i預(yù)測為i的個數(shù)。

模型性能比較如表1所示。

表1 模型性能比較

由表1可得:除FCN模型表現(xiàn)較差外,其余模型相差不大,DeepLabV3表現(xiàn)較好。

由于曳引輪繩槽邊緣預(yù)測的準(zhǔn)確性對測量結(jié)果影響最大,而DeepLabV3在繩槽區(qū)域表現(xiàn)最佳,經(jīng)綜合考慮,筆者最終選用DeepLabV3為訓(xùn)練模型。

2.2 DeepLabV3網(wǎng)絡(luò)

DeepLab網(wǎng)絡(luò)由CHEN L C等人[19]在2014年提出,是語義分割領(lǐng)域較為先進(jìn)、優(yōu)秀的算法。相比于其他網(wǎng)絡(luò),DeepLabV3網(wǎng)絡(luò)舍棄了全連接層,主干網(wǎng)絡(luò)Backbone使用Resnet101,并對空間金字塔池化進(jìn)行了改進(jìn),解決了分辨率下降、多尺度信息等問題。

為解決輸出圖像分辨率過低的問題,DeepLabV3中使用空洞卷積。空洞卷積中的膨脹率可以擴展濾波器的感受野,膨脹率越大,其感受野也越大。

當(dāng)使用空洞卷積,則卷積輸出和輸入關(guān)系的表達(dá)式如下式所示:

(2)

式中:x[i]—輸入;y[i]—輸出;a—膨脹率;w[j]—卷積核。

當(dāng)膨脹率設(shè)為2,空洞卷積結(jié)構(gòu)如圖4所示。

圖4 空洞卷積結(jié)構(gòu)

由圖4可得:大小為3×3的卷積核可以覆蓋5×5的區(qū)域。以此類推,當(dāng)膨脹率設(shè)為3,則卷積核可以覆蓋7×7的區(qū)域。

在光照較強或圖片模糊狀態(tài)下,采用DeepLabV3網(wǎng)絡(luò)進(jìn)行圖片分割時,會導(dǎo)致誤判,對后續(xù)圖像處理產(chǎn)生干擾,影響最終的測量結(jié)果。因此,需要對其做適當(dāng)?shù)母倪M(jìn)處理。

2.3 改進(jìn)的DeepLabV3網(wǎng)絡(luò)

光照對曳引輪圖像的分割存在一定影響。預(yù)測圖像不可避免地會出現(xiàn)誤判區(qū)域,對后續(xù)圖像處理、磨損值測量影響較大。為了解決這個問題,筆者提出一種融合SEnet和ECAnet雙注意力機制的DeepLabV3網(wǎng)絡(luò)—DeepLabV3s。

融合雙注意力機制的DeepLabv3s網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 融合雙注意力機制的DeepLabv3s網(wǎng)絡(luò)結(jié)構(gòu)

SEnet(即通道注意力機制)通過分配給每個通道權(quán)重,以此來平衡不同通道的作用力,解決因不同通道所占權(quán)重不同而導(dǎo)致的損失問題。

最終的特征值為:

ω=σ(f{w1,w2}(g(χ)))

(3)

式中:σ—Sigmoid函數(shù)。

f(w1,w2)(y)表達(dá)式為:

f(w1,w2)(y)=w2·ReLu(W1y)

(4)

全局平均池化函數(shù)g(χ)表達(dá)式為:

(5)

SEnet通過提取圖像特征,得到特征圖的維度[C,H,W],在平均池化后,將通道[H,W]壓縮至[1,1],再經(jīng)過兩個全連接層,增強通道間的相關(guān)性,得到每個通道的權(quán)重,然后作用于特征圖,使得每個通道各自乘以對應(yīng)的權(quán)重。

ECAnet是一種輕量級的通道注意力機制,通過自適應(yīng)函數(shù)改變卷積核大小,實現(xiàn)跨通道的信息交互。

自適應(yīng)函數(shù)如下:

(6)

其中:γ=2,b=1。

將SEnet和ECAnet注意力機制融合在DeepLabV3的網(wǎng)絡(luò)結(jié)構(gòu)中,減輕了SEnet帶來的維度縮減,同時可以有效地增強多維度信息交互。

2.4 改進(jìn)后的模型性能分析

預(yù)測圖對比如圖6所示。

圖6 預(yù)測圖對比

由圖6可得:由于不同類別的訓(xùn)練權(quán)重不平衡,使用無注意力機制的DeepLabV3時,其預(yù)測結(jié)果常常會出現(xiàn)誤判區(qū)域,對后續(xù)的圖像處理造成較大影響,使測量結(jié)果不穩(wěn)定。

筆者提出的改進(jìn)模型解決了因通道權(quán)重不平衡而導(dǎo)致的損失問題,更專注于所需類別,有效地降低了其誤判幾率。

模型性能對比如圖7所示。

圖7 模型性能對比

由圖7可得:DeepLabV3在曳引輪數(shù)據(jù)集中表現(xiàn)良好;MIoU可達(dá)0.964 5,改進(jìn)后的模型對MIoU的提高比較有限,但是對于類別的判斷能力有很大提升。

Loss值對比如圖8所示。

圖8 Loss值對比

由圖8可得:融合雙注意力機制的DeepLabV3模型Loss值下降速度相對較快,收斂效果更好。

該結(jié)果表明:改進(jìn)后的算法精度有一定的提升,有效消除了圖像中的預(yù)測偏差,明顯減輕了光照對語義分割效果的影響,使其對光線魯棒性更強,有利于后續(xù)圖像的處理和磨損測量精度的提升。

3 曳引輪磨損測量算法

3.1 基于預(yù)測圖像的目標(biāo)匹配

為了實現(xiàn)對目標(biāo)繩槽的精準(zhǔn)提取,并為后續(xù)目標(biāo)點的提取做準(zhǔn)備,筆者采用相關(guān)匹配法進(jìn)行模板匹配。

模板匹配即是在圖像中用滑動窗口遍歷像素,判斷其是否與模板相似,計算模板與窗口區(qū)域的相關(guān)系數(shù),當(dāng)相關(guān)系數(shù)足夠高時,則認(rèn)定為要尋找的目標(biāo);若匹配到了多個區(qū)域,則通過設(shè)置閾值得到目標(biāo)的最佳匹配。

相關(guān)系數(shù)的計算如下式所示:

(7)

式中:T(m,n)—模板圖像;S(w,h)—搜索圖像;w,h—模板的高度和寬度;Sij—模板與搜索圖重合的子圖;i,j—子圖在被搜索圖中的左上角坐標(biāo)。

為了加快匹配速度,當(dāng)目前子圖的相關(guān)系數(shù)小于一定閾值時,搜索步長加大。在相關(guān)匹配法中,由于亮度變化對相似度的計算影響較小,滿足曳引輪在不同光照條件下測量的需求。

目標(biāo)匹配如圖9所示。

圖9 目標(biāo)匹配

由圖9可得:該算法對目標(biāo)繩槽匹配的效果較為精準(zhǔn)(其中,方框表示匹配到的目標(biāo)區(qū)域)。

3.2 磨損點定位

為了計算出曳引輪的磨損量,需要監(jiān)測磨損點的變化,以精確定位磨損點。

由圖2所示物理模型可知:AA1、BB1幾乎垂直于繩槽底部,水平方向變化較小,而A、B兩點磨損處水平、垂直方向變化較大。以拍攝圖片左上角為坐標(biāo)原點,豎直向下為y軸正方向,水平向右為x軸正方向。

像素點的斜率變化監(jiān)測如圖10所示。

圖10 像素點的斜率變化監(jiān)測

由圖10可得:像素點y值為目標(biāo)繩槽邊緣在坐標(biāo)中的y軸坐標(biāo),磨損處的像素點y值處于[1 050,1 080]區(qū)間內(nèi),AA1則處于斜率幾乎不變的[1 035,1 050]。當(dāng)斜率變化從幾乎不變的區(qū)間滑動至變化較大的區(qū)間,即可定位至磨損點。由于相機水平位置的偏差,繩槽左側(cè)和右側(cè)斜率存在不可避免的誤差,但其變化趨勢與實際值一致。

磨損點檢測圖如圖11所示。

圖11 磨損點檢測圖

圖11中標(biāo)注的兩個點表示檢測到的磨損點A、B。

實驗結(jié)果表明:曳引輪磨損檢測系統(tǒng)目標(biāo)區(qū)域提取準(zhǔn)確,目標(biāo)點檢測較為精準(zhǔn),對環(huán)境要求不高,在實際應(yīng)用中具有優(yōu)勢;與傳統(tǒng)方法相比,該檢測系統(tǒng)對設(shè)備的要求較低,其測量方法簡便,對相機測量物距的要求較為寬松,可以取得較高的自動化程度。

3.3 磨損量測量

定位到磨損點A、B后,可由像素點差值計算磨損后切口投影至圖像中的長度。

繩槽的磨損量A0A為:

A0A=a0-a1

(8)

式中:a0—未磨損的繩槽切口實際長度,即A0A1;a1—磨損后的切口實際長度,即AA1。

根據(jù)相機的成像原理,實際長度與投影至二維圖片中對應(yīng)長度的比值為比例系數(shù)α。

由下式可得a1:

(9)

式中:a2—繩槽切口長度投影在圖片中的尺寸;r—繩槽實際深度;r1—繩槽深度投影在圖片中的尺寸。

其中:a0、r可由出廠標(biāo)準(zhǔn)得到(其中,a0=3.31 mm,r=10.65 mm);a2、r1可由像素點坐標(biāo)計算得到。

為了消除不可避免的相機傾斜誤差,筆者使用B點做加權(quán)傾斜補償。

傾斜補償后的繩槽切口長度a2為:

a2=AA1+β·BB1

(10)

式中:AA1,BB1—圖像中繩槽兩側(cè)切口長度;β—補償因子。

4 實驗與結(jié)果分析

4.1 魯棒性驗證

實驗環(huán)境為Ubuntu操作系統(tǒng),其中,GPU為NVIDIA RTX3060,開發(fā)環(huán)境為CUDA11.5,采用PyTorch網(wǎng)絡(luò)框架。筆者采用DeepLabV3s為網(wǎng)絡(luò)模型;ResNet101為預(yù)訓(xùn)練模型;初始學(xué)習(xí)率設(shè)置為0.007;批處理大小(batch size)設(shè)置為5。

測量實驗平臺如圖12所示。

圖12 測量實驗平臺

筆者使用MIoU和Acc來評價訓(xùn)練效果。MIoU最終可達(dá)到0.969 2,Acc可達(dá)0.987 7。

不同情況下曳引輪繩槽預(yù)測圖如圖13所示。

圖13 不同情況下曳引輪繩槽預(yù)測圖

由圖13可知:目標(biāo)區(qū)域幾乎沒有區(qū)別,在弱光、強光環(huán)境下和畫面模糊狀態(tài)下的預(yù)測效果良好;

該方法對清晰度要求不高,對光照的魯棒性很強,有利于在電梯弱光環(huán)境中進(jìn)行測量。

筆者對4種不同情況下的圖片進(jìn)行磨損量測量。已知測量標(biāo)準(zhǔn)值為3.31 mm,不同情況下基于DeepLabV3的磨損量測量值,如表2所示。

表2 不同情況下基于DeepLabV3的磨損量測量值

不同情況下基于DeepLabV3s的磨損量測量值如表3所示。

表3 不同情況下基于DeepLabV3s的磨損量測量值

對比表2、表3中4種不同情況的測量值和誤差可得:強光會導(dǎo)致邊緣細(xì)節(jié)丟失,測量結(jié)果總體偏大,誤差值最大;弱光卻能在一定程度上保留更多的暗部紋理細(xì)節(jié),測量值最接近標(biāo)準(zhǔn)值,誤差值最小;輕微的模糊對測量結(jié)果影響較小。

綜上所述,在測量時應(yīng)盡可能避免強光環(huán)境,而電梯實際測量環(huán)境較暗,有利于該算法的測量;在光線環(huán)境較為極端的情況下,基于改進(jìn)后模型的測量值誤差下降明顯,強光環(huán)境下的均方根誤差從0.672下降到0.082,相對誤差率從8.686%下降到1.178%,驗證了DeepLabV3s模型改進(jìn)的有效性。

4.2 精度與誤差

為了驗證上述自動測量算法的精度與效率,筆者選擇12張未經(jīng)處理的原圖像作為測量對象(包括模糊、正常、強光、弱光狀態(tài),保證測量的普適性與真實性),并以絕對誤差、相對誤差和均方根誤差為評價標(biāo)準(zhǔn)。

測量實驗結(jié)果如表4所示。

表4 測量實驗結(jié)果

由表4可得:針對不同的圖片,該算法表現(xiàn)較為穩(wěn)定,其中,編號3相機物距較小,圖像中僅需處理兩個繩槽,故運行時間較短,而編號11相機物距較遠(yuǎn),背景、繩槽邊緣復(fù)雜,因此處理時間相對更長;

測量值的均方根誤差為0.044 mm,絕對誤差值范圍為0.011 mm～0.049 mm,相對誤差率最大不超過1.487%,滿足曳引輪磨損測量的精度需求;

運行時間控制在2.50 s內(nèi),初步實現(xiàn)了曳引輪磨損的實時測量。

與其他算法相比,該算法最大均方根誤差從0.05 mm降低到0.044 mm,且無需限制相機的物距,實現(xiàn)了曳引輪磨損測量自動化的目的,同時提高了測量的精度,這對于電梯安全運行有重要的意義。

5 結(jié)束語

筆者采用融合注意力機制的語義分割網(wǎng)絡(luò),將曳引輪繩槽和鋼絲繩進(jìn)行圖像邊緣分割,設(shè)計了一種融合曳引輪圖像特征的圖像處理算法,并通過測量實驗對算法性能進(jìn)行了驗證,解決了不同光照環(huán)境下的曳引輪磨損非接觸式測量問題。

研究結(jié)果表明:

(1)與傳統(tǒng)邊緣提取算法相比,基于語義分割的邊緣提取效果更好,并解決了在強光環(huán)境下測量誤差大的問題;

(2)算法實現(xiàn)了目標(biāo)區(qū)域截取、磨損點定位、磨損量測量自動化的目標(biāo),同時縮短了運行的時間,提高了操作的便捷性;

(3)曳引輪磨損自動測量系統(tǒng)絕對誤差小于0.049 mm,相對誤差率小于1.487%,均方根誤差為0.044 mm,可滿足曳引輪磨損測量的各項要求;同時,驗證了基于DeepLabV3s的曳引輪測量方法在不同光照條件下的魯棒性及測量的精確性。

該方法具有在實際工業(yè)場景下應(yīng)用的潛力。在后續(xù)的工作中,筆者將進(jìn)一步收集足夠數(shù)量的實驗數(shù)據(jù),改進(jìn)深度卷積網(wǎng)絡(luò)框架,建立更完善的數(shù)學(xué)模型,以期能夠預(yù)測電梯曳引輪的壽命,拓展該系統(tǒng)的功能。