周學(xué)友，王西苑，劉永暢，劉亞文，覃 磊*

（1.中國南水北調(diào)集團(tuán)中線有限公司渠首分公司，河南 南陽 473132；2.武漢大學(xué)遙 感信息工程學(xué)院，湖北 武漢 430079）

視覺位移測(cè)量可分為基于單目、雙目和多目視覺的位移測(cè)量方式，由于單目視覺位移測(cè)量方式僅需要一臺(tái)相機(jī)進(jìn)行拍攝，視角相對(duì)較大，可采集到的數(shù)據(jù)點(diǎn)分布廣泛，且計(jì)算簡單方便，更適用于實(shí)時(shí)監(jiān)測(cè)。文獻(xiàn)[1-2]提出將平面棋盤格靶標(biāo)和PnP 算法相結(jié)合，建立了一套單目視覺測(cè)量方法,用于結(jié)構(gòu)位移的非接觸測(cè)量。文獻(xiàn)[3]提出一種基于組合特征圖案的單目視覺三維振動(dòng)測(cè)量方法，采用單目相機(jī)對(duì)圓形和正弦條紋組合圖案進(jìn)行連續(xù)成像，實(shí)現(xiàn)結(jié)構(gòu)三維振動(dòng)的同步測(cè)量。文獻(xiàn)[4]則通過在復(fù)雜地下交通樞紐工程位移檢測(cè)中對(duì)比機(jī)器視覺和測(cè)量機(jī)器人2 種方法，驗(yàn)證了機(jī)器視覺技術(shù)在測(cè)量實(shí)時(shí)性、自動(dòng)化程度和成本方面均有優(yōu)勢(shì)。單目視覺位移測(cè)量主要包括相機(jī)檢校、標(biāo)志物特征提取、特征跟蹤和位移計(jì)算4 個(gè)步驟，其中現(xiàn)有研究中標(biāo)志物興趣區(qū)域（ROI）的提取主要采用人工方法，位移測(cè)量過程中CCD 相機(jī)架設(shè)的觀察點(diǎn)多為測(cè)量目標(biāo)之外的固定點(diǎn)。但對(duì)于重力壩內(nèi)部廊道、涵洞等封閉區(qū)間建筑物位移監(jiān)測(cè)，觀測(cè)點(diǎn)本身在測(cè)量目標(biāo)內(nèi)，即觀測(cè)點(diǎn)為動(dòng)點(diǎn)。為此，本文提出基于YOLOv5 目標(biāo)檢測(cè)模型和視覺的封閉空間建筑物垂直位移測(cè)量方法，可實(shí)現(xiàn)標(biāo)志物ROI 自動(dòng)檢測(cè)與跟蹤，同時(shí)能夠滿足觀測(cè)點(diǎn)布設(shè)在封閉建筑物區(qū)域內(nèi)的垂直位移高精度測(cè)量。

1 基于視覺的垂直位移測(cè)量方法

本文提出基于YOLOv5 目標(biāo)檢測(cè)模型和視覺的封閉空間建筑物垂直位移測(cè)量方法，主要包括基于YOLOv5模型的標(biāo)志物提取、定位及基于視覺的垂直位移測(cè)量三部分。首先利用YOLOv5 目標(biāo)檢測(cè)模型提取影像上標(biāo)志物興趣區(qū)域ROI，然后在ROI 內(nèi)進(jìn)行圖像預(yù)處理，canny 算子邊緣提取及邊緣點(diǎn)擬合橢圓提取圓心，最后考慮觀測(cè)點(diǎn)為動(dòng)點(diǎn)狀態(tài)下，將相鄰幀間標(biāo)志物圓心像素變化轉(zhuǎn)化的垂直位移值，實(shí)現(xiàn)封閉區(qū)間建筑物位移監(jiān)測(cè)。

2 標(biāo)志物感興趣區(qū)域提取與定位

2.1 基于YOLOv5模型的標(biāo)志物提取

封閉空間建筑物影像灰度對(duì)比度低，紋理匱乏，不易提取特征點(diǎn)。為提高監(jiān)測(cè)精度，需要設(shè)計(jì)標(biāo)志物作為監(jiān)測(cè)點(diǎn)。圓形標(biāo)志物形狀簡單，且在圖像處理中易于識(shí)別，考慮到弱光線的封閉空間環(huán)境，設(shè)計(jì)標(biāo)志物背景色為黑色，標(biāo)志物為4 個(gè)白色圓形的排列。

標(biāo)志物通常在圖像中所占區(qū)域不大，為了減少計(jì)算量，可將標(biāo)注物所在的區(qū)域即感興趣區(qū)域ROI提取出來，后續(xù)的標(biāo)志物定位和跟蹤可以在標(biāo)志物ROI 內(nèi)進(jìn)行。傳統(tǒng)方法采用人工框選標(biāo)志物ROI，隨著深度學(xué)習(xí)模型的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)方面取得了出色的表現(xiàn)，本文采用單階段YOLOv5 目標(biāo)檢測(cè)模型識(shí)別與提取標(biāo)志物ROI[5]。YOLOv5 對(duì)標(biāo)志物的識(shí)別與提取過程為，首先輸入端對(duì)圖像進(jìn)行預(yù)處理，并進(jìn)行自適應(yīng)錨框計(jì)算；然后主干網(wǎng)絡(luò)在不同圖像細(xì)粒度上聚合，提取3 種尺度的特征圖；再次特征融合模塊使用空間金字塔池化結(jié)構(gòu)（spatial pyramid pooling，SPP）進(jìn)行特征融合，將新得到的特征圖通過路徑融合網(wǎng)絡(luò)（path aggregation network，PANet）進(jìn)行特征傳遞，進(jìn)一步融合特征；最后輸出端對(duì)圖像特征進(jìn)行預(yù)測(cè)，生成邊界框并預(yù)測(cè)類別[6]。

2.2 基于橢圓擬合的標(biāo)志物圓心定位

YOLOv5 模型檢測(cè)的標(biāo)志物ROI，先要經(jīng)過圖像灰度化、中值濾波和大津法二值化等圖像預(yù)處理，然后利用canny 算子進(jìn)行邊緣提取及邊緣點(diǎn)擬合橢圓，最后得到橢圓圓心。

標(biāo)志物的圓心定位是后續(xù)算法計(jì)算目標(biāo)分辨率和標(biāo)志物像素位移的關(guān)鍵，其定位的精度是影響垂直位移測(cè)量精度的重要因素之一。常用的亞像素定位方法有灰度重心法和橢圓擬合方法[7-8]，灰度重心法在標(biāo)志物變形較大時(shí)，提取的重心會(huì)偏離圓心，本文采用橢圓擬合法進(jìn)行標(biāo)志物圓心提取。公式（1）為橢圓方程，方程包含A、B、C、D、E5 個(gè)未知數(shù)，當(dāng)邊緣像素點(diǎn)個(gè)數(shù)N≥5 時(shí)，按照最小二乘平差求得方程系數(shù)后，根據(jù)公式（2），可得到橢圓圓心[9]。圖1所示為標(biāo)志物圓心定位的過程。

圖1 圓心定位

本文標(biāo)志物為4 個(gè)排列的圓，將4 個(gè)圓心的平均值作為最終標(biāo)志物的圓心，用于后續(xù)相鄰幀間像素位移值計(jì)算。

3 基于視覺的垂直位移測(cè)量

3.1 目標(biāo)分辨率

目標(biāo)分辨率（K，mm/pixel)為確定像素長度與實(shí)際物理長度之間的關(guān)系，本文采用的目標(biāo)分辨率的計(jì)算方法為位移標(biāo)定法[7]，位移標(biāo)定法為使標(biāo)志物于成像系統(tǒng)中橫向或豎向產(chǎn)生位移，計(jì)算圖像中標(biāo)志物發(fā)生位移時(shí)圓心矩像素位移值Lh與圓心矩已知物理位移值LH之間的比例系數(shù)。

3.2 相鄰幀間標(biāo)志物跟蹤

位移監(jiān)測(cè)是對(duì)不同時(shí)刻標(biāo)志物位置坐標(biāo)的變化進(jìn)行分析，因此需要跟蹤相鄰幀標(biāo)志物在圖像中的位置。常用的目標(biāo)跟蹤算法有模板匹配算法、特征點(diǎn)匹配和光流法等[10]，本文采用標(biāo)志物ROI 鄰近跟蹤法。對(duì)當(dāng)前幀中任一標(biāo)志物ROI，可以獲得其外接矩形框坐標(biāo)，在相鄰幀上搜索與該目標(biāo)標(biāo)志物ROI外接矩形框距離最近的標(biāo)志物ROI，即為跟蹤的同名標(biāo)志物ROI，如圖2 所示（圖2 中紅色矩形框?yàn)槟繕?biāo)標(biāo)志物ROI在相鄰幀圖像上的投影）。

圖2 鄰近法

圖3 標(biāo)志物檢測(cè)結(jié)果

3.3 標(biāo)志物垂直位移計(jì)算

當(dāng)CCD相機(jī)水平，安置在固定觀測(cè)點(diǎn)，且標(biāo)志物豎直情況下，不同時(shí)刻的同名標(biāo)志物圓心y坐標(biāo)差值和目標(biāo)分辨率的乘積即為該標(biāo)志物垂直位移，如式（4）所示。

如果觀測(cè)點(diǎn)為動(dòng)點(diǎn)，則任一標(biāo)志物的垂直位移均要除去安置在觀測(cè)點(diǎn)上CCD相機(jī)的垂直位移?d。

這種情況下，CCD相機(jī)獲取監(jiān)測(cè)點(diǎn)上標(biāo)志物影像時(shí)，需要包含一個(gè)基準(zhǔn)點(diǎn)（不動(dòng)點(diǎn)）?；鶞?zhǔn)點(diǎn)上標(biāo)志物圓心在不同時(shí)刻的y坐標(biāo)差值，根據(jù)目標(biāo)分辨率可以轉(zhuǎn)化為對(duì)應(yīng)的垂直位移值?d，該值即為觀測(cè)點(diǎn)上CCD相機(jī)的垂直位移。

4 實(shí)驗(yàn)與分析

4.1 圓形標(biāo)志物ROI提取與定位實(shí)驗(yàn)

YOLOv5 網(wǎng)絡(luò)模型訓(xùn)練的數(shù)據(jù)集采用程序合成方式生成，背景圖像一部分來源真實(shí)大壩廊道影像，一部分取自礦井圖像數(shù)據(jù)集oivio Dataset[19]，共404 幅。將標(biāo)志物模板進(jìn)行旋轉(zhuǎn)、縮放、平移等操作后形成不同大小和變形后的標(biāo)志物模版，并隨機(jī)附加到背景圖像上，記錄對(duì)應(yīng)的標(biāo)志物模版外接框坐標(biāo)范圍。模型訓(xùn)練過程中，訓(xùn)練集290 張，驗(yàn)證集114 張，檢測(cè)的結(jié)果顯示實(shí)驗(yàn)中標(biāo)志物均被檢測(cè)出，沒有出現(xiàn)遺漏。

分別采用重心法和橢圓擬合法對(duì)標(biāo)志物圓心定位，實(shí)驗(yàn)結(jié)果表明二者計(jì)算得到的標(biāo)志物中心坐標(biāo)差異并不大，通常小于1個(gè)像素，如圖4a所示，綠色十字標(biāo)志代表灰度重心法的結(jié)果，紅色十字標(biāo)志代表最小二乘橢圓擬合法的結(jié)果。但是，對(duì)于遮擋導(dǎo)致標(biāo)志物邊緣提取不完整情況下，使用最小二乘橢圓擬合法提取的圓心更準(zhǔn)確，如圖4b所示。

圖4 標(biāo)志物圓心定位對(duì)比

4.2 標(biāo)志物垂直位移測(cè)量實(shí)驗(yàn)

本文實(shí)驗(yàn)包括兩部分，實(shí)驗(yàn)一為不同目標(biāo)分辨率標(biāo)定方法及CCD相機(jī)是否固定對(duì)標(biāo)志物垂直位移精度的影響，實(shí)驗(yàn)二為實(shí)際場(chǎng)景下目標(biāo)垂直位移監(jiān)測(cè)。

實(shí)驗(yàn)一的數(shù)據(jù)采集設(shè)備主要由CCD相機(jī)、垂直移動(dòng)平臺(tái)、計(jì)算機(jī)和高度尺（分辨率為0.01 mm）組成。為了能夠獲得標(biāo)志物移動(dòng)真值，將標(biāo)志物安置在垂直移動(dòng)平臺(tái)上，通過轉(zhuǎn)動(dòng)上升螺旋調(diào)整標(biāo)志物的位移，高度尺顯示位移數(shù)值。CCD相機(jī)水平放置，分別上升垂直移動(dòng)平臺(tái)到不同高度，獲取標(biāo)志物影像，影像大小為1 944×2 592像素。

目標(biāo)分辨率還可以用尺寸標(biāo)定法和比例尺標(biāo)定法，尺寸標(biāo)定為影像上標(biāo)志物圓的直徑與實(shí)際標(biāo)志物圓直徑之比，比例尺標(biāo)定法為焦距與CCD相機(jī)到標(biāo)志物的垂直距離之比。表1和表2分別為CCD相機(jī)安置在固定和移動(dòng)觀測(cè)點(diǎn)情況下的垂直位移測(cè)量結(jié)果，選用平均誤差和中誤差作為精度評(píng)價(jià)指標(biāo)。表1和表2可以看出：①位移標(biāo)定法測(cè)得的標(biāo)志物垂直位移精度最高。②CCD相機(jī)固定時(shí)較移動(dòng)情況下垂直位移測(cè)量精度高。

表1 CCD相機(jī)安置在固定觀測(cè)點(diǎn)的垂直位移測(cè)量/mm

表2 CCD相機(jī)安置在移動(dòng)觀測(cè)點(diǎn)的垂直位移測(cè)量/mm

實(shí)驗(yàn)二為室內(nèi)實(shí)習(xí)場(chǎng)橫梁垂直位移測(cè)量。如圖5所示，橫梁固定在實(shí)習(xí)場(chǎng)屋頂上方，掛件懸掛在橫梁中部，通過升降可調(diào)整其高度，升降的震動(dòng)會(huì)引起橫梁垂直方向產(chǎn)生位移。以掛件為中心，在橫梁左右方向上各布設(shè)2 個(gè)標(biāo)志物，CCD 相機(jī)水平架設(shè)在支架上。距離橫梁5 m 左右，通過遙控器控制掛件進(jìn)行升降，CCD 相機(jī)連續(xù)獲取橫梁影像。表3 為橫梁上標(biāo)志點(diǎn)不同時(shí)刻的垂直位移測(cè)量值。

表3 不同時(shí)刻橫梁標(biāo)志點(diǎn)垂直位移/mm

圖5 橫梁垂直位移數(shù)據(jù)采集

從表3可知，掛件上下升降，對(duì)橫梁產(chǎn)生向下的位移總體上是比較小的，最大垂直位移不超過0.21 mm。掛件升降狀態(tài)不同，對(duì)橫梁不同位置產(chǎn)生的垂直位移是不同的，標(biāo)志點(diǎn)3 在整個(gè)過程產(chǎn)生的垂直位移平均幅度最小，標(biāo)志點(diǎn)1 和2 垂直位移起伏較大，且呈負(fù)相關(guān)。

5 結(jié) 語

基于視覺的結(jié)構(gòu)位移測(cè)量方法以其高效、便捷和高精度的優(yōu)勢(shì)在工程項(xiàng)目中得到了廣泛的應(yīng)用。本文提出基于YOLOv5 目標(biāo)檢測(cè)模型和視覺的封閉空間建筑物垂直位移測(cè)量方法，適用于重力壩內(nèi)部廊道、涵洞等密閉空間的垂直位移監(jiān)測(cè)。該方法利用YOLOv5 目標(biāo)檢測(cè)模型實(shí)現(xiàn)了標(biāo)志物ROI 區(qū)域的自動(dòng)提取，采用最小橢圓擬合檢測(cè)標(biāo)志物圓心，通過最鄰近法尋找相鄰幀同名標(biāo)志物ROI，并將同名標(biāo)志物像素位移轉(zhuǎn)化為實(shí)際的垂直位移量。實(shí)驗(yàn)設(shè)計(jì)了不同目標(biāo)分辨率標(biāo)定方法及安置CCD 相機(jī)的觀測(cè)點(diǎn)狀態(tài)對(duì)垂直位移測(cè)量精度的影響，結(jié)果表明位移標(biāo)定法測(cè)得的標(biāo)志物垂直位移精度最高，CCD 相機(jī)安置在固定觀測(cè)點(diǎn)垂直位移測(cè)量精度更高。同時(shí)，將本文方法應(yīng)用到真實(shí)場(chǎng)景-室內(nèi)實(shí)習(xí)場(chǎng)橫梁垂直位移測(cè)量，實(shí)驗(yàn)證明了該方法可以監(jiān)測(cè)到橫梁微小的垂直位移。