吳杭姿,韓立芳,楊 燕,黃青隆

(中國建筑第八工程局有限公司,上海 200122)

0 引言

經(jīng)過改革開放四十多年的發(fā)展,我國的土木工程建設(shè)逐漸從小型化、簡單化向大型化、復(fù)雜化轉(zhuǎn)變,所面對(duì)的施工項(xiàng)目普遍具有工程量大、結(jié)構(gòu)復(fù)雜的特點(diǎn)。龐大、復(fù)雜的工程除了增加建設(shè)單位的施工難度外,也給建成后的施工質(zhì)量把控帶來諸多挑戰(zhàn)。

為保證項(xiàng)目的施工質(zhì)量,施工質(zhì)量檢查是必不可少的一個(gè)環(huán)節(jié)。在眾多施工質(zhì)量檢查中,由于預(yù)埋件的施工質(zhì)量直接影響建筑工程的施工進(jìn)度、結(jié)構(gòu)安全和建筑使用,因此對(duì)預(yù)埋件的位置及數(shù)量需牢牢把控[1]。與鋼板、螺栓、連接埋件等結(jié)構(gòu)預(yù)埋件不同,線盒、接線管等建筑預(yù)埋件雖對(duì)結(jié)構(gòu)安全影響較小,但其少安、錯(cuò)安將對(duì)建筑的使用功能產(chǎn)生較大影響,因此施工過程中需對(duì)相關(guān)埋件的數(shù)量、位置等進(jìn)行檢查。

但隨著當(dāng)前施工項(xiàng)目規(guī)模的逐漸變大,建筑預(yù)埋件數(shù)量多、位置分散成為常態(tài),這導(dǎo)致傳統(tǒng)人工檢查耗時(shí)費(fèi)力、效率低下。與此同時(shí),隨著計(jì)算機(jī)技術(shù)的快速發(fā)展,數(shù)字圖像處理技術(shù)憑借其高效、準(zhǔn)確、非接觸等優(yōu)勢(shì),被廣泛應(yīng)用于構(gòu)件特征識(shí)別[2]、構(gòu)件表面缺陷識(shí)別[3]、混凝土裂縫檢測(cè)[4]、結(jié)構(gòu)損傷檢測(cè)[5-6]等無人化、非接觸檢測(cè)中,并且都取得了較好效果。這為采用數(shù)字圖像處理技術(shù)進(jìn)行建筑預(yù)埋件識(shí)別和統(tǒng)計(jì)提供了思路。

同時(shí),在眾多圖像處理技術(shù)中,卷積神經(jīng)網(wǎng)絡(luò)可快速捕獲圖片的局部特征,在數(shù)字圖像識(shí)別領(lǐng)域具有準(zhǔn)確率高、識(shí)別速度快等優(yōu)勢(shì),大力推動(dòng)了數(shù)字圖像處理技術(shù)在橋梁工程[7]、混凝土工程[8]、隧道工程[9]等土木工程領(lǐng)域的應(yīng)用。

基于此,本文提出了一種基于數(shù)字圖像處理技術(shù)的建筑預(yù)埋件識(shí)別方法,采用卷積神經(jīng)網(wǎng)絡(luò)建立了建筑預(yù)埋件識(shí)別模型。經(jīng)實(shí)際應(yīng)用表明,該模型可快速從待檢對(duì)象的圖像或視頻影像中完成對(duì)建筑預(yù)埋件特征的分析與統(tǒng)計(jì),實(shí)現(xiàn)建筑預(yù)埋件的高效、無人化檢查。

1 樣本準(zhǔn)備

1.1 采集過程

在本文研究中,主要針對(duì)建筑常見的預(yù)埋件進(jìn)行識(shí)別,如開關(guān)預(yù)埋盒、電控箱預(yù)埋盒、空調(diào)洞口管等,并對(duì)識(shí)別數(shù)量進(jìn)行統(tǒng)計(jì)。

因此,為了更好地對(duì)建立的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,本文從不同項(xiàng)目中收集了共600張建筑預(yù)埋件圖像,埋件具體形式如圖1所示。

圖1 典型建筑預(yù)埋件

1.2 圖片預(yù)處理

針對(duì)所采集的預(yù)埋件圖片,采用Mosaic方法進(jìn)行數(shù)據(jù)增強(qiáng),以此進(jìn)一步擴(kuò)大樣本中涵蓋的預(yù)埋件特征。Mosaic數(shù)據(jù)增強(qiáng)算法通過將多張圖片按一定比例組合成一張圖片,實(shí)現(xiàn)模型在更小范圍內(nèi)識(shí)別目標(biāo)的目的。

本文根據(jù)Mosaic數(shù)據(jù)增強(qiáng)算法,將4張任意大小的目標(biāo)圖片,經(jīng)隨機(jī)裁剪、縮放后拼接為一張圖片,具體步驟如圖2所示。

圖2 Mosaic數(shù)據(jù)增強(qiáng)算法

該方法主要包括以下4步:①確定待拼接圖像大小,并隨機(jī)確定一個(gè)圖片拼接基準(zhǔn)點(diǎn)坐標(biāo)(xc,yc);②隨機(jī)選取4張圖片,并根據(jù)基準(zhǔn)點(diǎn)進(jìn)行切割,分別經(jīng)過適當(dāng)?shù)某叽缯{(diào)整和比例縮放后,放置在指定尺寸大圖的左上、右上、左下、右下位置;③根據(jù)每張圖片的尺寸變換方式,將映射關(guān)系對(duì)應(yīng)到圖片標(biāo)簽上;④依據(jù)指定的橫縱坐標(biāo)對(duì)大圖進(jìn)行拼接。處理超過邊界的檢測(cè)框坐標(biāo)。

采用Mosaic數(shù)據(jù)增強(qiáng)算法后,可增加數(shù)據(jù)多樣性、增大樣本總量,同時(shí)增強(qiáng)模型魯棒性,混合多張具有不同語義信息的圖片,可讓模型檢測(cè)超出常規(guī)語境的目標(biāo)。

2 建筑預(yù)埋件識(shí)別模型搭建

2.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搭建

卷積神經(jīng)網(wǎng)絡(luò)的主要構(gòu)成部件包括輸入層、卷積層、激活層、池化層、全連接層、輸出層等,是人工智能發(fā)展的最新成果之一,能很好地解決以圖像識(shí)別為代表的復(fù)雜感知任務(wù)。

根據(jù)識(shí)別目標(biāo),構(gòu)建如圖3所示卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),圖中表示特征圖跳躍相加,表示特征圖跳躍拼接,不同子模塊的相關(guān)信息如表1所示。

表1 子模塊相關(guān)信息

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在上述卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上,圖片數(shù)據(jù)首先經(jīng)主干網(wǎng)絡(luò)7次采樣,隨后對(duì)采樣進(jìn)行特征融合,最后卷積輸出32倍下采樣的特征圖,具體內(nèi)容為30×22網(wǎng)格及不同網(wǎng)格內(nèi)的預(yù)測(cè)信息(5+c):x,y→w,h→confidence→C1,C2,…,Cn。其中,x,y為網(wǎng)格中心的橫坐標(biāo)和縱坐標(biāo)(以該網(wǎng)格左上角為原點(diǎn),并標(biāo)準(zhǔn)化),w,h為檢測(cè)框?qū)挾群烷L度(標(biāo)準(zhǔn)化后取對(duì)數(shù)),confidence為該網(wǎng)格存在物體的置信度,C1,C2,…,Cn為不同物體類別存在性所對(duì)應(yīng)的標(biāo)簽(存在該目標(biāo)為1,不存在為0)。

在搭建上述卷積神經(jīng)網(wǎng)絡(luò)后,采用所形成的圖片樣本對(duì)模型進(jìn)行訓(xùn)練。在訓(xùn)練過程中,考慮坐標(biāo)損失Econtrol、置信度損失Econ和計(jì)算分類損失Eclass,并將三者之和作為最終的模型訓(xùn)練收斂性判別,即損失函數(shù)Loss。Loss的計(jì)算公式如式(1)所示,其中坐標(biāo)損失采用IoU(交并比)計(jì)算,置信度損失采用MSE(均值平方差)計(jì)算,分類損失采用Focal計(jì)算。

Loss=Econtrol+Econ+Eclass=

[1-api(c)]·bpi(c)γ·ln[1-bpi(c)]}

(1)

最終,將經(jīng)過預(yù)處理的圖片輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,通過20個(gè)迭代輪次,模型的損失函數(shù)Loss趨于穩(wěn)定,預(yù)測(cè)準(zhǔn)確率可達(dá)到98%。

2.2 預(yù)埋件識(shí)別

通過攝影、攝像設(shè)備獲取待測(cè)對(duì)象圖片,進(jìn)一步應(yīng)用上述訓(xùn)練得到的建筑預(yù)埋件識(shí)別模型可實(shí)現(xiàn)對(duì)建筑預(yù)埋件的識(shí)別。具體過程包括圖片前處理、卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)輸出、識(shí)別結(jié)果后處理。

首先,獲得待檢測(cè)圖片或?qū)崟r(shí)視頻的單幀圖片后,對(duì)圖片進(jìn)行前處理。具體地,需將圖片調(diào)整為灰度圖,并將圖片長、寬尺寸(像素)調(diào)整為128的倍數(shù),同時(shí)將像素值標(biāo)準(zhǔn)化。

其次,將述處理后的圖片數(shù)據(jù)輸入所搭建的卷積神經(jīng)網(wǎng)絡(luò)模型,最終經(jīng)神經(jīng)網(wǎng)絡(luò)計(jì)算輸出30×22網(wǎng)格及對(duì)應(yīng)的網(wǎng)格內(nèi)的預(yù)測(cè)信息(5+c)。

最后,基于上述卷積神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果,遍歷每個(gè)網(wǎng)格,去除置信度較低的結(jié)果,對(duì)剩余結(jié)果進(jìn)行NSM(非極大值抑制)去重,最終將去重后的結(jié)果(預(yù)測(cè)框)繪制在原圖作為預(yù)埋件的位置警示,實(shí)現(xiàn)預(yù)埋件識(shí)別及顯示的目標(biāo)。

3 建筑預(yù)埋件的無人化識(shí)別技術(shù)

本文通過配置相關(guān)的機(jī)器視覺元件、移動(dòng)設(shè)備及終端顯示設(shè)備,形成了1臺(tái)可移動(dòng)式建筑預(yù)埋件識(shí)別機(jī)器人(見圖4)。

圖4 基于建筑預(yù)埋件識(shí)別模型的可移動(dòng)式機(jī)器人

為保證機(jī)器人的自主行走,機(jī)器人的行走機(jī)構(gòu)采用精準(zhǔn)控制的四輪差速驅(qū)動(dòng)控制方式。該控制方式通過性強(qiáng)、轉(zhuǎn)彎半徑小、越障能力強(qiáng),可保證設(shè)備在一般室內(nèi)環(huán)境穿梭自如,其中4個(gè)輪子可獨(dú)立控制轉(zhuǎn)速,并配置獨(dú)立懸掛以減小設(shè)備振動(dòng)。具體行走機(jī)構(gòu)如圖5所示。同時(shí),為實(shí)現(xiàn)設(shè)備測(cè)量過程中的自主導(dǎo)航、自動(dòng)避障,在機(jī)器人中嵌入了基于地圖信息的激光雷達(dá)導(dǎo)航技術(shù)。機(jī)器人內(nèi)部配備的導(dǎo)航模塊可接收路線信息,然后以二維激光雷達(dá)作為主傳感器,在特定的硬件平臺(tái)上,自動(dòng)控制安有輪驅(qū)裝備的機(jī)器人沿既定導(dǎo)航路線行走,到達(dá)指定任務(wù)定位點(diǎn);之后通過任務(wù)調(diào)度模塊通知外部設(shè)備執(zhí)行測(cè)量任務(wù)。在機(jī)器人行走過程中,激光雷達(dá)實(shí)時(shí)探測(cè)周圍的障礙物信息,生成規(guī)避動(dòng)態(tài)障礙物的路徑或緊急避障的速度指令。在上述硬件配置下,機(jī)器人即可實(shí)現(xiàn)自主行走。

圖5 機(jī)器人行走底盤

基于此,將建筑預(yù)埋件識(shí)別模型內(nèi)嵌至機(jī)器人內(nèi),通過機(jī)器人配備的面陣3D相機(jī)采集待檢測(cè)工程的圖像信息,然后利用卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行識(shí)別和定位。當(dāng)識(shí)別模型識(shí)別到預(yù)埋件后,將采用即時(shí)拍照條留存的方式進(jìn)行孔洞位置的記錄,待測(cè)量項(xiàng)目結(jié)束后通過留存的圖像信息匯總最終的埋件數(shù)量,實(shí)現(xiàn)建筑預(yù)埋件的無人化識(shí)別。

4 應(yīng)用與驗(yàn)證

進(jìn)一步地,本文將上述機(jī)器人應(yīng)用于實(shí)際項(xiàng)目中,以此驗(yàn)證機(jī)器人對(duì)建筑預(yù)埋件的識(shí)別效果,進(jìn)而評(píng)判建筑預(yù)埋件識(shí)別模型的有效性。

本文將上述裝備應(yīng)用于海鹽縣理工學(xué)校職教中心項(xiàng)目。該項(xiàng)目占地面積約342 352m2,項(xiàng)目包括中職園區(qū)、高職園區(qū)、競技體育場館,效果如圖6所示。

圖6 項(xiàng)目效果

在該項(xiàng)目中,室內(nèi)裝修工程量較大,安裝的開關(guān)預(yù)埋件數(shù)量較大,這意味著預(yù)埋件檢查工作量較大。因此,在此背景下,將本文基于數(shù)字圖像處理技術(shù)的建筑預(yù)埋件無人化識(shí)別技術(shù)應(yīng)用于該項(xiàng)目。此次應(yīng)用中,主要圍繞項(xiàng)目中建筑形式標(biāo)準(zhǔn)的宿舍樓開展,其中宿舍樓主體已完成施工,進(jìn)入室內(nèi)裝飾階段,且墻內(nèi)預(yù)埋件暫未進(jìn)行處理。

應(yīng)用時(shí),將項(xiàng)目待測(cè)場景的工程圖紙上傳至機(jī)器人,并自動(dòng)執(zhí)行任務(wù)規(guī)劃。隨后利用機(jī)器人的自動(dòng)行駛功能,實(shí)現(xiàn)了對(duì)待測(cè)項(xiàng)目不同墻體的無人化檢測(cè)目標(biāo),實(shí)際檢測(cè)過程及檢測(cè)結(jié)果如圖7～9所示。由圖8可看出,本建筑預(yù)埋件識(shí)別技術(shù)可針對(duì)機(jī)器人采集的圖像信息對(duì)預(yù)埋件進(jìn)行有效識(shí)別并對(duì)位置進(jìn)行標(biāo)識(shí)(圖中綠色方框);同時(shí),如圖9所示,對(duì)于系統(tǒng)識(shí)別出的預(yù)埋件位置及數(shù)量,該技術(shù)可直接在交互終端予以反饋(圖中文字信息,預(yù)埋件:1)。

圖7 墻體預(yù)埋件無人化檢測(cè)過程

圖8 墻體預(yù)埋件檢測(cè)結(jié)果

圖9 交互終端與識(shí)別數(shù)量統(tǒng)計(jì)

經(jīng)應(yīng)用表明,本建筑預(yù)埋件識(shí)別技術(shù)可有效識(shí)別埋件,同時(shí)通過內(nèi)嵌的預(yù)埋件統(tǒng)計(jì)模塊可實(shí)現(xiàn)對(duì)預(yù)埋件數(shù)量的自動(dòng)化統(tǒng)計(jì)。整個(gè)識(shí)別過程快速、自動(dòng),無須人為參與,大大減少了預(yù)埋件檢查工作量。

5 結(jié)語

當(dāng)前施工項(xiàng)目規(guī)模逐漸變大,導(dǎo)致施工現(xiàn)場建筑預(yù)埋件數(shù)量大幅度增多、位置分散。上述背景導(dǎo)致施工質(zhì)量檢查過程中,人工檢查耗時(shí)費(fèi)力、效率低下。為此,本文提出了基于數(shù)字圖像處理技術(shù)的建筑預(yù)埋件無人化識(shí)別技術(shù)。在技術(shù)形成過程中,首先通過搭建并訓(xùn)練形成了建筑預(yù)埋件識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)模型,隨后開發(fā)了一款可移動(dòng)式機(jī)器人,并將預(yù)埋件識(shí)別模型內(nèi)嵌其中,實(shí)現(xiàn)了對(duì)建筑預(yù)埋件的無人化識(shí)別。經(jīng)實(shí)際應(yīng)用檢驗(yàn),建筑預(yù)埋件無人化識(shí)別技術(shù)可有效實(shí)現(xiàn)對(duì)建筑場景中預(yù)埋件的檢測(cè),并實(shí)現(xiàn)對(duì)預(yù)埋件數(shù)量的自動(dòng)化統(tǒng)計(jì),大大提高了預(yù)埋件安裝的質(zhì)量檢測(cè)效率。