馮凱倫，唐一棟，梁 森，劉昌永，王要武

（1. 哈爾濱工業(yè)大學(xué) 土木工程學(xué)院，黑龍江 哈爾濱 150001，E-mail：kailunfeng@hit.edu.cn 2. 中建四局第一建設(shè)有限公司，廣東 廣州 510000）

塔吊的使用貫穿于建筑施工作業(yè)全過程，是現(xiàn)代施工技術(shù)依賴的主要機(jī)械之一。但目前塔吊相關(guān)的安全事故不斷發(fā)生，成為了施工現(xiàn)場主要的事故來源。根據(jù)中國住房和城鄉(xiāng)建設(shè)部發(fā)布的《房屋市政工程生產(chǎn)安全事故情況的通報(bào)》，2015～2019 年國內(nèi)共發(fā)生工程生產(chǎn)安全事故3275 起，其中與起重相關(guān)的事故257 起，占事故總數(shù)的7.85%。Tam，VWY 等[1]研究發(fā)現(xiàn)，人為因素是影響塔式起重機(jī)安全性的主要因素。進(jìn)一步，Zhang，X 等[2]通過統(tǒng)計(jì)分析2013～2018 年中國塔式起重機(jī)事故調(diào)查報(bào)告共141 份，總結(jié)出塔吊事故的主要原因包括：工人的錯(cuò)誤行為、安全培訓(xùn)不足、安全檢查不充分、安全意識(shí)低下、安全工程師管理不善等。

在安全管理理論中，風(fēng)險(xiǎn)識(shí)別與感知是安全管理中重要環(huán)節(jié)，在風(fēng)險(xiǎn)被識(shí)別與感知之前，安全管理工作難以進(jìn)行[3]。傳統(tǒng)的建筑施工現(xiàn)場安全管理完全依賴于安全管理人員在現(xiàn)場進(jìn)行監(jiān)管，但“人容易犯錯(cuò)誤”，與物相比，人的行為有較大的自由度，且人會(huì)因?yàn)槠诙父噱e(cuò)。計(jì)算機(jī)視覺[4]被認(rèn)為是補(bǔ)充人工觀測的有效解決方案，未來可以幫助自動(dòng)執(zhí)行目前需要大量人工參與的目視檢查任務(wù)。隨著施工現(xiàn)場信息化設(shè)備的普及，攝像無人機(jī)、監(jiān)控?cái)z像頭等設(shè)備已經(jīng)可以實(shí)時(shí)地在施工現(xiàn)場中采集大量的可視化數(shù)據(jù)，這些數(shù)據(jù)中包含著施工過程中的大量有價(jià)值信息。在此背景下，計(jì)算機(jī)視覺技術(shù)能夠提取塔吊使用過程中的可視化數(shù)據(jù)，故障樹分析技術(shù)能夠?qū)Ω鞣N場景進(jìn)行判斷，塔吊危險(xiǎn)情景的實(shí)時(shí)自動(dòng)感知成為了可能。

為提高塔吊使用過程安全管理效率，促進(jìn)施工過程安全管理智能化，提出了集成計(jì)算機(jī)視覺技術(shù)和故障樹分析技術(shù)的塔吊施工重物墜落情景智能感知方法。考慮到上述情景在施工現(xiàn)場復(fù)現(xiàn)可能會(huì)引起安全風(fēng)險(xiǎn)，利用提出智能感知方法對塔吊重物墜落危險(xiǎn)情景展開了實(shí)驗(yàn)室研究。

1 塔吊施工重物墜落情景與抽象

1.1 情景分析

在塔吊起吊重物的過程中，重物墜落是最常見的安全事故之一。當(dāng)起吊的重物脫離吊鉤的一瞬間失去了牽引力的作用，會(huì)在重力作用下墜落，若此時(shí)下方墜落區(qū)域范圍內(nèi)有工人未離開，便存在起吊物墜落傷人的可能性?！端狡鹬貦C(jī)操作使用規(guī)程》（JG/T 100-1999）規(guī)定，塔吊在起升或下降重物時(shí)，重物下方禁止有人通行或停留。因此，塔吊施工重物墜落的危險(xiǎn)情景可以抽象為如圖1 所示。若能對此危險(xiǎn)情景進(jìn)行智能感知，便能有效地避免事故的發(fā)生。

圖1 塔吊施工重物墜落情景抽象

1.2 坐標(biāo)系構(gòu)建

為直觀刻畫危險(xiǎn)區(qū)，描述重物掉落情況，在此建立一個(gè)以雙目系統(tǒng)中左相機(jī)為坐標(biāo)原點(diǎn)，以重力方向?yàn)閅 軸正方向，以左相機(jī)到右相機(jī)的連線方向?yàn)閄 軸正方向的右手直角坐標(biāo)系（見圖2），Z 軸正方向與X 軸與Y 軸方向向量的矢量積方向一致。

圖2 塔吊施工場景現(xiàn)實(shí)坐標(biāo)系

2 基于計(jì)算機(jī)視覺的施工現(xiàn)場感知方法

2.1 空間距離信息雙目視覺感知

（1）視覺系統(tǒng)中的坐標(biāo)系。計(jì)算機(jī)視覺在距離信息的感知過程中會(huì)涉及世界坐標(biāo)系OW-XWYWZW、相機(jī)坐標(biāo)系OC-XCYCZC、圖像坐標(biāo)系o-xy和像素坐標(biāo)系uv，圖3 是視覺系統(tǒng)中的坐標(biāo)系[7]。世界坐標(biāo)系是描述目標(biāo)物在真實(shí)世界中的位置的空間右手直角坐標(biāo)系；相機(jī)坐標(biāo)系用于從相機(jī)的角度描述物體位置，通過旋轉(zhuǎn)和平移兩種剛體運(yùn)動(dòng)方式與世界坐標(biāo)系互相轉(zhuǎn)換。圖像坐標(biāo)系用于描述相機(jī)成像的過程中各成像點(diǎn)由相機(jī)坐標(biāo)系到圖像坐標(biāo)系的投影透射關(guān)系。像素坐標(biāo)系描述物體在數(shù)字圖像上的坐標(biāo)，是計(jì)算機(jī)從圖像內(nèi)直接獲取位置信息的坐標(biāo)系。

圖3 視覺系統(tǒng)中的坐標(biāo)系

（2）基于視差法的位置信息感知。圖4 為一個(gè)標(biāo)準(zhǔn)的平行式光軸雙目視覺系統(tǒng)模型[8]。點(diǎn)（XC，YC，ZC）為實(shí)際空間中的一點(diǎn)P在相機(jī)坐標(biāo)系中的坐標(biāo)，該點(diǎn)左右相機(jī)所成圖像中的像素坐標(biāo)分別為Pl（ul，vl）和Pr（ur，vr），由于兩個(gè)相機(jī)平行安置，可知vl=vr。由三角形相似原理可得P的坐標(biāo)計(jì)算公式：

圖4 平行式光軸雙目視覺系統(tǒng)模型

（3）坐標(biāo)系變換。相機(jī)坐標(biāo)系與本系統(tǒng)所定義的施工場景現(xiàn)實(shí)坐標(biāo)系原點(diǎn)重合，只存在旋轉(zhuǎn)變換關(guān)系，坐標(biāo)系轉(zhuǎn)換關(guān)系如圖5 所示。通過雙目相機(jī)系統(tǒng)上安裝的三軸加速度計(jì)獲取相機(jī)姿態(tài)，求解由相機(jī)坐標(biāo)系到施工場景坐標(biāo)系的旋轉(zhuǎn)矩陣，以此完成相機(jī)坐標(biāo)系到施工場景現(xiàn)實(shí)坐標(biāo)系的轉(zhuǎn)換。

圖5 坐標(biāo)系變換方法

2.2 施工場景動(dòng)態(tài)目標(biāo)實(shí)時(shí)檢測

在利用計(jì)算機(jī)視覺技術(shù)檢測復(fù)雜施工現(xiàn)場危險(xiǎn)情景時(shí)，識(shí)別作業(yè)人員、建筑材料及施工機(jī)械等目標(biāo)在現(xiàn)場監(jiān)控圖像中所處的位置是首要工作?；谏疃葘W(xué)習(xí)的目標(biāo)檢測技術(shù)可通過建筑工地的數(shù)字圖像準(zhǔn)確地檢測和識(shí)別移動(dòng)物體（如工人、裝載機(jī)、挖掘機(jī)、起重機(jī)等）[9]。建筑施工現(xiàn)場移動(dòng)目標(biāo)數(shù)據(jù)集（MOCS）包含了來自174 個(gè)建筑工地的41668 張圖像[10]。

將MOCS 數(shù)據(jù)集在YOLOv5s 模型上進(jìn)行訓(xùn)練，將數(shù)據(jù)集中共41668 張圖像樣本劃分為訓(xùn)練集19404 張，驗(yàn)證集4000 張，其余為測試集。測試集不參與訓(xùn)練，圖6 為YOLOv5s 模型在MOCS 數(shù)據(jù)訓(xùn)練后所得權(quán)重在測試集圖像上的檢測效果。

圖6 目標(biāo)檢測效果驗(yàn)證

3 基于故障樹的塔吊施工重物墜落風(fēng)險(xiǎn)辨識(shí)模型

3.1 塔吊施工重物墜落的故障樹模型

使用故障樹分析的目的是尋找導(dǎo)致施工事故發(fā)生的致因[11]。在施工過程中，事故的發(fā)生雖然都存在一定的偶然性，但事故發(fā)生的背后卻無一例外存在必然因素。

根據(jù)《塔式起重機(jī)操作使用規(guī)程》（JG/T 100-1999）規(guī)定，塔吊在起升或下降重物時(shí)，重物下方禁止有人通行或停留[12]。在此情景中，判別因素主要有兩個(gè)：X1：吊鉤上有重物；X2：下方危險(xiǎn)區(qū)域有人停留。若兩個(gè)條件均滿足，則存在風(fēng)險(xiǎn)發(fā)生的可能，以此構(gòu)建圖7 所示故障樹模型，該故障樹所有底事件信息均可通過計(jì)算機(jī)視覺獲取。

圖7 塔吊施工重物墜落風(fēng)險(xiǎn)辨識(shí)故障樹模型

3.2 計(jì)算機(jī)視覺－故障樹的重物墜落感知

由圖7 可知，實(shí)現(xiàn)自動(dòng)感知“塔吊起吊重物墜落傷人” 這一危險(xiǎn)情景的關(guān)鍵因素在于自動(dòng)感知塔吊是否運(yùn)行及感知重物與工人所在位置。在實(shí)際使用過程中，對模型做出如下簡化：

塔吊作業(yè)過程可簡化為一個(gè)剛體運(yùn)動(dòng)模型，根據(jù)運(yùn)動(dòng)學(xué)理論，重物掉落位置與其脫鉤前的運(yùn)動(dòng)狀態(tài)有關(guān)。如圖8 所示，為降低模型復(fù)雜度，提高模型易用性，本系統(tǒng)將重物及人簡化為質(zhì)點(diǎn)，被提起重物—人連線的方向與重力方向的夾角為θ，被提起重物與下方危險(xiǎn)區(qū)域邊界上點(diǎn)的連線為θd。綜上所述，本方法可根據(jù)角θ是否在（0，θd）范圍內(nèi)判斷相機(jī)視野內(nèi)的人員是否處于危險(xiǎn)區(qū)域，若0θθd，則該塔吊系統(tǒng)存在起吊物脫鉤墜落傷人風(fēng)險(xiǎn)。

圖8 簡化系統(tǒng)模型

4 實(shí)驗(yàn)過程與結(jié)果驗(yàn)證

為驗(yàn)證提出的基于計(jì)算機(jī)視覺和故障樹分析方法的有效性，在實(shí)驗(yàn)室環(huán)境下進(jìn)行試驗(yàn)驗(yàn)證。硬件系統(tǒng)包括雙目相機(jī)和計(jì)算機(jī)。相機(jī)型號(hào)為ZED2i，計(jì)算機(jī)主要配置為Intel i7-11800H 2.30GHz CPU，Nvidia GeForce Rtx 3070 Laptop GPU，16G 內(nèi)存。危險(xiǎn)情景感知系統(tǒng)利用Python 語言編程實(shí)現(xiàn)。

4.1 感知模型建立

（1）位置感知模型。相機(jī)標(biāo)定的目的是獲取三維世界坐標(biāo)與圖像坐標(biāo)的對應(yīng)關(guān)系，求解出相機(jī)的內(nèi)部參數(shù)和外部參數(shù)。采用張正友法標(biāo)定獲取相機(jī)標(biāo)定[13]。參數(shù)如表1 所示。

表1 相機(jī)參數(shù)

表中，Al是左相機(jī)內(nèi)參矩陣；Dl是左相機(jī)誤差系數(shù)；Ar是右相機(jī)內(nèi)參矩陣；Dr是右相機(jī)誤差系數(shù)；R是旋轉(zhuǎn)矩陣；t是平移向量。

通過在相機(jī)所獲取圖片的像素坐標(biāo)系中取3 個(gè)不同位置的點(diǎn)（見圖9），采取表1 中的相機(jī)參數(shù)。本文使用基于SGBM 立體匹配的雙目測距算法進(jìn)行測距[14]。這里規(guī)定進(jìn)行100 次測距試驗(yàn)，求得平均距離、平均誤差及平均誤差的方差如表2 所示。

圖9 測距點(diǎn)選取方案

表2 測距實(shí)驗(yàn)記錄（距離單位：mm）

（2）目標(biāo)類型感知模型。在實(shí)驗(yàn)室環(huán)境下，使用佳能M6 mark 2 相機(jī)搭配15～45mm 變焦鏡頭在不同角度共采集包含塔吊吊鉤、提起重物模型（以木材模型為例）及人物模型的圖像，為提升圖像數(shù)據(jù)樣本量，增強(qiáng)模型的魯棒性，在此進(jìn)行數(shù)據(jù)增強(qiáng)，最終獲得包含595 張圖像的數(shù)據(jù)集。

利用LabelImg 數(shù)據(jù)集標(biāo)定工具對所有圖像數(shù)據(jù)集手動(dòng)標(biāo)定人（Person）、重物（Wood）及塔吊吊鉤（Crane Hook）三類目標(biāo)。

將自制塔吊風(fēng)險(xiǎn)感知系統(tǒng)數(shù)據(jù)集分別在YOLO v5s、YOLO v5m、YOLO v5l、YOLO v5x 等4 個(gè)模型中進(jìn)行訓(xùn)練（見表3），模型均設(shè)置Epoch 為300，選取SSD 優(yōu)化器。

表3 目標(biāo)檢測模型訓(xùn)練結(jié)果

表中P 為精確率（Precision），表示檢測結(jié)果中實(shí)際為正樣本的數(shù)量占所有被識(shí)別為正樣本的數(shù)量中比例；R 為召回率（Recall），表示檢測結(jié)果中，實(shí)際為正樣本的數(shù)量占所有實(shí)際為正樣本的數(shù)量比例；IoU 表示目標(biāo)檢測工作中，預(yù)測框（Predicted Box）和真實(shí)框（Ground-Truth Box）之間交集與并集比較所得的值；mAP 是均值平均精度（mean Average Precision），用于衡量目標(biāo)檢測模型識(shí)別多類目標(biāo)時(shí)的準(zhǔn)確性。

根據(jù)模型訓(xùn)練結(jié)果可知，4 個(gè)模型在此構(gòu)建的數(shù)據(jù)集中表現(xiàn)差異不大，因此在保證精度的前提下選取檢測速度最快、訓(xùn)練耗時(shí)最低的YOLOv5s 模型作為本文的主要方法。

4.2 結(jié)果驗(yàn)證

為檢驗(yàn)系統(tǒng)的有效性，實(shí)驗(yàn)室中設(shè)立兩種情景并分別檢測。情景一中，塔吊#1 下方放置兩個(gè)人物模型，但吊鉤上不放置重物，塔吊#2 下方不放置人物模型，圖10 為情景一檢測人結(jié)果。情景二中，塔吊#1 吊鉤上提起重物，下方危險(xiǎn)區(qū)域放置人物模型，塔吊#2 下方不放置人物模型，圖11 為情景二檢測結(jié)果。

如圖10 和圖11 所示，兩個(gè)情景中均識(shí)別出了目標(biāo)角度數(shù)據(jù)，可以判斷兩種情景是否為危險(xiǎn)情景，識(shí)別頻率約為2 次/秒，滿足實(shí)時(shí)性的要求，故該方法可以對危險(xiǎn)情景進(jìn)行智能感知。

圖10 情景一：非危險(xiǎn)情景

圖11 情景二：危險(xiǎn)情景

5 結(jié)語

本文以塔吊使用過程重物墜落危險(xiǎn)情景為例，結(jié)合計(jì)算機(jī)視覺技術(shù)、安全管理理論及故障樹分析方法，提出了一套基于計(jì)算機(jī)視覺和故障樹分析的智能感知方法。施工風(fēng)險(xiǎn)來源于施工過程中人的不安全行為、物和環(huán)境的不安全狀態(tài)。因此，在施工場景中需要感知相關(guān)的目標(biāo)類型、目標(biāo)位置，以及它們的相關(guān)關(guān)系。本文構(gòu)建了一套“空間距離+動(dòng)態(tài)目標(biāo)” 的計(jì)算機(jī)視覺感知模型，可以對施工現(xiàn)場的信息進(jìn)行實(shí)時(shí)感知。此外，本文將視覺信息輸入到故障樹，作為故障樹分析的底事件，以實(shí)現(xiàn)故障樹分析和計(jì)算機(jī)視覺技術(shù)的有機(jī)結(jié)合，實(shí)現(xiàn)塔吊使用過程重物墜落危險(xiǎn)情景智能感知。

本文為實(shí)現(xiàn)建筑施工危險(xiǎn)情景的智能感知提供了重要的理論與方法支持。該方法不僅適用于塔吊風(fēng)險(xiǎn)感知，也適合于其他類型場景施工風(fēng)險(xiǎn)的實(shí)時(shí)感知，具有廣闊拓展空間。在未來的研究中，可對事故發(fā)生機(jī)理進(jìn)行深層次剖析，實(shí)現(xiàn)從風(fēng)險(xiǎn)感知到風(fēng)險(xiǎn)預(yù)測的發(fā)展，最終達(dá)到風(fēng)險(xiǎn)控制的目的。