黃榮躍

（廈門大學(xué)嘉庚學(xué)院 福建 漳州 363105）

0 引言

塔式起重機(jī)運(yùn)行過(guò)程中的安全性受風(fēng)力大小、周邊環(huán)境溫度和操作距離等因素影響較大，其自身的組成構(gòu)件的可靠性、運(yùn)行的控制系統(tǒng)、制動(dòng)系統(tǒng)的穩(wěn)定性也都影響著塔吊的安全[1]。因此標(biāo)準(zhǔn)的國(guó)家塔式起重機(jī)操作規(guī)范需要得到嚴(yán)格的執(zhí)行，為了塔吊的安全，還需要注重日常檢查維護(hù)保養(yǎng)工作。塔式起重機(jī)在高層建筑施工中得到廣泛的應(yīng)用。幾十米高的塔吊給人工檢查帶來(lái)了挑戰(zhàn)，具有安全性低、耗時(shí)、檢查成本高等問(wèn)題。本文以塔吊為研究對(duì)象，結(jié)合無(wú)人機(jī)巡檢，設(shè)計(jì)出一套智能化的巡檢系統(tǒng)，為塔式起重機(jī)的巡檢帶來(lái)了便利。

1 塔式起重機(jī)巡檢要求

塔式起重機(jī)的檢驗(yàn)需要符合一定的檢驗(yàn)條件，它對(duì)塔機(jī)駕駛員的操作規(guī)范和塔機(jī)本身的安全屬性有較高的要求。塔機(jī)質(zhì)量需要可靠穩(wěn)定，安裝需要牢靠。

根據(jù)中國(guó)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)發(fā)布的GB/T 5031-2019 塔式起重機(jī)標(biāo)準(zhǔn)規(guī)定[2]，主要檢測(cè)項(xiàng)目?jī)?nèi)容見(jiàn)表1。

表1 無(wú)人機(jī)巡檢項(xiàng)目表

無(wú)人機(jī)通過(guò)高清攝像頭對(duì)表1 中的項(xiàng)目進(jìn)行巡檢，檢查內(nèi)容包含構(gòu)件間距、構(gòu)件缺失、錯(cuò)位、缺陷等內(nèi)容，對(duì)塔機(jī)進(jìn)行全方位、多角度的巡檢，能夠節(jié)省大量人工操作。

2 巡檢無(wú)人機(jī)系統(tǒng)硬件設(shè)計(jì)

本設(shè)計(jì)整個(gè)系統(tǒng)的核心目的是對(duì)塔吊進(jìn)行巡檢，以無(wú)人機(jī)平臺(tái)作為載體，實(shí)現(xiàn)智能拍照系統(tǒng)和無(wú)人機(jī)平臺(tái)兩個(gè)系統(tǒng)，針對(duì)性地對(duì)塔式起重機(jī)巡檢檢測(cè)提供解決方案。無(wú)人機(jī)平臺(tái)的作用是負(fù)責(zé)在手動(dòng)操作或者自動(dòng)路徑規(guī)劃過(guò)程中，執(zhí)行自動(dòng)化任務(wù)檢測(cè)。具體軟硬件設(shè)計(jì)如下。

2.1 無(wú)人機(jī)平臺(tái)硬件框架設(shè)計(jì)

本系統(tǒng)所使用的無(wú)人機(jī)包含4 大模塊：飛控模塊、遙控模塊、定位導(dǎo)航模塊、供電模塊。

飛控采用的是開(kāi)源PX4 固件，運(yùn)行在Pixhawk4 飛控板之上。Pixhawk4 采用了最先進(jìn)的STMicroElectronics處理器技術(shù)、Bosch、InvenSense 的傳感器技術(shù)和NuttX實(shí)時(shí)操作系統(tǒng)，為控制任何自動(dòng)飛行器提供了高效的性能、靈活性和可靠性。

遙控模塊采用了樂(lè)迪AT9S Pro，真正FHSS 與DSSS 混合雙擴(kuò)頻，實(shí)現(xiàn)避免干擾和抗干擾相結(jié)合，使其在復(fù)雜塔機(jī)環(huán)境仍能穩(wěn)定控制，遙控距離可達(dá)3 400 m。AT9S Pro支持SBUS、PPM 和PWM 3 種信號(hào)輸出，支持安裝在無(wú)人機(jī)上樂(lè)迪R12DSM接收機(jī)。R12DSM體積小，重量輕，只有2.5 g，支持12 通道的SBUS/PPM 信號(hào)輸出，4 000 m 距離操控。

定位導(dǎo)航模塊采用M8N GPS，它包含一個(gè)UBLOX M8N模塊、IST8310 指南針、三色LED 指示燈和一個(gè)安全開(kāi)關(guān)。

供電模塊采用25C 高倍率16 000 mAh 容量22 V 6S12S14S 無(wú)人機(jī)電池。Pixhawk4 串口工作在3.3 V，兼容5 V。而機(jī)載電腦在UART 端口僅支持1.8 V 的電壓，并且可能在3.3 V下?lián)p壞。因此采用了FTDI（USB轉(zhuǎn)串口適配器）這個(gè)硬件串口特定的功能來(lái)實(shí)現(xiàn)電壓轉(zhuǎn)換。

2.2 智能拍照系統(tǒng)硬件框架設(shè)計(jì)

智能拍照系統(tǒng)可以細(xì)分為：拍攝模塊、機(jī)載電腦、卷積神經(jīng)網(wǎng)絡(luò)缺陷識(shí)別模塊、通信模塊。拍攝模塊采用兩塊Inter RealSense D435i 紅外深度雙目攝像頭。這個(gè)英特爾實(shí)感深度攝像頭D435i 結(jié)合了D435 強(qiáng)大的深度感應(yīng)功能以及一個(gè)慣性測(cè)量單元（IMU）。添加IMU 可使無(wú)人機(jī)在飛行中，攝像頭移動(dòng)的情況下提高深度感知能力。

機(jī)載電腦采用英偉達(dá)Jetson nano 芯片。Nano 最大的特色就是包含了一塊128 核Maxwell 架構(gòu)的GPU，從功耗、體積、價(jià)格上也算一個(gè)性價(jià)比較高的產(chǎn)品。Jetson Nano的最大優(yōu)勢(shì)還是在體積上，它采用核心板可拆的設(shè)計(jì)，核心板的大小只有70×45 mm，可以很方便地集成在無(wú)人機(jī)上面。Nano 的主要作用是對(duì)兩路雙目攝像頭拍攝的圖像進(jìn)行合成，預(yù)處理，把合成后的圖片通過(guò)5G 發(fā)射天線傳輸?shù)降孛鏌o(wú)線路由器；接收來(lái)自地面監(jiān)控系統(tǒng)的控制信息；對(duì)拍攝的構(gòu)件圖像進(jìn)行預(yù)分類。

卷積神經(jīng)網(wǎng)絡(luò)缺陷識(shí)別模塊，無(wú)人機(jī)巡檢系統(tǒng)采用此模塊來(lái)對(duì)目標(biāo)進(jìn)行評(píng)估檢測(cè)。檢測(cè)目標(biāo)圖片是否存在缺陷，識(shí)別的錯(cuò)誤率要低。Nano除了預(yù)處理圖片和負(fù)責(zé)傳輸之外，還進(jìn)一步負(fù)責(zé)缺陷識(shí)別功能?；谒牡?、體積小，可靠性高等特性，它能實(shí)時(shí)支持多個(gè)圖片處理，支持多接口，最多可以支持四路攝像機(jī)，并且它配套有完整成熟的底層驅(qū)動(dòng)程序。在巡檢之初，缺陷檢測(cè)模塊還需要靠人工標(biāo)注來(lái)實(shí)現(xiàn)，并通過(guò)數(shù)據(jù)不斷進(jìn)行模型訓(xùn)練，提高后續(xù)自主識(shí)別缺陷的準(zhǔn)確率。

通信模塊，無(wú)人機(jī)巡檢過(guò)程中，涉及高清圖傳時(shí)，傳統(tǒng)方案多數(shù)只能實(shí)現(xiàn)單卡4G 傳輸方式。高清圖像在傳輸過(guò)程中會(huì)出現(xiàn)卡頓或中斷，地面監(jiān)控系統(tǒng)很難準(zhǔn)確判斷具體構(gòu)件的缺陷情況，作出正確的決策。針對(duì)此問(wèn)題，本文設(shè)計(jì)通信模塊采用乾元通QYT-X1S 5G 多卡聚合路由器，可為無(wú)人機(jī)機(jī)體、地面站、遠(yuǎn)程指揮中心構(gòu)建穩(wěn)定可靠的數(shù)據(jù)回傳鏈路，實(shí)現(xiàn)無(wú)人機(jī)拍攝的視頻實(shí)時(shí)回傳到地面監(jiān)控系統(tǒng)和遠(yuǎn)程指揮中心，為了解巡檢現(xiàn)場(chǎng)情況提供實(shí)時(shí)的高清畫(huà)面采集，為巡檢工作人員決策提供依據(jù)，讓無(wú)人機(jī)塔吊巡檢工作更精確。

無(wú)人機(jī)圖片、視頻采集傳輸流程是：機(jī)載電腦采集到圖片、視頻資源之后，通過(guò)機(jī)上的5G 雙頻千兆收發(fā)器傳輸?shù)降孛?G 路由器。地面監(jiān)控系統(tǒng)鏈接到地面5G 路由器，接收來(lái)自機(jī)載電腦傳輸下來(lái)的視頻，并實(shí)時(shí)在地面監(jiān)控系統(tǒng)上進(jìn)行顯示。地面監(jiān)控系統(tǒng)再把接收到的重要的圖片、視頻發(fā)送到云服務(wù)器進(jìn)行存儲(chǔ)。

3 巡檢無(wú)人機(jī)系統(tǒng)軟件設(shè)計(jì)

3.1 機(jī)載電腦與Pixhawk4 飛控板通信設(shè)計(jì)

機(jī)載電腦運(yùn)行Ubuntu 18.04 操作系統(tǒng)，在其上安裝Ros Melodic，ROS 是一個(gè)適用于機(jī)器人的開(kāi)源的元操作系統(tǒng)。在安裝好ROS 之后還需要安裝MAVROS。MAVROS 是一層MAVLink 與ROS 通信的封裝，旨在方便無(wú)人機(jī)與機(jī)載電腦通信。無(wú)人機(jī)使用機(jī)載電腦，通過(guò)OFFBOARD 模式進(jìn)行控制飛行?？刂七^(guò)程主要通過(guò)一連串的MAVROS 命令來(lái)實(shí)現(xiàn)，而MAVROS 是MAVLink 的一層高級(jí)封裝，從而免去了我們通過(guò)MAVLink 控制無(wú)人機(jī)的繁瑣。通過(guò)MAVROS，我們可以輕松實(shí)現(xiàn)很多功能，例如：起飛、降落、指點(diǎn)飛行、朝向控制等。機(jī)載電腦通過(guò)串口連接到Pixhawk4上的TELEM2，連接的消息格式MAVLink。Pixhawk4 上有個(gè)SYS_COMPANION，參數(shù)設(shè)置成波特率：921600、8N1，能進(jìn)行MAVLink 輸出。機(jī)載電腦上面的MAVROS 和MAVProxy軟件夠接受MAVLink 消息，實(shí)現(xiàn)在串口和UDP 之間傳輸MAVLink。

3.2 地面監(jiān)控系統(tǒng)設(shè)計(jì)

地面監(jiān)控系統(tǒng)[3]是塔吊無(wú)人機(jī)巡檢系統(tǒng)的重要組成部分，其人機(jī)交互窗口可以為塔吊巡檢作業(yè)人員和塔吊巡檢無(wú)人機(jī)提供可視化的操作接口，實(shí)現(xiàn)數(shù)據(jù)的交互。本設(shè)計(jì)所采用的地面監(jiān)控系統(tǒng)依然運(yùn)行在Ubuntu 18.04操作系統(tǒng)之上，通過(guò)Wi-Fi 和地面5G 路由器進(jìn)行連接。而地面5G 路由器和無(wú)人機(jī)上的5G 雙頻千兆收發(fā)器進(jìn)行通信，從而實(shí)現(xiàn)地面監(jiān)控系統(tǒng)和無(wú)人機(jī)機(jī)載電腦通信。地面監(jiān)控系統(tǒng)連接無(wú)人機(jī)、獲取無(wú)人機(jī)攝像頭信息并在地面顯示器上展示，從而實(shí)現(xiàn)拍照、錄制功能。地面監(jiān)控系統(tǒng)除了獲取攝像頭信息之外，還把這些照片、視頻信息實(shí)時(shí)發(fā)送到云服務(wù)器，以備云服務(wù)器中的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行進(jìn)一步計(jì)算。

傳統(tǒng)的航拍無(wú)人機(jī)拍攝的照片混在一起，塔機(jī)巡檢各個(gè)構(gòu)件之間的照片有很多相似之處。如果把這些照片不加歸類地混在一起，保存到一張SD 卡，會(huì)增加后續(xù)人工分類照片的工作量。因此，本設(shè)計(jì)在地面監(jiān)控系統(tǒng)上的拍照功能添加了菜單選擇，拍照之前事先選擇該照片歸屬哪個(gè)部位的構(gòu)件，拍照之后，照片自動(dòng)存儲(chǔ)在對(duì)應(yīng)的構(gòu)件文件夾底下。為后續(xù)的人工分析照片帶來(lái)了便利。通過(guò)地面監(jiān)控系統(tǒng)還可以和無(wú)人機(jī)進(jìn)行通話，控制無(wú)人機(jī)航燈照明等功能。

另外，本設(shè)計(jì)把高德地圖導(dǎo)入到地面監(jiān)控系統(tǒng)中，可以實(shí)時(shí)顯示無(wú)人機(jī)飛行的地理位置，讀取無(wú)人機(jī)的各種飛行姿態(tài)信息，給無(wú)人機(jī)發(fā)送起飛、著陸、航行等控制信息，并通過(guò)在地圖上設(shè)置航點(diǎn)，實(shí)現(xiàn)無(wú)人機(jī)的自動(dòng)巡檢功能。

3.3 圖片云存儲(chǔ)設(shè)計(jì)

經(jīng)過(guò)地面監(jiān)控系統(tǒng)對(duì)照片、視頻進(jìn)行預(yù)先分類之后，需要把這些內(nèi)容發(fā)送到云服務(wù)器進(jìn)行存儲(chǔ)，以備進(jìn)一步分析。本設(shè)計(jì)服務(wù)端接口開(kāi)發(fā)采用.NET Core Web API 技術(shù)進(jìn)行開(kāi)發(fā)，圖像存儲(chǔ)到阿里云的OSS 對(duì)象存儲(chǔ)系統(tǒng)。照片、視頻對(duì)應(yīng)的URL 地址、拍照時(shí)間，拍照地點(diǎn)，歸屬構(gòu)件，可疑分類等信息存儲(chǔ)在MySQL 數(shù)據(jù)庫(kù)之中。地面監(jiān)控系統(tǒng)調(diào)用API 接口進(jìn)行存儲(chǔ)圖片和視頻；后臺(tái)管理系統(tǒng)采用前后端分離開(kāi)發(fā)框架，前端采用VUE 技術(shù)，后臺(tái)直接調(diào)用Web API 提供的接口。因?yàn)镹ginx 具備很好的負(fù)載均衡特性，而.NET Core 已經(jīng)有比較穩(wěn)定的跨平臺(tái)功能，因此本系統(tǒng)部署在運(yùn)行CentOS 7.0 服務(wù)器上，采用.NET Core框架和Nginx web服務(wù)器以應(yīng)對(duì)高吞吐量的圖片傳輸請(qǐng)求。

3.4 卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)設(shè)計(jì)

基礎(chǔ)的CNN 由卷積、激活和池化3 種結(jié)構(gòu)組成。CNN輸出的結(jié)果是每幅圖像的特定特征空間。當(dāng)處理圖像分類任務(wù)時(shí)，我們會(huì)把CNN 輸出的特征空間作為全連接層或全連接神經(jīng)網(wǎng)絡(luò)（FCN）的輸入，用全連接層來(lái)完成從輸入圖像到標(biāo)簽集的映射，即分類。整個(gè)過(guò)程最重要的工作就是如何通過(guò)訓(xùn)練數(shù)據(jù)迭代調(diào)整網(wǎng)絡(luò)權(quán)重，也就是后向傳播算法。目前主流的卷積神經(jīng)網(wǎng)絡(luò)（CNNs），比如VGG、ResNet 都是由簡(jiǎn)單的CNN 調(diào)整、組合而來(lái)。典型的CNN由3 個(gè)部分構(gòu)成：卷積層：卷積層負(fù)責(zé)提取圖像中的局部特征；池化層：池化層用來(lái)大幅降低參數(shù)量級(jí)；全連接層：全連接層類似傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的部分，用來(lái)輸出想要的結(jié)果。

基于圖像的塔吊檢測(cè)系統(tǒng)，容易獲得大量重復(fù)無(wú)關(guān)元素，光線噪音容易影響導(dǎo)致圖像損失，具體表現(xiàn)為：在陰天或傍晚光照條件差的時(shí)候，圖像灰度值較低，缺陷特征不明顯。因此本設(shè)計(jì)對(duì)捕獲的圖像分別進(jìn)行塔吊面積提取、濾波和增強(qiáng)處理。包含圖片切割、圖片增強(qiáng)和圖片降噪等預(yù)處理，進(jìn)而對(duì)圖像進(jìn)行二值化、統(tǒng)計(jì)亮點(diǎn)值，得出垂直和水平投影統(tǒng)計(jì)差，最后得出分類缺陷構(gòu)件圖像和完整構(gòu)件圖像。

為了減少人工識(shí)別圖片的工作量，本設(shè)計(jì)引入了改進(jìn)的輕量級(jí)CNN[4]，通過(guò)減少權(quán)重和計(jì)算量實(shí)現(xiàn)緊湊設(shè)計(jì)，從而實(shí)現(xiàn)對(duì)于較小的訓(xùn)練數(shù)據(jù)也有較好的效果。更緊湊的設(shè)計(jì)包含模型壓縮、全量梯度下降、自適應(yīng)優(yōu)化等算法。算法的改進(jìn)點(diǎn)是通過(guò)減少卷積來(lái)實(shí)現(xiàn)。卷積通常分為標(biāo)準(zhǔn)卷積和深度卷積。本設(shè)計(jì)主要通過(guò)減少深度卷積的權(quán)值，使用1×1 卷積網(wǎng)絡(luò)，學(xué)習(xí)到更多的特征，獲得更好的性能改進(jìn)。

本設(shè)計(jì)通過(guò)訓(xùn)練塔機(jī)歷史缺陷照片，包含結(jié)構(gòu)件螺栓連接、裂紋、變形、鋼絲繩、卷?yè)P(yáng)機(jī)、滑輪等構(gòu)件的缺陷照片和完好照片兩類。由于損壞程度不一，生銹程度不同，比較難采集齊全的樣本數(shù)據(jù)。因此樣本數(shù)據(jù)一部分通過(guò)塔吊實(shí)際環(huán)境采集，另一部分通過(guò)網(wǎng)絡(luò)收集來(lái)實(shí)現(xiàn)。由于缺乏足夠的樣本數(shù)據(jù)供深度學(xué)習(xí)訓(xùn)練，會(huì)導(dǎo)致過(guò)擬合。為了避免過(guò)擬合的影響，本設(shè)計(jì)采用數(shù)據(jù)增強(qiáng)來(lái)平衡各類缺陷圖像的數(shù)目。采用翻轉(zhuǎn)、剪切、平移、高斯噪音、彈性變換、Gamma 變換、分段變化和照明擾動(dòng)等數(shù)據(jù)增強(qiáng)方法來(lái)構(gòu)建足夠的數(shù)據(jù)集。進(jìn)一步通過(guò)卷積核的權(quán)重學(xué)習(xí)，突破傳統(tǒng)濾波器的限制，根據(jù)目標(biāo)函數(shù)提取缺陷圖片的特征；通過(guò)池化層來(lái)減少訓(xùn)練模型規(guī)模，提高特征的魯棒性；進(jìn)一步通過(guò)全連接層輸出匹配某個(gè)缺陷類型的概率。從而對(duì)無(wú)人機(jī)巡檢采集的圖片進(jìn)行了分類，接下來(lái)根據(jù)匹配缺陷類型的結(jié)果，發(fā)起預(yù)警信號(hào)。

3.5 缺陷預(yù)警系統(tǒng)設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)構(gòu)件的歷史缺陷圖片和構(gòu)件每個(gè)巡檢周期圖片的歷史演變，對(duì)最新采集的構(gòu)件圖片進(jìn)行深度學(xué)習(xí)分析，如果發(fā)現(xiàn)可疑缺陷的構(gòu)件，則要進(jìn)行預(yù)警。預(yù)警包含3 個(gè)部分：在管理系統(tǒng)的網(wǎng)站上進(jìn)行警告顯示；通過(guò)給巡檢者發(fā)送短信息的方式來(lái)進(jìn)行預(yù)警；通過(guò)發(fā)出報(bào)警燈來(lái)提示危險(xiǎn)信號(hào)。

4 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)結(jié)合校企合作平臺(tái)智能巡檢無(wú)人機(jī)系統(tǒng)設(shè)計(jì)項(xiàng)目，設(shè)計(jì)一款巡檢無(wú)人機(jī)系統(tǒng)見(jiàn)圖1。該無(wú)人機(jī)是一架四軸無(wú)人機(jī)，在巡檢過(guò)程中設(shè)定GPS 飛行模式，抗風(fēng)力可達(dá)5 級(jí)。巡檢過(guò)程配備兩名操作人員，一位是飛手，負(fù)責(zé)無(wú)人機(jī)安全穩(wěn)定飛行，另一位負(fù)責(zé)使用地面監(jiān)控系統(tǒng)進(jìn)行拍照，錄制視頻，對(duì)重點(diǎn)可疑區(qū)域進(jìn)行對(duì)焦、錄制。

本實(shí)驗(yàn)對(duì)校企合作平臺(tái)的塔式起重機(jī)開(kāi)展無(wú)人機(jī)巡檢，每周巡檢一次，巡檢4 次，對(duì)表1 中所描述的各個(gè)構(gòu)件進(jìn)行巡檢，共發(fā)現(xiàn)安全隱患9 條，每次巡檢耗時(shí)2 h。相比傳統(tǒng)人工巡檢，需要投入人力4 人，用時(shí)8 h，發(fā)現(xiàn)5 條安全隱患。統(tǒng)計(jì)數(shù)據(jù)詳見(jiàn)表2。

表2 巡檢工作質(zhì)量分析

綜上數(shù)據(jù)顯示，無(wú)人機(jī)巡檢相比人工巡檢節(jié)約了時(shí)間，節(jié)省了人工成本，發(fā)現(xiàn)了更多的潛在安全隱患。

5 結(jié)語(yǔ)

本文以校企合作平臺(tái)為背景，設(shè)計(jì)了一套5G 智能塔吊無(wú)人機(jī)巡檢系統(tǒng)。該系統(tǒng)首先能夠根據(jù)用戶需求，進(jìn)行塔式起重機(jī)巡檢，包含塔附著裝置、標(biāo)準(zhǔn)節(jié)及連接螺栓等各個(gè)構(gòu)件要素進(jìn)行巡檢；可以實(shí)現(xiàn)偵查、拍照、視屏等功能，并對(duì)視頻、照片信息進(jìn)行云存儲(chǔ)；能夠?qū)Ω鱾€(gè)構(gòu)件進(jìn)行圖像分類、歷史數(shù)據(jù)追蹤；能夠以網(wǎng)站的形式展示巡檢結(jié)果、生成可視化巡檢報(bào)告；能夠采用卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)技術(shù)對(duì)潛在部件問(wèn)題進(jìn)行預(yù)警。塔式起重機(jī)的日常運(yùn)行管理存在較大的安全風(fēng)險(xiǎn)，利用無(wú)人機(jī)巡檢及可視化巡檢結(jié)果追蹤預(yù)警，給塔機(jī)巡檢帶來(lái)了極大便利。