第一作者簡(jiǎn)介：邵欣桐（1985-），男，碩士，副教授。研究方向?yàn)轱w行器狀態(tài)監(jiān)控與故障診斷。

DOI：10.19981/j.CN23-1581/G3.2024.16.012

摘" 要：飛機(jī)維修人員的施工現(xiàn)場(chǎng)是整個(gè)機(jī)場(chǎng)運(yùn)行環(huán)境的重要組成，需要在施工作業(yè)過(guò)程中監(jiān)管維修人員是否遵守安全生產(chǎn)規(guī)定，其中最為重要的一點(diǎn)就是檢查維修人員的著裝是否符合生產(chǎn)規(guī)范；對(duì)進(jìn)入機(jī)艙重點(diǎn)區(qū)域的維修人員著裝提出更高的要求，傳統(tǒng)人工的安全監(jiān)管需要人工監(jiān)控施工現(xiàn)場(chǎng)，但由于維修現(xiàn)場(chǎng)數(shù)量眾多，人工巡檢缺少實(shí)時(shí)性，造成違規(guī)現(xiàn)象不能得到及時(shí)糾正，難以實(shí)現(xiàn)有效監(jiān)管。該文根據(jù)應(yīng)用場(chǎng)景特點(diǎn)，提出一種基于OpenVINO平臺(tái)的智能機(jī)務(wù)人員著裝檢測(cè)方法，可以實(shí)時(shí)對(duì)維修人員的著裝要求進(jìn)行分析和識(shí)別，對(duì)不符合安全規(guī)范的著裝情況及時(shí)警告；在樣本的訓(xùn)練中，使用最新迭代的YOLOv8算法對(duì)現(xiàn)有的模型進(jìn)行機(jī)器學(xué)習(xí)，能夠快速準(zhǔn)確地發(fā)現(xiàn)飛機(jī)維修現(xiàn)場(chǎng)出現(xiàn)的不規(guī)范穿戴的相關(guān)問(wèn)題。

關(guān)鍵詞：OpenVINO；機(jī)務(wù)維修；YOLOv8；著裝檢測(cè)；智能穿戴

中圖分類(lèi)號(hào)：TP391.4" " " 文獻(xiàn)標(biāo)志碼：A" " " " " 文章編號(hào)：2095-2945（2024）16-0054-04

Abstract： The construction site of aircraft maintenance personnel is an important part of the operating environment of the whole airport. Therefore， it is necessary to supervise whether the maintenance personnel comply with the safety production regulations in the course of construction operation. The most important point is to check whether the clothes of the maintenance personnel are in line with the production dress code. We have higher requirements for the dress of maintenance personnel entering key areas of the engine room. Traditional manual safety supervision requires manual monitoring of the construction site， but due to the large number of maintenance sites and the lack of real-time manual inspection， the violations can not be corrected in time， and it is difficult to achieve effective supervision. According to the characteristics of the application scene， this paper puts forward a check method for wearable smart devicesof maintenance personnel based on OpenVINO platform， which can analyze and identify the dress of maintenance personnel in real time， and warn against the dress situation that does not conform to the safety code in time. In the sample training， the latest iterative YOLOv8 algorithm is used for machine learning of the existing model， which can quickly and accurately find the problems related to irregular wear in the aircraft maintenance site.

Keywords： OpenVINO; locomotive maintenance; YOLOv8; dresscheck; wearable smart device

飛機(jī)維修人員的著裝正確與否是進(jìn)入維修區(qū)域的重要前提，總結(jié)以往維修事故案例中，維修人員在維護(hù)過(guò)程受到意外傷害的原因多集中于：未按施工要求佩戴安全帽、進(jìn)入特定區(qū)域未佩戴護(hù)目鏡、未穿著反光背心等；針對(duì)可能會(huì)對(duì)人身造成潛在危害的區(qū)域，更是對(duì)機(jī)務(wù)人員的規(guī)范穿戴提出了更高的要求，比如進(jìn)入飛機(jī)油箱區(qū)域需要穿防護(hù)服裝，佩戴全面式口罩；進(jìn)入飛機(jī)電子設(shè)備艙需要佩戴防靜電手環(huán)等。傳統(tǒng)的安全監(jiān)管往往需要人工進(jìn)行現(xiàn)場(chǎng)巡檢，難以做到全面的、實(shí)時(shí)的監(jiān)督，這就造成一些維修人員在進(jìn)行作業(yè)時(shí)存在僥幸心理，從而造成重大安全事故?；谝陨锨闆r，可以發(fā)現(xiàn)機(jī)器視覺(jué)非常適合引入到飛機(jī)維修區(qū)域的安全著裝檢測(cè)中，一方面可以動(dòng)態(tài)地、實(shí)時(shí)地監(jiān)測(cè)維修人員工作過(guò)程中是否存在不規(guī)范的穿戴行為；另一方面可以減少大量的人員巡檢時(shí)間，尤其是在一些空間有限、進(jìn)入困難的機(jī)上區(qū)域，使得監(jiān)管效率大大提升，降低安全事故發(fā)生的可能。因此設(shè)計(jì)一套系統(tǒng)，通過(guò)手持式攝像頭進(jìn)行圖像的實(shí)時(shí)采集，傳遞到電腦端；通過(guò)Intel提供的OpenVINO平臺(tái)對(duì)施工現(xiàn)場(chǎng)人員異常穿戴進(jìn)行智能識(shí)別和診斷，及時(shí)予以提醒和警告。

1" 系統(tǒng)平臺(tái)的搭建

機(jī)器視覺(jué)是人工智能正在快速發(fā)展的一個(gè)分支，簡(jiǎn)單說(shuō)來(lái)，就是用機(jī)器代替人眼對(duì)具體的物體作出測(cè)量和判斷。機(jī)器視覺(jué)系統(tǒng)是通過(guò)機(jī)器視覺(jué)產(chǎn)品將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專(zhuān)用的圖像處理系統(tǒng)，得到被攝目標(biāo)的形態(tài)信息，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)換成數(shù)字化信號(hào)；圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。

由于本系統(tǒng)基于RaspberryPi平臺(tái)開(kāi)發(fā)，故視頻采集設(shè)備選擇和平臺(tái)相搭配的RaspberryPi Camera Module 3相機(jī)模塊，基于索尼IMX708 CMOS圖像傳感器，提供自動(dòng)對(duì)焦、HDR拍攝功能。Camera Module 3兼容帶CSI連接器的樹(shù)莓派主機(jī)，可滿(mǎn)足更大尺寸的CIS，更高像素、更大光圈的拍攝需求。

目前機(jī)器視覺(jué)的平臺(tái)主要有NVIDIA VisionWorks、Rekognition、OpenVINO等，基于考慮硬件成本及平臺(tái)接口操作難易，選擇OpenVINO作為計(jì)算機(jī)視覺(jué)的開(kāi)發(fā)包完成采集圖像的處理工作[1]，其對(duì)系統(tǒng)平臺(tái)的要求相比于其他計(jì)算機(jī)視覺(jué)工具包來(lái)說(shuō)較低；由于對(duì)維修現(xiàn)場(chǎng)的檢測(cè)需要一定的實(shí)效性，需要及時(shí)發(fā)現(xiàn)異常穿戴行為，因此本次選取最新版本的YOLOv8作為目標(biāo)檢測(cè)模型，為了讓算法快速高效地識(shí)別不同的穿戴物品，并能夠運(yùn)行在諸如樹(shù)莓派之類(lèi)的小型系統(tǒng)上，添加INTEL的NCS2第二代神經(jīng)棒加速樹(shù)莓派的YOLOv8進(jìn)行推理（圖1）。

圖1" NCS2加速樹(shù)莓派進(jìn)行推理

2" 基于OpenVINO的目標(biāo)檢測(cè)模型研究

2.1" YOLOv8介紹

YOLO是一種基于圖像全局信息進(jìn)行預(yù)測(cè)的目標(biāo)檢測(cè)系統(tǒng)。自2015年Joseph Redmon、Ali Farhadi等提出初代模型以來(lái)，領(lǐng)域內(nèi)的研究者已經(jīng)對(duì)YOLO進(jìn)行了多次更新迭代，模型性能越來(lái)越強(qiáng)大。相比于前幾個(gè)版本，YOLOv8模型更快、更準(zhǔn)確，同時(shí)為訓(xùn)練模型提供統(tǒng)一框架，以用來(lái)執(zhí)行目標(biāo)檢測(cè)、實(shí)例分割、圖像分類(lèi)的基本任務(wù)。

YOLOv8目標(biāo)檢測(cè)模型在兼具速度與精度的同時(shí)，模型體積輕便，適合部署到嵌入式設(shè)備。YOLOv8目標(biāo)檢測(cè)模型是基于卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的深度學(xué)習(xí)網(wǎng)絡(luò)，主要由Backbone、Neck、Head 三部分組成。Backbone結(jié)構(gòu)為跨階段局部網(wǎng)（CSPnet），由5個(gè)CSP模塊組成，共包括72層卷積核，為3×3的卷積層，用于提取特征。CSP模塊將特征劃分為2部分，再通過(guò)跨階段層次結(jié)構(gòu)將其合并，保證了準(zhǔn)確率的同時(shí)減少了計(jì)算量，將608×608×3的圖像輸入，經(jīng)過(guò)5個(gè)CSP模塊后會(huì)輸出19×19的特征圖，如圖2所示。

圖2" Backbone結(jié)構(gòu)特征圖變化過(guò)程

Neck結(jié)構(gòu)為路徑聚合網(wǎng)絡(luò)（PANET），主要用于生成特征金字塔，特征金字塔可以使模型識(shí)別不同尺度的對(duì)象，從而對(duì)同一對(duì)象進(jìn)行多尺度識(shí)別，Neck結(jié)構(gòu)在采用FPN結(jié)構(gòu)的基礎(chǔ)上添加了PAN結(jié)構(gòu)，PAN結(jié)構(gòu)使得Neck結(jié)構(gòu)的特征金字塔自底向上生成，如圖3 所示。輸出76×76特征圖深度、38×38特征圖深度、19×19特征圖深度3個(gè)特征圖，特征圖深度公式為3×（5+C），其中5由預(yù)測(cè)框的寬度、高度、中心點(diǎn)橫縱坐標(biāo)和網(wǎng)格置信度決定，C為識(shí)別類(lèi)別個(gè)數(shù)，因?yàn)樘綔y(cè)的對(duì)象只有1個(gè)類(lèi)別，所以將輸出76×76×18、38×38×18、19×19×18大小的3個(gè)特征圖。

圖3" Neck結(jié)構(gòu)特征金字塔

YOLOv8通用檢測(cè)層用于最終檢測(cè)，對(duì)被檢測(cè)到的對(duì)象進(jìn)行描框并顯示概率。YOLOv8目標(biāo)檢測(cè)模型采用GIOU_Loss作為損失函數(shù)，其公式見(jiàn)式（1），A為預(yù)測(cè)框，B為真實(shí)框， C為包含預(yù)測(cè)框A與真實(shí)框B的最小區(qū)域，IIOU為預(yù)測(cè)框A與真實(shí)框B的交并比，見(jiàn)式（2），GIOU_Loss損失函數(shù)使得預(yù)測(cè)框的描繪速度和精度一定程度的提高。

YOLOv8目標(biāo)檢測(cè)模型使用Sigmoid函數(shù)作為網(wǎng)絡(luò)的激活函數(shù)，Leaky ReLU 函數(shù)的公式見(jiàn)式（3），Sigmoid函數(shù)的公式見(jiàn)式（4），LeakyReLU函數(shù)的使用可以解決深度學(xué)習(xí)網(wǎng)絡(luò)當(dāng)中梯度消失的問(wèn)題，且可以加快收斂速度。

， （3）

2.2" YOLOv8的數(shù)據(jù)采集

在進(jìn)行訓(xùn)練之前，必須進(jìn)行服裝和佩戴物品的圖片數(shù)據(jù)采集，采集圖片的質(zhì)量會(huì)顯著地影響訓(xùn)練結(jié)果，從而導(dǎo)致最終使用時(shí)的識(shí)別速度與精度。通過(guò)實(shí)地到航空公司維修間走訪(fǎng)，獲取信息，利用手機(jī)進(jìn)行多角度不同方位對(duì)不同服裝和佩戴物拍攝采集數(shù)據(jù)，便于機(jī)器學(xué)習(xí)，數(shù)據(jù)采集的多樣化、共性化可以提高后續(xù)識(shí)別精度，所以在采集數(shù)據(jù)過(guò)程中要注意訓(xùn)練樣本的數(shù)量和品質(zhì)。

深度學(xué)習(xí)模型輸入圖片的尺寸為正方形，而數(shù)據(jù)集中的圖片一般為長(zhǎng)方形，通過(guò)resize會(huì)使得圖片失真，采用letterbox可以較好地解決這個(gè)問(wèn)題，該方法可以保持圖片的長(zhǎng)寬比例，剩下的部分采用灰色填充（圖4）。

2.3" 基于YOLOv8完成樣本模型的訓(xùn)練

YOLOv8模型訓(xùn)練可以分成以下幾個(gè)步驟。

1）獲取YOLOv8網(wǎng)絡(luò)輸出。

det=model.module.model[-1]

ifis_parallel（model）else model.model[-1]//加

載訓(xùn)練的圖片庫(kù)

2）對(duì)所有的文件數(shù)據(jù)集進(jìn)行遍歷， 對(duì)所有的圖片文件進(jìn)行解析和轉(zhuǎn)化，將其對(duì)應(yīng)的bundingbox及類(lèi)別的信息全部解析寫(xiě)到label文件中去， 最后再通過(guò)直接讀取文件，就能找到對(duì)應(yīng)的label信息。

image_ids =open（'./data/ImageSets/%s.txt' %

（image_set））.read（）.strip（）.split（）

list_file = open（txt_name， 'w'）

for image_id in image_ids：

list_file.write（'data/images/%s%s＼n' %

（image_id， style））

convert_annotation（image_id）

3）使用選擇softmax及adam優(yōu)化器計(jì)算隱層特征和真實(shí)label的差距，并更新數(shù)據(jù)。

self.fc8 = fc（dropout7， 4096，

self.NUM_CLASSES， relu=False，

name='fc8'）//最后softmax函數(shù)輸出的分類(lèi)標(biāo)簽

def predict（data， model_path，

labels_dictest_result， ， sample_num=None）： //

加載模型，對(duì)測(cè)試數(shù)據(jù)進(jìn)行分類(lèi)

2.4" OpenVINO的部署

新建一個(gè)虛擬環(huán)境，激活后安裝OpenVINO使用pip為虛擬環(huán)境導(dǎo)入所有所需庫(kù)，在此期間由于所需庫(kù)數(shù)量龐大，因此會(huì)導(dǎo)致一部分起沖突，需要找到合適的版本來(lái)導(dǎo)入，完成后配置OpenVINO中的OpenCV，而后將官方的pytorch的權(quán)重轉(zhuǎn)換為ONNX模型，再將ONNX模型轉(zhuǎn)換為IR模型，成功后，生成xml和bin文件（圖5）。

2.5" 樹(shù)莓派部署

1）拷貝IR模型到樹(shù)莓派，使用樹(shù)莓派3B板做推理工作。代碼和權(quán)重放：＼＼mxlw7svrvbx＼mxlinput＼yuzeyang＼YOLO_V5+樹(shù)莓派＼，文件夾內(nèi)有2個(gè)壓縮包，分別針對(duì)coco數(shù)據(jù)集和mooc數(shù)據(jù)集。

2）ji_RPI.py單張圖片測(cè)試推理初讀，插上加速棒，在裝有openvino2020R4的樹(shù)莓派上運(yùn)行。

3）ji2_RPI.py攝像頭推理演示程序，插上加速棒、攝像頭，在裝有OpenVINO的樹(shù)莓派上運(yùn)行。

3" 基于YOLOv8的智能著裝檢測(cè)系統(tǒng)的實(shí)現(xiàn)

本系統(tǒng)的實(shí)現(xiàn)過(guò)程如下：①建立人員著裝和佩戴物的圖片庫(kù)，將實(shí)際工作場(chǎng)景進(jìn)行分類(lèi)，分別錄入穿戴要求，目前系統(tǒng)已錄入9個(gè)常見(jiàn)的工作場(chǎng)景。②將圖像攝入系統(tǒng)置于需要檢測(cè)的區(qū)域。③使用已經(jīng)建立的樣本模型對(duì)現(xiàn)場(chǎng)人員進(jìn)行服裝和佩戴物的識(shí)別。④對(duì)發(fā)現(xiàn)的異常行為進(jìn)行警告提示，并以圖片的形式記錄在不安全施工手冊(cè)中。

3.1" 系統(tǒng)對(duì)工作區(qū)域不規(guī)范穿戴情況的識(shí)別

系統(tǒng)通過(guò)嵌入式攝像機(jī)對(duì)進(jìn)入工作區(qū)域的人員進(jìn)行服裝的識(shí)別，讀取現(xiàn)場(chǎng)區(qū)域的人員服飾信息，與已經(jīng)錄入的信息完成比對(duì)，對(duì)于異常穿戴進(jìn)行實(shí)時(shí)警告，在顯示端將異常穿戴進(jìn)行標(biāo)記。

圖6為對(duì)維修區(qū)域發(fā)現(xiàn)的不規(guī)范穿戴行為進(jìn)行識(shí)別。

3.2" 系統(tǒng)針對(duì)異常穿戴行為給予記錄

系統(tǒng)對(duì)不規(guī)范穿戴行為進(jìn)行識(shí)別，給予提醒和警告并記錄在維修施工手冊(cè)中，系統(tǒng)界面如圖7所示。

圖5" OpenVINO部署流程

圖6" 對(duì)反光背心穿戴識(shí)別

圖7" 智能穿戴檢測(cè)系統(tǒng)

4" 結(jié)論

本文利用YOLOv8算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，研究基于YOLOv8算法的智能著裝檢測(cè)系統(tǒng)，相比于傳統(tǒng)的人工巡檢方法，節(jié)省了較多的人工成本，提高了施工現(xiàn)場(chǎng)監(jiān)督的效率和實(shí)效性。此外本系統(tǒng)可以在樹(shù)莓派上用神經(jīng)棒二代進(jìn)行加速檢測(cè)，使得檢測(cè)效率大大提升，取得較為滿(mǎn)意的識(shí)別效果。

參考文獻(xiàn)：

[1] 英特爾工具包OpenVINO為創(chuàng)新智能視覺(jué)提供更多可能[J].中國(guó)信息化，2018（8）：51.

[2] 姚群力，胡顯，雷宏.深度卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)中的研究進(jìn)展[J].計(jì)算機(jī)工程與應(yīng)用，2018，54（17）：1-9.

[3] 邵欣桐，劉省賢.基于機(jī)器視覺(jué)的飛機(jī)輪胎檢查技術(shù)研究[J].科學(xué)技術(shù)創(chuàng)新，2020（35）：18-20.

[4] ENZWEILER M，GAVRILA D M. Monocular pedestrian detectionsurvey andexperiments[J].IEEE TPAMI，2009，31（12）：2179-2195.

[5] 閔鵬升.基于圖像識(shí)別的課堂效率監(jiān)測(cè)技術(shù)設(shè)想[J].中國(guó)新通信，2019（18）：180-181.

[6] 董進(jìn)華，鄭力新.基于OpenVINO加速CNN分類(lèi)[J].科技視界，2019（29）：78-79.