朱桂瑩? 許菁茹? 孔佳怡? 李梓銳

摘? 要：設(shè)計了基于圖像的井下人員安全防護檢測系統(tǒng)，基于礦井內(nèi)攝像頭采集到的圖像，通過多種圖像增強算法進行預(yù)處理，并利用輕量級神經(jīng)網(wǎng)絡(luò)YOLOv5檢測采集到的圖像中作業(yè)人員是否佩戴口罩和安全帽等裝備，最后把結(jié)果展示在監(jiān)管系統(tǒng)上。通過實時展現(xiàn)檢測結(jié)果并對違規(guī)現(xiàn)象進行報警，該系統(tǒng)可以實現(xiàn)礦井下對人員裝備佩戴情況的半自動監(jiān)管，從而提高井下作業(yè)的安全性的同時降低成本。

關(guān)鍵詞：YOLOv5；Retinex；圖像增強；礦井；安全防護；圖像識別

中圖分類號：TP391.4? 文獻標識碼：A? 文章編號：2096-4706（2023）24-0121-05

Design of Safety Protection Detection System for Underground Personnel Based on Images

HUANG Haocheng， ZHU Guiying， XU Jingru， KONG Jiayi， LI Zirui

（China University of Mining and Technology-Beijing， Beijing? 100083， China）

Abstract： This paper designs a safety protection detection system for underground personnel based on images. Based on the images captured by cameras in the mines， it preprocesses by various image enhancement algorithms， and uses the lightweight neural network YOLOv5 to detect whether the operators wear masks and safety hats in the captured images， finally displays the results on the regulatory system. By displaying detection results in real-time and alarm to the violations， the system can achieve semi-automatic supervision of personnel equipment wearing situation under the mine， so as to enhance the safety of underground operations while reducing cost.

Keywords： YOLOv5; Retinex; image enhancement; mine; safety protection; image identification

0? 引? 言

我國是一個煤炭儲量豐富的國家，其中的90%左右都是在井下開采中獲得。井下地形環(huán)境復(fù)雜，通風條件較差，常見的危險有生產(chǎn)性粉塵和大量碎石。前者長期吸入會使井下人員患上呼吸系統(tǒng)疾??；后者會帶來高空物體墜落傷害。因此，為了保障井下人員的安全，必須對佩戴安全帽和防塵口罩等防護用品進行檢測與監(jiān)督，以避免潛在的安全隱患。目前井下對于佩戴防護用具的監(jiān)控一般是基于紅外傳感的監(jiān)控系統(tǒng)，存在著需要人工判識、不能實現(xiàn)監(jiān)控無死角以及會被其他熱源干擾等不足[1]。為了提高礦井管理質(zhì)量，可以利用計算機圖像處理技術(shù)進行自動化檢測管理[2]。相比于霧霾環(huán)境，目前國內(nèi)外在其他惡劣環(huán)境下的圖像清晰化算法研究成果較少，而對于粉塵環(huán)境圖像，對其清晰化處理以提高識別效果是井下識別需要解決的問題[3]。目前在圖像處理方面常用的方法是圖像增強，可以通過灰度變換增強、直方圖均衡化和Retinex理論等方法來實現(xiàn)。針對粉塵環(huán)境圖像處理與實時監(jiān)測結(jié)果展示的需求，對采集的粉塵環(huán)境下的圖像進行處理并識別，選擇輕量級神經(jīng)網(wǎng)絡(luò)YOLOv5實時監(jiān)測井下人員的違規(guī)佩戴行為，將作為本系統(tǒng)的設(shè)計思路。

1? 系統(tǒng)總體設(shè)計方案

井下人員安全防護檢測系統(tǒng)以光學圖像技術(shù)為基礎(chǔ)，通過圖像增強技術(shù)，使監(jiān)管人員能直接通過井下圖像對作業(yè)人員實時監(jiān)測，并借助深度神經(jīng)網(wǎng)絡(luò)進行輔助識別。其框架如圖1所示。圖像采集系統(tǒng)主要由嵌入式系統(tǒng)組成，負責采集圖像源并將其傳給圖像處理系統(tǒng)；圖像處理系統(tǒng)由圖像識別和圖像預(yù)處理兩個模塊組成，二者根據(jù)監(jiān)管系統(tǒng)中監(jiān)測員給出的方法和參數(shù)，處理和識別圖像源中的人員佩戴裝備信息，若識別到違規(guī)佩戴現(xiàn)象則向監(jiān)管系統(tǒng)發(fā)出報警信號。

由此可見，圖像處理系統(tǒng)是整個系統(tǒng)的核心組件，實現(xiàn)圖像識別模塊和圖像預(yù)處理模塊是實現(xiàn)系統(tǒng)的關(guān)鍵。

2? 圖像預(yù)處理

2.1? 礦井下圖像特點

礦井下環(huán)境錯綜復(fù)雜[4]，光照條件因位置不同而不同。直接由光學鏡頭采集的圖片往往存在以下問題：

1）照明不均。礦井下主要采用的是礦燈照明。這種照明會使得照明區(qū)域較為明亮而周圍未照明區(qū)域亮度極低。由于相機動態(tài)范圍有限，極易導(dǎo)致圖像產(chǎn)生過曝現(xiàn)象或陰影細節(jié)丟失，從而損失大量有效信息。

2）粉塵影響。礦井作業(yè)環(huán)境相對含有較多的粉塵顆粒物，這些顆粒物會將對物體反射光產(chǎn)生反射和折射作用，進而導(dǎo)致采集圖像中物體的模糊現(xiàn)象。

3）光暈現(xiàn)象。過強的光線會導(dǎo)致產(chǎn)生光暈現(xiàn)象，進而丟失光暈部分的細節(jié)。

4）色域較窄。井下環(huán)境總體而言較為黑暗，難以區(qū)分顏色之間的差別。

2.2? 需求分析

礦井下圖像處理存在諸多困難，針對該問題，設(shè)計的系統(tǒng)應(yīng)滿足如下需求：

1）存在多樣的預(yù)處理方式。不同的預(yù)處理方式有處理速度快慢、效果好壞、適用范圍等區(qū)別，需要用戶針對對應(yīng)的場景在可視化界面方便地切換。

2）方法參數(shù)設(shè)置。圖像增強算法需要針對具體場景調(diào)整參數(shù)以獲得最好的觀感，這要求提供的可視化界面能夠較為方便地調(diào)整方法參數(shù)。

2.3? 系統(tǒng)設(shè)計

基于上述分析，預(yù)處理系統(tǒng)設(shè)計如圖2所示。在數(shù)據(jù)流傳入圖像處理系統(tǒng)后，圖像預(yù)處理模塊首先根據(jù)監(jiān)測員提供的參數(shù)開始處理信息。模塊首先調(diào)用Request類創(chuàng)建實例，通過傳入數(shù)據(jù)流文件位置，方法和參數(shù)從基類Preprocess里選擇子類進行應(yīng)答，將處理好的圖像傳向圖像識別模塊。

模塊設(shè)計上采用了樹狀繼承的類關(guān)系，結(jié)構(gòu)簡潔的同時兼顧了模塊可持續(xù)開發(fā)的特點。用戶可在模塊下繼承其他類進一步完善或自定義需要的方法和類，有利于貼合實際場景。

現(xiàn)今模塊支持的預(yù)處理方法主要有：直方圖均衡化，自適應(yīng)直方圖均衡化，灰度變換增強和基于Retinex理論的單尺度和多尺度算法。

2.3.1? 直方圖均衡化

直方圖均衡化是一種用于圖像處理的技術(shù)，旨在通過拉伸圖像的灰度級分布以提高對比度和可視性。直方圖均衡化是一個經(jīng)典的圖像增強算法，無須傳入任何參數(shù)，運算速度快且算法簡單，在該系統(tǒng)中主要用于需要較高幀率的實時監(jiān)測時使用。但增強圖像的灰度級會減少，因為相似概率的灰度級在均衡化后可能會被合并為同一級別。此外，當輸入圖像的直方圖存在密集部分時，增強后的圖像對比度可能會過度增強。

2.3.2? 自適應(yīng)直方圖均衡化

自適應(yīng)直方圖均衡化算法與普通直方圖均衡算法的不同之處在于，它通過計算圖像局部直方圖并重新分布亮度來改變對比度[5]，由于礦井下光照條件較差，該方法適用于改善局部對比度和提高圖像細節(jié)。自適應(yīng)直方圖均衡化算法存在過度放大相同區(qū)域噪音的問題。

該方法的參數(shù)是領(lǐng)域大小，小領(lǐng)域可增強對比度，大領(lǐng)域則降低對比度。

2.3.3? 線性縮放灰度變換增強

灰度變換增強是指通過對圖像的像素值進行轉(zhuǎn)換，以改善礦井內(nèi)圖像光照條件差的情況，可以用于提高圖像的對比度、亮度、色彩飽和度等方面。本方法將單通道圖像中每個像素的灰度級從一個范圍映射到另一個范圍，這種映射可以是線性或非線性的。本系統(tǒng)使用的方法是最簡單的灰度變換，是一種線性縮放，將原始圖像中的像素值按比例縮放到一定的范圍內(nèi)，該范圍可以由監(jiān)測者調(diào)節(jié)，以便達到更高的識別率。

2.3.4? 單尺度Retinex

SSR（Single Scale Retinex）算法是一種基于光學理論Retinex的圖像增強算法。理論推測，觀測者接收到的圖像可以分解為入射光和物體反射率。三者有以下關(guān)系：

由上式可知，若能得到物體反射率，即可準確復(fù)原物體本身的反射情況，即還原物體本身的顏色。Retinex理論提出者認為，可以用觀測者接收到的圖像和一個高斯核的卷積來近似估計[6]。因此，可通過輸入圖像和卷積核大小，即可得到物體本身的圖像。該算法適合去除圖像中的霧氣或塵土，在提取特征方面也有獨特優(yōu)勢。

2.3.5? 多尺度Retinex

由于不同圖像的特征尺度各不相同，以及同一圖像內(nèi)局部與局部之間的特征差異，不同的特征尺度可以得到不同的照度估計。因此，MSR（Multi Scales Retinex）算法將使用不同特征尺度得到的圖像進行加權(quán)平均后輸出，即可得到一張更加符合實際物體本身的圖像[7]。該算法對去霧場景有較好的增強效果。

3? 基于YOLOv5的圖像識別

3.1? YOLOv5卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型

YOLO是目前流行的目標檢測模型之一，該模型采用預(yù)定義預(yù)測區(qū)域的方法來完成目標檢測。YOLO網(wǎng)絡(luò)將輸入的圖片劃分成大小為32×32的網(wǎng)格，安全帽和口罩的中心位置落入某個網(wǎng)格中，則由該網(wǎng)格負責檢測目標。相比其他算法，YOLO的多尺度預(yù)測算法能夠更有效地檢測目標。

本文是基于YOLOv5卷積神經(jīng)網(wǎng)絡(luò)的框架模型，對礦井畫面中的安全帽及口罩進行分析檢測。從YOLOv5的性能和精度兩個方面考慮，相對于YOLOv4做了以下四個方面的優(yōu)化：1）在輸入端采用Mosaic的數(shù)據(jù)增強方式，對4張圖片進行隨機縮放、剪裁、排布的操作，增強數(shù)據(jù)集的多樣性，提高識別小目標的能力。2）在基準網(wǎng)絡(luò)中采用CSPnet結(jié)構(gòu)和Focus結(jié)構(gòu)相結(jié)合的機制，增強CNN的學習能力。3）在Neck網(wǎng)絡(luò)中采用FPN結(jié)構(gòu)以及PAN結(jié)構(gòu)，可以進一步提升特征的多樣性及魯棒性，在目標檢測過程中起到輔助作用。4）在輸出層采用CIOU_Loss做邊框的損失函數(shù)，進一步提升算法的檢測精度[8]。

YOLOv5卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

3.2? 實驗流程及結(jié)果分析

3.2.1? 訓(xùn)練環(huán)境及數(shù)據(jù)集

本次實驗是基于PyTorch 1.8.0框架，環(huán)境為Python

3.8，CUDA版本為11.8，GPU為GeForce RTX 3050 Ti，操作系統(tǒng)環(huán)境為Windows 10。

本文收集了5 188張安全帽佩戴圖像和6 480張口罩佩戴圖像作為深度學習的數(shù)據(jù)集。收集的數(shù)據(jù)集中包含了多角度、多環(huán)境、多對象，具有不同遮擋程度的圖像。并使用LabelImg對圖像進行數(shù)據(jù)標注，如圖4所示。將整個數(shù)據(jù)集按訓(xùn)練集、驗證集、測試集按照0.7：0.2：0.1的比例進行隨機劃分，數(shù)據(jù)集劃分如表1所示。

由于直接進入礦井下拍攝施工人員佩戴安全帽及口罩的圖片存在極大困難，導(dǎo)致我們不易獲取礦井下的數(shù)據(jù)集。真實礦井下環(huán)境惡劣、光線昏暗，并存在大量粉塵漂浮，所以本文對數(shù)據(jù)集進行人工加噪處理來初步還原礦井下惡劣環(huán)境，進而評估YOLOv5訓(xùn)練模型的可行性。

高斯噪聲可以表示礦井下粉塵漂浮導(dǎo)致圖片清晰度較低的現(xiàn)象，在訓(xùn)練期間將高斯噪聲添加到原始數(shù)據(jù)集中可以驅(qū)使模型學習對輸入數(shù)據(jù)集中的輕微改變具有魯棒性的特征，因此當測試圖像與訓(xùn)練數(shù)據(jù)有所不同時，YOLOv5模型也能正確識別出待檢測目標。所以本文選用高斯噪聲對數(shù)據(jù)集進行人工加噪處理，下面分別對高斯噪聲的兩個重要參數(shù)進行分析。

從高斯噪聲的強度考慮，強度越大，加噪過后的數(shù)據(jù)集分辨率越低。本文分別對數(shù)據(jù)集加入10%、20%、30%、40%的高斯噪聲后發(fā)現(xiàn)加入10%高斯噪聲的圖片相對于原始圖片變化微弱，且30%、40%高斯噪聲的圖片失真較為嚴重，均無法準確模擬井下真實環(huán)境，而20%的高斯噪聲模擬井下真實環(huán)境的效果最優(yōu)。

從高斯噪聲的方差角度考慮，方差值越大，高斯噪聲的取值越分散。選取方差值為0.001和0.01的高斯噪聲，對比結(jié)果后可知方差為0.01的高斯噪聲信號波動程度較低，數(shù)據(jù)集的加噪結(jié)果變化較小，因此選用方差為0.01的高斯噪聲。

綜上本文選取方差為0.01的20%高斯噪聲對安全帽數(shù)據(jù)集和口罩數(shù)據(jù)集進行人工加噪處理，如圖5所示。

3.2.3? 模型訓(xùn)練及測試

本文選用YOLOv5中的YOLOv5s作為基礎(chǔ)模型，YOLOv5s檢測結(jié)果準確率高、體積小，且保持了YOLO系列算法檢測速度快的特性，十分適用于礦井下安全帽和口罩的檢測。本文通過設(shè)置批次大小、迭代次數(shù)等配置參數(shù)，使得YOLOv5s網(wǎng)絡(luò)對模型進行有效訓(xùn)練。部分重要參數(shù)設(shè)定如表2所示。

3.2.4? 實驗結(jié)果

通過上述實驗過程，YOLOv5算法對原始數(shù)據(jù)集以及加噪數(shù)據(jù)集進行訓(xùn)練后，得到了較好的圖片檢測結(jié)果，具體識別圖像如圖6所示。

根據(jù)圖6可見本實驗中對于簡單環(huán)境下的多目標圖像具有優(yōu)秀的識別效果，識別精度處于較高水平。根據(jù)圖7可見本實驗中對于加噪的多目標圖像具有較好的識別效果，但識別精度稍低。

3.2.5? 實驗分析

精確YOLOv5目標檢測模型評估主要依賴于兩個性能指標：平均準確率AP和平均精度均值mAP。AP是評估某一個類別檢測效果好壞的標準，其根據(jù)不同的置信度和IoU閾值，可以得到相應(yīng)的準確率和召回率，進而通過計算P-R曲線下的面積得出AP值，AP值越接近于1，分類器性能越好。mAP指標用于評價多標簽圖像分類任務(wù)，mAP值越高，表示該目標檢測模型在所用數(shù)據(jù)集上的檢測效果越好。該指標的計算使用精確度和召回率的概念[9]。用公式表示如下：

由表3可以得出，YOLOv5在加入20%高斯噪聲后的安全帽檢測任務(wù)中精確度、召回率、mAP@50依次下降1%、0.2%、0.1%；口罩檢測任務(wù)中精確度、召回率、mAP@50依次下降1%、0.2%、0.2%。可見YOLOv5在加噪處理后的檢測任務(wù)中雖然精度、召回率和mAP@50都有所下降，但該模型仍具有良好的識別精度。本文所研究的安全帽和口罩佩戴檢測方法，能夠較好地滿足礦井下的檢測需求，在多目標以及存在干擾項的復(fù)雜環(huán)境下，均能夠進行有效識別[10]。

4? 結(jié)? 論

針對礦井下人員監(jiān)管問題，本文設(shè)計了一套基于圖像的井下人員安全防護檢測系統(tǒng)。該系統(tǒng)包含預(yù)處理模塊和識別模塊，能夠提高圖片清晰度并較為準確地識別出人員佩戴裝備信息，通過與監(jiān)控系統(tǒng)結(jié)合，可以實現(xiàn)有效的安全監(jiān)管，并降低監(jiān)管成本。盡管該系統(tǒng)提供了多種圖像預(yù)處理方式，但仍需要監(jiān)管人員具備一定經(jīng)驗調(diào)整方法參數(shù)以獲得更好的效果。由于更加合適的圖像去霧算法不斷涌現(xiàn)，未來還有較大改進空間，例如增加適應(yīng)性更強的預(yù)處理算法，以更好地服務(wù)于礦工的安全和生產(chǎn)。

參考文獻：

[1] 游青山，冉霞.基于機器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng) [J].自動化與信息工程，2021，42（4）：20-24.

[2] 楊鵬飛，宋春林.基于智能圖像處理的礦井監(jiān)測系統(tǒng) [J].信息技術(shù)與信息化，2017（10）：38-43.

[3] 劉翰林.基于改進室內(nèi)圖像復(fù)原算法的智能降塵系統(tǒng) [D].阜新：遼寧工程技術(shù)大學，2022.

[4] 劉曉陽，喬通，喬智.基于雙邊濾波和Retinex算法的礦井圖像增強方法 [J].工礦自動化，2017，43（2）：49-54.

[5] 呂侃徽，張大興.基于自適應(yīng)直方圖均衡化耦合拉普拉斯變換的紅外圖像增強算法 [J].光學技術(shù)，2021，47（6）：747-753.

[6] LAND E H.The Retinex Theory of Color Vision [J].Scientific American，1977，237：108-128.

[7] 吳海麗.基于多尺度Retinex的受云霧影響可見光圖像增強研究 [J].激光雜志，2023，44（4）：185-189.

[8] 李自強，任磊，劉莉，等.基于YOLOv5算法的施工現(xiàn)場不安全狀態(tài)智能檢測 [J].土木建筑工程信息技術(shù)，2023，15（3）：20-26.

[9] 張又元，楊桂芹，刁廣超，等.改進YOLOv5適應(yīng)安全帽佩戴與口罩佩戴檢測應(yīng)用的算法 [J/OL].Journal of Measurement Science and Instrumentation：1-13（2023-03-02）.http：//kns.cnki.net/kcms/detail/14.1357.TH.20230301.1358.002.html.

[10] 石永恒，楊超宇.基于深度學習的礦井下作業(yè)人員安全帽佩戴檢測 [J].綏化學院學報，2021，41（9）：148-152.

作者簡介：黃浩誠（2002—），男，漢族，江西贛州人，本科在讀，研究方向：信息工程；朱桂瑩（2002—），女，漢族，黑龍江哈爾濱人，本科在讀，研究方向：信息工程；許菁茹（2003—）女，漢族，湖北武漢人，本科在讀，研究方向：信息工程；孔佳怡（2002—），女，漢族，河南南陽人，本科在讀，研究方向：信息工程；李梓銳（2002—），男，漢族，安徽淮北人，本科在讀，研究方向：信息工程。