李曉宇，陳 偉,2，楊 維，王文清，范偉強，田子建

(1.中國礦業(yè)大學(xué)(北京) 機電與信息工程學(xué)院，北京 100083; 2.中國礦業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221116; 3.北京交通大學(xué) 電子信息工程學(xué)院，北京 100044; 4.北京工業(yè)職業(yè)技術(shù)學(xué)院，北京 100042)

近年，我國對煤礦安全生產(chǎn)監(jiān)管力度的不斷增強，為了從根源遏制煤礦災(zāi)害事故的發(fā)生，安全監(jiān)控系統(tǒng)的配備已成為煤礦安全生產(chǎn)[1]中必不可少的一項工作。礦井視頻監(jiān)控中圖像[2]信息的分析與處理是實現(xiàn)井下人員智能化管理、檢測識別[3-4]、定位跟蹤[5-6]的關(guān)鍵技術(shù)，對于煤礦的高效生產(chǎn)以及煤炭工業(yè)的可持續(xù)發(fā)展具有重要意義[7]。人員圖像分割是計算機視覺在礦井智能監(jiān)控應(yīng)用中的一項核心內(nèi)容，對視頻圖像中人員目標(biāo)的行為分析與狀態(tài)預(yù)測奠定了研究基礎(chǔ)，同時也是礦井人員圖像處理中的難題之一。

煤礦井下環(huán)境特殊，受粉塵干擾[8]、噪聲大、光照條件差等多種惡劣條件影響，使得所采集人員視頻圖像存在照度不均勻[9-10]、顏色信息失真、陰影分布隨機、目標(biāo)與背景邊界難以區(qū)分等缺陷，這直接增加了人員目標(biāo)分割難度，更不利于人員檢測識別與定位跟蹤等技術(shù)的應(yīng)用。安全帽是礦井工作人員必須佩戴的重要安全防護(hù)設(shè)備，是保障人員安全作業(yè)的必要條件[11]，安全帽的存在代表著人員的存在。安全帽分割可促進(jìn)基于計算機視覺的礦井人員調(diào)度管理、目標(biāo)檢測識別及其位置信息預(yù)測等相關(guān)技術(shù)的應(yīng)用，可提高對人員作業(yè)區(qū)域的管控效率，同時也可有效降低分割人員全身的復(fù)雜度[12]，壓縮算法對人員圖像的數(shù)據(jù)處理量。

人員安全帽圖像分割是根據(jù)井下人員圖像的顏色、紋理、輪廓形狀特征將人員圖像中的像素分類為安全帽與背景2個相互獨立的像素子區(qū)域，同一子區(qū)域內(nèi)的像素具有相似的圖像特征，不同子區(qū)域內(nèi)像素的圖像特征具有較大差異，從而將感興趣的安全帽像素區(qū)域從人員圖像中分離出來。自20世紀(jì)70年代起，圖像分割就開始吸引了越來越多學(xué)者的研究，至今為止產(chǎn)生的分割方法主要有基于圖像灰度特征的閾值法[13]、像素點區(qū)域生長法[14]、邊緣檢測法[15]、基于圖論的圖割法[16]、深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)法[17]等幾大類。閾值法的關(guān)鍵在于灰度閾值的合理選取，適合處理目標(biāo)與背景灰度界別分明的圖像;區(qū)域生長法對缺乏先驗信息的圖像分割效果較為理想，但易導(dǎo)致過度分割;邊緣檢測法容易出現(xiàn)邊界輪廓線間斷，圖像區(qū)域結(jié)構(gòu)性差;圖割法需要用戶在圖像分割過程中指定目標(biāo)與背景，不適合自動分割;深度神經(jīng)網(wǎng)絡(luò)分割法需要輸入的數(shù)據(jù)量大，處理時間較長且對計算機硬件要求較高。上述方法雖已成熟應(yīng)用于各類場景的圖像分割問題，但每種方法都有其各自的應(yīng)用特點，在礦井視頻圖像處理方面的結(jié)果難以滿足實際需求。

超像素分割方法[18-20]彌補了以上方法均未考慮像素間空間結(jié)構(gòu)聯(lián)系的不足，它將目標(biāo)圖像劃分為顏色、紋理及亮度特征相近的不規(guī)則超像素塊，即用少量的超像素表示圖像中大量的像素特征。其中，簡單線性迭代聚類(Simple Linear Iterative Clustering,SLIC)模型[21-22]生成的超像素緊湊整齊、大小均勻，對目標(biāo)邊界具有較好的貼合效果，在各種隨機復(fù)雜場景的分割中表現(xiàn)出良好的魯棒性和適應(yīng)性。支持向量機(Support Vector Machines,SVM)作為一種具有良好分類學(xué)習(xí)性能的分類器[23]，在有關(guān)圖像語義分割的像素分類應(yīng)用中展現(xiàn)出了一定優(yōu)勢[24-26]。因此，筆者將SLIC超像素?；cSVM分類超像素相結(jié)合的方法應(yīng)用于礦井人員圖像安全帽分割中，采用SLIC模型將人員圖像像素點聚類為具有相似圖像特征的超像素，提取超像素的顏色、紋理特征訓(xùn)練SVM分類器并用于對測試樣本進(jìn)行分類預(yù)測，通過安全帽輪廓模型幾何特性修正SVM誤分類的正樣本超像素，檢測修正后的正樣本超像素中是否包含欠分割樣本，如有則通過安全帽正樣本區(qū)域邊界掩模與Prewitt算子所獲取的輪廓線差集對欠分割樣本進(jìn)行二級像素分割，將其中的安全帽像素部分分離出來，從而實現(xiàn)安全帽的完整分割。

1 人員圖像超像素粒化

人員圖像超像素?；痆12]是由SLIC模型將整幅人員圖像分解為一定數(shù)量的像素點集合，每個集合可視為一個內(nèi)部像素點具有相似性圖像特性的超像素。因此，通過這種改變?nèi)藛T圖像表示形式的方法可以突出圖像的內(nèi)部像素特征，使得人員圖像便于理解和分析，為后期研究超像素之間的特征聯(lián)系和空間結(jié)構(gòu)關(guān)系，以及在SVM分類中的應(yīng)用奠定基礎(chǔ)。

SLIC模型是RADHAKRISHNA等[21]于2010年提出的算法。SLIC模型首先將人員圖像由RGB空間轉(zhuǎn)化到CIELab顏色空間獲取其三維顏色分量L，a，b，結(jié)合像素點二維坐標(biāo)x，y可得到每個像素點的五維特征向量V=[L,a,b,x,y]，然后通過向量V計算像素點之間的顏色距離相似度，從而對人員圖像像素點進(jìn)行局部聚類，得到人員圖像的超像素粒化結(jié)果。SLIC對人員圖像的粒化效果與其輸入的預(yù)分割超像素數(shù)量N密切相關(guān)，N值的大小變化直接關(guān)系人員圖像的?；Y(jié)果。本節(jié)以圖1為例對最佳N值的選取方法展開分析論述，為使所選取的N值具有全局代表性，隨機選取實驗采集圖像總量的1/3作為求解最優(yōu)N值的測試樣本。方法步驟如下:

(1)選取樣本圖像并備份，用ImageLabeler工具對備份人員圖像中的安全帽區(qū)域進(jìn)行像素級標(biāo)注，同時記錄標(biāo)注圖像中安全帽區(qū)域的像素點位置l，如圖1所示。

(2)在一定范圍內(nèi)輸入不同的N值對原樣本圖像進(jìn)行SLIC超像素?；瑢?yīng)的?；Y(jié)果如圖2所示。

圖1 人員圖像安全帽像素區(qū)域標(biāo)注Fig.1 Labeling of safety helmet pixels region in personnel image

圖2 SLIC?；藛T圖像Fig.2 SLIC granulates the personnel image

(3)提取樣本圖像中各超像素的像素點位置l′N，與(1)中對應(yīng)的l求交集運算IN=l∩l′N。定義IN中全部像素點均屬于l的超像素為安全帽超像素，IN中全部像素點均不屬于l的超像素為背景超像素。

(4)統(tǒng)計不同N值下的安全帽超像素數(shù)量n，定義n與N的比值為安全帽超像素?；瘻?zhǔn)確率r，對應(yīng)計算結(jié)果如圖3所示。圖3中,r整體上隨N值的增加而上升，但上升到較高值的局部區(qū)間內(nèi)N值增大r反而降低或保持不變，如當(dāng)N=180和N=190時，r均達(dá)到最高值0.95，因此，兼顧SLIC的計算代價選擇較小N值所對應(yīng)的最高r為最佳N值。

圖3 不同N值下的安全帽超像素?；瘻?zhǔn)確率Fig.3 Superpixel granulation accuracy of the safety helmet with different N values

(5)記錄樣本圖像的分辨率大小與其對應(yīng)的最佳N值。

2 超像素特征提取

筆者采用SVM分類器將人員圖像超像素分為安全帽與非安全帽2個類別。SVM是一種以監(jiān)督學(xué)習(xí)方式對數(shù)據(jù)進(jìn)行二元分類的分類器模型，因此需要事先準(zhǔn)備訓(xùn)練數(shù)據(jù)。本節(jié)主要提取人員圖像超像素的顏色、紋理特征以及安全帽輪廓幾何特征，其中顏色特征與紋理特征用于訓(xùn)練SVM分類器，安全帽輪廓幾何特征的研究對象為全部正樣本超像素構(gòu)成的正樣本區(qū)域輪廓，用作之后修正SVM錯分類正樣本的依據(jù)。

2.1 顏色特征

顏色特征是圖像分割應(yīng)用中最為廣泛直觀的一種視覺特征，它與圖像中不同類型的目標(biāo)和場景密切相關(guān)，可在不受圖像自身屬性的影響下區(qū)別具有不同語義信息的像素區(qū)域，因此在分割過程中具有較強的魯棒性。常用的顏色空間模型主要有RGB，YCbCr，HSV，CIELab，CMYK，HSI等，每種模型都有適合其自身模型特點的適用背景。結(jié)合本文中井下人員圖像的實際特點與安全帽分割任務(wù)的顏色特征需求，選取RGB，YCbCr，HSV，CIELab四種模型描述人員安全帽圖像的顏色特征。RGB顏色模型利用R，G，B三個分量顏色通道的變化以及3者相互疊加的方式獲取到各式各樣的顏色，R，G，B分別代表紅、綠、藍(lán)3個通道的顏色，RGB標(biāo)準(zhǔn)基本包括了人類視覺所能感知的所有顏色，是目前運用最為廣泛的顏色模型之一;YCbCr顏色模型中Y代表顏色亮度成分，Cb和Cr分別為藍(lán)色和紅色的濃度偏移量成分，即Cb描述了RGB中藍(lán)色分量與RGB信號亮度值之間的差異，Cr描述了RGB中紅色分量與RGB信號亮度值之間的差異;HSV顏色模型中H為由角度度量的色調(diào)，對應(yīng)取值為0°～360°，S為飽和度，對應(yīng)取值為0～100%，其值越大則說明顏色飽和程度越高，V為顏色明亮程度，對應(yīng)取值為0～100%;CIELab顏色模型中L為亮度，a，b分別為2個不同的顏色通道，其顏色混合后將產(chǎn)生具有明亮效果的色彩。

因此，人員圖像超像素在4種顏色模型下的特征分量可組成一個12維的顏色特征數(shù)組VC，即

VC=[R,G,B,Y,Cb,Cr,H,S,V,L,a,b]

(1)

2.2 紋理特征

紋理是描述圖像同質(zhì)像素區(qū)域表面變化現(xiàn)象的一種視覺特征，它表現(xiàn)為像素點及其鄰域空間內(nèi)像素點的灰度分布，具有局部性特點，局部紋理特征以不同形式重復(fù)出現(xiàn)的情況即為全局紋理特征。由于井下人員安全帽與人員皮膚、工作服、環(huán)境背景等像素區(qū)域具有明顯的紋理差異，因此利用紋理特征區(qū)別安全帽與非安全帽超像素是一種有效的分割方法。常規(guī)的紋理特征描述方法主要有統(tǒng)計法、幾何法、模型法、信號處理法及結(jié)構(gòu)分析法等，利用灰度直方圖的矩表達(dá)圖像紋理信息[27]是基于統(tǒng)計模型的代表性方法，簡單易實現(xiàn)，對不同的圖像具有較強的適應(yīng)性。超像素直方圖反映了人員圖像超像素中像素灰度值在各灰度級上所出現(xiàn)的頻率，通過研究超像素中像素灰度分布均值的多階矩來描述超像素的紋理特征，具體由灰度值的分散度(Dispersion)、方差(Variance)、偏度(Deviation)、峰度(Kurtosis)4個屬性來表現(xiàn)。設(shè)k表示像素灰度值，x表示灰度級，f(k)表示超像素對應(yīng)的灰度直方圖函數(shù)，k的均值M的計算公式為

(2)

分散度Di為M的一階矩，計算公式為

(3)

方差Va為M的二階矩，計算公式為

(4)

偏度De為M的三階矩，計算公式為

(5)

峰度Ku為M的四階矩，計算公式為

(6)

2.3 輪廓特征

安全帽嚴(yán)格按照國家標(biāo)準(zhǔn)GB 2811—2019[28]進(jìn)行生產(chǎn)，是礦井人員圖像中最具顯著性特征的像素區(qū)域，除具有特定的顏色種類之外還有固定的輪廓特征。安全帽中帽殼部分是本節(jié)分析安全帽形態(tài)特征的主要研究對象。圖4為不同角度下所采集的部分安全帽圖像，由圖4可知，除帽沿和帽舌以外的安全帽主體部分呈現(xiàn)類似半球狀的形態(tài)，外部輪廓基本由閉合曲線構(gòu)成，其幾何特征較為突出。因此本節(jié)對安全帽二維輪廓幾何特征進(jìn)行建模分析。

對安全帽輪廓進(jìn)行提取(圖5)，圖5(c)為根據(jù)標(biāo)記像素區(qū)域提取安全帽輪廓。

圖4 不同角度下的安全帽輪廓形態(tài)Fig.4 Contour shape of the safety helmet at different angles

圖5 安全帽輪廓提取Fig.5 Safety helmet contour extraction

圖6 安全帽輪廓模型Fig.6 Model of safety helmet contour

對于相鄰安全帽之間有部分遮擋的情況，多個安全帽輪廓相交后必定會出現(xiàn)輪廓線交點，交點兩側(cè)的輪廓線為無遮擋情況下完整輪廓的一部分。因此，只要由遮擋所產(chǎn)生安全帽輪廓交點兩側(cè)的形態(tài)特征符合上述無遮擋情況下形態(tài)特征的一部分，則可作為判定有遮擋情況下安全帽幾何輪廓特征的條件。

綜上所述，C上必然存在Tp與Mp兩種點類型，可能存在最多兩個“凸起”，且位于Tp，Mp與“凸起”區(qū)間內(nèi)的曲線段Cj(j=1,2,…,n，n為C上位于任意兩點之間曲線段的數(shù)量)的斜率絕對值|kCj|在安全帽圖像水平X或垂直Y方向上單調(diào)變化，因此，單調(diào)區(qū)間內(nèi)P點的像素坐標(biāo)x，y在XY平面上具有一致的移動方向。

不同于以上顏色與紋理特征，安全帽輪廓幾何特性的研究對象是安全帽超像素聯(lián)合組成的安全帽超像素集S，即所有安全帽超像素相互融合生成的安全帽區(qū)域輪廓。

3 SVM分類超像素

3.1 SVM分類器訓(xùn)練及預(yù)測分類

SVM作為一種以監(jiān)督型學(xué)習(xí)方式對樣本數(shù)據(jù)進(jìn)行分類學(xué)習(xí)的分類器，需要預(yù)先輸入訓(xùn)練樣本變量類型及其觀測值訓(xùn)練SVM。實驗從數(shù)據(jù)集剩余的2/3幅人員圖像中再次隨機抽取1/3作為SVM的訓(xùn)練數(shù)據(jù)集，根據(jù)第1節(jié)算法從中選擇最接近訓(xùn)練數(shù)據(jù)集圖像分辨率所對應(yīng)的最佳N值，輸入SLIC模型對訓(xùn)練數(shù)據(jù)集進(jìn)行超像素粒化。圖7為粒化后的部分安全帽正樣本與背景負(fù)樣本示意圖，選取安全帽正樣本超像素496個，背景負(fù)樣本超像素1 828個，根據(jù)2.2節(jié)中對超像素特征提取的分析，選擇超像素顏色與紋理共16個特征分量組成V′參與SVM訓(xùn)練，定義為

V′=[R,G,B,Y,Cb,Cr,H,S,V,L,a,b,Di,Va,De,Ku]

(7)

圖7 部分SVM訓(xùn)練樣本Fig.7 Part of SVM training samples

設(shè)置安全帽正樣本超像素標(biāo)簽為“1”，背景負(fù)樣本超像素標(biāo)簽為“0”。采用交叉驗證方式評估SVM對測試樣本分類準(zhǔn)確率的預(yù)測能力，通過計算SVM的錯誤預(yù)測損失值classLoss評估其分類準(zhǔn)確率，一定數(shù)值的classLoss說明了該SVM分類器對未知測試樣本的錯誤預(yù)測概率。本節(jié)中所訓(xùn)練SVM的classLoss=0.277 1，顯然，classLoss值偏高，說明該SVM對測試樣本的預(yù)測誤差較大。因此，為提高SVM的預(yù)測準(zhǔn)確率，采用自動超參數(shù)優(yōu)化方式訓(xùn)練SVM，核函數(shù)類型為Liner線性核函數(shù)，優(yōu)化參數(shù)為BoxConstraint和KernelScale。SVM超參數(shù)優(yōu)化求取最小目標(biāo)值計算與目標(biāo)函數(shù)模型如圖8所示。

SVM超參數(shù)優(yōu)化后的相關(guān)參數(shù)值見表1，函數(shù)總共計算30次，總目標(biāo)函數(shù)計算時間44.559 1 s。經(jīng)超參數(shù)優(yōu)化后再次計算SVM的錯誤預(yù)測損失值，此時classLoss=0.156 6，說明經(jīng)超參數(shù)優(yōu)化訓(xùn)練的SVM對未知測試樣本的預(yù)測誤差相對較小。

圖8 SVM超參數(shù)優(yōu)化模型Fig.8 Model of SVM hyper-parameter optimization

表1 SVM超參數(shù)優(yōu)化相關(guān)參數(shù)情況Table 1 Related parameters of SVM hyper-parameter optimization

再次根據(jù)第1節(jié)算法從中選擇最接近測試數(shù)據(jù)集圖像分辨率所對應(yīng)的最佳N值，輸入SLIC模型對最后剩余的1/3幅測試集人員圖像進(jìn)行超像素?；?。人員圖像經(jīng)SLIC模型粒化后，為便于超像素的分類識別，對測試樣本超像素做編號標(biāo)記La(a=1,2,…,m，m為測試樣本超像素數(shù)量)，并將其輸入到經(jīng)超參數(shù)優(yōu)化方式訓(xùn)練好的SVM進(jìn)行預(yù)測分類，分類結(jié)果輸出測試樣本的預(yù)測標(biāo)簽及置信度，置信度值為正數(shù)對應(yīng)正樣本標(biāo)簽“1”，置信度值為負(fù)數(shù)對應(yīng)負(fù)樣本標(biāo)簽“0”，分別代表安全帽超像素與背景超像素。表2為測試樣本圖像中超像素經(jīng)SVM分類后的部分樣本信息，圖9為SVM對部分人員圖像的預(yù)測結(jié)果，由表2和圖9可知，超像素的分類準(zhǔn)確度并沒有達(dá)到期望效果，部分正樣本安全帽超像素被誤分為背景，部分背景負(fù)樣本超像素被誤分為安全帽(由于本文研究重點為安全帽正樣本超像素，因此圖9(c)中只給出了SVM分類后的正樣本超像素)。

3.2 超像素類別修正

由于3.1節(jié)所選取參與SVM訓(xùn)練的超像素訓(xùn)練樣本在整體數(shù)據(jù)樣本集中缺乏全局代表性[24]，同時訓(xùn)練所得SVM分類器本身對測試樣本的預(yù)測能力有限，因此存在少量正樣本被誤分為負(fù)樣本或負(fù)樣本被誤分為正樣本的現(xiàn)象。為補償SVM對安全帽正樣本的分類誤差，本節(jié)利用2.3節(jié)中的安全帽輪廓模型幾何特性對誤分類樣本進(jìn)行類別修正，修正算法步驟如下:

(1)提取圖9(c)中經(jīng)SVM初步預(yù)測后的正樣本超像素區(qū)域邊界掩模Bm，為便于觀察其輪廓幾何特征，對Bm采用形態(tài)學(xué)膨脹算子處理，如圖10(a)所示。

表2 SVM分類后部分超像素樣本信息Table 2 Part of superpixel sample information after SVM classification

(5)循環(huán)執(zhí)行步驟(2)～(4)，直至遍歷完圖10(a)中的所有Bm，修正后的正樣本結(jié)果如圖10(b)所示。

3.3 欠分割樣本超像素處理

(1)提取圖10(b)中第3幅圖經(jīng)修正后的正樣本超像素區(qū)域邊界掩模Bmc，對Bmc進(jìn)行形態(tài)學(xué)膨脹處理，如圖11(a)所示。

(2)采用Prewitt算子提取圖10(b)中對應(yīng)正樣本區(qū)域輪廓Pb，如圖11(b)所示。

(3)求取Bmc與Pb的差集D。若D=?，將圖10(b)作為安全帽的最終分割結(jié)果;若D≠?，則保留D并提取其所在超像素編號La。

(4)根據(jù)D所在的像素點邊界線將超像素L分解為2個子超像素Lp，Ln，其中Lp為正樣本安全帽超像素，Ln為負(fù)樣本背景超像素。

(5)在圖10(b)的結(jié)果上保留Lp、濾除Ln，更新得到如圖11(c)所示的安全帽分割效果。

4 實驗結(jié)果分析

實驗所用圖像數(shù)據(jù)主要源自寧夏馬家灘鎮(zhèn)雙馬煤礦。雙馬煤礦圖像采集儀器為DS-FB4024?？低暦辣瑪z像機(最大分辨率可達(dá)1 920 piex×1 080 piex，CMOS圖像傳感器，可支持溫度:-40～60 ℃，濕度小于95%相對濕度)?，F(xiàn)場拍攝環(huán)境:低照度，粉塵質(zhì)量濃度3.0～3.2 mg/m3，濕度50%～60%，溫度17～19 ℃，二氧化碳體積分?jǐn)?shù)0.035%～0.040%。計算機配置參數(shù):CPU處理器Intel(R)Core(TM)i5-1035G1，(1.0～3.6)GHz主頻，8 GB內(nèi)存，64-bit Windows10操作系統(tǒng)，MatlabR2019b編程工具。

煤礦井下特殊的光照條件會對人員圖像的成像質(zhì)量產(chǎn)生一定影響，使得位于光源附近人員圖像中安全帽的色彩飽和度、亮度及對比度相對較高，輪廓邊緣較易與圖像背景區(qū)分;位于光源遠(yuǎn)處的人員圖像中安全帽顏色灰暗、對比度及亮度較低，導(dǎo)致安全帽局部區(qū)域的圖像特征與背景差異較小，難以將安全帽邊緣分辨出來。同時，順光與逆光拍攝也會對安全帽的顏色特征產(chǎn)生一定影響。煤礦井下這種復(fù)雜的光照條件對人員圖像所造成的成像影響直接關(guān)系到SLIC對安全帽的超像素?；Ч俺袼仡伾卣鞯奶崛?。因此，本文在分割安全帽之前對測試人員圖像進(jìn)行預(yù)處理操作，預(yù)處理可有效增強低照度場景下人員圖像中安全帽的顏色亮度[29]并降低由粉塵、煤塵等因素引起的噪聲干擾，以此突出安全帽的色調(diào)及其相關(guān)圖像特征。此外，對于一幅圖像中的單個人員安全帽，位于其不同距離方位下所拍攝的形態(tài)大小也不盡相同，大小差異會關(guān)聯(lián)到SLIC在固定的N值下?；藛T圖像后安全帽像素部分在Sp中的占比，若占比未達(dá)到1則說明存在Upsp，需要后期進(jìn)行二級像素分類處理;如果一幅圖像中有多個人員安全帽，則某個角度下可能出現(xiàn)相鄰安全帽相互遮擋的現(xiàn)象，從而改變了單個安全帽模型的形態(tài)特征，這將關(guān)系到通過安全帽輪廓模型對正樣本的判別和分類修正。

圖10 正樣本修正Fig.10 Correction of positive samples

圖11 欠分割樣本像素級分類Fig.11 Pixel-level classification of under-segmented samples

圖12 人員圖像安全帽分割結(jié)果Fig.12 Personnel helmet images in different shooting scenarios

因此，為盡可能全面測試本文方法對多種場景下的人員安全帽分割效果，人員圖像以隨機拍攝的方式獲取，共采集300幅圖像用于本文實驗，將其存儲為24位RGB顏色模式的jpg格式。實驗從測試數(shù)據(jù)集中選取了基本涵蓋上述安全帽視覺特征的8幅圖像進(jìn)行測試分析，如圖12(a)所示。其中圖12(a)中1,2,3,8為多人安全帽圖像;圖12(a)中4，5，6，7為單人安全帽圖像；圖12(a)中1,2,3,6為近距離拍攝，圖12(a)中4,5,7,8為遠(yuǎn)距離拍攝;圖12(a)中4,6為順光拍攝，圖12(a)中5,7,8為逆光拍攝;圖12(a)中1,8包含安全帽正面角度特征，圖12(a)中1,2,3,6,8包含了安全帽在不同方位下的側(cè)面角度特征，圖12(a)中2包含了安全帽頂面角度特征，圖12(a)中4,5,7展現(xiàn)了安全帽背面角度特征;圖12(a)中3包含了安全帽有遮擋圖像特征。首先由SLIC將預(yù)處理后的測試圖像?；癁橐欢〝?shù)量的不規(guī)則超像素塊Sp，如圖12(b)所示，根據(jù)文中第2節(jié)方法提取Sp的顏色和紋理特征訓(xùn)練超參數(shù)優(yōu)化后的SVM，并對人員圖像超像素進(jìn)行正負(fù)樣本分類。提取SVM分類后的正樣本輪廓并對其進(jìn)行平滑處理，通過文中3.2節(jié)方法對錯分類樣本進(jìn)行判別并修正其樣本標(biāo)簽，保留正樣本剔除負(fù)樣本。利用文中3.3節(jié)方法對包含背景像素點的欠分割正樣本超像素進(jìn)行二級像素分類，從中將不屬于安全帽正樣本像素區(qū)域的背景像素分離出去，得到如圖12(c)所示的安全帽最終分割結(jié)果。

文獻(xiàn)[12，24]均為基于SLIC超像素?；c特征提取分類的目標(biāo)分割算法，因此將其2者作為本文算法的橫向?qū)Ρ人惴ā１疚乃惴ㄅc文獻(xiàn)[12]中所述HIGC實現(xiàn)后期目標(biāo)分割的方法進(jìn)行對比，與文獻(xiàn)[24]中所述超像素類別修正方法進(jìn)行對比，考慮到文獻(xiàn)[24]分割蘋果與本文分割安全帽的圖像特征差異，為保證算法處理的公平性，本節(jié)實驗在濾除被錯分類為正樣本的負(fù)樣本時將修正判別條件中正樣本相鄰的正樣本數(shù)量設(shè)置為0;在修正被錯分類為負(fù)樣本的正樣本時將修正判別條件中負(fù)樣本相鄰的正樣本數(shù)量設(shè)置為大于1。圖12(d)為文獻(xiàn)[12]方法的分割結(jié)果，圖12(e)為文獻(xiàn)[24]方法的分割結(jié)果。由圖12可知，本文算法在處理包含安全帽多種視覺特征的圖像上較文獻(xiàn)[12]和[24]的分割效果要好，8幅圖像中無錯分類為正樣本的負(fù)樣本超像素，且對Upsp的分割效果相對較為理想，基本能夠?qū)踩睆娜藛T圖像中準(zhǔn)確分割出來。

為進(jìn)一步驗證本文安全帽分割方法的有效性，采用精確度Pr(Precision)和召回率Re(Recall)兩項分割指標(biāo)[30]對其性能進(jìn)行定量分析，Pr和Re越大，說明算法分割性能越好，對應(yīng)計算公式為

(8)

(9)

式中，TP為檢索到的正樣本像素點;FP為檢索到的負(fù)樣本像素點;FN為未檢索到的正樣本像素點。

實驗將數(shù)據(jù)集中剩余的1/3幅人員圖像作為測試集樣本并展開定量分析，備份測試集圖像并利用ImageLabeler對其中的安全帽像素區(qū)域做人工標(biāo)注，作為評估本文安全帽分割算法性能的參考標(biāo)準(zhǔn)。為便于對文中實驗結(jié)果進(jìn)行全面分析，針對本節(jié)圖12(a)中8幅人員圖像所對應(yīng)3.1節(jié)、3.2節(jié)、3.3節(jié)、文獻(xiàn)[12，24]的實驗結(jié)果分別計算其Pr與Re，定量實驗分析結(jié)果見表3;針對測試集中的所有圖像，計算其對應(yīng)本文算法、文獻(xiàn)[12，24]的Pr與Re的均值，結(jié)果如圖13所示。

表3 算法分割性能對比Table 3 Algorithm segmentation performance comparison

圖13 測試集圖像指標(biāo)均值Fig.13 Average value of indicators in the test image set

橫向觀察表3中3.1～3.3節(jié)數(shù)據(jù)，可以看出，對于上述測試集中的8幅人員圖像，3.3節(jié)方法的Pr與Re均高于3.1節(jié)或3.2節(jié)，整體上表中對應(yīng)于每幅圖像的Pr與Re從左到右呈現(xiàn)增長或保持不變的趨勢。針對圖12(a)中3,4,5,6,7，對應(yīng)3.2節(jié)與3.3節(jié)的Pr與Re保持不變是因為這4幅圖像經(jīng)過錯分類樣本類別修正后的正樣本超像素中沒有出現(xiàn)Upsp，因此其對應(yīng)指標(biāo)值并未發(fā)生變化;針對圖12(a)中1,2,8對應(yīng)3.2節(jié)與3.3節(jié)的Re單獨保持不變是因為對于Upsp的處理并未影響到正樣本像素的變化。同時，由表中后3列數(shù)據(jù)可知，本文算法3.3節(jié)的Pr與Re整體上高于文獻(xiàn)[12，24]，僅在圖12(a)中6,8的Pr值上略低于文獻(xiàn)[12,24]，但文獻(xiàn)[12,24]對應(yīng)于圖12(a)中6,8的分割結(jié)果中存在部分安全帽像素被誤分類為背景的情況，拉低了Re值，因此分割性能相對較差。縱向觀察表中3.3節(jié)數(shù)據(jù)，可以發(fā)現(xiàn)8幅人員圖像均具有相對較高的Pr與Re，基本能夠滿足安全帽分割實際要求。

由圖13可知，對于測試集中的所有人員圖像，其定量計算結(jié)果顯示:文獻(xiàn)[12]的Pr均值為77.42%、Re均值為87.32%，文獻(xiàn)[24]的Pr均值為68.67%、Re均值為75.59%，本文算法的Pr均值達(dá)到96.94%，Re均值達(dá)到95.83%，均優(yōu)于其他2種算法。由此說明本文算法在使用SVM初始分類超像素樣本的基礎(chǔ)上，通過對錯分類樣本類別的修正以及對Upsp的二級像素分類方法達(dá)到了提高算法分割性能的目的。同時，本文算法對井下各種場景下具有不同安全帽特點的人員圖像都具有較強的適應(yīng)能力，對不同色調(diào)形態(tài)的安全帽都能準(zhǔn)確分割，使得最終分割出的安全帽像素區(qū)域具有較高的Pr與Re，進(jìn)一步說明本文算法對煤礦井下安全帽分割的魯棒性較強。

5 結(jié) 論

(1)針對煤礦井下特殊光照條件對人員圖像的成像影響，提出了基于超像素特征提取與SVM分類的安全帽分割方法。利用預(yù)處理后安全帽邊緣易與圖像背景區(qū)分的特點選擇SLIC模型?；藛T圖像，所生成的安全帽超像素塊能夠很好地擬合安全帽邊界。

(2)通過提取安全帽超像素顏色與紋理特征訓(xùn)練SVM對測試圖像超像素進(jìn)行分類并通過安全帽輪廓模型修正錯分類樣本，進(jìn)一步分離欠分割正樣本中的安全帽與背景像素點，得出最終的安全帽分割結(jié)果。

(3)實驗對測試集中100幅井下人員圖像進(jìn)行測試，計算所得Pr均值達(dá)到96.94%，Re均值達(dá)到95.83%，二者較同類對比算法均表現(xiàn)出一定優(yōu)勢。

(4)對于圖像中安全帽特征并不顯著的情況，SLIC粒化后可能出現(xiàn)部分安全帽像素與背景像素存在于同一超像素的現(xiàn)象，且所包含的安全帽像素位于其邊緣輪廓內(nèi)部區(qū)域，這易導(dǎo)致安全帽的漏分割。因此下一步工作是在預(yù)處理過程中研究對微小安全帽目標(biāo)進(jìn)行增強和邊緣突出等方法來提高其在圖像中的特征顯著性。