王 征，張 科，張赫林，潘紅光

(西安科技大學(xué) 電氣與控制工程學(xué)院，陜西 西安 710054)

0 引 言

應(yīng)國(guó)家對(duì)大型煤礦的生產(chǎn)安全及環(huán)保要求，煤礦事故的預(yù)防已經(jīng)成為生產(chǎn)環(huán)節(jié)中極其重要的一個(gè)環(huán)節(jié)?，F(xiàn)階段造成煤礦安全事故的因素頗多，包括生產(chǎn)設(shè)備老化、煤塵瓦斯等濃度超標(biāo)、機(jī)械化程度較低、從業(yè)人員素質(zhì)較低等[1]。其中人為因素導(dǎo)致的煤礦事故難以預(yù)測(cè)、難以防治，礦工的工作情緒以及精神狀態(tài)會(huì)直接影響到其工作質(zhì)量，甚至做出誤操作引起安全事故發(fā)生[2]。文中擬設(shè)計(jì)礦工面部表情識(shí)別系統(tǒng)，使用計(jì)算機(jī)對(duì)礦工面部表情特征進(jìn)行提取和分析，有助于監(jiān)視和掌握礦工人員的工作狀態(tài)與工作情緒信息，對(duì)情緒異常的礦工進(jìn)行預(yù)警，從而預(yù)防人為事故的發(fā)生，降低安全事故概率。

近年來(lái)，諸多學(xué)者相繼提出人臉表情識(shí)別算法，如劉帥師等提出Gabor與分塊直方圖相融合的算法提取人臉特征，該算法解決了Gabor算法缺乏全局特征表征能力的不足，并有效降低了人臉特征數(shù)據(jù)的冗余[3]；劉偉鋒等提出了一種基于局部二值模式的人臉表情識(shí)別方法，該方法能夠增加人臉特征的集中性、準(zhǔn)確性和有效性，并較好地提取特征點(diǎn)區(qū)域的局部特征[4]；蔡則蘇等結(jié)合了主成分分析法與哈希K近鄰算法有效解決了驚訝與恐懼表情相互錯(cuò)分的問(wèn)題[5]；唐浩等基于卷積神經(jīng)網(wǎng)絡(luò)融合了負(fù)面表情特征，訓(xùn)練出分類性能更強(qiáng)的分類器，并在JAFFE，GENKI和CK+數(shù)據(jù)庫(kù)上取得了較好的廣泛性和魯棒性[6]；齊梅等利用韋伯梯度編碼描述人臉表情特征，并采用自動(dòng)優(yōu)化參數(shù)的支持向量機(jī)完成表情分類[7]；馮楊等基于卷積神經(jīng)網(wǎng)絡(luò)在表情特征提取部分采用多層小尺度核卷積代替大卷積核，所得模型有效提高算法的識(shí)別率[8]。以上學(xué)者的研究從網(wǎng)絡(luò)的層級(jí)結(jié)構(gòu)、特征描述以及分類方法等各個(gè)角度對(duì)算法模型進(jìn)行了修正，使得網(wǎng)絡(luò)模型的迭代速率與識(shí)別準(zhǔn)確率都得到了提升，但由于煤礦環(huán)境中光照條件較差，可見(jiàn)度較低，圖像或影像中人臉區(qū)域與背景區(qū)域?qū)Ρ榷容^低，另礦工臉部顏色較深，因此使用人工特征的分類器和結(jié)構(gòu)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)難以實(shí)現(xiàn)對(duì)礦工面部表情的特征提取。

因此，基于深度可分離卷積神經(jīng)網(wǎng)絡(luò)miniXception搭建礦工面部表情識(shí)別模型，對(duì)其核心部分的殘差模塊進(jìn)行改進(jìn)，其殘差連接中融合多個(gè)標(biāo)準(zhǔn)卷積和輕量化上下采樣，提出Exp-FReLU激活函數(shù)，完成礦工表情圖像的特征提取。然后應(yīng)用礦工表情圖像樣本數(shù)據(jù)進(jìn)行實(shí)驗(yàn)仿真，分析改進(jìn)miniXception網(wǎng)絡(luò)與simpleCNN，ResNet，Xception，CNN+RNN，miniXception網(wǎng)絡(luò)的識(shí)別性能，從訓(xùn)練時(shí)間、精確度、召回率、F1分?jǐn)?shù)以及參數(shù)數(shù)量5個(gè)評(píng)價(jià)指標(biāo)對(duì)改進(jìn)miniXception網(wǎng)絡(luò)進(jìn)行合理的評(píng)估，最后通過(guò)損失函數(shù)曲線和混淆矩陣證明改進(jìn)miniXception網(wǎng)絡(luò)在礦工表情識(shí)別任務(wù)上的可行性。

1 礦區(qū)概況及數(shù)據(jù)預(yù)處理

1.1 煤礦礦工情緒概況

煤礦內(nèi)職位眾多，主要的一線崗位人員包括采煤專業(yè)、掘進(jìn)專業(yè)、機(jī)電專業(yè)、輔助運(yùn)輸專業(yè)以及其他專業(yè)人員。由于煤礦深處工作的機(jī)器大多數(shù)為采煤機(jī)、乳化液泵站、刮板輸送機(jī)、綜掘機(jī)以及注漿機(jī)等大型特種工作車，因此這類工作車司機(jī)員的工作以及情緒狀態(tài)對(duì)采煤效率和采煤安全起決定性作用[9]；此外各個(gè)專業(yè)的檢修人員諸如采煤機(jī)檢修工、支架檢修工、電氣檢修工以及泵站檢修工等，該類人員的工作情緒會(huì)間接影響到工作設(shè)備是否工作在安全狀態(tài)；其他輔助類崗位如支架工、排水工、爆破工以及運(yùn)料工等工作人員的工作狀態(tài)會(huì)直接影響到工作面和其他生產(chǎn)環(huán)境的整體安全[10]。因此，有必要對(duì)各個(gè)一線崗位人員的情緒狀況加強(qiáng)監(jiān)視和分析，通過(guò)分析礦工的情緒并結(jié)合其他管理措施有利于提高煤礦的生產(chǎn)效率，更有助于提高生產(chǎn)環(huán)節(jié)的整體安全系數(shù)。

1.2 實(shí)驗(yàn)數(shù)據(jù)的建立及預(yù)處理

通過(guò)煤礦特種工作車車內(nèi)攝像頭、工作面固定攝像頭以及現(xiàn)場(chǎng)拍攝等方式獲取礦工表情數(shù)據(jù)集，采集到的原始數(shù)據(jù)圖像共1210張，按礦工表情分為7類：生氣、厭惡、恐懼、高興、沮喪、驚訝和中性，圖像皆為RGB三通道圖像。數(shù)據(jù)集的優(yōu)劣影響著網(wǎng)絡(luò)模型學(xué)習(xí)結(jié)果的好壞，由于煤礦井下光照條件較差，可見(jiàn)度低，礦工面部顏色較為灰暗、難以識(shí)別，導(dǎo)致該實(shí)驗(yàn)使用的訓(xùn)練集圖像數(shù)量不足以使網(wǎng)絡(luò)學(xué)習(xí)到很好的表情特征，因此考慮對(duì)訓(xùn)練集進(jìn)行預(yù)處理和數(shù)據(jù)擴(kuò)增。

圖像預(yù)處理采用全局直方圖均衡化[11]對(duì)圖像的紅、綠、藍(lán)三通道直方圖進(jìn)行均衡化處理，預(yù)處理后的圖像如圖1所示，RGB 3個(gè)通道值取為均衡值，使得處理后的圖像色彩更加鮮明，對(duì)比度得到增強(qiáng)；對(duì)預(yù)處理后的圖像進(jìn)行擴(kuò)充的方法有翻轉(zhuǎn)、顏色變化、放大和縮小。文中采用圖像旋轉(zhuǎn)和翻轉(zhuǎn)的方式對(duì)訓(xùn)練集進(jìn)行增強(qiáng)，如圖2所示，圖2(a)為原圖像，圖2(b)為水平翻轉(zhuǎn)結(jié)果圖，圖2(c)(d)分別為逆時(shí)針旋轉(zhuǎn)20°和340°后的結(jié)果圖。

圖1 礦工表情圖像直方圖均衡化處理結(jié)果Fig.1 Miner expression image histogram equalization results

圖2 圖像旋轉(zhuǎn)、翻轉(zhuǎn)結(jié)果Fig.2 Image rotation and flipping results

經(jīng)過(guò)旋轉(zhuǎn)、翻轉(zhuǎn)處理后的數(shù)據(jù)情況見(jiàn)表1，礦工表情圖像數(shù)量由原來(lái)的1 210多張圖像擴(kuò)充至4 840張。其中90%作為訓(xùn)練集，10%作為測(cè)試集，擴(kuò)充后的數(shù)據(jù)集能夠幫助網(wǎng)絡(luò)提高對(duì)表情特征的學(xué)習(xí)能力。上述自制數(shù)據(jù)集僅為小樣本數(shù)據(jù)集，對(duì)于實(shí)際網(wǎng)絡(luò)訓(xùn)練要求，樣本數(shù)量遠(yuǎn)遠(yuǎn)不足，因此實(shí)際所使用的真實(shí)數(shù)據(jù)集為自制數(shù)據(jù)集與MMA[12]面部表情圖像公共數(shù)據(jù)集的合并數(shù)據(jù)集。其中MMA中包含7類表情，與自制數(shù)據(jù)集分類相對(duì)應(yīng)，圖像數(shù)量為12.8萬(wàn)張。訓(xùn)練方法采用遷移學(xué)習(xí)，即先使用MMA數(shù)據(jù)集對(duì)miniXception網(wǎng)絡(luò)進(jìn)行初步預(yù)訓(xùn)練得到預(yù)訓(xùn)練模型，在此預(yù)訓(xùn)練模型基礎(chǔ)上再添加自制數(shù)據(jù)集使得網(wǎng)絡(luò)訓(xùn)練得到更符合文中研究對(duì)象的訓(xùn)練模型。通過(guò)該操作可以使網(wǎng)絡(luò)在有限的數(shù)據(jù)集上盡可能得到更好的學(xué)習(xí)效果，從而提升礦工表情識(shí)別精度。

表1 數(shù)據(jù)參數(shù)

2 搭建礦工面部表情識(shí)別模型

2.1 深度可分離卷積層對(duì)表情特征的提取

表情識(shí)別模型采用深度可分離卷積層，深度可分離卷積層[13-15]與普通的卷積層相比較，其不采用普通卷積中大小為n×n×3的卷積核，而是將每個(gè)卷積核拆分為3個(gè)n×n×1的過(guò)濾器。如圖3所示，深度可分離卷積可分為2步：步驟1，將H×W×C的表情圖像通過(guò)每一個(gè)過(guò)濾器卷積得到(H-n+1)×(W-n+1)×1映射圖，再將映射圖堆疊成(H-n+1)×(W-n+1)×3的表情特征圖作為該卷積層的輸出圖像；步驟2，采用m個(gè)大小為1×1×3的過(guò)濾器對(duì)步驟1得到輸出圖像進(jìn)行卷積以擴(kuò)展輸出深度，最終得到m個(gè)通道的表情特征圖。普通卷積與深度可分離卷積過(guò)程中產(chǎn)生的參數(shù)量見(jiàn)式(1)～式(2)

Wn=m×n×n×C×(H-n+1)×(W-n+1)

(1)

Wd=(n×n+m)×C×(H-n+1)×(W-n+1)

(2)

圖3 深度可分離卷積過(guò)程Fig.3 Deepwise separable convolution process

式中Wn為普通卷積產(chǎn)生的參數(shù)數(shù)量；Wd為深度可分離卷積產(chǎn)生的參數(shù)數(shù)量；W，H和C分別代表輸入圖像的寬、高和通道數(shù)；n為卷積核尺寸大??；m為卷積核個(gè)數(shù)。相繼可計(jì)算2種卷積方式參數(shù)數(shù)量比

(3)

2.2 表情識(shí)別Inception模塊

Chollet提出的Xception[16]網(wǎng)絡(luò)結(jié)構(gòu)采用了上述深度可分離卷積結(jié)構(gòu)，即將GoogleNet[17]中的傳統(tǒng)卷積層替換為多個(gè)Inception V3[18]結(jié)構(gòu)。如圖4所示，表情識(shí)別模型的核心部分采用“極致”版本的Inception[19]結(jié)構(gòu)，借鑒深度可分離卷積網(wǎng)絡(luò)層的思想，將表情圖像的所有通道看做一個(gè)可分離卷積，但與深度可分離卷積層在結(jié)構(gòu)上存在2點(diǎn)不同：①順序不同，即深度可分離卷積先對(duì)表情圖像的每個(gè)通道進(jìn)行3×3卷積，然后加入1×1卷積。而“極致”版Inception結(jié)構(gòu)先對(duì)表情圖像進(jìn)行1×1卷積，再逐通道進(jìn)行3×3卷積；②深度可分離卷積中2個(gè)卷積層之間不進(jìn)行激活操作，而“極致”版Inception結(jié)構(gòu)在1×1卷積后連接了一個(gè)ReLU非線性激活函數(shù)。同時(shí)，Xception網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合了ResNet[20-21]模型思想，在網(wǎng)絡(luò)結(jié)構(gòu)中添加與ResNet中類似殘差連接的連接形式以及其他常規(guī)子模塊以提高正確率。

圖4 “極致”版Inception模塊Fig.4 An “extreme” version of Inception module

2.3 表情識(shí)別模型總體結(jié)構(gòu)

最終搭建的表情識(shí)別模型使用含有“極致”版本Inception模塊的改進(jìn)miniXception[22-23]網(wǎng)絡(luò)結(jié)構(gòu)，原始miniXception網(wǎng)絡(luò)的特征提取部分由多個(gè)殘差網(wǎng)絡(luò)組成，該殘差網(wǎng)絡(luò)中的殘差連接模式比較簡(jiǎn)單，對(duì)于礦工表情語(yǔ)義信息的學(xué)習(xí)能力有待提升。因此文中對(duì)該網(wǎng)絡(luò)的特征提取部分進(jìn)行改進(jìn)，如圖5所示。

fExp-FReLU(xc,i,j)=max(xc,i,j,T(xc,i,j))

(4)

(5)

綜上所述，改進(jìn)miniXception網(wǎng)絡(luò)特征提取部分包含3個(gè)深度可分離殘差塊，每個(gè)殘差塊中都進(jìn)行批量歸一化操作、Exp-FReLU激活以及加入了輕量化上下采樣的殘差連接，最后一層使用全局平均池化和softmax激活函數(shù)以生成礦工面部表情預(yù)測(cè)值，最終該網(wǎng)絡(luò)中的訓(xùn)練參數(shù)數(shù)量由22.8 M降低至5.80 M。

圖5 改進(jìn)miniXception特征提取網(wǎng)絡(luò)Fig.5 Improved miniXception feature extraction network

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)環(huán)境為Windows 10操作系統(tǒng)，使用Intel(R)Core(TM)i7-7700HQ的處理器，內(nèi)存16 GB，深度學(xué)習(xí)框架為Keras，軟件編程環(huán)境為Python 3.7，GPU是NVIDIA GeForce GTX 1070。

3.1 改進(jìn)miniXception模型的表情識(shí)別結(jié)果

首先，為觀察改進(jìn)miniXception網(wǎng)絡(luò)對(duì)礦工面部表情特征的學(xué)習(xí)能力，實(shí)驗(yàn)對(duì)改進(jìn)前后miniXception的第3個(gè)殘差模塊的輸出特征圖進(jìn)行可視化對(duì)比，可視化結(jié)果如圖6所示。其中圖6(a)為輸入圖像；圖6(b)為改進(jìn)前miniXception得到的特征，該圖中礦工面部以外多余的區(qū)域都被網(wǎng)絡(luò)過(guò)多學(xué)習(xí)，如礦工的安全帽、工作服以及其他安全設(shè)備的輪廓部分，另外網(wǎng)絡(luò)對(duì)礦工面部的描述表現(xiàn)模糊，對(duì)于五官和面部之間的學(xué)習(xí)能力相近；圖6(c)為改進(jìn)后miniXception得到的特征圖，該圖中網(wǎng)絡(luò)對(duì)面部以外區(qū)域的關(guān)注度明顯下降，面部和五官輪廓與面部其他區(qū)域顏色對(duì)比度變高，說(shuō)明改進(jìn)后的miniXception網(wǎng)絡(luò)對(duì)表情特征的學(xué)習(xí)能力得到加強(qiáng)，更加關(guān)注五官和面部輪廓的特征，并且對(duì)圖像多余的地方減少了特征描述。

圖6 miniXception特征圖可視化Fig.6 Visualization of miniXception feature map

其次，針對(duì)改進(jìn)miniXception網(wǎng)絡(luò)對(duì)每類表情的識(shí)別結(jié)果進(jìn)行實(shí)驗(yàn)。圖7展示每組表情圖片的識(shí)別結(jié)果，結(jié)果的顯示采用概率分布的方式，可視化每張測(cè)試圖片下每個(gè)類別所占的比例，占比最高的類別將被視為測(cè)試圖片的分類而輸出。其中改進(jìn)miniXception網(wǎng)絡(luò)對(duì)高興和驚訝表情的識(shí)別正確率最高，分別達(dá)到97.71%和96.03%，對(duì)于厭惡和沮喪的識(shí)別正確率最低，分別為54.54%和60.69%。該結(jié)果與所測(cè)圖片礦工表情的明顯程度相關(guān)，也取決于數(shù)據(jù)集的優(yōu)良程度。

圖7 每類表情的識(shí)別結(jié)果Fig.7 Recognition results of each kind of expression

3.2 不同網(wǎng)絡(luò)的識(shí)別結(jié)果對(duì)比

研究對(duì)simpleCNN，ResNet，Xception，CNN+RNN[25]，miniXception以及改進(jìn)miniXception 6種網(wǎng)絡(luò)進(jìn)行訓(xùn)練，simpleCNN網(wǎng)絡(luò)為實(shí)驗(yàn)搭建的簡(jiǎn)單CNN網(wǎng)絡(luò)，CNN+RNN網(wǎng)絡(luò)以CNN提取特征并級(jí)聯(lián)RNN做序列特征分類的網(wǎng)絡(luò)。為分析各個(gè)網(wǎng)絡(luò)礦工表情識(shí)別性能的優(yōu)劣，使用訓(xùn)練時(shí)間、精確度、召回率、F1分?jǐn)?shù)以及參數(shù)數(shù)量5個(gè)評(píng)價(jià)指標(biāo)作為實(shí)驗(yàn)分析內(nèi)容，評(píng)價(jià)指標(biāo)對(duì)比見(jiàn)表2。

表2 網(wǎng)絡(luò)評(píng)價(jià)指標(biāo)對(duì)比

改進(jìn)miniXception網(wǎng)絡(luò)的精確度、召回率以及F1分?jǐn)?shù)值均為最高，說(shuō)明該網(wǎng)絡(luò)對(duì)礦工表情識(shí)別性能最好。雖然從訓(xùn)練時(shí)間上，CNN+RNN優(yōu)于改進(jìn)miniXception，且其精確度和參數(shù)數(shù)量都與改進(jìn)miniXception相接近，但其召回率與F1分?jǐn)?shù)卻大幅度落后改進(jìn)miniXception。其次改進(jìn)miniXception相對(duì)于改進(jìn)前的網(wǎng)絡(luò)，其訓(xùn)練時(shí)間和參數(shù)沒(méi)有明顯變化，但在精確度、召回率和F1分?jǐn)?shù)3個(gè)指標(biāo)上都得到了提升，這說(shuō)明改進(jìn)miniXception在精確度與召回率之間的平衡性最好，網(wǎng)絡(luò)整體質(zhì)量更優(yōu)。

其次，試驗(yàn)記錄了6個(gè)網(wǎng)絡(luò)訓(xùn)練過(guò)程中的損失函數(shù)數(shù)值(此處采用二值交叉熵?fù)p失函數(shù)，每2次訓(xùn)練記錄1次數(shù)值)，仿真結(jié)果如圖8所示。從圖8分析可知，改進(jìn)miniXception初始損失值較小，收斂速度最快，經(jīng)過(guò)100次訓(xùn)練最先趨于平穩(wěn)狀態(tài)，并且其穩(wěn)定后的損失值相對(duì)最小，最小均值趨于0.086，說(shuō)明該網(wǎng)絡(luò)作為表情識(shí)別模型性能最優(yōu)。

圖8 多個(gè)網(wǎng)絡(luò)的損失曲線對(duì)比Fig.8 Comparison of multiple network loss curves

為測(cè)試改進(jìn)miniXception對(duì)包含多個(gè)礦工的圖像表情識(shí)別效果，實(shí)驗(yàn)整理了一套多礦工圖像數(shù)據(jù)集，并對(duì)比分析改進(jìn)miniXception與Xception在多目標(biāo)復(fù)雜背景圖像數(shù)據(jù)集上的識(shí)別結(jié)果。如圖9所示，第1行為Xception網(wǎng)絡(luò)的識(shí)別結(jié)果，第2行為改進(jìn)miniXception網(wǎng)絡(luò)的識(shí)別結(jié)果。在圖9(a)中，Xception在復(fù)雜背景圖像中存在漏檢情況，圖9(b)中Xception出現(xiàn)錯(cuò)誤識(shí)別，表情類型應(yīng)為高興，而Xception 識(shí)別為中性，反觀改進(jìn)miniXception在2幅圖中未出現(xiàn)異常情況。對(duì)比可以看出，改進(jìn)miniXception在識(shí)別結(jié)果上優(yōu)于Xception，可以識(shí)別更多的目標(biāo)人臉，對(duì)于多目標(biāo)圖像中礦工表情識(shí)別的效果較好。

圖9 多目標(biāo)圖像礦工表情識(shí)別效果對(duì)比Fig.9 Comparison of multi-objective image classification effects

研究使用混淆矩陣作為衡量各模型識(shí)別效果的指標(biāo)，混淆矩陣可以一定程度上反映各組表情之間混分的情況，如圖10所示。每個(gè)網(wǎng)絡(luò)對(duì)高興一組表情的識(shí)別正確率分別為73%，70%，85%，88%，92%以及97%，為正確率最高的一組表情。在圖10(a)中，simpleCNN對(duì)厭惡、恐懼以及驚訝3組表情的識(shí)別能力較差，預(yù)測(cè)標(biāo)簽為恐懼的一列數(shù)值顯示這3種表情的預(yù)測(cè)結(jié)果相持平，難以被區(qū)分；圖10(b)中ResNet對(duì)厭惡一組表情無(wú)法進(jìn)行識(shí)別，并且對(duì)生氣一組表情進(jìn)行了錯(cuò)誤識(shí)別，其預(yù)測(cè)值中厭惡的正確率大于生氣；圖10(c)中Xception對(duì)所有表情都正確地進(jìn)行分類，而且對(duì)于厭惡一組表情其預(yù)測(cè)值沒(méi)有其他標(biāo)簽的預(yù)測(cè)傾向；圖10(d)中CNN+RNN的識(shí)別結(jié)果也相對(duì)較好，識(shí)別結(jié)果與Xception類似，且各個(gè)表情識(shí)別的正確率相對(duì)較高；圖10(e)為原始miniXception網(wǎng)絡(luò)混淆矩陣，恐懼與沮喪2組表情識(shí)別率低于70%，生氣、厭惡、驚訝和中性的識(shí)別率均在70%至90%，對(duì)高興一組的識(shí)別率最高，大于90%，其中厭惡和中性2組表情識(shí)別率與改進(jìn)后的miniXception對(duì)應(yīng)相等，但其他表情類別識(shí)別率均低于改進(jìn)miniXception網(wǎng)絡(luò)；圖10(f)中所采用的改進(jìn)miniXception網(wǎng)絡(luò)，其混淆矩陣顯示各組表情正確率都高于其他網(wǎng)絡(luò)，識(shí)別正確率率達(dá)到97%。同時(shí)生氣、厭惡、驚訝以及中性這4組表情識(shí)別正確率分別達(dá)到86%，76%，88%，72%，識(shí)別結(jié)果較好。而恐懼和沮喪2組表情的正確率只有67%和63%，一方面是因?yàn)楝F(xiàn)實(shí)生活中這2種表情具有一定的相似性，易于混淆；另一方面是因?yàn)檫@2組表情的訓(xùn)練圖片數(shù)量過(guò)少，使得網(wǎng)絡(luò)對(duì)2種表情的圖像特征學(xué)習(xí)不夠充分，最后是由于負(fù)面樣本數(shù)據(jù)有限，致使網(wǎng)絡(luò)無(wú)法很好學(xué)習(xí)到錯(cuò)誤樣本與正確樣本之間的區(qū)別，從而對(duì)于易混淆的多種表情難以得到較高的識(shí)別正確率。

圖10 混淆矩陣對(duì)比Fig.10 Comparison of confusion matrix

4 結(jié) 論

1)改進(jìn)miniXception能夠?qū)W習(xí)到具有代表性的面部表情特征，如眉毛、眼睛、鼻子以及嘴等，增強(qiáng)了對(duì)五官特征的關(guān)注度、削弱了對(duì)多余區(qū)域的關(guān)注度；改進(jìn)miniXception得到的混淆矩陣中生氣、恐懼、高興、沮喪以及驚訝這4組表情的識(shí)別率都高于其他網(wǎng)絡(luò)，其中對(duì)高興一組表情識(shí)別率最高，同時(shí)該網(wǎng)絡(luò)的損失曲線也相較其他網(wǎng)絡(luò)收斂更快、損失值最低。

2)改進(jìn)miniXception通過(guò)訓(xùn)練對(duì)礦工面部表情能夠提取到合適的特征，表情識(shí)別結(jié)果較好，網(wǎng)絡(luò)整體準(zhǔn)確率相較其他網(wǎng)絡(luò)最高，其精確度與召回率之間的平衡性最好，說(shuō)明通過(guò)改進(jìn)miniXception搭建的礦工面部表情識(shí)別模型具備很好的實(shí)用性。

3)井內(nèi)工作環(huán)境復(fù)雜，長(zhǎng)期與外界環(huán)境相阻隔，礦工很容易焦慮疲憊，通過(guò)監(jiān)視礦工的面部表情信息能夠?qū)崟r(shí)掌握每個(gè)礦工的工作以及情緒狀態(tài)，可及時(shí)對(duì)身心疲憊的礦工進(jìn)行調(diào)休，有利于礦井內(nèi)的人性化管理；通過(guò)該系統(tǒng)也可以預(yù)防并杜絕由于礦工個(gè)人情緒原因所造成的煤礦事故，從而提升礦井作業(yè)的安全等級(jí)。