崔 兵 張金月 劉相池

(1.天津大學 管理與經(jīng)濟學部，天津 300072； 2.天津旭輝企業(yè)管理有限公司有限公司，天津 300041)

引言

建筑施工行業(yè)一直被認為是高危行業(yè),隨著生產(chǎn)力的進步，各類施工機械(特別是大型機械)在建筑工程中的應用越來越普遍,工程機械的應用，在提高建筑業(yè)生產(chǎn)效率的同時，也帶來了諸多安全問題。根據(jù)住建部安全事故情況通報，大量工程安全事故源于施工機械的安全問題,僅2019年就發(fā)生了鄭州市“8·28”塔吊倒塌事故等6起較大施工機械安全事故。因此，施工機械的安全作業(yè)管理至關重要。

施工機械安全作業(yè)管理可以分為機械本身的安全維護和相關人員的安全操作兩部分。關于施工機械本身的安全問題，國內(nèi)外學者從完善體制、統(tǒng)一維護、合理調(diào)配等方面提出了諸多解決方案。而相關人員的安全管理，則是施工機械安全管理的重點和難點。人的安全管理很難量化，因此在實際生產(chǎn)中，相關人員的安全作業(yè)管理在很大程度上依賴于崗前安全培訓和安全操作意識的培養(yǎng)。隨著各種計算機信息技術的進步，越來越多的學者開始探索將計算機信息技術應用于施工安全管理，通過對相關人員操作過程的監(jiān)督與評價，實現(xiàn)安全作業(yè)狀態(tài)的量化評價，彌補規(guī)章制度難以量化和時效性差的問題。

本文提出了一種基于計算機視覺(Computer Vision， CV)技術的人員疲勞程度檢測方法，通過識別工程機械操作人員面部特診，判斷其疲勞狀態(tài)和程度，進而支持采用相應的應對措施。

1 傳統(tǒng)的疲勞檢測方法

1.1 問卷量表法

現(xiàn)有的疲勞評價量表有很多種類，各種量表之間主要存在以下3點差異：適用對象的不同(健康人群或患病人群)； 對疲勞理解的深度(一維或多維)； 量表的研究內(nèi)容(疲勞的程度或疲勞的影響)[1]。根據(jù)施工機械操作員的特點，在工程安全管理領域，多采用適用于健康人群的、具有多維結(jié)構的、研究疲勞的程度以及表現(xiàn)的量表。Zhang等[2]開發(fā)了美國建筑工人疲勞評估量表(FASCW，F(xiàn)atigue Assessment Scale for U.S. Construction Workers)，這是一種簡短的二維量表，在實驗中表現(xiàn)出了良好的信度和效度。張銘宗等[3]開發(fā)了適用于中國建筑工人的疲勞評價量表，量表僅包含10個題項，完成時間大多在1分鐘內(nèi)，并在廣東和北京兩地工人中進行了檢驗。

現(xiàn)有研究中的量表評價方法表現(xiàn)出以下優(yōu)勢：

(1)技術方案簡單，不依賴于任何的設備，幾乎適用于所有研究對象的任何工作場景；

(2)針對不同的應用場景可以開發(fā)個性化的問卷和量表，評價指標具有很強的針對性；

(3)合理的問卷設置能夠保證檢測結(jié)果的信度和效度。

然而量表評價法的研究也存在很多不足，主要體現(xiàn)在時效性差和主觀性強，量表評價法無法做到實時檢測與評價。首先，現(xiàn)有研究都是采取每隔一段時間要求工人停止工作，接受量表調(diào)查的方式，這樣只能得到工人某一時間點的疲勞狀態(tài)，也無法及時發(fā)現(xiàn)狀態(tài)變化。其次，檢測結(jié)果存在較強的主觀性。無論是問卷設置還是工人自我感知評價，都十分依賴研究者和被測者的主觀意愿，難以從定量的角度對評價結(jié)論的可靠性進行判斷。

1.2 生理指標法

醫(yī)學研究已經(jīng)證明，生理指標是一種穩(wěn)定可靠的疲勞判斷依據(jù)，具體包括腦電、心率、肌電、體溫等。早期的研究大多基于心率測量來判斷疲勞，然而這種方式的準確率十分有限，僅為59%[4]。后續(xù)的研究證明，腦電信號或者腦電信號與其他生理信號的綜合指標是更為準確的疲勞判定方式。

曾友雯等[5]研究了腦電節(jié)律能量與疲勞程度的關系，其研究指出隨著測試時間的延長，抑制大腦皮層活動的腦電波能量也在線性增長，這表明檢測對象正在變得更加疲勞。Tsai[6]提出了一種通過檢測工人的腦電節(jié)律和心率變異性來檢測工人疲勞狀態(tài)的方法，該方法可以實時確定工人疲勞程度，并在施工現(xiàn)場同時檢測相當數(shù)量的工人，但是該方案在檢測方法的敏感性、設備佩戴的舒適性上仍存在一些問題。盧章平等[7]綜合了腦電和心電指標，提出一個明確的疲勞綜合生理指標計算公式，但是其接觸式的檢測方法影響了操作員的正常操作。

總結(jié)來看，基于生理信號的疲勞檢測研究有著明確的生理和醫(yī)學研究基礎，其評價方法客觀可靠，但同時也存在檢測設備復雜昂貴、設備影響工人正常工作的缺陷。

1.3 面部信號法

人的面部可以傳達出相當豐富的、有價值的信息，例如眨眼、打哈欠、視線方向、面部表情等等。相比于生理信號的檢測，面部檢測方式有著設備非接觸、檢測成本低廉的優(yōu)勢，但同時也存在著判斷指標及其閾值不夠客觀的缺陷。目前學術界十分重視基于操作員面部檢測的疲勞檢測方案，國內(nèi)外學者也提出了很多面部檢測的技術方案和綜合的判斷指標。

He等[8]使用谷歌眼鏡的接近傳感器監(jiān)測眨眼頻率，開發(fā)并驗證了基于谷歌眼鏡的疲勞檢測系統(tǒng)。這種方法成本較低，但該方法仍存在著判斷標準模糊、識別精度低等缺陷。Nie等[9]提取出閉眼時間、閉眼率(PERCLOS)值、眨眼頻率和眨眼次數(shù)四個指標，得到用于判斷的疲勞閾值，即當閉眼時間為3.5s/min，PERCLOS值為6%，眨眼頻率為0.4次/s時，實驗對象疲勞明顯。Ishimaru等[10]綜合考慮了眨眼頻率和頭部狀態(tài)，準確率達到了82%。該研究同時指出，從事不同類型的工作也會對眨眼頻率產(chǎn)生影響。

文獻中的基于面部檢測的操作員疲勞檢測方法有著實時、便捷、經(jīng)濟、非侵入接觸的優(yōu)勢，但仍存在著算法不夠穩(wěn)定、結(jié)果不夠準確、無法適用于復雜光線或操作員佩戴眼鏡等情況的缺陷。

1.4 行為狀態(tài)法

行為狀態(tài)的含義十分廣泛，它包含了操作員身體各個部位的動作以及其操作的施工機械的工作狀態(tài)兩個方面。具體來講，操作員身體部位的異常動作包括間斷的點頭動作、頸部的頻繁動作、手部的操作的遲鈍與失誤等； 施工機械的異常工作狀態(tài)包括不按規(guī)定路線行駛、長時間沒有任何操作指令輸入等。這種基于行為狀態(tài)的疲勞檢測同樣可以做到非侵入性實時檢測； 但是其檢測方法和施工機械的種類密切相關，檢測指標需要根據(jù)機械類型針對性地進行研究，很難形成一個通用的檢測方法[11]。

行為狀態(tài)的檢測一般作為疲勞狀態(tài)判定的輔助因素，并且在機動車駕駛員的疲勞檢測中已經(jīng)得到了應用。一般來講，當被檢測對象處于疲勞狀態(tài)時，其行為狀態(tài)并不總會及時地反映出他的疲勞程度； 而當其行為狀態(tài)已經(jīng)表現(xiàn)出明顯異常時，被測對象一定已經(jīng)處于了嚴重的疲勞狀態(tài)。這也是行為狀態(tài)監(jiān)測僅被用作輔助判斷標準的原因之一。

2 基于CV技術的疲勞檢測

2.1 系統(tǒng)框架

計算機視覺(CV)技術是通過計算機及其他設備對生物視覺進行模擬的一種新技術。其主要任務就是幫助計算機理解圖片和視頻，并從這些圖像中提取有用的信息[12]?；谟嬎銠C視覺的施工機械操作員疲勞檢測就是去檢測操作員的面部信息，并判斷其疲勞程度。具體來講，就是通過攝像機拍攝機械操作員工作時的面部畫面，計算機通過機器學習技術識別出其面部的各個部位，并理解相應的指標所代表的含義，進而判斷操作員是否處于疲勞狀態(tài)并做出相應的警告措施。因此，在施工機械操作員疲勞檢測中應用計算機視覺技術有著操作便捷、反饋實時等特點。

本研究的技術框架如圖1所示。通過安裝在施工機械操作員前方的攝像頭獲得其面部圖像的視頻流，然后通過數(shù)據(jù)處理獲得其疲勞狀態(tài)的綜合指標，然后根據(jù)綜合指標判斷疲勞等級，并根據(jù)疲勞等級采取相應措施。

圖1 疲勞檢測方法框架

本研究的技術關鍵是通過合理處理視頻流數(shù)據(jù)得出判斷疲勞狀態(tài)的綜合指標。該部分功能通過Python代碼實現(xiàn)，主要包括圖像灰度化處理、人臉特征點標定、左右眼EAR值計算、嘴部MAR值計算以及綜合指標計算。

2.2 灰度化處理

檢測算法將實時的監(jiān)測視頻轉(zhuǎn)為視頻文件流，然后循環(huán)讀取文件流中的每一幀圖像，并將彩色的圖像轉(zhuǎn)化為灰度圖像，如圖2所示。

圖2 彩色圖像和灰度化圖像對比

進行灰度化視頻流處理的原因有三點。首先，物體識別的關鍵因素是邊緣梯度信息而非色彩。彩色圖像中包含了大量的顏色信息，而顏色本身非常容易受到光照的影響，同一物體的RGB變化很大，而灰度化之后的圖像丟失了顏色信息，完整保留了反映物體本質(zhì)屬性的梯度。其次，彩色圖像的每個像素至少有R、G、B三個通道，而灰度化處理將單像素三通道轉(zhuǎn)為一通道，極大地簡化了矩陣維數(shù)，降低了算法的空間復雜度，提高了運算速度。第三，Python-opencv庫中提供的絕大部分函數(shù)都只支持單通道的運算。

2.3 人臉特征點標定

人臉識別與檢測有多種算法實現(xiàn)方式，例如支持向量機、神經(jīng)網(wǎng)絡方法、模板匹配算法等。本論文采用的是基于人臉特征點標定的dlib算法，dlib庫提供了訓練好的識別模型，可以識別人臉的68個特征點，其中包括了面部輪廓、眼睛、眉毛、鼻子以及嘴巴的特征點，如圖3所示[13]。

從圖3中可以看到左眼和右眼分別對應了6個特征點，嘴巴對應了20個特征點。本論文中的各個疲勞指標就是利用這些眼部和嘴部特征點計算得到。

圖3 dlib模型的68個人臉特征點[13]

2.4 EAR與MAR值計算

眼睛的縱橫比(Eye Aspect Ratio， EAR)[13]數(shù)值等于眼睛縱向界標與橫向界標之間的歐氏距離比值，以左眼為例，其計算如式1所示，其中P代表人眼特征點，其下標表示圖3中的特征點編號。右眼的EAR值計算同理。

圖4記錄了兩次眨眼過程的EAR值的變化。當人眼睜開時，EAR值基本保持穩(wěn)定； 當人眼閉合時，EAR迅速下降，理論上會接近于零； 當人眼再次睜開時，EAR值恢復到穩(wěn)定的狀態(tài)。EAR值的“穩(wěn)定—突然下降—恢復”穩(wěn)定的過程反映了人的一次眨眼全過程。因此，一個復雜圖像處理問題被轉(zhuǎn)化成了眼睛特征點之間距離的比例關系。

圖4 睜眼與眨眼過程中的EAR值曲線

(1)

受限于算法標定的準確度，即使在沒有眨眼的情況下，EAR數(shù)值仍然會發(fā)生明顯的波動，如圖4中的睜眼階段。為了避免EAR數(shù)值波動引起的眨眼誤判，當捕捉到連續(xù)2～6幀的EAR值低于某個EAR閾值時，才認為被測對象進入了眨眼狀態(tài)，記錄為一次眨眼。連續(xù)幀數(shù)和閾值都需要根據(jù)攝像設備進行確定。

連續(xù)幀數(shù)取決于攝像機的幀率。幀率越高的攝像機在一次眨眼過程中能捕捉到的低于閾值的幀數(shù)就越多，對檢測對象是否眨眼的判定也就越準確； 而相反，如果對低幀率的攝像機選用較多的連續(xù)幀數(shù)判定，則會導致眨眼次數(shù)的漏報，影響檢測精度。

考慮到每個人EAR閾值存在個體差異，本研究中以檢測對象前30s的視頻作為樣本，計算其中每一幀的EAR值，統(tǒng)計得出EAR中位數(shù)。因為一個人眨眼的幀數(shù)一般不會超過總幀數(shù)的15%，中值一定反映的是睜眼狀態(tài)下的EAR。考慮到睜眼狀態(tài)下EAR的數(shù)值波動，本研究取0.8倍的EAR中值作為EAR閾值。

嘴巴縱橫比(Mouth Aspect Ratio， MAR)的定義與EAR相似，其計算如式2所示，其中m代表人嘴特征點，其下標表示圖3中的特征點編號。

(2)

和EAR指標相似，判斷是否打哈欠的依據(jù)也是連續(xù)10～60幀的MAR值大于某個閾值。連續(xù)幀數(shù)的取值同樣依據(jù)視頻的幀率確定； 閾值的選取考慮個體差異，取為前30s的視頻的MAR值中位數(shù)的1.5倍。

2.5 疲勞指標值計算

通過對EAR和MAR值的實時檢測，計算出眨眼頻率、平均眨眼時長、眼瞼閉合時間百分比(P80)以及打哈欠頻率四個指標，計算公式如下，其中各參數(shù)的含義如圖5所示：

眨眼頻率(Blink Frequency， BF)的計算如式3，其中，n為累計眨眼次數(shù)。同理可得打哈欠頻率(Yawn Frequency， YF)。

(3)

平均眨眼時長(Average Blink Time， ABT)的計算如式4。

(4)

眼瞼閉合時間百分比(Percentage of Eyelid Closure time，PERCLOS)的計算如式5。

(5)

圖5中的EAR閾值取前30s視頻中EAR中值的0.8倍； PERCLOS閾值計算如式6。

圖5 疲勞指標計算原理

p=e+0.2*(m-e)

(6)

其中p為PERCLOS閾值，e為30s后的前三次眨眼過程中EAR最小值的平均數(shù)，m為第0s至30s后的第三次眨眼結(jié)束，這段時間內(nèi)的EAR中值。

2.6 指標綜合

在計算出眨眼頻率BF、平均眨眼時常ABT、眼瞼閉合時間百分比PERCLOS和打哈欠頻率YF四個指標后，為了簡化疲勞判斷準則，需要將四個指標融合為一個綜合指標。

歸一化處理是對數(shù)據(jù)的數(shù)值范圍進行特定縮放，但不改變其數(shù)據(jù)分布的一種線性特征變換，計算公式如下：

(7)

其中，xi即為第i個待處理的數(shù)據(jù)指標，xmax和xmin即為該指標能取到的最大值和最小值。根據(jù)文獻調(diào)查的結(jié)果，確定指標的最大值和最小值如表1所示。為了控制數(shù)據(jù)極值分布，如果某一時刻的指標值xi>xmax或xi

表1 指標最大值和最小值

歸一化處理之后的數(shù)據(jù)都是無量綱化的小數(shù)，并且集中在[0，1]區(qū)間內(nèi)。因此，不同單位的數(shù)據(jù)對目標函數(shù)的影響程度是一致的，各指標之間就可以進行比較或加權。

根據(jù)施工機械操作員的疲勞特點和各疲勞指標的可靠程度為各指標分配不同的權重。PERCLOS是行業(yè)內(nèi)公認可靠的疲勞檢測指標，權重定為1[14]； 由于視覺疲勞對施工機械操作員的影響較為微弱[15]，ABT指標權重定為0.8； 而眨眼頻率過低可能代表閉眼、發(fā)呆或高度警惕，過高可能代表緊張焦慮、疲倦困乏或應激反應[16，17]，因此其權重定為0.2； 由于施工機械操作員的心理疲勞、認知能力疲勞更為顯著[18]，因此相比于眨眼頻率，打哈欠頻率更能反映疲勞狀態(tài)，權重定為0.5。

因此，綜合疲勞指標計算公式為：

(8)

綜合疲勞指標X的取值同樣也在[0，1]區(qū)間內(nèi)，根據(jù)不同情景對應的綜合疲勞指標的取值，可以將疲勞分為5個等級，綜合疲勞指標越高代表越疲勞，如表2所示。

表2 疲勞等級

2.7 應對措施

在臨界狀態(tài)和輕度疲勞狀態(tài)下，應對措施的確還需要考慮疲勞指標的持續(xù)時間。首先，臨界狀態(tài)和輕度疲勞狀態(tài)下操作員的疲勞程度并不高，對其工作安全性的影響并不明顯。因此從實用性的角度出發(fā)，為操作員設定一定的緩沖時間是必要的。其次，這兩種狀態(tài)下的判定結(jié)果比較模糊，某一項指標數(shù)值的波動就可能導致綜合指標位于這個區(qū)間。因此持續(xù)時間的設定也是為了提高系統(tǒng)的容錯率。

而對于完全清醒、中度疲勞以及嚴重疲勞狀態(tài)，則不考慮持續(xù)時間的因素。因為這三種狀態(tài)下的判定結(jié)果非常明確，某一指標的波動絕不會導致綜合指標取值進入這個區(qū)間。也就是說，中度疲勞以及嚴重疲勞狀態(tài)一定反映了十分危險的疲勞狀態(tài)，從實時判定、及時止損的角度出發(fā)，這種情況下無需設置緩沖時間就可以直接采取較為嚴厲的應對措施。

不同綜合疲勞指標和持續(xù)時間下的應對措施如圖6所示。無需操作、提醒、警告、報警這四種應對措施對應的疲勞程度依次增大。提醒措施可為播放語音提示音，警告措施可為持續(xù)播放尖銳的警笛聲，報警措施可為播放警笛聲，并立即通知該機械附近的所有操作員和施工安全責任人。

圖6 不同綜合指標數(shù)值和持續(xù)時間下的應對措施

在臨界狀態(tài)下持續(xù)30s以上，則采取提醒措施。如果持續(xù)短于30s，則認為系統(tǒng)發(fā)生誤判或操作員成功進行了自我調(diào)節(jié)，系統(tǒng)無需采取任何措施。在輕度疲勞狀態(tài)下持續(xù)15s以下，無需進行操作； 持續(xù)45s以上，進行警告； 介于15s至45s之間，則采取提醒措施。而對于中度疲勞狀態(tài)，直接采取警告措施。對于嚴重疲勞狀態(tài)，直接采取報警措施。

3 實驗驗證

3.1 實驗設計

本實驗的研究目的是評價算法檢測的準確性。實驗方法為，先錄制高幀率視頻(Canon M50微單相機錄制1920×1080分辨率、59.94幀/秒的視頻)，再在本地計算機上運行疲勞檢測算法。這樣設計的依據(jù)有兩點。首先，四個疲勞指標的數(shù)值都涉及時間參數(shù)的計算，而高幀率的視頻為檢測算法提供了足夠細致的運動過程劃分，使得算法能夠準確地計算兩點之間的時間間隔。其次，受限于計算機的性能，一幀畫面的計算耗時大于一幀畫面的持續(xù)時間，無法實現(xiàn)實時的高幀率視頻檢測。

研究情景是同一實驗對象的不同疲勞程度，因此采用控制變量、對比實驗的方式進行研究，即對比同一對象的不同疲勞程度時控制光線、角度等無關的環(huán)境變量。具體來說，每段視頻都在光線均勻的環(huán)境中，采用正面、平視的角度拍攝，檢測對象不佩戴眼鏡，并且視頻中必須包含完整的、無任何遮擋的面部畫面，視頻時長均為3min，視頻具體內(nèi)容如下。

視頻1：模擬充分休息的操作員正常工作。3分鐘全都處于清醒、自然、注意力集中的狀態(tài)。

視頻2：模擬操作員正常的疲勞積累，并通過措施以避免嚴重疲勞狀態(tài)的發(fā)生。

視頻3：模擬不加干預施工機械操作員的疲勞積累，最終進入嚴重疲勞狀態(tài)。

為了排除隨機因素的影響，增強數(shù)據(jù)的說服力，視頻1-3均需要在不同環(huán)境中重復錄制a、b、c三個版本，并且每個版本的環(huán)境因素必須保持一致(即1a與1b環(huán)境不同，但是1a、2a和3a的環(huán)境一致)。其中a版本為晚上9-10點室內(nèi)錄制，白色日光燈照明； b版本為上午9-10點室內(nèi)錄制，自然陽光照明； c版本為下午4-5點室外錄制，避免陽光直射。

3.2 實驗過程

按照實驗設計的方案，根據(jù)視頻內(nèi)容與視頻環(huán)境進行交查組合后，共錄制9段視頻進行檢測，即為視頻1a、1b、1c、2a、2b、2c、3a、3b和3c。圖7為9段視頻的典型截圖。

圖7 9段視頻檢測過程截圖

3.3 實驗結(jié)果與分析

利用python-matplotlib.pyplot庫分別繪制9段視頻的綜合疲勞指標曲線，如圖8所示。不同視頻以顏色作區(qū)分，視頻1為藍色，視頻2為綠色，視頻3為紅色。

視頻1是模擬充分休息的操作員清醒、自然、注意力集中地工作，三個版本的綜合疲勞指標變化曲線如圖8(a)-(c)所示。分析曲線的變化趨勢，可以得到兩點結(jié)論。首先，三個版本的綜合疲勞指標值均基本穩(wěn)定在0～0.1之間，對應的疲勞等級為十分清醒，無需采取任何應對措施。因此在這種情景下，檢測算法能夠正確地反映實際情況。其次，第30s開始檢測時，圖8(a)、(b)都出現(xiàn)了比較劇烈的波動，隨著時間推移曲線逐漸趨向平穩(wěn)。這是因為指標是以累計時間做計算的，在檢測的初始階段累計時間跨度很小，一次眨眼就會導致各個指標值劇烈變化； 而隨著時間的延長，一次眨眼產(chǎn)生的影響被“稀釋”了，指標趨于平穩(wěn)。

視頻2是模擬操作員正常的疲勞積累，并在第2分鐘末進行提醒干預，第3分鐘開始恢復清醒狀態(tài)，三個版本的綜合疲勞指標變化曲線如圖8(d)-(f)所示。曲線的變化趨勢與圖8(a)-(c)有明顯的不同。從整體上看，三條曲線的綜合疲勞指標值均呈現(xiàn)平穩(wěn)→上升→下降的趨勢，這與視頻2中清醒→疲勞積累→介入干預恢復清醒的過程相契合。在60s至120s之間是視頻2的疲勞積累過程，三條曲線上的這一階段整體上呈現(xiàn)上升趨勢，局部表現(xiàn)出“快速增長，平穩(wěn)下降”的特點。這仍然是時間積累的稀釋作用的體現(xiàn)。

圖8 9段視頻的綜合疲勞指標變化曲線

視頻3是模擬操作員不加干預的疲勞積累，最終進入嚴重疲勞狀態(tài)，三個版本的綜合疲勞指標變化曲線如圖8(g)-(i)所示。曲線的形狀與視頻1、2的曲線明顯不同。從整體上看，前一分鐘曲線保持平穩(wěn)，這對應了清醒狀態(tài)； 第二分鐘開始疲勞綜合指標曲線呈現(xiàn)上升趨勢，最終綜合指標值均超過了0.5，對應嚴重疲勞狀態(tài)。因此在這種情景下，檢測算法的綜合疲勞指標也能夠正確地反映實際情況。

綜合疲勞指標計算所選取的四個疲勞指標中有三個眼部狀態(tài)指標和一個嘴部狀態(tài)指標，而疲勞檢測的基礎是對眼部與嘴部狀態(tài)的判定。通過統(tǒng)計9段視頻中對眼部和嘴部狀態(tài)(眨眼與打哈欠)的判定情況，可以反映出本系統(tǒng)疲勞檢測的準確程度。

以眨眼狀態(tài)檢測為例，誤檢是指檢測算法記錄的結(jié)果出現(xiàn)錯誤，即算法記錄為一次眨眼但實際上沒有眨眼； 漏檢是指檢測算法少記錄了一次眨眼，即實際上進行了眨眼但算法沒有進行記錄； 檢測正確率是指檢測算法正確判斷的次數(shù)占記錄次數(shù)的百分比； 漏檢率是指漏檢次數(shù)占實際眨眼次數(shù)的百分比。因此各指標之間的關系如下：

實際次數(shù)=記錄次數(shù)-誤檢次數(shù)+漏檢次數(shù)

檢測正確率=(記錄次數(shù)-誤檢次數(shù))/記錄次數(shù)

漏檢率=漏檢次數(shù)/實際眨眼次數(shù)

以眨眼狀態(tài)檢測為例，其檢測準確性統(tǒng)計如表3所示。由表3可知，算法的眨眼檢測的正確率在95%左右，漏檢率在3%左右。

表3 眨眼狀態(tài)檢測結(jié)果

根據(jù)誤判和漏判發(fā)生時檢測視頻中人眼的狀態(tài)以及EAR的實時數(shù)據(jù)變化，總結(jié)分析誤檢和漏檢發(fā)生的原因如下。

眨眼誤判主要發(fā)生在打哈欠或者瞇眼過程中，由于人在打哈欠時通常會伴隨有瞇眼或者閉眼的動作，這一過程中EAR值會維持在閾值以下。并且由于打哈欠過程中人頭部的擺動或者一些其他的偶然因素，EAR值往往會發(fā)生突然的波動，如圖9所示，這時候算法就會將這一過程誤判為兩次眨眼。

圖9 誤判過程EAR變化示意圖

而眨眼漏判的原因主要有兩點。首先，當兩次眨眼快速連續(xù)發(fā)生，以至于第一次眨眼的眼瞼還沒有來得及完全睜開，EAR值仍然低于閾值，就緊接著進行了第二次眨眼，如圖10(a)所示。這種情況下算法判定為發(fā)生了一次眨眼，而實際則眨了兩次。其次，打哈欠時EAR值往往會維持在閾值以下，這一段時間內(nèi)即使真正眨眼，EAR值很有可能仍然在低于閾值的范圍內(nèi)變化，如圖10(b)所示。因此，這一過程中無論實際眨了幾次眼，都會被記錄為一次眨眼，也就出現(xiàn)了漏判。

圖10 漏判過程EAR變化示意圖

4 結(jié)語

本論文構建了一套基于計算機視覺技術的施工機械操作員疲勞作業(yè)檢測系統(tǒng)。采用基于人臉特征點標定的dlib算法，識別人臉的68個特征點，提取眼睛和嘴巴區(qū)域的特征點計算出實時EAR和MAR值。考慮個體差異的影響，采用前30s的視頻樣本計算出各個疲勞指標對應的EAR和MAR的閾值。然后計算出眨眼頻率、平均眨眼時長、PERCLOS以及哈欠頻率的實時指標值，并使用歸一化方法進行指標融合，得到一個綜合疲勞指標。依據(jù)綜合疲勞指標的取值和持續(xù)時間，采取不同程度的疲勞應對措施。

本論文通過實驗評價了該檢測系統(tǒng)在不同疲勞狀態(tài)下的工作準確性。通過對三種情景下的九段高幀率視頻進行疲勞檢測，可以得出，本研究提出的綜合疲勞指標能夠反映不同情境下檢測對象疲勞狀態(tài)的變化趨勢，其眨眼狀態(tài)判定的正確率在95%左右，可以有效保證疲勞狀態(tài)的識別。同時，從EAR曲線的角度分析了視頻中漏檢和誤檢的原因。本研究的結(jié)論對研發(fā)工程機械操作員疲勞預警裝備具有重要價值。