李　東　彭亦功

(華東理工大學(xué)信息科學(xué)與工程學(xué)院，上?！?00237)

?

一種基于HSV和LBP特征融合的眼疲勞診斷方法

李東彭亦功

(華東理工大學(xué)信息科學(xué)與工程學(xué)院，上海200237)

針對色調(diào)飽和度亮度(HSV)顏色空間特征提取方法在低光照條件下人眼狀態(tài)識別率低、局部二值模式(LBP)特征提取方法在復(fù)雜光照下魯棒性不強(qiáng)的問題，根據(jù)人眼在不確定光照情況下的狀態(tài)識別需求，提出了基于HSV顏色特征和LBP紋理特征融合的眼疲勞診斷方法。仿真試驗(yàn)表明，該方法可有效提高單獨(dú)使用HSV和LBP特征提取方法仿真時(shí)的人眼狀態(tài)識別率和眼疲勞診斷精度，具有很好的眼疲勞診斷效果，應(yīng)用前景廣泛。

特征提取 HSVLBP魯棒性特征融合眼疲勞診斷狀態(tài)識別

0　引言

近年來，因用眼過度引起的健康問題越來越多，因眼疲勞引起的交通意外造成了諸多人員傷害和社會危害[1-2]。因此，人眼狀態(tài)識別和診斷方法的研究引起了眾多專家、學(xué)者的關(guān)注[3-4]?；陬伾臻g(hue saturation value,HSV)和局部二值模式(local binary pattern,LBP)是人眼狀態(tài)識別和診斷常用的特征提取方法。HSV是將圖像從紅綠藍(lán)(red green blue，RGB)顏色空間轉(zhuǎn)換到HSV顏色空間提取特征的方法[5]，其在低光照條件下的識別率較低[6-8]；LBP是一種提取圖像局部紋理的算子，用于描述局部像素間的對比度[9]，但其在復(fù)雜光照下的魯棒性不強(qiáng)[10-12]。

本文在具體分析HSV和LBP特征提取方法基礎(chǔ)上，提出基于HSV和LBP特征融合的眼疲勞診斷方法，并對相關(guān)仿真試驗(yàn)進(jìn)行分析、對比。仿真結(jié)果表明：基于特征融合的方法彌補(bǔ)了單一特征提取方法的不足，其人眼狀態(tài)識別率和眼疲勞診斷精度較HSV和LBP有明顯提高。

1　常用特征提取方法

1.1HSV顏色空間特征提取方法

顏色特征主要有顏色直方圖、顏色矩、顏色相關(guān)圖等，而顏色直方圖是最簡單、有效的顏色特征，常用于構(gòu)成HSV顏色空間。因此，HSV常作為一種用于圖像特征識別的特征提取方法。其中H、S、V分別表示色調(diào)(hue，H)、飽和度(saturation，S)和亮度(value，V)。HSV顏色直方圖特征提取方法具體如下[13]。

①顏色空間轉(zhuǎn)換。

根據(jù)式(1)，將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，V、S、H分別為：

(1)

式中：R、G、B分別為RGB圖像中紅、綠、藍(lán)這三種顏色分量；θ為角度。

(2)

②HSV顏色空間與直方圖的轉(zhuǎn)換。

采用等量間距量化法，將HSV顏色空間均勻量化為256維直方圖。其中，H、S、V三者的顏色量分別均勻量化為16份、4份和4份，即三者的量化等級分別為16、4和4。

③直方圖編碼化。

采用Haar變換法，編碼上述256維直方圖特征，編碼后的直方圖特征即為所需的基于HSV顏色空間的特征。

1.2LBP局部二值模式特征提取方法

LBP主要通過比較圖像中任意像素點(diǎn)灰度值與以該像素點(diǎn)為中心的矩形鄰域內(nèi)其他像素點(diǎn)灰度值的大小，來確定該像素點(diǎn)的LBP碼。基本LBP算子運(yùn)算過程如圖1所示。在鄰域中，將8個(gè)鄰域像素點(diǎn)的灰度值與中心像素點(diǎn)的灰度值作閾值化處理。即當(dāng)鄰域像素點(diǎn)的灰度值大于等于中心像素點(diǎn)的灰度值時(shí)，將該點(diǎn)置為1；反之，則置為0。然后，以順時(shí)針方向記錄，得到二進(jìn)制序列。再根據(jù)權(quán)重規(guī)則將二進(jìn)制序列轉(zhuǎn)化為十進(jìn)制，所得十進(jìn)制數(shù)值即代表中心像素點(diǎn)的LBP碼。

圖1　基本LBP算子運(yùn)算過程示意圖Fig.1　Operational process of basic LBP operator

基于基本LBP算子，Ojala等人提出一種擴(kuò)展的LBP算子，即圓形鄰域LBP算子[14]。該算子表示為：

(3)

式中：gc為中心像素點(diǎn)灰度值；gp為以gc為中心的圓形鄰域像素點(diǎn)灰度值；R為半徑；P為鄰域采樣點(diǎn)；s(x)為符號函數(shù)。

(4)

鑒于這種圓形鄰域LBP算子提取的特征維數(shù)過多，在此基礎(chǔ)上，Ojala等人又進(jìn)一步提出統(tǒng)一化LBP算子。其表示為：

(5)

(6)

在由式(6)計(jì)算所得的二進(jìn)制序列中，如包含從0～1或從1～0的、轉(zhuǎn)變次數(shù)不多于2次的模式，即稱為統(tǒng)一化局部二進(jìn)制模式；反之，則稱為非統(tǒng)一化局部二進(jìn)制模式。統(tǒng)一化局部二進(jìn)制模式具有反映重要信息的特性，而非統(tǒng)一化局部二進(jìn)制模式往往由噪聲引起過多的轉(zhuǎn)變，因而不具有良好的統(tǒng)計(jì)意義。因此，統(tǒng)一化局部二進(jìn)制模式LBP算子可保留所描述圖像的絕大部分紋理信息，減少了圖像特征的數(shù)量，進(jìn)而加快了數(shù)據(jù)處理的速度。

2　特征融合方法

特征融合方法常分為判決層融合和特征層融合兩種。判決層融合方法即分別建立子特征模型，通過融合權(quán)值來實(shí)現(xiàn)子模型的融合。這種融合方法，并未建立特征之間的聯(lián)系，融合權(quán)值的選擇也較為依賴子特征模型的判別結(jié)果，顯然在實(shí)際應(yīng)用中可靠性不足。特征層融合方法即直接構(gòu)建融合特征的模型，這種方法可關(guān)聯(lián)特征內(nèi)在屬性，且其模型更具一般性，與判決層融合方法相比更具優(yōu)勢。

本文采用特征層融合方法，對基于人眼圖像提取的HSV特征和LBP特征進(jìn)行直接融合，其具體過程如圖2所示。首先，分別提取人眼圖像的HSV顏色直方圖特征和人眼圖像的LBP特征，采用[0，1]歸一化方法處理特征，并將歸一化后的特征向量化；然后，直接把向量化后的HSV顏色直方圖特征和LBP特征融合，形成HSV-LBP融合特征。

圖2　特征融合過程示意圖Fig.2　Schematic diagram of process of feature fusion

3　試驗(yàn)

3.1試驗(yàn)?zāi)Ｐ蜆?gòu)建

①基于SVM的人眼狀態(tài)判別模型。

人眼狀態(tài)的判別屬于二分類問題，常用支持向量機(jī)(supportvectormachine，SVM)來解決。SVM以結(jié)構(gòu)風(fēng)險(xiǎn)最小化為原則，尋找能夠成功分開兩類樣本且具有最大分類間隔的最優(yōu)分類超平面。顯然，SVM具有良好的分類正確率和模型泛化能力，且在處理小樣本問題時(shí)具有較好表現(xiàn)。因此，采用SVM構(gòu)建人眼狀態(tài)判別模型。

利用SVM建立模型，實(shí)際上是建立一組最優(yōu)判別函數(shù)的過程。對于一組給定的訓(xùn)練樣本{(x1,y1),…,(xi,yi),…,(xN,yN)}，xi和yi分別為第i個(gè)樣本的特征向量和類別標(biāo)志，xi∈Rd，yi∈{-1,1}，N為訓(xùn)練樣本數(shù)。對于線性可分和不可分兩種情況，SVM的最優(yōu)判別函數(shù)分別如式(7)和式(8)所示：

(7)

(8)

在建立SVM模型時(shí)，核函數(shù)的選擇和參數(shù)優(yōu)化對其分類性能起著至關(guān)重要的作用。常見的核函數(shù)類型主要有線性、多項(xiàng)式、徑向基(radialbasisfunction，RBF)、Sigmoid這四種。由于RBF核函數(shù)具有可將樣本映射到更高維空間以解決非線性問題、需要確定參數(shù)少的優(yōu)點(diǎn)，故選擇其為SVM人眼狀態(tài)判別模型的核函數(shù)。其中，涉及懲罰因子C和核參數(shù)r兩參數(shù)的優(yōu)化。優(yōu)化C可實(shí)現(xiàn)分類間隔最大和誤分樣本最少之間的平衡。r主要會影響訓(xùn)練樣本數(shù)據(jù)在高維特征空間中的分布復(fù)雜度，若選擇過高，會導(dǎo)致訓(xùn)練數(shù)據(jù)不可分;反之，則對任意的訓(xùn)練數(shù)據(jù)都將映射為線性可分，從而導(dǎo)致過擬合。因此，采用基于交叉驗(yàn)證與網(wǎng)格搜索相結(jié)合的方法進(jìn)行C和r的優(yōu)化選擇。

②疲勞診斷標(biāo)準(zhǔn)。

依據(jù)構(gòu)建的SVM模型判別人眼狀態(tài)，再根據(jù)疲勞診斷標(biāo)準(zhǔn)確定人眼疲勞狀態(tài)。常用眼疲勞診斷標(biāo)準(zhǔn)分為眨眼頻率、眼睛平均閉合速度及眼瞼閉合時(shí)間占特定時(shí)間百分比(percentage of eyelid closure over the pupil over time，PERCLOS)。與其他疲勞診斷標(biāo)準(zhǔn)相比，PERCLOS所反映的疲勞狀態(tài)更加精確[15]。PERCLOS的計(jì)算標(biāo)準(zhǔn)有三種，即P70、P80和眼睛度量(eye measure，EM)。其中，P70表示眼睛閉合至少70%所占的時(shí)間比例，P80表示眼睛閉合至少80%所占的時(shí)間比例，EM表示眼瞼閉合率的均方百分比。Dinges等研究發(fā)現(xiàn)：三種計(jì)算標(biāo)準(zhǔn)中，基于P80的疲勞診斷準(zhǔn)確率最高，應(yīng)用最廣泛[16]。PERCLOS原理如圖3所示。

圖3　PERCLOS原理圖Fig.3　Schematic diagram of PERCLOS

若將人眼開度為100%時(shí)的眼睛高度定義為眼高，在圖3中，t1為眼睛從張開最大即眼高到閉合至80%眼高所需的時(shí)間；(t2-t1)為眼睛從80%眼高閉合至20%眼高所需的時(shí)間；(t3-t2)為眼睛從20%眼高至完全閉合再到睜開20%眼高所需的時(shí)間；(t4-t3)為眼睛從20%眼高睜開至80%眼高所需的時(shí)間。根據(jù)P80，可得PERCLOS，記為P。則P為：

(9)

由式(9)可見,P值即為給定時(shí)間窗中的時(shí)間比，其也可通過計(jì)算規(guī)定時(shí)間內(nèi)總閉眼數(shù)目Ec和在相同時(shí)間內(nèi)總?cè)搜蹟?shù)目Et的比值得到。P值計(jì)算公式為：

(10)

式(10)中，P值越大，則疲勞程度越高，反之亦然。通過式(10)，可以計(jì)算由SVM人眼狀態(tài)判別模型識別的總閉眼數(shù)目Ec1占總?cè)搜蹟?shù)目Et的比例P計(jì)算，以及真實(shí)的總閉眼數(shù)目Ec2占總?cè)搜蹟?shù)目Et的比例P實(shí)際。它們的計(jì)算公式分別為：

(11)

(12)

Ec1=TP+FN

(13)

Ec2=TP+FP

(14)

Et=TP+TN+FN+FP

(15)

式中：真陽性(truepositive,TP)為SVM人眼分類判別模型正確分類的閉眼數(shù)目；真陰性(truenegative，TN)為SVM人眼狀態(tài)判別模型正確分類的睜眼數(shù)目；假陽性(falsepositive，F(xiàn)P)為SVM人眼狀態(tài)判別模型錯(cuò)誤分類的閉眼數(shù)目；假陰性(falsenegative，F(xiàn)N)為SVM人眼狀態(tài)判別模型錯(cuò)誤分類的睜眼數(shù)目。

由此可見，通過P計(jì)算可判斷當(dāng)前人眼是否處于疲勞狀態(tài)。為了更精確地判斷疲勞狀態(tài)，可按式(16)計(jì)算P的誤差值[17]：

P誤差=|P計(jì)算-P實(shí)際|

(16)

式中：P誤差越小，疲勞診斷的精度越高;反之，則越低。

在實(shí)際應(yīng)用過程中，常常在確定疲勞狀態(tài)后，根據(jù)P值的大小范圍來判斷疲勞的程度，并予以分級警示。一般來說，基于P值的眼疲勞程度診斷標(biāo)準(zhǔn)可設(shè)置為[18]：當(dāng)0≤P<10%時(shí)，不疲勞；當(dāng)10%≤P<30%時(shí)，為輕度疲勞；當(dāng)30%≤P<50%時(shí)，為中度疲勞；當(dāng)P≥50%時(shí)，為嚴(yán)重疲勞。

3.2仿真試驗(yàn)

(1)試驗(yàn)條件。

仿真試驗(yàn)軟件為Matlab，其版本為R2013a。仿真軟件運(yùn)行環(huán)境為：聯(lián)想筆記本、Windows7旗艦版系統(tǒng)、雙核IntelCorei5CPU、2.3GHz頻率、4GB內(nèi)存。

構(gòu)建SVM人眼狀態(tài)判別模型所用的數(shù)據(jù)均來自于自建的人眼圖像庫，圖像庫中包含9組人眼圖像子庫，分別由3名測試人員在均勻正常光照、非均勻較弱光照和均勻正常光照戴眼鏡3種條件下采集得到。其中，均勻正常光照下所得的圖像庫編號為1、2、3；非均勻較弱光照下所得的圖像庫編號為4、5、6；均勻正常光照戴眼鏡下所得的圖像庫編號為7、8、9。9組圖像庫共包含睜眼圖像4 393幅，閉眼圖像3 810幅。

訓(xùn)練SVM人眼狀態(tài)判別模型時(shí)，分別將1 200幅閉眼和1 200幅睜眼圖像作為訓(xùn)練的正負(fù)樣本，樣本隨機(jī)、均勻地選自每個(gè)圖像子庫。剔除訓(xùn)練樣本后，

將每個(gè)圖像子庫中剩余的人眼圖像作為測試樣本，測試樣本數(shù)如表1所示。

表1　測試樣本數(shù)Tab.1　The numbers of test samples

(2)試驗(yàn)過程。

①模型訓(xùn)練過程。

首先，將訓(xùn)練正負(fù)樣本的大小統(tǒng)一為31×36像素，并分別提取每幅圖像的HSV、LBP和HSV-LBP特征；然后，將其中800幅閉眼和800幅睜眼圖像的3組特征分別作為模型訓(xùn)練樣本，剩下各400幅閉眼和睜眼圖像的3組特征分別作為其訓(xùn)練模型的測試樣本；最后，將訓(xùn)練正負(fù)樣本輸入SVM進(jìn)行訓(xùn)練，并采用測試樣本進(jìn)行模型性能的驗(yàn)證。整個(gè)訓(xùn)練和測試結(jié)束后，得到基于HSV、LBP和HSV-LBP特征的SVM人眼狀態(tài)判別模型。

②試驗(yàn)結(jié)果。

利用上述3種模型，分別識別9組圖像庫中測試樣本的人眼狀態(tài)，可得不同特征提取方法識別的TN、FN、TP、FP值，結(jié)果如表2所示。

表2　不同特征提取方法成功識別人眼狀態(tài)的數(shù)目Tab.2　Success numbers of eye state recognition of different feature extraction methods

根據(jù)表2的識別結(jié)果，可利用式(17)～式(19),計(jì)算不同特征提取方法的睜眼識別率、閉眼識別率和總識別率[16]。

(17)

(18)

(19)

不同特征提取方法的人眼狀態(tài)識別率如表3所示。

表3　不同特征提取方法的人眼狀態(tài)識別率Tab.3　Eye state recognition rate of different feature extraction methods

從表3可以看出，基于HSV-LBP特征融合方法的人眼狀態(tài)識別率較HSV和LBP特征提取方法的人眼狀態(tài)識別率有了很大的提升。對比結(jié)果表明：基于HSV-LBP特征融合方法彌補(bǔ)了融合前單一特征提取方法在人眼狀態(tài)識別方面所存在的不足。究其原因，單一特征在不同環(huán)境下描述人眼狀態(tài)的能力不同，而融合特征在一定程度上增強(qiáng)了準(zhǔn)確表達(dá)圖像信息的能力。

根據(jù)表2的數(shù)據(jù)，利用式(11)和式(12)，計(jì)算三種特征提取方法的和，并診斷疲勞程度，結(jié)果見表4。

表4　不同特征提取方法的眼疲勞診斷結(jié)果Tab.4　Results of eye fatigue diagnosis of different feature extraction methods

從表4可以看出，三種特征提取方法的眼疲勞程度診斷結(jié)果一致，但根據(jù)表4中P計(jì)算結(jié)果及式(16)可得三種特征提取方法的P誤差，其結(jié)果如圖4所示。

圖4中，對于每個(gè)圖像庫而言，利用三種特征提取方法所得到的P誤差不同。其中，基于LBP-HSV特征融合的眼疲勞診斷方法的P誤差基本均小于其他兩種方法的P誤差。對比結(jié)果表明，基于HSV-LBP特征提取融合的眼疲勞診斷方法精度較高，診斷效果好，可靠性更高。

圖4　P誤差對比圖Fig.4　Comparison of the Perror values

4　結(jié)束語

鑒于HSV和LBP特征提取方法的各自特點(diǎn)，提出了基于HSV和LBP特征融合的眼疲勞診斷方法。利用SVM構(gòu)建基于融合特征的人眼狀態(tài)判別模型，并根據(jù)PERCLOS疲勞診斷標(biāo)準(zhǔn)進(jìn)行眼疲勞診斷。仿真試驗(yàn)表明，相比單一特征提取方法，基于HSV和LBP特征融合的眼疲勞診斷方法提升了人眼狀態(tài)識別準(zhǔn)確率，且提高了眼疲勞診斷的可靠性，具有廣闊的使用前景。

[1]BENEDETTOS,CARBONEA,DRAI-ZERBIBV,etal.Effectsofluminanceandilluminanceonvisualfatigueandarousalduringdigitalreading[J].ComputersinHumanBehavior,2014,41:112-119.

[2]CYGANEKB,GRUSZCZYNSKIS.Hybridcomputervisionsystemfordrivers′eyerecognitionandfatiguemonitoring[J].Neurocomputing,2014,126(126):78-94.

[3]SHAOL,LIUL,LIX.Featurelearningforimageclassificationviamultiobjectivegeneticprogramming[J].IEEETransactionson.NeuralNetworksandLearningSystems, 2014,25(7): 1359-1371.

[4]THEPADES,DASR,GHOSHS.Anovelfeatureextractiontechniquewithbinarizationofsignificantbitinformation[J].InternationalJournalofImagingandRobotics,2015,15(3): 164-178.

[5]SOLEIMANIZADEHS,MOHMAND,SABAT,etal.Recognitionofpartiallyoccludedobjectsbasedonthethreedifferentcolorspaces(RGB,YCbCr,HSV)[J].3DResearch,2015,6(3): 1-10.

[6]ROYS,BANDYOPADHYAYSK.FacedetectionusingahybridapproachthatcombinesHSVandRGB[J].InternationalJournalofComputerScience&MobileComputing,2013,2(3):127-136.

[7]ALNABRISSHA,ABUHAIBAISI.Improvedimageretrievalwithcolorandanglerepresentation[J].InternationalJournalofInformationTechnology&ComputerScience,2014,6(6):68-81.

[8]TSAGARISA,MANITSARISS.Colourspacecomparisonforskindetectioninfingergesturerecognition[J].InternationalJournalofAdvancesinEngineering&Technology,2013,6(4): 1431.

[9]YANGB,CHEN.Acomparativestudyonlocalbinarypattern(LBP)basedfacerecognition:LBPhistogramversusLBPimage[J].Neurocomputing,2013,120(10):365-379.

[10]HONGX,ZHAOG,PIETIKAINENM,etal.CombiningLBPdifferenceandfeaturecorrelationfortexturedescription[J].IEEETransactionsonImageProcessingAPublicationoftheIEEESignalProcessingSociety,2014,23(6):2557-2568.

[11]TAFRESHIM,FOTOUHIAM.Afastandaccuratealgorithmtodistinguishbetweenopenandclosedeyebyefficientcombiningoftextureandappearancefeatures[C]//ElectricalEngineering(ICEE),2014 22ndIranianConferenceon.IEEE,2014: 1013-1017.

[12]ZHANGY,HUAC.Driverfatiguerecognitionbasedonfacialexpressionanalysisusinglocalbinarypatterns[J].Optik-InternationalJournalforLightandElectronOptics,2015,126(23):4501-4505.

[13]MANJUNATHBS,OHMJR,VASUDEVANVV,etal.Colorandtexturedescriptors[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2001,11(6): 703-715.

[14]OJALAT,PietikainenM,MaenpaaT.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwithlocalbinarypatterns[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2002,24(7):971 - 987.

[15]DINGESDF,MALLISMM,MAISLING,etal.Evaluationoftechniquesforocularmeasurementasanindexoffatigueandthebasisforalertnessmanagement[R].1998.

[16]DASGUPTAA,GEORGEA,HAPPYSL,etal.AVision-basedsystemformonitoringthelossofattentioninautomotivedrivers[J].IEEETransactionsonIntelligentTransportationSystems,2013,14(4):1825-1838.

[17]GONZALEZ-ORTEGAD,DIAZ-PERNASFJ,Antón-RodríguezM,etal.Real-timevision-basedeyestatedetectionfordriveralertnessmonitoring[J].FormalPatternAnalysis&Applications,2013,16(3):285-306.

[18]DAZAIG,BERGASALM,BRONTES,etal.FusionofoptimizedindicatorsfromAdvancedDriverAssistanceSystems(ADAS)fordriverdrowsinessdetection[J].Sensors,2014,14(1):1106-31.

Eye Fatigue Diagnosis Method Based on Feature Fusion by HSV and LBP

Under low light conditions,the color space feature extraction method of HSV (Hue Saturation Value) provides low recognition rate of eye state; while under complex lighting conditions,the feature extraction method of LBP (Local Binary Pattern) features low robustness,in accordance with the demands for recognizing eye state under uncertain illumination conditions,the eye fatigue diagnosis method based on HSV and LBP,that fusing color feature and texture feature is proposed.Simulation experiments show that the proposed method can effectively improve eye state recognition rate and eye fatigue diagnostic accuracy obtained by using HSV or LBP separately.Besides,it has a good effect on eye fatigue diagnosis and a wide prospect in application.

Feature extractionHSV LBPRobustnessFeature fusionEye fatigue diagnosisState recognition

李東(1990—)，男，現(xiàn)為華東理工大學(xué)控制科學(xué)與工程專業(yè)在讀碩士研究生；主要從事信息處理、模式識別、人工智能等方向的研究。

TP391.9；TH166

ADOI:10.16086/j.cnki.issn 1000-0380.201610022

上海市重點(diǎn)學(xué)科建設(shè)基金資助項(xiàng)目(編號：B504)。

修改稿收到日期：2016-05-02。