董玉霞，蘇榮聰

(泉州信息工程學(xué)院 軟件學(xué)院，福建 泉州 352000)

隨著社會(huì)的不斷進(jìn)步和經(jīng)濟(jì)的繁榮發(fā)展，汽車已經(jīng)成為人們重要的交通工具，逐漸成為家庭的必需品[1].汽車在給人們提供便利出行條件的同時(shí)，也面臨著交通安全問題，汽車交通事故給人們的生命安全和財(cái)產(chǎn)安全造成了巨大威脅.疲勞駕駛是常見的汽車安全事故發(fā)生的起因，汽車駕駛員由于長時(shí)間駕車行駛導(dǎo)致心理和生理到達(dá)了極限，造成機(jī)能失調(diào)從而導(dǎo)致操作技能下降等問題，最終導(dǎo)致交通事故的發(fā)生[2].在汽車駕駛的過程中，駕駛員長期獨(dú)自處于封閉的環(huán)境，容易產(chǎn)生疲憊心理，機(jī)械式的操作讓駕駛員容易感覺發(fā)困，在注意力分散的情況下，容易造成操控機(jī)能減弱，使汽車偏移正常軌道，非常容易導(dǎo)致交通事故的發(fā)生[3].但是疲勞駕駛不同于酒駕和超速駕駛，疲勞駕駛不容易被發(fā)現(xiàn)，最終導(dǎo)致慘劇的發(fā)生，成為當(dāng)今道路交通安全的一個(gè)重大的交通隱患.

徐柱等[4]為了提高汽車在交通道路行駛的安全性，提出了一種基于人眼開度特征的汽車疲勞駕駛檢測系統(tǒng)，首先基于數(shù)據(jù)挖掘技術(shù)對汽車駕駛員的人臉特征和人眼特征進(jìn)行定位和采集，根據(jù)駕駛員行駛過程中的動(dòng)態(tài)拉伸人眼開度特征，獲取人眼周圍的像素特征點(diǎn)，實(shí)現(xiàn)對汽車駕駛員人眼開度特征的采集，并通過行駛過程中駕駛員的人眼開度特征與標(biāo)準(zhǔn)的人眼開度信息進(jìn)行對比，通過駕駛員的眨眼頻率確定駕駛員的駕駛狀態(tài)，對于疲勞駕駛的人員進(jìn)行及時(shí)預(yù)警，實(shí)驗(yàn)結(jié)果表明了該方法的實(shí)用性，但是無法準(zhǔn)確檢測出疲勞駕駛的人員.李照等[5]針對汽車疲勞駕駛問題，提出了一種基于數(shù)字處理信號DSP的疲勞駕駛檢測系統(tǒng)，該系統(tǒng)通過搭載TMS320紅外光源，結(jié)合處理模型對駕駛員的疲勞程度進(jìn)行實(shí)時(shí)檢測，并根據(jù)數(shù)據(jù)挖掘技術(shù)對采集的駕駛員錄像進(jìn)行甄別，利用浮點(diǎn)代碼對不滿足駕駛標(biāo)準(zhǔn)的駕駛圖像預(yù)警，經(jīng)過大量反復(fù)實(shí)驗(yàn)，驗(yàn)證了該系統(tǒng)可以在任何環(huán)境下采集駕駛員的駕駛狀態(tài)，但是實(shí)時(shí)性較差，無法廣泛應(yīng)用于汽車駕駛過程中.

基于以上研究背景，本文利用OpenCV編程函數(shù)庫，設(shè)計(jì)了駕駛員實(shí)時(shí)疲勞檢測系統(tǒng)，從而提高系統(tǒng)的功能和性能.

1 實(shí)時(shí)疲勞檢測系統(tǒng)硬件設(shè)計(jì)

1.1 設(shè)計(jì)實(shí)時(shí)疲勞檢測系統(tǒng)的硬件架構(gòu)

實(shí)時(shí)疲勞檢測系統(tǒng)主要是通過傳感器對駕駛員狀態(tài)進(jìn)行采集，并利用固定的參數(shù)對處理器進(jìn)行運(yùn)算處理[6]，最后通過計(jì)算結(jié)果判斷駕駛員是否疲勞駕駛.用搭載語音驅(qū)動(dòng)模塊和駕駛員進(jìn)行實(shí)時(shí)互動(dòng)，對疲勞駕駛?cè)藛T進(jìn)行預(yù)警信息提示，實(shí)現(xiàn)對駕駛員實(shí)時(shí)疲勞檢測.實(shí)時(shí)疲勞檢測系統(tǒng)的硬件結(jié)構(gòu)如下圖1所示.

圖1 實(shí)時(shí)疲勞檢測系統(tǒng)的硬件架構(gòu)圖

實(shí)時(shí)疲勞檢測系統(tǒng)硬件架構(gòu)中的核心處理器，由主控電路STM34H723構(gòu)成，并通過攝像頭OV12544進(jìn)行駕駛員狀態(tài)采集，核心處理電路采用64位的ADM內(nèi)核對駕駛員駕駛圖像進(jìn)行處理.將薄膜壓力傳感器附著在方向盤上，實(shí)時(shí)對駕駛員的握力進(jìn)行檢測，再根據(jù)相關(guān)軟件進(jìn)行計(jì)算，并通過測量汽車的百公里速度判斷是否存在疲勞駕駛狀態(tài).

實(shí)時(shí)疲勞檢測系統(tǒng)的對外通信模塊主要采用NB-LOT模塊，通過該模塊與硬件電路的連接實(shí)現(xiàn)駕駛員實(shí)時(shí)駕駛狀態(tài)信息的遠(yuǎn)端同步，有利于及時(shí)進(jìn)行數(shù)據(jù)處理.

實(shí)時(shí)疲勞檢測系統(tǒng)的語音交互主要通過集成電路實(shí)現(xiàn)的.LD3325電路與主電路相連實(shí)現(xiàn)駕駛員語音提醒工程，并通過識別模塊對語音信號進(jìn)行及時(shí)處理，從而確定駕駛員是否接收到相關(guān)信息.

1.2 圖像傳感器選擇

圖像傳感器的選擇在實(shí)時(shí)疲勞檢測系統(tǒng)中是非常重要的環(huán)節(jié)，因?yàn)閳D像傳感器的分辨率直接影響實(shí)時(shí)疲勞檢測系統(tǒng)的最終結(jié)果[7]，經(jīng)過多種考慮，本文選擇PO3030K圖像傳感器作為系統(tǒng)的圖像傳感器，其引腳功能如表1所示.

表1 PO3030K圖像傳感器的引腳功能

PO3030K圖像傳感器的結(jié)構(gòu)如圖2所示，該圖像傳感器主要由1080×1080的像素列陣構(gòu)成，用于駕駛員駕駛過程中面部圖像的采集.PO3030K圖像傳感器的引腳功能主要用于復(fù)位電位[8]，減少噪音對實(shí)時(shí)疲勞檢測系統(tǒng)準(zhǔn)確度的影響，然后通過固定采集信號，在不同光線條件下對駕駛員的狀態(tài)進(jìn)行采集.

圖2 圖像傳感器的結(jié)構(gòu)圖

PO3030K圖像傳感器的主要功能是通過編程實(shí)現(xiàn)的，通過I2C與總線接口相連，即可實(shí)現(xiàn)對于寄存器的修改.I2C總線是構(gòu)成圖像傳感器的核心部分，主要用于數(shù)據(jù)的分析與處理[9]，可以處理攝像頭拍攝的駕駛員面部表情，并對采集的圖像進(jìn)行處理，將結(jié)果分配到相關(guān)的電路模塊上.在信息傳輸過程中，I2C總線上的每一塊傳感器模塊都是接收器，并通過控制電路實(shí)現(xiàn)對控制量類別和大小的調(diào)整.

1.3 攝像頭電路

駕駛員實(shí)時(shí)疲勞檢測系統(tǒng)的攝像頭電路如圖3所示.

圖3 攝像頭接口電路圖

攝像頭電路設(shè)計(jì)的過程中芯片主要采用SCCB接片設(shè)計(jì)原理，利用八位的電源接口將FIFO的各個(gè)攝像頭接觸與控制解控相連[10]，根據(jù)合適的汽車選擇相應(yīng)的攝像頭，并使用編程程序結(jié)合SCCB協(xié)議完成實(shí)時(shí)疲勞檢測系統(tǒng)中攝像頭電路的設(shè)計(jì).

2 實(shí)時(shí)疲勞檢測系統(tǒng)軟件設(shè)計(jì)

2.1 設(shè)計(jì)駕駛員面部圖像跟蹤算法

通過內(nèi)置攝像頭拍攝的駕駛員駕駛狀態(tài)圖像，可以確定駕駛員面部初始狀態(tài).假設(shè)駕駛員的面部圖像內(nèi)含有n個(gè)像素，并用{ai},i=1，…，n表示其所在的位置，那么對于駕駛員面部圖像進(jìn)行劃分[11]，得到m個(gè)相等的像素圖，則駕駛員面部圖像的目標(biāo)模型概率分布為

(1)

在第t幀時(shí)，以t-1幀駕駛員面部圖像的位置f0為中心，得到候選駕駛員面部位置坐標(biāo)f的位置，獲取駕駛員面部跟蹤直方圖，面部圖像區(qū)域內(nèi)的像素用{ai},i=1，…，n表示，則駕駛員面部圖像候選模型的概率密度為

(2)

其中，ξ為目標(biāo)函數(shù)的大小.

利用相似函數(shù)，確定駕駛員面部圖像的目標(biāo)模型與候選模型之間的關(guān)系[12]，公式為

(3)

經(jīng)過上述過程，確定了駕駛員面部圖像每個(gè)像素點(diǎn)的位置，如此重復(fù)，完成對駕駛員面部圖像的跟蹤.

2.2 基于OpenCV 設(shè)計(jì)駕駛員瞳孔識別程序

基于OpenCV設(shè)計(jì)駕駛員瞳孔識別程序進(jìn)行軟件編程，將瞳孔識別程序應(yīng)用在OpenCV的固定模塊上[13]，實(shí)現(xiàn)對駕駛員瞳孔的識別.基于OpenCV設(shè)計(jì)駕駛員瞳孔識別程序如下圖4所示.

圖4 駕駛員瞳孔識別程序

Step1 內(nèi)置攝像頭初始化.對駕駛員瞳孔識別前，對駕駛室內(nèi)的內(nèi)置攝像頭進(jìn)行重置[14]，使其滿足車內(nèi)拍攝條件；

Step2 設(shè)置拍攝的分辨率.將內(nèi)置攝像頭的分辨率調(diào)至最佳，使其分辨率為1080×1080使拍攝圖像達(dá)到最優(yōu)化；

Step3 圖像的拍攝.內(nèi)置攝像頭調(diào)試完畢后，可以進(jìn)行初始化處理[15]，完成拍攝工作；

Step4 圖像處理.對拍攝完的駕駛員瞳孔圖像進(jìn)行灰度處理，得到最終所需的灰度處理圖；

Step5 OpenCV計(jì)算.根據(jù)數(shù)據(jù)挖掘處理技術(shù)對處理完的灰度處理圖進(jìn)行二進(jìn)制處理；

Step6 駕駛員瞳孔識別.通過上一步數(shù)據(jù)挖掘處理技術(shù)的處理后，用haar算子對駕駛員的瞳孔圖像進(jìn)行識別，識別后的駕駛員瞳孔灰度圖的規(guī)格和大小分別設(shè)置為(x,y,w,h)，即得到駕駛員瞳孔識別結(jié)果所在的坐標(biāo)系，如果識別失敗返回空白的單元組；

Step7 對駕駛員瞳孔進(jìn)行定位.通過上述識別后的駕駛員瞳孔的元組(x,y,w,h)對駕駛員瞳孔進(jìn)行定位，定位完成后可確定駕駛員的駕駛狀態(tài).

基于OpenCV的駕駛員瞳孔識別流程根據(jù)瞳孔的具體位置可以獲取最終的識別結(jié)果，如果識別過程中不存在空元組說明識別完成，如果存在空元組說明識別失敗，需要重新進(jìn)行識別.通過駕駛員瞳孔識別程序可確定駕駛員的眨眼頻率，如果駕駛員的眨眼狀態(tài)處于非正常范圍內(nèi)，說明駕駛員處于疲勞狀態(tài).

3 系統(tǒng)測試分析

利用OpenCV編程函數(shù)庫設(shè)計(jì)了駕駛員實(shí)時(shí)疲勞檢測系統(tǒng)的硬件和軟件之后，需要結(jié)合系統(tǒng)測試，驗(yàn)證系統(tǒng)的軟硬件配置是否符合預(yù)期設(shè)計(jì)要求.

3.1 設(shè)置實(shí)驗(yàn)環(huán)境

汽車駕駛員實(shí)時(shí)疲勞檢測系統(tǒng)測試平臺是以O(shè)penCV編程函數(shù)庫為開發(fā)平臺，采用CB770攝像頭采集駕駛員的面部圖像，利用C_PLR接口與顯示器連接，將圖像采集結(jié)果顯示在界面中，音頻接口與揚(yáng)聲器連接在一起，實(shí)現(xiàn)音頻報(bào)警功能，實(shí)時(shí)疲勞檢測系統(tǒng)是以PM_9352NL芯片為處理核心，對駕駛員的圖像進(jìn)行采集、疲勞時(shí)的視覺提醒以及音頻報(bào)警.

3.2 設(shè)置實(shí)驗(yàn)參數(shù)

基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)在測試過程中，相關(guān)的實(shí)驗(yàn)參數(shù)設(shè)置如下.Windows 7操作系統(tǒng)；4.0GB的內(nèi)存環(huán)境；W90_E800 6.4GHz的中央處理器；編程環(huán)境選擇Visual C++ 5.0 .

3.3 眨眼頻率測試

在測試駕駛員的眨眼頻率時(shí)，需要駕駛員長時(shí)間駕駛汽車，但是由于駕駛員長時(shí)間駕駛存在一定危險(xiǎn)性，因此本文采用主動(dòng)控制駕駛員眨眼頻率的方式進(jìn)行測試，測試時(shí)間點(diǎn)分別選擇高亮度環(huán)境的12∶00，中等亮度環(huán)境的17∶00和低亮度環(huán)境的20∶00，采用手動(dòng)記錄的方式，記錄駕駛員的眨眼次數(shù)，并利用基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)計(jì)算出駕駛員的眨眼頻率，從計(jì)算結(jié)果中抽取部分典型數(shù)據(jù)，結(jié)果如表2所示.

從表2的結(jié)果可以看出，采用基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)對駕駛員的眨眼頻率進(jìn)行測試時(shí)，影響駕駛員眨眼頻率的因素有兩個(gè)，其一是駕駛員眨眼頻率的快慢，當(dāng)駕駛員的眨眼頻率比較快時(shí)，可能是由于瞳孔識別程序正在處理其他識別任務(wù)，錯(cuò)過了駕駛員閉眼動(dòng)作的識別，駕駛員的眨眼頻率變快，說明閉眼的時(shí)間變短了，但是當(dāng)駕駛員的眨眼頻率低于40次/min時(shí)，基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)的準(zhǔn)確率可以達(dá)到97.5%；其二是測試環(huán)境亮度對基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)測量精度的影響，當(dāng)駕駛員的眨眼頻率相同時(shí)，隨著測試環(huán)境亮度逐漸變亮，基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)對駕駛員眨眼頻率的檢測誤差越來越小，但是駕駛員眨眼頻率的檢測準(zhǔn)確率可以達(dá)到96.5%以上.

表2 駕駛員眨眼頻率測試結(jié)果

表2的結(jié)果表明，基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)在測試過程中，雖然檢測準(zhǔn)確率會(huì)受到駕駛員眨眼頻率和測試環(huán)境亮度的影響，但是仍然可以滿足系統(tǒng)的設(shè)計(jì)要求.

3.4 打哈欠頻率測試

在測試駕駛員的打哈欠頻率時(shí)，不同的亮度條件下駕駛員的打哈欠頻率也存在一定差異，本文選取不同亮度環(huán)境下進(jìn)行測試，實(shí)驗(yàn)條件與3.3相同，打哈欠頻率測試結(jié)果如表3所示.

從表3的結(jié)果可以看出，采用基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)對駕駛員的打哈欠頻率進(jìn)行測試時(shí)，發(fā)現(xiàn)打哈欠頻率的快慢和環(huán)境中的亮度是影響駕駛員打哈欠頻率的兩個(gè)主要因素，如果駕駛員在駕駛過程中的打哈欠頻率越來越快，可能是由于圖像傳感器和駕駛員面部圖像跟蹤算法正在處理其他圖像的識別任務(wù)，錯(cuò)過了駕駛員打哈欠動(dòng)作的識別，駕駛員的打哈欠頻率變快，說明打哈欠的時(shí)間變短了，但是當(dāng)駕駛員的打哈欠頻率低于8次/min時(shí)，基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)的準(zhǔn)確率可以達(dá)到97%；在測試環(huán)境亮度對基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)測量精度的影響中，當(dāng)駕駛員的打哈欠頻率相同時(shí)，隨著測試環(huán)境亮度逐漸變亮，基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)對駕駛員打哈欠頻率的檢測誤差越來越小，但是駕駛員打哈欠頻率的檢測準(zhǔn)確率可以達(dá)到97.3%以上.

表3 駕駛員的打哈欠頻率測試結(jié)果

表3的結(jié)果表明，采用基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)在測試過程中，雖然打哈欠頻率檢測準(zhǔn)確率會(huì)受到駕駛員打哈欠頻率和測試環(huán)境中亮度因素的影響，但是仍然可以滿足系統(tǒng)的設(shè)計(jì)要求.

3.5 疲勞檢測時(shí)間測試

將文獻(xiàn)[4]系統(tǒng)和文獻(xiàn)[5]系統(tǒng)以及本文系統(tǒng)作為實(shí)驗(yàn)對比系統(tǒng)，以此對比不同系統(tǒng)對于疲勞檢測時(shí)間來驗(yàn)證不同方法的檢測效率.疲勞檢測時(shí)間對比結(jié)果如圖5所示.

圖5 三種系統(tǒng)疲勞檢測時(shí)間對比

由圖5中的數(shù)據(jù)可知，本文系統(tǒng)的疲勞檢測時(shí)間始終在0.7s以下，而文獻(xiàn)[4]系統(tǒng)的疲勞檢測時(shí)間在1.2 s～1.7%，而文獻(xiàn)[5]系統(tǒng)的疲勞檢測時(shí)間在1.8%～2.6%，遠(yuǎn)高于本文系統(tǒng)，所以說明了本文系統(tǒng)可以快速檢測出疲勞駕駛問題，實(shí)際應(yīng)用效果好.

3.6 疲勞檢測正確率測試

將文獻(xiàn)[4]系統(tǒng)和文獻(xiàn)[5]系統(tǒng)以及本文系統(tǒng)作為實(shí)驗(yàn)對比系統(tǒng)，以此對比不同系統(tǒng)對于疲勞檢測正確率.疲勞檢測正確率是指正確檢測出的疲勞事件量占疲勞駕駛事件總量的比率，對比結(jié)果如圖6所示.

圖6 三種系統(tǒng)檢測時(shí)間對比

由圖6中的數(shù)據(jù)可知，本文系統(tǒng)的疲勞檢測正確率始終在95%以上，而文獻(xiàn)[4]系統(tǒng)的疲勞檢測正確率在55%～81%，而文獻(xiàn)[5]系統(tǒng)的疲勞檢測正確率在53%～82%，遠(yuǎn)低于本文系統(tǒng)，所以說明了本文系統(tǒng)可以正確檢測出疲勞駕駛問題，實(shí)際應(yīng)用效果更好.

4 結(jié)束語

本文提出了基于OpenCV 實(shí)時(shí)疲勞檢測系統(tǒng)的研究，經(jīng)過測試發(fā)現(xiàn)，該系統(tǒng)在駕駛員疲勞檢測中，可以準(zhǔn)確判斷駕駛員是否處于疲勞駕駛狀態(tài).但是本文的研究還存在很多不足，在今后的研究中，希望可以進(jìn)一步優(yōu)化駕駛員佩戴眼鏡對系統(tǒng)的檢測干擾，增強(qiáng)系統(tǒng)的適用性.