鄧 亮,陳萬剛,劉 健,王金磊
(常州星宇車燈股份有限公司,江蘇 常州 213002)
當前很多汽車的內(nèi)飾越來越簡化,一定程度地影響了信息傳遞的有效性和安全性。例如特斯拉已經(jīng)將儀表盤取消,儀表信息全部通過車機界面來顯示。從駕駛安全角度考慮,頻繁觀察車機界面存在駕駛安全隱患。傳統(tǒng)氛圍燈僅有渲染氣氛這一功能。車內(nèi)氛圍燈信息顯示是汽車交互一個新的研究方向。設計人員利用燈光傳達汽車即將進行的操作或意圖,來幫助駕駛員理解車輛的狀態(tài)。已有研究人員發(fā)現(xiàn),利用車內(nèi)氛圍燈顯示駕駛過程相關的安全信息,從而輔助駕駛人員[1]。van Dijck等[2]提出了“視覺感知”,用觸覺、聽覺和燈光提示提醒駕駛員可能發(fā)生橫向碰撞。Pfromm等[3]使用燈光顯示界面來驗證燈光的效果,發(fā)現(xiàn)燈光顯示界面可以將駕駛員的視線引導到關鍵物體上。L?cken等[4]使用燈光連續(xù)顯示快車道上接近車輛的距離。Dziennus等[5]研究認為,應當在高速公路上使用燈光顯示界面進行駕駛對駕駛安全更有利。上述研究表明,氛圍燈組成的燈光界面有明顯的提示效果,可以在車道變更決策輔助系統(tǒng)、車輛偏離警告系統(tǒng)、前向碰撞警告系統(tǒng)及倒車輔助系統(tǒng)等汽車功能上發(fā)揮作用,車內(nèi)氛圍燈光的提示功能在車內(nèi)還有更多的研究方向等待發(fā)掘。
車內(nèi)氛圍燈是柔性高亮度散光光導纖維LED氛圍燈的簡稱。氛圍燈作為一種新的汽車裝飾照明燈具,一般是RGB氛圍燈,常用于裝飾車內(nèi)空間,滿足車主的個性需求。根據(jù)汽車廠商要求,為了不影響人員正常駕駛,氛圍燈的亮度通常限定為2~10 cd/m2。車內(nèi)氛圍燈主要安裝于儀表盤、車門扶手、踩腳線等位置,基礎功能有照明、亮度調(diào)節(jié)和燈色變化。
拓展氛圍燈應用范圍是當前的研究趨勢,有相關研究人員進行了語音控制氛圍燈的研究,讓燈光隨著聲音變化,給出了可實現(xiàn)的軟硬件設計[6]和交互方式設計[7]。氛圍燈還可以用于信息顯示,對于車內(nèi)復雜的信息界面,氛圍燈是一個很好的解決方案,可以顯示車載信息娛樂系統(tǒng)界面之外的信息來擴展車內(nèi)環(huán)境中的信息空間。由于氛圍燈亮度可調(diào)節(jié),在不需要時處于休眠的低亮度狀態(tài),啟動時可呈現(xiàn)突出的高亮度,既可以幫助傳達重要的信息(比如倒車距離提醒),又不會因為長時間高亮眩光給駕駛員增加干擾。在一個不斷收到信息干擾的車內(nèi)環(huán)境中,氛圍燈燈光提示功能可以幫助駕駛員專注于他們的主要任務。
一直以來,疲勞分心駕駛都是引發(fā)事故的重要原因之一,是人員駕駛過程中需要時常提示和注意的重要情況。現(xiàn)有的疲勞檢測系統(tǒng)的提示信息主要顯示在儀表盤界面,伴隨有警報提示聲,但鮮有燈光提示信息的研究。
本文基于駕駛員處于疲勞分心狀態(tài)的場景,通過燈光來提示人員,從而驗證氛圍燈燈光的提示功能。首先根據(jù)用戶調(diào)查確定了車內(nèi)氛圍燈的燈光位置;然后提出一種駕駛員疲勞檢測及行為檢測的識別方法;利用氛圍燈燈光發(fā)出提示信息,設計了氛圍燈的提示燈效;最后開展利用氛圍燈提示功能提示人員的實驗,驗證了用氛圍燈提供信息提示功能的可行性。
車內(nèi)駕駛員行為檢測方式按是否涉及生理信息分為兩種:一種是監(jiān)測駕駛員的生理信息,通過人的呼吸頻率、心率或者腦電數(shù)據(jù)等判斷駕駛員是否處于疲勞狀態(tài)[8];另一種是基于視覺圖像的識別方法,依靠RGB攝像頭獲得的圖像數(shù)據(jù)進行識別,與駕駛員無直接接觸,是當下車內(nèi)行為檢測的重點研究方向。由于圖像識別檢測范圍大、適用場景廣泛等優(yōu)勢,下文選擇基于圖像的行為檢測方法。
駕駛員行為檢測是對駕駛員的特定行為進行檢測或分類。駕駛員行為檢測的特殊點在于需要根據(jù)特定行為的動作幅度、時長以及頻率來進行判斷,否則無法做到有效識別。駕駛員行為檢測的圖像識別一般流程如圖1所示。
圖1 駕駛員行為檢測的識別流程Fig.1 Identification process of driver behavior detection
行為檢測是對駕駛員的操作行為進行識別,需要事先定義正常駕駛狀態(tài)與非正常駕駛狀態(tài)。根據(jù)實際乘車觀察,記錄了駕駛員的車內(nèi)行為,視頻記錄截圖如圖2所示。根據(jù)人員駕駛行為和危險嚴重程度,將非正常駕駛狀態(tài)定義為兩種:分心和疲勞。通常,駕駛員在駕駛過程中看手機、喝水、抽煙等行為會導致不同程度的分心,故將以上三種駕駛行為定義為分心。疲勞狀態(tài)則是利用PERCLOS算法來判斷。Green[9]研究表明,PERCLOS算法常用于檢測人員的疲勞狀態(tài),有很高的準確率。另外,定義駕駛員雙手放于方向盤的動作為正常駕駛行為。
圖2 駕駛員行為檢測結果Fig.2 Driver behavior detection results
利用當前主流的YOLOv5目標檢測模型,通過采集駕駛員行為動作圖像制作數(shù)據(jù)集進行模型訓練,訓練后利用記錄視頻作為樣本進行行為檢測,結果如圖2所示,綠框處是人臉和人員行為。
由于駕駛員在車內(nèi)的動作是動態(tài)的,很難僅憑一個動作就判斷出人員是處于疲勞分心還是正常狀態(tài),在目標檢測中加入人臉檢測可以較好地對人員狀態(tài)進行分類。眼睛閉合與嘴巴張合的頻率和持續(xù)時間在某種程度上可以反映人員疲勞的程度,閉眼、打哈欠、瞌睡等都是疲勞的明顯標志[10]。PERCLOS的原理是利用單位時間內(nèi)眼睛閉合時間與眼睛張開時間兩者之間的比例來進行疲勞的判斷。PERCLOS方法有三種判斷疲勞的標準,分別是EM準則、P70準則、P80準則。
鞏曉倩等[11]研究認為,在上述三種標準當中,P80準則的檢驗準確率最高。故選用P80準則作為疲勞判斷標準,PERCLOS的計算式為:
人臉檢測首先是檢測面部狀態(tài),以15幀畫面(時長600 ms)作為一個循環(huán),利用人臉關鍵點中的眼睛坐標和嘴巴坐標定義了兩種面部狀態(tài),分別是閉眼和打哈欠[12]。定義了閉眼閾值和打哈欠閾值,超過閾值且時長大于1 s,則認為人員處于分心或疲勞狀態(tài),分類見表1。當連續(xù)檢測到駕駛員的PERCLOS>30%且平均閉眼時間>250 ms,可判定駕駛員已疲勞[10],疲勞與分心狀態(tài)定義見表2。
表1 面部動作分類Table 1 Facial movement classification
為方便實驗結果呈現(xiàn),使用界面顯示人員疲勞檢測的結果,界面詳情如圖3所示。界面上顯示統(tǒng)計的眨眼次數(shù)和打哈欠次數(shù),同時顯示人員行為。在空白框內(nèi)顯示PERCLOS得分,在人員出現(xiàn)非正常狀態(tài)時在界面顯示提示信息。
圖3 識別結果Fig.3 Identify the results
車內(nèi)氛圍燈的位置(框選處)通過用戶調(diào)研的方式確定。如圖4所示,給出了6個燈光位置選擇方案,分別是兩側車門處、兩側后視鏡處、方向盤處、中控界面處、前擋風玻璃處以及儀表盤處,都處于駕駛員的視線內(nèi)。
圖4 車內(nèi)氛圍燈位置選擇方案Fig.4 Lighting position selection scheme in the car
具有提示功能的氛圍燈與單純裝飾性氛圍燈的關鍵差異在于信息呈現(xiàn)的突出性和有效性。首先,燈光應出現(xiàn)在車內(nèi)人員良好的視線角度范圍,能夠讓人在較短的時間內(nèi)感知到燈光信息。其次,燈光的區(qū)域要足夠大,便于人員能順利識別光源位置和設置差異明顯的燈光跳轉效果。最后,燈光的亮度要合理,應讓人員既可以感到舒適,也能突出顯示。
通過發(fā)放調(diào)查問卷來詢問普通用戶理想的燈光信號安裝位置,共有30人參加了本次問卷調(diào)查。根據(jù)結果顯示,約有32%的人員選擇前擋風玻璃處作為氛圍燈燈光的位置,選擇方向盤處約有21%,兩處相加的比例超過了總人數(shù)的一半。L?cken等[13]研究發(fā)現(xiàn),用戶偏好在前排座椅和后排座椅處都能看到燈光顯示,駕駛員眼睛周圍的氛圍燈可以提高人員的舒適性[14],故本次研究的車內(nèi)燈光位置為圖5中的前儀表盤處。
圖5 確定的燈光位置Fig.5 Select lamp belt position
(1)氛圍燈的原理。氛圍燈燈珠選擇三色LED燈珠,通過CAN通信發(fā)送信號,燈珠放在塑料件內(nèi),燈光透過半透明乳白色燈罩散射出,使光線更加柔和,為避免駕駛員眩光,氛圍燈亮度區(qū)間選取2~15 cd/m2。渲染氛圍時,燈光亮度保持2~8 cd/m2;使用燈光提示功能時,燈光亮度可升高至9~15 cd/m2。
(2)燈光設計。燈光顏色選擇了黃色、橙色以及深紅色用于表示人員的非正常狀態(tài),此三種顏色是常見的提示警報色,詳細的燈光信息見表3。
表3 非正常駕駛狀態(tài)的燈效Table 3 Light jump effect in abnormal driving condition
由表3可知,當行為檢測系統(tǒng)檢測到駕駛員的非正常駕駛狀態(tài)時,將識別結果轉換成數(shù)字信號發(fā)送給氛圍燈,氛圍燈在燈光效果上作出變化。氛圍燈模式下,亮度處于2~8 cd/m2;提醒模式下,黃光從2 cd/m2上升至8 cd/m2;警告模式下,橙光從低亮度上升至8 cd/m2及以上;報警模式下,亮度從低亮度上升到最高亮度,紅色燈光快速閃爍。快速閃爍是給整條燈帶的燈珠通電400 ms,再斷電150 ms,然后再次通電形成循環(huán)實現(xiàn)。
為了驗證燈光信息提示功能的有效性,設計了燈光提示實驗。測試地點在一間光學實驗室,搭建了與汽車駕駛室相似的駕駛室前控制臺,實驗人員在控制臺前進行模擬實驗,如圖6所示。共有10名被試參與了本次模擬實驗,分別為被試者A、B、C、D、E、F、G、H、I、J,其中男性6名、女性4名,年齡在22~48歲之間??紤]到模擬試驗人員很難有真實的疲勞感,故在試驗中人為規(guī)定閉眼動作模擬疲勞時的人眼狀態(tài)。實驗過程中,被試者需平視前方,模擬開車時的視線位置。按要求作出假定的分心動作如喝水、打哈欠、看手機及閉眼等。在實驗過程中,風擋處的燈光會傳遞燈光提示信息,實驗人員需要觀察光源情況并按下特定按鍵,紅色燈光對應紅色按鍵,黃色燈光對應黃色按鍵,白色燈光對應白色按鍵。
圖6 燈光實驗臺Fig.6 Light interactive test bench
氛圍燈燈條經(jīng)調(diào)試無故障,攝像頭位于風擋位置,水平方向視角約100°,垂直方向視角約70°,被試者站在實驗臺前指定位置,按照事先編好的字母順序依次進行實驗。實驗分為三個階段:第一階段,A平視前方,氛圍燈作裝飾性器件,燈光亮度固定為5 cd/m2,此時燈光的亮度對人眼刺激較少,模擬正常行車;第二階段,A做出喝水、抽煙、打電話等行為,燈光提示功能啟動,此時燈光刺激較為明顯,被試者受到燈光提示后按下特定的按鈕;第三階段,A做出打哈欠、閉眼行為,燈光提示功能啟動,此時燈光刺激更加明顯,被試者聽到提示音且受到燈光刺激后,按下對應狀態(tài)的按鈕。被試者在實驗完成后進行滿意度評分,獲取用戶的主觀滿意度。其余9人按照上述三個階段輪流進行實驗。測試結果如表4所示。
表4 行為檢測算法測試結果Table 4 Fatigue distraction monitoring performance detection results
從表4可知,行為檢測算法通過性能測試,能對駕駛員的各種行為作出有效區(qū)分,可以認定燈光傳遞的提示信號是準確的。被試者收到準確的提示信息后,需要點擊不同的按鍵來記錄人員對燈光信號的識別率,根據(jù)識別率來判斷燈光信號對人員的影響。喝水、抽煙、看手機被歸類為分心狀態(tài),燈光顏色為黃色;打哈欠被歸類為多次分心狀態(tài),燈光顏色為橙色;閉眼被歸類為疲勞狀態(tài),燈光顏色為紅色。被試者A的實驗結果見表5。其余9名被試者按照流程依次實驗,全部人員實驗結果分布如圖7所示。
表5 被試者A對燈光提示的反應
圖7 實驗結果分布圖Fig.7 Distribution of experimental results
實驗結束后,被試者需要填寫一份李克特5級量表,描述自己對氛圍燈提示功能的滿意程度。按照等級分為5級,分別是非常不滿意、不太滿意、一般、比較滿意、非常滿意,見表6。利用計分表記錄各個指標得分,非常不滿意賦1分,不太滿意賦2分,一般賦3分,比較滿意賦4分,非常滿意賦5分。
表6 李克特5級量表Table 6 Likert scale 5
被試者評價完成后進行評分匯總,結果如圖8所示,氛圍燈提示功能的平均得分為3.6,處于良好水平。
圖8 滿意度評價匯總表Fig.8 Summary table of satisfaction evaluation
車內(nèi)氛圍燈擁有拓展使用范圍的潛力,特別是用于信息提示。本文設計、實現(xiàn)并測試了燈光信息提示功能,通過檢測人員疲勞分心狀態(tài),將提示信息通過燈光傳遞出,獲得實驗人員的良好評價。經(jīng)實驗表明,汽車內(nèi)部風擋區(qū)域,適當亮度和動態(tài)變化的氛圍燈燈光具有傳遞提示信息的作用。在與車內(nèi)傳感器結合的情況下,可以不借助顯示屏將提示信息傳遞給用戶,相較于大多數(shù)信息由車機界面?zhèn)鬟f的方式,使用氛圍燈燈光顯示提示信息,可以實現(xiàn)燈光輔助下新的車內(nèi)交互方式,使人員感知信息更加直觀,減輕了人員的注意力負荷。
車內(nèi)氛圍燈的不足之處主要有:1)文中氛圍燈只安裝在前擋風玻璃位置,在車內(nèi)其他位置氛圍燈燈光能否起到提示作用尚不清楚;2)目前實驗臺上燈帶的形狀為長條形,數(shù)量為1根,燈帶形狀和數(shù)量可能影響信息傳遞的效果;3)實驗在室內(nèi)有照明情況下完成,夜晚和白天實際場景下的亮度差異可能會對燈光信息傳遞造成影響。