李 響，李國正，彭理群，嚴(yán)利鑫，張 馳

(1.華東交通大學(xué) 交通運(yùn)輸與物流學(xué)院，江西 南昌 330013；2.北京交通大學(xué) 機(jī)械與電子控制工程學(xué)院，北京 100044)

駕駛疲勞現(xiàn)象已經(jīng)逐漸成為交通事故的主要致因，因此駕駛疲勞檢測方法是目前交通安全領(lǐng)域的研究熱點(diǎn)[1]。鑒于鐵路、航空等高安全等級的駕駛?cè)藛T在值乘過程中需頻繁地采用標(biāo)準(zhǔn)(操作、呼喚、應(yīng)答、聯(lián)控等)作業(yè)用語,這些不斷重復(fù)的標(biāo)準(zhǔn)化語音中涵蓋了大量的人體生理及心理信息，同時被專用的駕駛艙語音記錄裝置[2]所記錄保存，用于事后分析其作業(yè)行為和駕駛狀態(tài)，這就為應(yīng)用語音信號來檢測駕駛?cè)说钠跔顟B(tài)提供了可行性[3]。并且此類基于語音信號的疲勞檢測方法[3]，相較于現(xiàn)有基于面部特征[4]或生理指標(biāo)[5]的疲勞檢測方法而言，還有全天候、非接觸、環(huán)境適應(yīng)性高和成本低廉等諸多優(yōu)點(diǎn)[3]。因此，應(yīng)用語音信號來檢測人體疲勞的研究也逐漸受到業(yè)界的廣泛關(guān)注[6-8]。

然而，現(xiàn)有的此類研究大多基于傳統(tǒng)的監(jiān)督學(xué)習(xí)方法，采用有標(biāo)記的語音樣本數(shù)據(jù)來訓(xùn)練分類器用于疲勞檢測[6-8]，在實(shí)際應(yīng)用時會存在以下2個方面的不足：

(1)有標(biāo)記的樣本數(shù)據(jù)稀缺且標(biāo)記成本較高，有限的標(biāo)記樣本往往難以訓(xùn)練出一個推廣性能良好的分類器?，F(xiàn)有研究對分類器訓(xùn)練樣本的采集與疲勞類別標(biāo)記，大多需要進(jìn)行長時間的持續(xù)作業(yè)實(shí)驗(yàn)，以使被試者由正常狀態(tài)逐漸轉(zhuǎn)變?yōu)槠跔顟B(tài)，標(biāo)記時還需實(shí)時監(jiān)測被試者的生理或心理指標(biāo)，以確定其疲勞狀態(tài)與程度[7]，這一實(shí)驗(yàn)樣本的獲取和標(biāo)記過程往往十分耗時耗力。因此，在樣本數(shù)據(jù)更新過快的情況下，要訓(xùn)練出一個推廣能力較強(qiáng)的分類器，將要花費(fèi)較多的人力、時間和經(jīng)費(fèi)來不斷地充實(shí)有標(biāo)記的訓(xùn)練樣本，這在實(shí)際應(yīng)用時是難以實(shí)現(xiàn)的。

(2)新樣本與已有樣本的數(shù)據(jù)分布往往不一致，以致訓(xùn)練好的分類器應(yīng)用于新的測試樣本時，會存在非平穩(wěn)泛化誤差。在實(shí)際應(yīng)用時，隨著檢測時間、應(yīng)用場景或被試個體的轉(zhuǎn)變，語音樣本的數(shù)據(jù)分布也會隨之改變，此時原有的訓(xùn)練樣本數(shù)據(jù)與測試樣本數(shù)據(jù)將無法滿足獨(dú)立同分布條件，那么原有數(shù)據(jù)訓(xùn)練出的分類器會在這一測試樣本數(shù)據(jù)分布偏移的影響下產(chǎn)生較大的檢測誤差，而難以推廣應(yīng)用[9-10]。

實(shí)際情況下，由于語音采集手段較為便捷，以及鐵路及航空駕駛艙語音記錄裝置的普及應(yīng)用，無標(biāo)記的駕駛?cè)苏Z音樣本往往比較充足且更新頻率較快。那么上述第(1)點(diǎn)的標(biāo)記樣本稀缺問題，通?？刹捎冒氡O(jiān)督學(xué)習(xí)[11]的方法對新的無標(biāo)記樣本進(jìn)行偽標(biāo)記，并將其與有標(biāo)記樣本一同訓(xùn)練出一個新的分類器，用于新樣本的疲勞檢測。但是此類方法大多要求測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)服從相同的分布才能獲得較好的檢測效果[11]。而本文所探討的通過語音來檢測人體疲勞的問題，已被證實(shí)在測試時間推移、應(yīng)用場景變化和個體差異上均會導(dǎo)致語音樣本的數(shù)據(jù)分布存在較大偏差[9-10]，而嚴(yán)重影響分類器的檢測效果，也即上述第(2)點(diǎn)的測試樣本數(shù)據(jù)分布偏移問題仍然存在。此時，可考慮采用遷移學(xué)習(xí)方法[12]解決該問題，區(qū)別于半監(jiān)督學(xué)習(xí)方法，遷移學(xué)習(xí)放寬了訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)需服從相同分布的應(yīng)用條件，能夠?qū)⒛硞€領(lǐng)域?qū)W習(xí)到的知識結(jié)構(gòu)或判別模式遷移至不同但相關(guān)的目標(biāo)領(lǐng)域中，從而實(shí)現(xiàn)跨領(lǐng)域的機(jī)器學(xué)習(xí)[12]。由于遷移學(xué)習(xí)能夠顯著提高跨領(lǐng)域分類器的泛化能力，目前在機(jī)器視覺識別和生物信息檢測等領(lǐng)域已經(jīng)展現(xiàn)出了較好的應(yīng)用效果[12-14]。

為此，本文在分析總結(jié)語音的疲勞表征機(jī)理及其特征參數(shù)的基礎(chǔ)上，引入遷移學(xué)習(xí)方法來解決實(shí)際應(yīng)用時的標(biāo)注樣本稀缺與測試樣本數(shù)據(jù)分布偏移等問題，進(jìn)而提出一種基于語音特征遷移學(xué)習(xí)的人體疲勞檢測方法。首先，通過基于遷移學(xué)習(xí)的特征變換，將源領(lǐng)域有標(biāo)記樣本與目標(biāo)域無標(biāo)記樣本的特征數(shù)據(jù)共同映射至一個公共的特征空間，使兩領(lǐng)域數(shù)據(jù)在該空間內(nèi)的邊緣分布、條件分布與流形結(jié)構(gòu)均能保持一致，并具有較好的類別區(qū)分能力與降維處理效果。其次，在新的特征空間中，以半監(jiān)督學(xué)習(xí)的方式來迭代優(yōu)化目標(biāo)域樣本的偽標(biāo)記，并不斷同步更新特征變換方式和訓(xùn)練新的遷移分類器，直至收斂。最終，將學(xué)習(xí)所得的特征變換和遷移分類器應(yīng)用于目標(biāo)域測試樣本，以實(shí)現(xiàn)當(dāng)有標(biāo)記樣本不足且測試樣本數(shù)據(jù)發(fā)生偏移時，仍能得到一個泛化性能良好的疲勞檢測模型。

1 語音的疲勞表征機(jī)理及其特征參數(shù)

根據(jù)語音與疲勞相關(guān)性的前期研究[3，6-7]，可將人體疲勞對其發(fā)聲系統(tǒng)及語音信號的影響歸結(jié)為：(1)人體疲勞時，聲帶、聲道、喉部及面部肌肉松弛，會引起聲門脈沖和基音頻率等音質(zhì)特性的變化；(2)肺部氣壓下降，導(dǎo)致聲門壓力降低，使得語音的幅度及能量減弱；(3)體溫下降，聲道壁的熱傳導(dǎo)和黏彈性隨之改變，從而影響聲道壁對氣流的摩擦與共振特性，以致語音頻譜、共振峰及其帶寬等聲道濾波特性的變化，并且聲道壁和氣流強(qiáng)度的變化還會進(jìn)一步引起語音湍流發(fā)生改變，導(dǎo)致其混沌、分形等非線性動力學(xué)特征的變化；(4)腦活力下降，語音認(rèn)知規(guī)劃能力降低，發(fā)聲系統(tǒng)的控制及反饋時間延長，導(dǎo)致語音清晰度下降、停頓模式異常和語速變慢等現(xiàn)象。據(jù)此，本文提取了語音的韻律、音質(zhì)、語譜和非線性動力學(xué)4類特征[6-8]來描述語音信號中所包含的疲勞信息，詳細(xì)的特征參數(shù)(包括底層描述子及其語段統(tǒng)計參數(shù))如表1所示。

其中，語音特征的底層描述子包括各類語音短時幀級特征及其在時間上的一階差分(記為“Δ”用于描述其幀間變化)和二階差分(記為“ΔΔ”用于描述其變化速率)。此時，可將表中各類語音底層描述子的語段統(tǒng)計值參數(shù)串接成一個多維的特征向量，用以量化語音信號中所包含的疲勞信息。那么特征向量的維度共計：前6個幀數(shù)統(tǒng)計值+(78個底層描述子×11個語段統(tǒng)計參數(shù))=864維?？梢娖渚S度較高，即便是采用傳統(tǒng)機(jī)器學(xué)習(xí)方法，也需要進(jìn)行數(shù)據(jù)降維處理，以減少后續(xù)建模檢測的計算復(fù)雜度，同時避免“維度災(zāi)難”問題[3]。鑒于此，本文通過遷移學(xué)習(xí)方法對不同領(lǐng)域語音樣本的特征數(shù)據(jù)進(jìn)行空間映射來適配其數(shù)據(jù)分布時，還需對特征數(shù)據(jù)進(jìn)行降維處理，以減少特征數(shù)據(jù)間的相關(guān)性和冗余度，提高檢測效率。

表1 語音特征及其統(tǒng)計參數(shù)

2 語音疲勞特征的遷移學(xué)習(xí)方法

2.1 語音特征遷移學(xué)習(xí)的總體方案

對本文的遷移學(xué)習(xí)問題進(jìn)行抽象描述：設(shè)有標(biāo)記的原樣本為源領(lǐng)域樣本，數(shù)據(jù)集為Ds={(xs1,ys1),(xs2,ys2),…,(xsn,ysn)}，其中下角標(biāo)s代表源領(lǐng)域，x為d維特征向量，y為樣本類別標(biāo)號，n為源領(lǐng)域樣本數(shù)量。設(shè)無標(biāo)記的新樣本為目標(biāo)領(lǐng)域樣本，數(shù)據(jù)集為Dt={xt1,xt1,…,xtm}，其中下角標(biāo)t代表目標(biāo)領(lǐng)域，m為目標(biāo)領(lǐng)域樣本數(shù)量。所討論的數(shù)據(jù)集偏移問題，即為兩類樣本數(shù)據(jù)的邊緣概率分布P(x)不同，即P(xs)≠P(xt)，同時不同領(lǐng)域內(nèi)樣本類別判決模型的條件概率分布Q(x|y)也不相等，即Q(xs|ys)≠Q(mào)(xt|yt)。此時通過有標(biāo)記樣本Ds訓(xùn)練得到的分類器將難以直接推廣應(yīng)用于新樣本Dt的分類檢測。

那么本文的遷移學(xué)習(xí)目標(biāo)為：力求學(xué)習(xí)得到一個特征變換T(x)將不同領(lǐng)域的樣本數(shù)據(jù)統(tǒng)一映射到一個共同的特征空間中，使得它們在該空間內(nèi)能夠同時滿足邊緣分布一致且條件分布也盡可能地相近，即有P[T(xs)]=P[T(xt)]且Q[T(xs)|ys]≈Q[T(xt)|yt]。據(jù)此便可以在新的特征空間內(nèi)訓(xùn)練出一個泛化能力較強(qiáng)的遷移分類器f[T(x)]，來準(zhǔn)確應(yīng)用于目標(biāo)領(lǐng)域樣本的疲勞檢測。

針對該問題，現(xiàn)有遷移學(xué)習(xí)方法大多專注于特征變換后數(shù)據(jù)邊緣分布(數(shù)據(jù)整體結(jié)構(gòu))的一致性，而忽視了數(shù)據(jù)條件分布(數(shù)據(jù)判別結(jié)構(gòu))及其流形結(jié)構(gòu)(局部鄰域結(jié)構(gòu))的適配，例如遷移成分分析方法[13]；或未考慮特征變換后的數(shù)據(jù)區(qū)分能力與降維處理效果，例如域適應(yīng)方法[14]。以致現(xiàn)有的遷移學(xué)習(xí)方法無法良好適用于本文語音疲勞特征的遷移學(xué)習(xí)問題。為此，本文在現(xiàn)有方法的基礎(chǔ)上綜合考慮了多個遷移學(xué)習(xí)目標(biāo)，提出遷移學(xué)習(xí)方案與檢測模型結(jié)構(gòu)，見圖1。

圖1 語音特征遷移學(xué)習(xí)方案與檢測模型結(jié)構(gòu)

其中，在訓(xùn)練階段對源領(lǐng)域和目標(biāo)領(lǐng)域的語音樣本進(jìn)行特征提取，并將所得的特征數(shù)據(jù)共同映射至一個新的公共特征空間內(nèi)，使得源領(lǐng)域與目標(biāo)領(lǐng)域的樣本數(shù)據(jù)在該空間內(nèi)能夠?qū)崿F(xiàn)邊緣分布、條件分布與流形結(jié)構(gòu)的聯(lián)合適配，且保證數(shù)據(jù)具有較好的類別區(qū)分能力與降維處理效果。這樣便可以在該空間內(nèi)利用半監(jiān)督學(xué)習(xí)方法來迭代優(yōu)化目標(biāo)領(lǐng)域樣本的偽標(biāo)記，并不斷同步更新特征變換和遷移分類器，直至收斂。最終，將學(xué)習(xí)所得的特征變換和遷移分類器應(yīng)用于目標(biāo)領(lǐng)域測試樣本，實(shí)現(xiàn)基于語音特征遷移學(xué)習(xí)的疲勞檢測。

2.2 基于特征空間變換的領(lǐng)域適配與降維處理算法

本文的特征變換具體分為2步實(shí)現(xiàn)：首先，為了更好地處理非線性數(shù)據(jù)，可用一個隱性的非線性映射函數(shù)φ(x)，將數(shù)據(jù)由輸入特征空間映射至一個高維的可再生核希爾伯特空間(Reproduction Kernel Hilbert Space，RKHS)[14]；然后，在該RKHS空間中再通過變換矩陣V將樣本數(shù)據(jù)投影到一個公共的低維子空間內(nèi)，并在該空間內(nèi)實(shí)現(xiàn)源領(lǐng)域與目標(biāo)域樣本數(shù)據(jù)的適配與降維。

由此，特征變換可以表示為T(x)=VTφ(x)。實(shí)際計算時，可利用核函數(shù)矩陣K=φ(x)Tφ(x)∈R(n+m)×(n+m)實(shí)現(xiàn)RKHS的非線性映射[14]，而無需知道函數(shù)φ(x)的具體形式，那么特征變換轉(zhuǎn)變?yōu)門(x)=VTφ(x)=ATK(:,x)。其中，A∈R(n+m)×k表示將數(shù)據(jù)投影到k維子空間的變換矩陣，有k?d。此時，數(shù)據(jù)在k維子空間內(nèi)的嵌入表征為x′=ATK。具體的領(lǐng)域適配與降維處理算法如下：

(1)數(shù)據(jù)整體結(jié)構(gòu)的邊緣分布適配

首先，采用最大均值差異(Maximum Mean Discrepancy, MMD)算法[15]量化特征變換后源領(lǐng)域與目標(biāo)領(lǐng)域樣本數(shù)據(jù)間的邊緣分布差異，計算方法為

tr(ATKMPKTA)

(1)

式中:tr為矩陣的跡；MP為參數(shù)矩陣。MP各元素計算方法為：當(dāng)xi與xj同屬Ds時，MPij=1/n2；當(dāng)xi與xj同屬Dt時，MPij=1/m2；當(dāng)xi與xj分屬不同領(lǐng)域時，MPij=-1/(nm)。此時，為保證特征變換后的數(shù)據(jù)邊緣分布一致，即為尋求該式所示的數(shù)據(jù)邊緣分布差異最小，那么最基礎(chǔ)的數(shù)據(jù)邊緣分布適配目標(biāo)可以表示為

(2)

(2)數(shù)據(jù)判別結(jié)構(gòu)的條件分布適配

設(shè)樣本的類別變量為c=1,2,…,C。同樣可采用MMD算法計算領(lǐng)域間各類別數(shù)據(jù)條件分布Q[T(xs)|ys=c]和Q[T(xt)|yt=c]之間的均值距離，并對所有類別的均值距離進(jìn)行求和，以量化其總體的條件分布差異，有

tr(ATKMQKTA)

(3)

(4)

此處由于目標(biāo)領(lǐng)域數(shù)據(jù)沒有類別標(biāo)記yt，因而參數(shù)矩陣Mc和MQ無法準(zhǔn)確計算得到。為此，本文后續(xù)將采用半監(jiān)督學(xué)習(xí)方法將源領(lǐng)域數(shù)據(jù)訓(xùn)練所得的分類器應(yīng)用于目標(biāo)域無標(biāo)數(shù)據(jù)來得到其偽標(biāo)記yt，并以此對矩陣MQ進(jìn)行迭代更新來尋求條件分布差異的最優(yōu)估計。

(3)數(shù)據(jù)局部鄰域結(jié)構(gòu)的流形一致性適配

根據(jù)流形假設(shè)[16]，如果兩個領(lǐng)域數(shù)據(jù)的局部鄰域結(jié)構(gòu)在特征變換后能夠保持一致，也即數(shù)據(jù)邊緣分布P[T(xs)]和P[T(xt)]的內(nèi)在幾何流形如果是相似的，那么其條件分布和判決模型也應(yīng)該相似，從而有利于跨領(lǐng)域遷移學(xué)習(xí)的應(yīng)用效果。據(jù)此，引入圖拉普拉斯矩陣[16]來量化數(shù)據(jù)在特征變換后的流形結(jié)構(gòu)差異，表示為

tr(ATKLKTA)

(5)

(6)

式中：Np(xi)代表xi的p-近鄰樣本集合。

據(jù)此，可在式(2)的基礎(chǔ)上，引入式(3)條件分布和式(5)流形一致性的適配正則項(xiàng)，目標(biāo)函數(shù)轉(zhuǎn)變?yōu)?/p>

γtr(ATKMQKTA)+μtr(ATKLKTA)=

(7)

式中:γ和μ分別為條件分布和流形正則項(xiàng)的非負(fù)參數(shù)，用于調(diào)整目標(biāo)函數(shù)對各優(yōu)化目標(biāo)的側(cè)重程度。

(4)基于核主成分分析的數(shù)據(jù)降維處理

根據(jù)核主成分分析(Kernel Principal Component Analysis, KPCA)算法[17]思想，在特征變換時還要求樣本數(shù)據(jù)的嵌入?yún)f(xié)方差保持最大化，以實(shí)現(xiàn)數(shù)據(jù)在高維RKHS空間內(nèi)最具類別區(qū)分能力的降維投影。此時，這一降維優(yōu)化問題可以描述為

(8)

式中：H=I-(1/n)1為協(xié)方差中心化矩陣，1為元素全為1的n+m階方陣。以式(8)的嵌入?yún)f(xié)方差最大化作為式(7)的約束條件，那么最終的目標(biāo)函數(shù)可以表示為

s.t.ATKHKTA=I

(9)

引入拉格朗日乘子Ψ=diag(ψ1,ψ2,…,ψk)∈Rk×k，將這一帶約束的優(yōu)化問題形式化為拉格朗日函數(shù)為

=tr{AT[K(MP+γMQ+μL)KT+λI]A}+

tr[(I-ATKHKTA)Ψ]

(10)

再將其對變換矩陣A求偏導(dǎo)，并令?/?A=0，可得

[K(MP+γMQ+μL)KT+λI]A=KHKTAΨ

(11)

最終，對該式進(jìn)行本征分解，求取k個最小本征值所對應(yīng)的本征向量，即可得到變換矩陣A。由此便可實(shí)現(xiàn)基于特征變換x′=T(x)=ATK的領(lǐng)域適配與降維處理。

2.3 基于半監(jiān)督學(xué)習(xí)的分類器迭代訓(xùn)練

算法：語音特征遷移學(xué)習(xí)算法。

輸入：源領(lǐng)域數(shù)據(jù)Ds；目標(biāo)域數(shù)據(jù)Dt；正則化參數(shù)λ，γ，μ；子空間維度k；核函數(shù)類型。

輸出：變換矩陣A；遷移分類器f。

重復(fù)(1)～(6)：

(2)對式(11)進(jìn)行本征分解，求取k個最小本征值所對應(yīng)的本征向量來構(gòu)造變換矩陣A；

(3)將特征數(shù)據(jù)映射至新空間，數(shù)據(jù)變?yōu)閤′=T(x)=ATK；

(6)更新各類別數(shù)據(jù)的條件分布參數(shù)矩陣Mc。

直至收斂(目標(biāo)函數(shù)值不再下降)。

結(jié)束：返回學(xué)習(xí)所得的特征變換矩陣A和遷移分類器f。

值得指出的是，通過這一迭代算法可以得到一個不斷優(yōu)化的特征變換x′=T(x)以及在該變換下訓(xùn)練所得的遷移分類器f(x′)，將該分類器應(yīng)用于目標(biāo)領(lǐng)域數(shù)據(jù)便可以不斷提高其偽標(biāo)記效果直到收斂。根據(jù)半監(jiān)督學(xué)習(xí)理論，如果兩類樣本的數(shù)據(jù)分布能夠保持一致，那么目標(biāo)領(lǐng)域的偽標(biāo)記是根據(jù)已知數(shù)據(jù)所能獲得的最優(yōu)結(jié)果。由于特征變換的優(yōu)化求解保證了數(shù)據(jù)分布和流形結(jié)構(gòu)的一致性，因此上述迭代式地標(biāo)記精化過程是合理的。此外，算法中需事先設(shè)定正則化參數(shù)λ、γ和μ，實(shí)際上是為了調(diào)整目標(biāo)函數(shù)對各優(yōu)化目標(biāo)的側(cè)重比例，其具體取值將在實(shí)驗(yàn)部分給出詳細(xì)的分析和討論。

3 實(shí)驗(yàn)

為了驗(yàn)證所提出的語音特征遷移學(xué)習(xí)方法在實(shí)際應(yīng)用于駕駛疲勞檢測時的可行性和有效性，本文在不同測試時間、不同應(yīng)用場景和不同被試者的條件下，先后開展了兩期駕駛疲勞實(shí)驗(yàn)，并據(jù)此構(gòu)建了兩個數(shù)據(jù)分布不同的駕駛疲勞語音樣本庫。前期駕駛疲勞實(shí)驗(yàn)[7-8]在如圖2(a)所示的電力機(jī)車模擬駕駛操作臺上進(jìn)行，其中駕駛?cè)斯?0人，實(shí)驗(yàn)期間采集語音樣本960份，其中正常狀態(tài)語音樣本793份，疲勞狀態(tài)樣本167份。時隔3年開展的后期駕駛疲勞實(shí)驗(yàn)，安排在如圖2(b)所示的動車模擬駕駛操作臺上進(jìn)行，被試駕駛?cè)斯?0人，后期實(shí)驗(yàn)共采集語音樣本4 467份，其中正常樣本3 663份，疲勞樣本804份。所有實(shí)驗(yàn)內(nèi)容均為每人單次持續(xù)8 h的列車模擬駕駛操作，為實(shí)現(xiàn)重度疲勞狀態(tài)，部分被試者在實(shí)驗(yàn)前還進(jìn)行了4～8 h的睡眠剝奪。實(shí)驗(yàn)過程中所采集的駕駛?cè)苏Z音樣本均為其呼喚應(yīng)答、車機(jī)聯(lián)控和數(shù)字播報等標(biāo)準(zhǔn)作業(yè)用語(不同語句按類別分別進(jìn)行建模和檢測)，各段語音的時長約為0.5～20 s，采樣頻率為22.05 kHz，量化精度為16位。

所有實(shí)驗(yàn)均以被試駕駛?cè)嗣扛?.5 h填寫1次的疲勞癥狀自測量表[18]得分及實(shí)時監(jiān)測記錄的駕駛?cè)诵穆手笜?biāo)作為其疲勞狀態(tài)的參照標(biāo)準(zhǔn)，即將被試駕駛?cè)嗽谄诹勘?10分制)得分低于5分且每分鐘心率低于心率均值時間段內(nèi)的語音樣本標(biāo)記為疲勞類語音樣本，其余樣本則標(biāo)記為正常類樣本。本文將前期駕駛疲勞實(shí)驗(yàn)所采集的960份語音樣本作為遷移學(xué)習(xí)的源領(lǐng)域有標(biāo)記訓(xùn)練樣本，后期實(shí)驗(yàn)的4 467份樣本作為目標(biāo)領(lǐng)域無標(biāo)記測試樣本(其疲勞類別標(biāo)記不用于機(jī)器學(xué)習(xí)和分類器訓(xùn)練，僅用于驗(yàn)證檢測結(jié)果)。此時，源領(lǐng)域訓(xùn)練樣本數(shù)量顯著低于目標(biāo)領(lǐng)域測試樣本數(shù)量，以驗(yàn)證有標(biāo)記訓(xùn)練樣本數(shù)量不足時的遷移學(xué)習(xí)效果。

圖2 列車模擬駕駛實(shí)驗(yàn)平臺

首先，采用網(wǎng)格搜索法[19]確定本文算法中各項(xiàng)參數(shù)λ、γ和μ的最佳取值，并以此考察目標(biāo)函數(shù)中各優(yōu)化項(xiàng)在特征遷移學(xué)習(xí)中的作用。當(dāng)采用高斯徑向基核函數(shù)計算核函數(shù)矩陣K，同時以標(biāo)準(zhǔn)支持向量機(jī)算法搭建分類器f時，各參數(shù)在[10-3, 103]范圍內(nèi)不同取值的情況下，遷移學(xué)習(xí)所得檢測模型對所有測試樣本進(jìn)行疲勞檢測的平均正確率曲線見圖3。

圖3 不同參數(shù)取值下的疲勞檢測正確率

根據(jù)式(9)所示的目標(biāo)函數(shù)可知，參數(shù)λ是用于控制變換矩陣A復(fù)雜度的正則項(xiàng)參數(shù)，其取值大小決定了該優(yōu)化問題的適定性。由圖3的曲線可見，當(dāng)λ取值很小時，優(yōu)化模型退化為平凡解而難以適定，此時所得的檢測模型的正確率較低；而當(dāng)λ取值過大時，目標(biāo)函數(shù)則會過分要求變換矩陣A的復(fù)雜度降低，便相應(yīng)忽略了數(shù)據(jù)分布適配和流形一致性等較為關(guān)鍵的優(yōu)化目標(biāo)，從而失去了特征遷移學(xué)習(xí)的效果，檢測模型的正確率也隨之急劇下降。由其曲線可見，λ較為合適的取值區(qū)間為[0.05, 1]，本文在實(shí)際應(yīng)用時取λ=0.1。

同樣，參數(shù)γ是用于控制目標(biāo)函數(shù)中條件分布適配程度的非負(fù)參數(shù)。當(dāng)γ取值過小時，目標(biāo)函數(shù)將不做條件分布適配，即特征空間變換過程中將不考慮兩個領(lǐng)域數(shù)據(jù)的判決結(jié)構(gòu)是否能夠保持一致，此時遷移分類器的半監(jiān)督迭代優(yōu)化更新也將失去作用，因而訓(xùn)練所得的分類器也無法擬合原始數(shù)據(jù)的判別結(jié)構(gòu)，而影響其檢測效果；當(dāng)γ取值過大時，目標(biāo)函數(shù)則會過分要求判決模型完全一致而導(dǎo)致過擬合現(xiàn)象，此時檢測效果反而變差。圖3同樣展示了正確率隨參數(shù)γ的變化規(guī)律，可見γ的合理取值區(qū)間為[0.1, 10]，本文取γ=1。

流形正則化參數(shù)μ體現(xiàn)了不同領(lǐng)域數(shù)據(jù)的流形一致性在遷移學(xué)習(xí)算法中的權(quán)重。由圖3可以看出，當(dāng)μ取值較小時，目標(biāo)函數(shù)將忽略數(shù)據(jù)流形結(jié)構(gòu)的適配，此時不利于兩類數(shù)據(jù)局部判別結(jié)構(gòu)的一致性，其檢測效果不佳；而當(dāng)μ取較大值時，僅有流形一致性得到保持，數(shù)據(jù)的邊緣分布和條件分布卻無法保持適配?？梢姡瑓?shù)μ的合理取值區(qū)間為[0.01, 1]，本文取μ=0.5。

其次，考察領(lǐng)域適配與降維處理后的子空間維度k對疲勞檢測正確率的影響。子空間維度k在不同取值下執(zhí)行本文算法，對所有測試樣本進(jìn)行疲勞檢測的平均正確率曲線見圖4?？梢钥闯觯?dāng)k<60時，空間維度不足以區(qū)分類別信息，導(dǎo)致檢測效果不夠理想；而當(dāng)維度增加到k≥60時，疲勞檢測的平均正確率達(dá)到86.7%左右并趨于穩(wěn)定。因此，考慮到分類器訓(xùn)練及檢測的計算效率，本文在實(shí)際應(yīng)用時選取的子空間維度為k=60。相較于原始的864維語音特征，其維度在不影響疲勞區(qū)分能力的前提下進(jìn)行了大幅降低。此時，在CPU為4核3.6 GHz、內(nèi)存容量為8 GB的PC平臺下，待測樣本的檢測耗時為480～1 360 ms，相較于駕駛?cè)藰?biāo)準(zhǔn)作業(yè)用語的間隔時間和人體疲勞狀態(tài)的變化速度而言，基本能夠保證檢測的實(shí)時性。

最后，為了驗(yàn)證本文遷移學(xué)習(xí)方法應(yīng)用于實(shí)際疲勞檢測的有效性，將其與現(xiàn)有的傳統(tǒng)監(jiān)督學(xué)習(xí)[8]、半監(jiān)督學(xué)習(xí)[11]、遷移成分分析[13]和域適應(yīng)[14]等常用機(jī)器學(xué)習(xí)方法進(jìn)行了比較。各方法均以前期實(shí)驗(yàn)樣本作為有標(biāo)記訓(xùn)練樣本庫，以后期實(shí)驗(yàn)樣本作為無標(biāo)記測試樣本庫。各方法的樣本數(shù)據(jù)適配及優(yōu)化功能、分類器算法和檢測結(jié)果如表2所示。為體現(xiàn)對比效果，各方法采用的分類器算法均以支持向量機(jī)為基礎(chǔ)算法，包括：標(biāo)準(zhǔn)支持向量機(jī)(Support Vector Machine, SVM)[7]；模糊支持向量機(jī)(Fuzzy SVM, FSVM)[8]；半監(jiān)督支持向量機(jī)(Semi-Supervised SVM, S3VM)[11]；域適應(yīng)支持向量機(jī)(Adaptation Regularization SVM, ARSVM)[14]。各方法的檢測結(jié)果，分別用它們對測試樣本庫中正常樣本、疲勞樣本和所有樣本的疲勞檢測正確率表示。

圖4 不同特征空間維度的疲勞檢測正確率

表2 多種機(jī)器學(xué)習(xí)方法的疲勞檢測結(jié)果

由表2的檢測結(jié)果可以看出，當(dāng)采用傳統(tǒng)監(jiān)督學(xué)習(xí)方法，訓(xùn)練樣本和測試樣本分別來自不同的實(shí)驗(yàn)樣本庫時，其對所有測試樣本的平均正確率僅為72.0%，顯著低于文獻(xiàn)[7]和文獻(xiàn)[8]中訓(xùn)練樣本和測試樣本均來自同一實(shí)驗(yàn)樣本庫的平均正確率(可達(dá)85%以上)。這說明訓(xùn)練樣本的不足和測試樣本的數(shù)據(jù)偏移，均會引起傳統(tǒng)監(jiān)督學(xué)習(xí)方法的檢測性能下降，而影響其實(shí)際應(yīng)用效果。當(dāng)采用基于S3VM的半監(jiān)督學(xué)習(xí)方法時，后期無標(biāo)記的測試樣本也可以參與到分類器訓(xùn)練中，但由于測試樣本與訓(xùn)練樣本仍存在數(shù)據(jù)分布差異，因此訓(xùn)練所得的分類器還不夠理想。隨后采用遷移成分分析和域適應(yīng)等現(xiàn)有較為常見的遷移學(xué)習(xí)方法對樣本數(shù)據(jù)進(jìn)行跨領(lǐng)域的適配與檢測，此時疲勞檢測的正確率得以大幅提高，對所有測試樣本的平均正確率分別達(dá)到81.3%和83.9%。但由于這兩種方法的數(shù)據(jù)適配及優(yōu)化功能還不夠完備和充分，因而檢測效果仍存在一定程度的提升空間。

最終，本文方法綜合考慮了測試樣本與訓(xùn)練樣本數(shù)據(jù)的邊緣分布適配、條件分布適配、流形一致性和特征空間降維處理等多種遷移學(xué)習(xí)目標(biāo)，并通過基于半監(jiān)督學(xué)習(xí)的迭代更新優(yōu)化，來訓(xùn)練得到一個泛化能力更強(qiáng)的遷移分類器應(yīng)用于疲勞檢測。從表2所示的結(jié)果可見，本文方法對所有測試樣本的平均正確率達(dá)到了最高的86.7%，這說明本文方法在應(yīng)對有標(biāo)記訓(xùn)練樣本匱乏和測試樣本數(shù)據(jù)分布漂移等實(shí)際問題時，可以表現(xiàn)出較現(xiàn)有方法更好的疲勞檢測性能。同時可以看出，本文方法對正常樣本和疲勞樣本的檢測結(jié)果也均優(yōu)于現(xiàn)有方法，正確率分別達(dá)到86.4%和88.2%。這一方面表明，該方法在實(shí)際應(yīng)用于正常狀態(tài)的駕駛?cè)藭r，不會因?yàn)榻?jīng)常性的誤檢而引起駕駛?cè)说牟贿m或心理壓力；另一方面，該方法在應(yīng)對疲勞狀態(tài)的駕駛?cè)藭r，可以表現(xiàn)出更好的查全率，因而能夠及時準(zhǔn)確地檢測出被測駕駛?cè)说钠跔顟B(tài)，在消除駕駛疲勞隱患、保障行車安全方面，具有實(shí)際應(yīng)用價值。

4 結(jié)束語

鐵路機(jī)車與動車駕駛?cè)诵桀l繁使用標(biāo)準(zhǔn)作業(yè)用語，為應(yīng)用語音信號檢測其疲勞狀態(tài)提供了可能性。然而，現(xiàn)有研究所采用的監(jiān)督學(xué)習(xí)方法在實(shí)際應(yīng)用時，會由于訓(xùn)練樣本稀缺和測試樣本數(shù)據(jù)分布偏移等問題而導(dǎo)致疲勞檢測效果不佳。為此，本文提出一種基于語音特征遷移學(xué)習(xí)的駕駛疲勞檢測方法。首先，通過樣本數(shù)據(jù)間的領(lǐng)域適配與降維處理，不僅可以有效應(yīng)對測試樣本數(shù)據(jù)分布偏移的問題，同時可以降低特征空間維度進(jìn)而提高檢測效率。其次，在特征空間變換后采用半監(jiān)督學(xué)習(xí)方法來迭代優(yōu)化無標(biāo)記樣本的偽標(biāo)記，并不斷同步更新特征變換和分類器，能夠有效解決訓(xùn)練樣本不足的問題，進(jìn)而提升疲勞檢測模型的精度和泛化能力。實(shí)驗(yàn)結(jié)果顯示，在測試時間、應(yīng)用場景和被試個體均發(fā)生變化的情況下，該方法的駕駛疲勞檢測正確率顯著優(yōu)于現(xiàn)有同類方法，具有實(shí)際應(yīng)用價值。

該方法的具體應(yīng)用可以體現(xiàn)在以下兩個方面：一方面，可以輔助或替代現(xiàn)有機(jī)務(wù)管理部門人工檢索分析駕駛?cè)苏Z音記錄的繁瑣工作，解決人工識別其駕駛狀態(tài)時難以實(shí)現(xiàn)遍歷性和準(zhǔn)確性的問題；另一方面，該方法可以進(jìn)一步開發(fā)為機(jī)載的駕駛疲勞智能化在線檢測設(shè)備，應(yīng)用于駕駛?cè)似跔顟B(tài)的實(shí)時監(jiān)測與預(yù)警。為此，后續(xù)研究將引入更為豐富的駕駛?cè)苏Z音樣本數(shù)據(jù)對該方法的有效性進(jìn)行交叉驗(yàn)證，還將嘗試采用更多的語音特征和分類器算法，來進(jìn)一步提高語音特征遷移學(xué)習(xí)的駕駛疲勞檢測效果。