孫豪杰，李苗鈺，章盼盼，許鵬飛

(西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127)

面癱是一種較為常見的面部肌肉運(yùn)動障礙的疾病。由于不健康的生活方式和精神壓力，越來越多的年輕人患有面癱疾病。面癱的主要癥狀是患者面部表情肌肉喪失了正常的運(yùn)動功能?；颊邿o法正常表達(dá)出常見的面部表情。面癱對患者的身心健康以及正常生活會產(chǎn)生不利影響。

大多數(shù)面癱患者的臨床特征是單側(cè)性面癱[1]。因此，面癱評估主要是依據(jù)面部運(yùn)動的不對稱性和面部肌肉運(yùn)動模式[1]。目前面癱的診斷和分級評估基本都是由?？漆t(yī)生根據(jù)醫(yī)學(xué)經(jīng)驗和相關(guān)標(biāo)準(zhǔn)進(jìn)行的，診斷結(jié)果很大程度上受醫(yī)生主觀醫(yī)學(xué)經(jīng)驗的影響，且效率低下。而利用計算機(jī)視覺技術(shù)的輔助診斷可以減輕醫(yī)生的工作量，提高工作效率，減少診斷結(jié)果受主觀因素的影響，提升準(zhǔn)確性。

目前，利用計算機(jī)視覺技術(shù)的面癱分級評估方法主要分為：① 基于靜態(tài)面部圖像的非對稱性的評價方法，主要依據(jù)面部形狀和紋理信息的不對稱性[1-2]。這種方法高度依賴于關(guān)鍵點(diǎn)檢測的準(zhǔn)確性，而具有多種面部狀態(tài)和復(fù)雜面部運(yùn)動的患者面部關(guān)鍵點(diǎn)難以準(zhǔn)確定位。此外，依據(jù)靜態(tài)面部圖像進(jìn)行面癱分級評估忽略了面部肌肉的運(yùn)動特征，不能準(zhǔn)確地表達(dá)面部運(yùn)動的時序特征信息；② 難以通過多個相鄰幀的級聯(lián)而獲得的特征向量來表達(dá)面部運(yùn)動的時序特征[3-4]；③ 現(xiàn)有的基于深度模型的面癱分級評估(GoogleNet)，主要是依據(jù)靜態(tài)面部圖像的特征信息來評估面癱等級[5-6]。但是，該方法僅關(guān)注靜態(tài)面部的全局特征，卻忽略了面部運(yùn)動的時序特征，以及面部的非對稱運(yùn)動。

通過對現(xiàn)有的面癱評估方法的分析，并借鑒計算機(jī)視覺在相關(guān)領(lǐng)域的成功應(yīng)用，例如行為識別、表情和微表情識別等，可利用先進(jìn)的計算機(jī)視覺技術(shù)，并結(jié)合專業(yè)醫(yī)生在面癱診斷和分級評估的醫(yī)療經(jīng)驗，設(shè)計新的網(wǎng)絡(luò)模型來有效解決面癱分級評估問題。例如，可利用經(jīng)典的分類模型，如GoogleNet[5]、VGG-16[7]、Resnet 34、Resnet 50和Resnet 101[8]來提取全局面部視覺特征，還可使用長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)[9]、CNN-LSTM[10]、三維卷積神經(jīng)網(wǎng)絡(luò)(3 Dimensional Convolutional Neural Networks，3D-CNN)[11]以及用于表情識別的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks for Facial Expression Recognition，CNN-FER)[12]和微表情時空卷積神經(jīng)網(wǎng)絡(luò)(Micro Exp Spatial and Temporal Convolutional Neural Networks，Micro ExpSTCNN)[13]等提取面部運(yùn)動的時序特征。但是，這些方法難以有效提取面部肌肉運(yùn)動的非對稱性特征，而這一特征又是面癱分級評估的關(guān)鍵性特征。為此，提出雙通道神經(jīng)網(wǎng)絡(luò)模型以提取面部兩側(cè)運(yùn)動特征的差異信息。面癱數(shù)據(jù)采集和標(biāo)注成本高，數(shù)據(jù)量小，深度神經(jīng)網(wǎng)絡(luò)難以有效提取特征信息[14]。而自監(jiān)督學(xué)習(xí)[15]能夠利用大量無標(biāo)簽的數(shù)據(jù)在相關(guān)任務(wù)基礎(chǔ)上對模型進(jìn)行預(yù)訓(xùn)練，以提升模型的特征學(xué)習(xí)能力。因此，提出了一種用于面癱分級評估的自監(jiān)督面部非對稱特征學(xué)習(xí)方法。該方法利用視頻段的序列預(yù)測作為上游任務(wù)對3D-CNNs(C3D，R3D和R(2+1)D)模型進(jìn)行預(yù)訓(xùn)練，以提高模型對面部運(yùn)動時序特征的學(xué)習(xí)能力。與傳統(tǒng)的面癱評估方法中的特征提取不同，經(jīng)預(yù)訓(xùn)練的3D-CNN模型可提取面部運(yùn)動的時序特征，而非人工特征或基于二維卷積神經(jīng)網(wǎng)絡(luò)(2D-CNN)提取的二維特征。此外，在視頻序列預(yù)測的上游任務(wù)中，可以利用大量無標(biāo)簽數(shù)據(jù)對3D-CNN模型進(jìn)行預(yù)訓(xùn)練。且該上游任務(wù)并非傳統(tǒng)的分類或評估任務(wù)，不同于模型遷移的下游任務(wù)。與視頻分類任務(wù)相比，序列預(yù)測包含更豐富的監(jiān)督信息，3D-CNN模型可以利用眾多無標(biāo)簽視頻數(shù)據(jù)，并且預(yù)訓(xùn)練后模型可較為容易地遷移到新的應(yīng)用領(lǐng)域，例如面癱分級評估任務(wù)。此外，筆者提出的方法重點(diǎn)關(guān)注整個面部和面部相關(guān)局部區(qū)域的面部非對稱性運(yùn)動特征，并將整體與局部的時序特征相結(jié)合，以用于最終的面癱分級評估。

1 現(xiàn)有的相關(guān)研究

面癱是指一種面部表情肌肉失去正常的運(yùn)動功能，導(dǎo)致無法做出正常表情的疾病[16-17]?，F(xiàn)有的基于計算機(jī)視覺技術(shù)的面癱分級評估方法主要包括：基于靜態(tài)圖像的面部非對稱性特征、面部運(yùn)動的非對稱性特征和深度模型提取的全局面部特征的方法。面癱患者在進(jìn)行面部診斷運(yùn)動時，面部狀態(tài)可以很好地反映面癱的癥狀和嚴(yán)重程度。因此，基于靜態(tài)面部差異特征的面癱分級評估方法有：LIU等[18]通過比較面部兩側(cè)某些區(qū)域內(nèi)的像素數(shù)來估計面癱的嚴(yán)重程度；MODERSOHN等[19]提出了一種改進(jìn)的主動外觀規(guī)模(Active Appearance Model，AAM)，用于檢測患者的面部關(guān)鍵點(diǎn)信息，以提取面部形態(tài)差異特征；林楊[2]提出了一種基于Gabor特征和支持向量機(jī)的面部運(yùn)動功能分類的面癱評估方法；MA[20]提出了基于面部關(guān)鍵點(diǎn)與區(qū)域的面部神經(jīng)功能評估方法；NGO等[21]通過結(jié)合Gabor和局部二值模式(Local Binary Pattern，LBP)功能對面癱進(jìn)行定量評估。后來，他們利用同心調(diào)制濾波器來測量濾波后圖像兩側(cè)之間的不對稱性，并實現(xiàn)面癱評估[22]。盡管這些面癱分級評估方法取得了較好的效果，但又高度依賴于關(guān)鍵點(diǎn)檢測的準(zhǔn)確性。此外，這些方法中使用面部的靜態(tài)特征，難以很好表達(dá)面部運(yùn)動的時序特征。

基于面部運(yùn)動特征信息的面癱分級評估方法有：NISHIDA等[23]通過計算面部關(guān)鍵點(diǎn)的運(yùn)動距離以定量評估面癱的嚴(yán)重程度；BARBOSA等[24]使用混合分類模型檢測面部關(guān)鍵點(diǎn)，并通過跟蹤面部關(guān)鍵點(diǎn)的變化信息實現(xiàn)面癱分級評估；LIU等[25]從紅外圖像的相關(guān)面部區(qū)域提取面部溫度分布特征，以進(jìn)行面癱評估。

深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特征的性能很大程度上取決于模型本身以及所用到的訓(xùn)練數(shù)據(jù)量[15]。然而，實際情況中難以獲得與當(dāng)前任務(wù)直接相關(guān)的大規(guī)模數(shù)據(jù)集，即使擁有這樣的大規(guī)模數(shù)據(jù)集，對數(shù)據(jù)的標(biāo)記也耗時耗力。而自監(jiān)督學(xué)習(xí)方法能夠從大量無標(biāo)簽的相關(guān)數(shù)據(jù)中學(xué)習(xí)視覺特征，一種流行的解決方案就是為網(wǎng)絡(luò)模型提出多種相對應(yīng)的上游任務(wù)。目前，已有較多的基于自監(jiān)督學(xué)習(xí)方法已從大規(guī)模未標(biāo)記圖像或視頻數(shù)據(jù)中學(xué)習(xí)視覺特征的方法和模型。例如，可以利用視頻本身的時間連貫性與動態(tài)性，自動生成大量帶標(biāo)簽的圖像或視頻數(shù)據(jù)對相關(guān)模型進(jìn)行預(yù)訓(xùn)練。WANG等[26]采用了自監(jiān)督學(xué)習(xí)方法來學(xué)習(xí)目標(biāo)區(qū)域的視覺表示，而這些目標(biāo)區(qū)域又是從無標(biāo)簽視頻中提取獲得的。其中，層次聚類法用于捕獲幀之間的外觀演變特征[26]，預(yù)訓(xùn)練后的模型可用于學(xué)習(xí)視頻特征表示。在文獻(xiàn)[26]中，幀序列預(yù)測方法用來判斷視頻幀序列是否有序。XU等[27]引入了視頻段序列預(yù)測任務(wù)作為行為識別的上游任務(wù)以利用視頻的內(nèi)部動態(tài)特性，此上游任務(wù)適合使用3D-CNNs模型從視頻中學(xué)習(xí)時序特征信息。

2 用于面癱分級評估的自監(jiān)督面部非對稱特征學(xué)習(xí)

在面癱診斷過程中，患者需要根據(jù)醫(yī)生的指示做出若干相應(yīng)的診斷動作，以便醫(yī)生根據(jù)患者面部運(yùn)動的不對稱性來評估面癱的嚴(yán)重程度。因此，應(yīng)重點(diǎn)關(guān)注面癱患者面部運(yùn)動的非對稱性特征。另外，為能夠使得深度網(wǎng)絡(luò)模型能夠從相對較少的面癱視頻數(shù)據(jù)中有效提取面部運(yùn)動的時序特征，引入了“預(yù)訓(xùn)練-遷移”的策略，采用自監(jiān)督學(xué)習(xí)的方法，通過視頻序列預(yù)測的上游任務(wù)對模型進(jìn)行預(yù)訓(xùn)練，以提高模型有效提取時序特征的能力，從而提高下游任務(wù)面癱分級評估的性能。

如圖1所示，所提出的面癱分級評估方法主要包括視頻序列預(yù)測的上游任務(wù)和面癱分級評估的下游任務(wù)兩個階段。為進(jìn)行視頻序列預(yù)測，首先將面癱的診斷視頻中人臉對稱地劃分為左側(cè)臉和右側(cè)臉，并將這些單側(cè)臉的視頻采樣為若干個視頻片段，再按其可能的順序打亂；然后利用3D-CNNs (C3D、R3D和R(2+1)D)模型進(jìn)行視頻序列預(yù)測任務(wù)的預(yù)訓(xùn)練。預(yù)訓(xùn)練后的3D-CNN模型就具有能夠?qū)W習(xí)面部運(yùn)動時序特征的能力。接著，將預(yù)訓(xùn)練后的模型遷移到面癱分級評估的下游任務(wù)，利用面癱診斷視頻對預(yù)訓(xùn)練后的3D-CNN模型進(jìn)行微調(diào)。最后，利用3D-CNN模型提取的時序特征的差異信息進(jìn)行面癱分級評估。此外，整個模型結(jié)合了面部整體的非對稱性特征和局部非對稱性特征進(jìn)行面癱分級評估。

2.1 視頻預(yù)處理與人臉對稱分離

圖2 面部對稱分離

對于選取后的每一個視頻幀，首先采用Faster RCNN[28]進(jìn)行人臉檢測，然后利用AAM算法檢測人臉關(guān)鍵點(diǎn)，并通過計算面部中軸線實現(xiàn)面部對稱分離。但由于面癱患者的面部差異大，AAM算法難以準(zhǔn)確檢測面部關(guān)鍵點(diǎn)。因此，選擇兩個位置相對穩(wěn)定的關(guān)鍵點(diǎn)進(jìn)行面部對稱分離，即關(guān)鍵點(diǎn)P1(x1，y1)和關(guān)鍵點(diǎn)P2(x2，y2)，如圖2所示。

2.2 基于視頻序列預(yù)測任務(wù)的3D-CNN網(wǎng)絡(luò)模型的預(yù)訓(xùn)練

圖3是面癱視頻序列預(yù)測任務(wù)的模型預(yù)訓(xùn)練的整體框架。首先，根據(jù)2.1節(jié)所描述的方法將所有視頻幀中患者面部對稱分割為左、右兩個側(cè)面。然后，將所有的單側(cè)面部視頻統(tǒng)一進(jìn)行幀采樣為多個子視頻段，并按照可能存在的順序重新打亂。例如，對于一個面癱診斷視頻，可以采樣為3個子視頻段，則有6個可能的序列關(guān)系。當(dāng)然，還可以采樣為更多的子視頻段和更多可能存在的序列。但對于面癱診斷，部分患者的面部動作非常迅速，導(dǎo)致只能采集到短暫的面癱診斷視頻；這些視頻的幀數(shù)較少，不適合采樣為多個子視頻段。

對每一個視頻采樣后的多個子視頻段的順序進(jìn)行隨機(jī)置亂處理，形成多個可能的子視頻段序列，以作為視頻序列預(yù)測[27]上游任務(wù)的輸入數(shù)據(jù)。使用3D-CNN模型提取每個子視頻段的時序特征信息，并進(jìn)行子視頻段的序列預(yù)測。如圖3所示，對一個視頻的多個子視頻段使用相同的3D-CNN模型提取特征信息，并使用多個3D-CNNs(C3D、R3D和R(2+1)D)模型進(jìn)行實驗以驗證自監(jiān)督方法的可行性。通過上游任務(wù)，可以得到相應(yīng)的3D-CNN預(yù)訓(xùn)練模型。這些模型具有學(xué)習(xí)面部運(yùn)動特征的能力。將這些模型遷移到面癱分級評估的下游任務(wù)中。

圖3 面癱視頻的子視頻段的序列預(yù)測框架

2.3 基于預(yù)訓(xùn)練模型的面癱分級評估

面癱診斷時，專業(yè)醫(yī)生需要通過觀察患者面部肌肉在整個運(yùn)動過程中的狀態(tài)變化來評估面癱的嚴(yán)重程度。而面癱的癥狀主要表現(xiàn)為單側(cè)性面癱，患者在做面部診斷動作時，兩側(cè)面部的狀態(tài)變化不一致，呈現(xiàn)面部運(yùn)動的不對稱性。這反映了面部表情肌肉的運(yùn)動功能的不協(xié)調(diào)性，也是面癱的嚴(yán)重程度評估的重要依據(jù)。因此，面癱分級評估應(yīng)該重點(diǎn)關(guān)注面部表情肌肉運(yùn)動的不對稱性特征。此外，醫(yī)生進(jìn)行面癱診斷和評估時，不僅關(guān)注患者面部整體的變化信息，同時還關(guān)注與診斷動作相關(guān)的局部面部區(qū)域的運(yùn)動特征。因此，可以結(jié)合整體面部和相關(guān)面部局部區(qū)域的運(yùn)動差異特征來進(jìn)行最終的面癱分級評估。

通過子視頻段序列預(yù)測的上游任務(wù)所獲得的預(yù)訓(xùn)練后的3D-CNN模型，已經(jīng)具有一定的學(xué)習(xí)人臉動態(tài)特征的能力。然后，將這些模型遷移到面癱分級評估的下游任務(wù)中，使用記錄完整面部運(yùn)動的視頻對這些預(yù)訓(xùn)練模型進(jìn)行調(diào)優(yōu)訓(xùn)練，如圖4所示。

圖4 基于預(yù)訓(xùn)練模型的面癱分級評估的框架

在圖4中，使用兩路3D-CNN模型提取面部兩側(cè)的運(yùn)動特征，并通過FD=(Fl-Fr)2計算運(yùn)動特征的差異信息，F(xiàn)l和Fr分別是提取的面部左、右兩側(cè)的運(yùn)動特征。因此，對于全局面部非對稱性特征的提取，使用面部整體運(yùn)動的幀序列X=(x1，x2，x3，…，xi，…，xT)作為輸入數(shù)據(jù)，xi為第i幀。對人臉進(jìn)行對稱分離，并將人臉的對稱兩側(cè)輸入到3D-CNN模型中，提取其時序特征。利用FD，g=(Fl，g-Fr，g)2計算面部整體的非對稱性特征。而針對與面部診斷動作相對應(yīng)的面部局部區(qū)域非對稱性特征的提取，計算方法類似?？衫肍D，lr=(Fl，lr-Fr，lr)2得到局部面部運(yùn)動的非對稱性特征。最后，將FD，g與FD，lr級聯(lián)融合，形成一個新的特征向量，用于最終的面癱分級評估。

3 實驗與討論

3.1 實驗設(shè)置

為了實現(xiàn)面癱的自動分級評估，采集了面癱患者的面部診斷動作的視頻數(shù)據(jù)。數(shù)據(jù)集有117名面癱患者的視頻，40名志愿者的視頻。每個人都要做7個面部動作，包括抬眉、閉眼、聳鼻、鼓腮、示齒、微笑和皺眉。且每個人都要重復(fù)3次這7個面部動作。

請專業(yè)醫(yī)生給這些視頻數(shù)據(jù)按面癱分級情況進(jìn)行標(biāo)注，將面癱的嚴(yán)重程度分為正常、輕度、中度和危重4個等級，并用0、1、2、3表示。所有視頻數(shù)據(jù)的70%用于模型訓(xùn)練，訓(xùn)練數(shù)據(jù)按5∶1分配作為訓(xùn)練集和驗證集；剩余的30%視頻數(shù)據(jù)作為測試集。另外，還使用一些傳統(tǒng)的需要使用靜態(tài)的面部圖片來評估面癱的嚴(yán)重程度的方法作為對比實驗，因此從所有視頻片段中選取關(guān)鍵幀作為對比實驗的數(shù)據(jù)，這些關(guān)鍵幀反映了面部診斷動作最大的動作狀態(tài)。此外，準(zhǔn)確率(Acc)、精確率(Pre)、召回率(Recall)和F1用于不同方法性能的評價參數(shù)。

3.2 實驗結(jié)果與分析

為驗證筆者提出的面癱分級評估方法的有效性和先進(jìn)性，采用了5類面癱分級評估方法進(jìn)行對比：傳統(tǒng)的基于人工特征的方法、基于卷積神經(jīng)網(wǎng)絡(luò)的方法、用于表情識別方法、基于LSTM的方法和基于3D-CNN的方法。實驗結(jié)果如表1所示。

表1 與目前最先進(jìn)的方法進(jìn)行比較

對于面癱分級評估，WANG[1]的方法是采用靜態(tài)面部非對稱性特征的經(jīng)典方法(LBP+SVM)。在實驗數(shù)據(jù)上，利用視頻中挑選出來的表情最大程度的靜態(tài)面部圖像進(jìn)行測試，該方法的平均精度約為56.73%。而基于Gabor特征和支持向量機(jī)[2]的方法準(zhǔn)確率更低，但是在召回率和F1評分上有更好的結(jié)果。這兩種方法的性能整體上都低于基于卷積神經(jīng)網(wǎng)絡(luò)的方法。其原因在于人工特征難以準(zhǔn)確表達(dá)深層的面部非對稱性特征，且這些方法主要關(guān)注全局的面部特征，沒有考慮局部的面部運(yùn)動特征，且這些方法對實驗圖像有更嚴(yán)格的要求。

基于卷積神經(jīng)網(wǎng)絡(luò)的方法也可以應(yīng)用于面癱分級評估任務(wù)中，并在從視頻中挑選出表情最大程度的靜態(tài)面部圖像上進(jìn)行測試。與傳統(tǒng)方法[1-2]相比，GoogleNet[5]和VGG-16[9]的面癱分級評估方法在準(zhǔn)確率和精確率方面表現(xiàn)相似，但在召回率和F1方面表現(xiàn)更好。而基于Resnets[10]的方法在4個評價參數(shù)上都有大幅度提升。其中，Resnet 50的性能優(yōu)于傳統(tǒng)方法[1-2]，準(zhǔn)確率約為66.67%，F(xiàn)1得分約為67.90%。這些實驗結(jié)果表明，基于卷積神經(jīng)網(wǎng)絡(luò)的模型可以捕獲到更有效的面部非對稱性特征。

將面部表情和微表情識別方法應(yīng)用于面癱分級評估。由表1可以看出，其效果欠佳。其中，MicroExpSTCNN[13]在準(zhǔn)確率、召回率和F1得分上都優(yōu)于CNN-FER[12]。但由于這些方法主要關(guān)注面部整體運(yùn)動特征，而不是面部運(yùn)動的非對稱性特征，因此，難以取得良好的面癱評估效果。相比之下，文中提出的方法充分考慮了面部整體和局部運(yùn)動的非對稱性特征，同時通過自監(jiān)督訓(xùn)練的策略提高模型特征提取的能力，從而在最終的目標(biāo)任務(wù)中取得了最佳的性能。與MicroExpSTCNN[13]相比，筆者提出方法(R3D(自監(jiān)督))在準(zhǔn)確率、平均精度、召回率和F1評分上分別約有39.37%、38.02%、40.04%和29.31%的提升。

最后，利用基于LSTM[11]和CNN-LSTM[12]的模型以及基于3D-CNN的模型進(jìn)行面癱分級評估。與傳統(tǒng)的基于人工特征的評估方法、基于卷積神經(jīng)網(wǎng)絡(luò)的方法以及用于表情識別的方法相比，基于LSTM的方法總體上具有更好的性能。原因在于這些方法能夠更有效地提取面部肌肉運(yùn)動的時序特征。而未經(jīng)過自監(jiān)督預(yù)訓(xùn)練的3D-CNN模型進(jìn)行面癱評估的性能仍然較差，原因在于隨機(jī)初始化的網(wǎng)絡(luò)模型難以在小規(guī)模的面癱視頻數(shù)據(jù)中學(xué)習(xí)到有效的面部動態(tài)特征。此外，這些方法側(cè)重于面部運(yùn)動的整體特征，而不是面部運(yùn)動的非對稱性特征，而這又是面癱評估的關(guān)鍵性特征。而筆者提出的方法在視頻序列預(yù)測的上游任務(wù)中預(yù)訓(xùn)練的3D-CNN模型具有提取面部兩側(cè)的動態(tài)特征的能力，并將其遷移到面癱分級評估的下游任務(wù)中，通過利用面部運(yùn)動的差異特征來評估面癱的嚴(yán)重程度。此外，提出方法還結(jié)合了面部的全局和局部運(yùn)動的時序特征，進(jìn)一步提高了面癱分級評估的準(zhǔn)確性。實驗結(jié)果表明，筆者提出的方法在準(zhǔn)確率、精確率、召回率和F1方面均具有最優(yōu)的性能。

4 結(jié)束語

筆者提出了一種用于面癱分級評估的自監(jiān)督面部非對稱特征學(xué)習(xí)方法。該方法以視頻序列預(yù)測為上游任務(wù)對3D-CNNs(C3D、R3D和R(2+1)D)模型進(jìn)行預(yù)訓(xùn)練；然后，將預(yù)訓(xùn)練后的3D-CNN模型遷移到面癱分級評估的下游任務(wù)中。利用自監(jiān)督學(xué)習(xí)的3D-CNN模型可以利用大量無標(biāo)簽視頻數(shù)據(jù)在上游任務(wù)中學(xué)習(xí)視頻的時序特征信息，很大程度上解決了小規(guī)模面癱視頻數(shù)據(jù)的有效特征難以準(zhǔn)確提取的問題。此外，結(jié)合面部整體和局部運(yùn)動的時序特征來評估面癱的嚴(yán)重程度，符合專業(yè)醫(yī)生通過觀察患者的整個面部和面部相關(guān)局部區(qū)域的運(yùn)動信息來評估面癱的嚴(yán)重程度的原則。實驗結(jié)果表明，筆者提出的方法比現(xiàn)有面癱分級評估方法具有更好的性能。然而，筆者提出的方法以及現(xiàn)有的面癱評估方法是通過視頻分類的方式進(jìn)行面癱嚴(yán)重程度分級的，這一方式難以很好處理面癱嚴(yán)重程度相鄰水平之間的模糊性，這也將是面癱分級評估研究中需要解決的一大挑戰(zhàn)。