【作 者】王博陸，鄔小玫

復(fù)旦大學(xué)，上海市，200433

0 引言

周圍性面神經(jīng)麻痹是臨床常見(jiàn)病和多發(fā)病，不受年齡和性別的限制。常由病毒感染、外傷、顱內(nèi)外腫瘤、咽部或外耳道炎癥引起，亦可能由于腦橋或延髓的炎癥、缺血或出血導(dǎo)致面神經(jīng)損傷，但以面神經(jīng)炎最多見(jiàn)。年發(fā)病率約為萬(wàn)分之一點(diǎn)五到萬(wàn)分之四[1]。

突發(fā)性面癱不僅對(duì)患者生理造成極大創(chuàng)傷，還對(duì)患者心理狀態(tài)造成沖擊，諸多患者合并情緒障礙性疾病。在疾病診療過(guò)程中，因治療療程的長(zhǎng)期性與治療措施的重復(fù)性，導(dǎo)致患者情緒激動(dòng)，諸多患者因心理狀況不佳而中斷治療，出現(xiàn)預(yù)后不理想現(xiàn)象。而對(duì)面癱進(jìn)行精準(zhǔn)的識(shí)別和評(píng)估是進(jìn)行有效治療的基礎(chǔ)。

目前臨床面癱識(shí)別與評(píng)估主要為醫(yī)生的主觀診斷。醫(yī)生按照面癱評(píng)估量表的評(píng)分項(xiàng)，要求病人做出不同面部動(dòng)作，對(duì)面容和面肌運(yùn)動(dòng)狀態(tài)進(jìn)行觀測(cè)，根據(jù)面神經(jīng)麻痹程度，將面神經(jīng)功能區(qū)分為不同的等級(jí)。臨床上評(píng)價(jià)面神經(jīng)功能的量表有幾十個(gè)，其中較為常用的有House-Brackmann量表[2]，該量表是國(guó)際上使用最多的量表，現(xiàn)已成為臨床最常用、信度較好；此外還有Yanagihara評(píng)價(jià)標(biāo)準(zhǔn)、The Nottingham System(NS) 評(píng)級(jí)量表、Sunnybrook量表、面神經(jīng)麻痹程度分級(jí)評(píng)分 (DFNP) 量表、面部殘疾指數(shù)(FDI) 量表等[3]。

李陽(yáng)等[4]對(duì)House-Brackmann (1985)分級(jí)、House-Brackmann2010分級(jí)和Sunnybrook(1996)分級(jí)方法對(duì)外周性面神經(jīng)麻痹的評(píng)估進(jìn)行了比較。認(rèn)為House-Brackmann(2010)分級(jí)和Sunnybrook(1996)分級(jí)能夠更準(zhǔn)確地評(píng)價(jià)周圍面神經(jīng)的功能，更易于低年資醫(yī)生掌握。

面癱診斷多無(wú)困難，而醫(yī)生使用量表進(jìn)行面癱評(píng)估則一定程度依賴其自身經(jīng)驗(yàn)，沒(méi)有足夠診療經(jīng)驗(yàn)的醫(yī)生就有可能對(duì)患者的病情造成誤判。面癱的預(yù)后診斷需要對(duì)患者的病情重新評(píng)分，醫(yī)生基于之前數(shù)次的診斷評(píng)估做出診斷和治療調(diào)整。而面癱復(fù)診頻率往往是以周為單位的。醫(yī)生每天需要接診大量病人，即便有病歷的記錄，對(duì)于復(fù)診的病人仍舊較難回想之前數(shù)次的診療細(xì)節(jié)，同時(shí)也有病人向多名醫(yī)生問(wèn)診的可能性。而基于計(jì)算機(jī)的自動(dòng)面癱識(shí)別和評(píng)估不僅可以為醫(yī)生和患者建立完善的數(shù)據(jù)庫(kù)，輔助醫(yī)生進(jìn)行診療，為可能的聯(lián)合診療提供數(shù)據(jù)準(zhǔn)備；還可以提供量化的治療效果數(shù)據(jù)，讓患者對(duì)治療效果有直觀的感受，使其建立后期治療的心理準(zhǔn)備。

基于計(jì)算機(jī)算法的面癱自動(dòng)化識(shí)別與分級(jí)評(píng)估是將信息技術(shù)與醫(yī)療診斷結(jié)合，以輔助醫(yī)生對(duì)面癱患者進(jìn)行精準(zhǔn)診療?；谟?jì)算機(jī)的評(píng)估方法只需要獲取患者的一段視頻，在視頻中，患者按照要求做出若干表情，如無(wú)表情、抬高眉毛、閉眼、鼓起臉頰和露出牙齒等。評(píng)估算法的初始數(shù)據(jù)就是這些特定表情圖片和基礎(chǔ)的無(wú)表情圖片。目前，已經(jīng)有較多的人工智能面癱識(shí)別與評(píng)估的方法，大體上分為人工提取面部圖像特征（見(jiàn)圖1（a））以及通過(guò)神經(jīng)網(wǎng)絡(luò)提取特征（見(jiàn)圖1（b））兩大類[5]。評(píng)估系統(tǒng)的架構(gòu)，如圖1所示。

圖1 計(jì)算機(jī)面癱識(shí)別與評(píng)估方法流程Fig.1 Process of computer-based facial paralysis identification and evaluation

本研究擬綜述人工智能方法在面癱識(shí)別與評(píng)估中的應(yīng)用情況。

1 基于人工選取患者面部圖像特征值的面癱評(píng)估

人工選取患者面部圖像特征的面癱評(píng)估方法的基本思路，是建立患者面部圖像與面癱量表評(píng)分間的映射關(guān)系?？紤]到臨床上的診斷方法是比較面部的對(duì)稱性和運(yùn)動(dòng)能力，面部標(biāo)志點(diǎn)或感興趣區(qū)域如眉毛、眼睛、鼻子、嘴與臨床診斷有比較密切的關(guān)系，因此建立映射關(guān)系的關(guān)鍵問(wèn)題是面部標(biāo)志點(diǎn)或感興趣區(qū)域的確定，以及在此基礎(chǔ)上的特征提取。

首先對(duì)面部圖像進(jìn)行預(yù)處理，截取原圖像面部區(qū)域，再以瞳距為水平方向，瞳距中垂線為垂直方向，對(duì)面部圖像進(jìn)行旋轉(zhuǎn)，最終得到標(biāo)準(zhǔn)化的面部圖像。

面部標(biāo)志點(diǎn)的定位方法：用于面癱診斷和評(píng)估的面部標(biāo)志點(diǎn)主要是五官的輪廓，可通過(guò)邊緣檢測(cè)算法或者機(jī)器學(xué)習(xí)算法得到。感興趣區(qū)域的定位方法：預(yù)處理的面部圖像與一個(gè)規(guī)范化的面部區(qū)域分布圖（見(jiàn)圖2）進(jìn)行比對(duì)，則可以得到面部感興趣區(qū)域。在確定相應(yīng)標(biāo)志點(diǎn)或感興趣區(qū)域后，對(duì)其周長(zhǎng)、面積、高度、角度、高斯曲率、坐標(biāo)、位移等參數(shù)進(jìn)行計(jì)算得到特征[6]。

圖2 感興趣區(qū)域圖示[6]Fig.2 Region of interest

得到特征后，篩選出與量表評(píng)分線性相關(guān)的特征，作為分類器的特征輸入，對(duì)分類器進(jìn)行訓(xùn)練和測(cè)試，最終得到預(yù)測(cè)的分類結(jié)果。下面介紹幾個(gè)典型的人工選取特征對(duì)患者面部圖像進(jìn)行評(píng)估的研究。

1.1 偏向精確評(píng)估的應(yīng)用

WANG等[5]提出了一種針對(duì)單側(cè)周圍性面癱（unilateral peripheral facial paralysis，UPFP）的非介入性計(jì)算機(jī)評(píng)估框架。該方法對(duì)獲取的初始圖片數(shù)據(jù)進(jìn)行面部區(qū)域的截?。ㄒ?jiàn)圖3），并應(yīng)用人臉對(duì)齊算法（supervised descent method,SDM）來(lái)獲取人臉的標(biāo)志點(diǎn)，再進(jìn)行特征篩選，最終進(jìn)行分類器的訓(xùn)練。

圖3 面部區(qū)域提取[6]Fig.3 Extraction of facial region

SDM的過(guò)程就是尋找一個(gè)梯度方向步長(zhǎng)Δx，最小化（1）函數(shù)的過(guò)程，其中，d為m×1維，表示有m個(gè)像素，d(x)為p×1維，表示p個(gè)標(biāo)志點(diǎn)，h為非線性的特征提取函數(shù)如sift，提取的sift特征h(d(x))為128×1維。

φ*=h(d(x*))是人工標(biāo)定的p個(gè)標(biāo)記點(diǎn)的SIFT特征向量。

泰勒級(jí)數(shù)展開(kāi)后，對(duì)Δx求導(dǎo)，令導(dǎo)數(shù)等于零，可得：

使用訓(xùn)練樣本可以學(xué)習(xí)（R0+b0），利用迭代來(lái)完成特征點(diǎn)x的收斂：

一般經(jīng)過(guò)4到5次迭代可以較好地確定特征點(diǎn)位置。

SDM算法可以得到49個(gè)面部標(biāo)志點(diǎn)（見(jiàn)圖4），可以被分為8類標(biāo)志（見(jiàn)圖5）。

圖4 標(biāo)志點(diǎn)確定[6]Fig.4 Determination of mark points

圖5 面部標(biāo)志點(diǎn)分組圖示[6]Fig.5 Groups of facial marking points

面癱診斷評(píng)估中使用的特征通常是左右臉相應(yīng)的面部標(biāo)志點(diǎn)的形狀對(duì)稱性、位置對(duì)稱性以及位移對(duì)稱性。可通過(guò)計(jì)算相應(yīng)標(biāo)志點(diǎn)或感興趣區(qū)域的周長(zhǎng)、面積、高度、角度、高斯曲率、坐標(biāo)、位移得到。通過(guò)評(píng)估特征與HB量表的線性回歸的相關(guān)度，篩選出決定系數(shù)超過(guò)一定閾值的特征值作為支持向量機(jī)（SVM）算法對(duì)患者評(píng)估得分進(jìn)行分類，減小計(jì)算維度的同時(shí)，得到更準(zhǔn)確的結(jié)果。

最終實(shí)驗(yàn)的結(jié)論為完全準(zhǔn)確率為49.9%，寬松準(zhǔn)確率（評(píng)分誤差在1級(jí)及以內(nèi)）為87.97%，樣本增大后寬松準(zhǔn)確率為90.01%。

本方法選取靜態(tài)特征作為分類器的基礎(chǔ)，有良好的魯棒性，同時(shí)計(jì)算量相對(duì)于選取動(dòng)態(tài)特征的研究更小。正因沒(méi)有選取時(shí)間相關(guān)的特征，損失了部分的面部不對(duì)稱的信息，影響了算法的準(zhǔn)確性，對(duì)于相鄰分類的分辨會(huì)比較模糊，這是此種方法的局限。此外其所設(shè)計(jì)的自動(dòng)評(píng)估系統(tǒng)操作比較復(fù)雜，需要一定的學(xué)習(xí)周期，進(jìn)一步對(duì)于操作系統(tǒng)的設(shè)計(jì)同樣是應(yīng)用中重要的一環(huán)，需要后續(xù)研究跟進(jìn)。

NGO等[7]提出了一種基于Gabor特征和Local Binary Pattern（LBP）特征的面癱評(píng)估方法。該方法第一步根據(jù)瞳孔距的中垂線對(duì)人臉進(jìn)行調(diào)整，第二步利用Adaboosting獲取面部感興趣的區(qū)域，包括左右眉、左右眼、左右鼻以及左右嘴。將每個(gè)感興趣區(qū)域轉(zhuǎn)換為L(zhǎng)BP圖像，再經(jīng)過(guò)Gabor濾波后得到特征值，使用SVM算法對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練和評(píng)估。

這種方法的核心理念還是通過(guò)面部圖像的不對(duì)稱性來(lái)對(duì)面癱程度進(jìn)行評(píng)估，確實(shí)在當(dāng)時(shí)提高了面癱判別的準(zhǔn)確率，但是因?yàn)镚abor濾波器響應(yīng)時(shí)間較長(zhǎng)，且參數(shù)選擇比較簡(jiǎn)單，最終的完全準(zhǔn)確率達(dá)到60.7%，寬松準(zhǔn)確率為91.3%。

1.2 偏向移動(dòng)便捷的應(yīng)用

RIDHA等[8]在2020年設(shè)計(jì)了一種輔助面癱復(fù)健的設(shè)備，其中在手機(jī)上運(yùn)行的軟件采用谷歌機(jī)器學(xué)習(xí)工具（Google Machine Learning Kit）來(lái)取得面部關(guān)鍵點(diǎn)（見(jiàn)圖6）。再用標(biāo)準(zhǔn)化后的兩側(cè)瞳孔到嘴角距離的差值（見(jiàn)圖7），對(duì)回歸神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到判別閾值，最終能對(duì)使用者是否患病，病情嚴(yán)重程度做出定量評(píng)估。論文中并沒(méi)有對(duì)于網(wǎng)絡(luò)判斷準(zhǔn)確率的說(shuō)明。

圖6 面部關(guān)鍵點(diǎn)確定[8]Fig.6 Determination of facial mark points

圖7 特征篩選結(jié)果[8]Fig.7 Feature selection result

此方法的優(yōu)勢(shì)是計(jì)算量很小，只用一個(gè)特征進(jìn)行判斷，獲取結(jié)果快速，適合在當(dāng)前的移動(dòng)設(shè)備上運(yùn)行。劣勢(shì)是準(zhǔn)確率方面有很大的提升空間。在樣本很小的情況下采用神經(jīng)網(wǎng)絡(luò)算法，得到的模型是否準(zhǔn)確與過(guò)擬合需進(jìn)一步評(píng)估。

上述三種人工提取特征方法的共性都是根據(jù)臨床診斷的量表確定標(biāo)志點(diǎn)/感興趣區(qū)域（包括眉毛、眼睛、鼻和嘴），在此基礎(chǔ)上提取對(duì)稱性相關(guān)的靜態(tài)特征。面部圖像的獲取對(duì)環(huán)境有一定的要求，包括光照、背景等因素。對(duì)于面癱的鄰級(jí)評(píng)估準(zhǔn)確率不高。

其中第一種所提方法的專業(yè)性比較強(qiáng)，具有良好的魯棒性，可用于醫(yī)生的輔助診斷，但是準(zhǔn)確性上還有提升空間，有待進(jìn)一步的研究。第二種所提方法是初期的研究，專業(yè)性強(qiáng)，但是反應(yīng)時(shí)間較慢，準(zhǔn)確性較低。第三種所提方法的優(yōu)勢(shì)是便捷性，適合于需要快速檢測(cè)和移動(dòng)檢測(cè)的情況，雖然理念十分合理，但其特征篩選是否合理以及準(zhǔn)確性閾值確定結(jié)果仍有待討論。

2 基于神經(jīng)網(wǎng)絡(luò)和患者面部圖像的面癱評(píng)估

為了解決目前人工特征提取方法面癱鄰近評(píng)級(jí)準(zhǔn)確率不高的問(wèn)題，很多面癱研究將目光轉(zhuǎn)向深度神經(jīng)網(wǎng)絡(luò)。

2.1 傳統(tǒng)網(wǎng)絡(luò)算法的應(yīng)用

HSU等[8-9]提出了一種深混合網(wǎng)絡(luò)實(shí)現(xiàn)面癱自動(dòng)量化分析的方法。其思路是通過(guò)神經(jīng)網(wǎng)絡(luò)提取面部輪廓、獲得特征點(diǎn)，再通過(guò)網(wǎng)絡(luò)分辨圖像上的面癱部位。

此方法構(gòu)建了由3個(gè)網(wǎng)絡(luò)組成的深混合網(wǎng)絡(luò)（Deep Hybrid Network，DHN）。具體工作流程是，數(shù)據(jù)圖像先經(jīng)過(guò)第一個(gè)網(wǎng)絡(luò)Netf，得到面部圖像。面部圖像輸入第二個(gè)網(wǎng)絡(luò)Netm獲取相鄰標(biāo)記點(diǎn)相連形成的輪廓線段的網(wǎng)絡(luò)（Line Segment Network）和進(jìn)一步獲得面部圖像的標(biāo)記點(diǎn)的網(wǎng)絡(luò) Double Dropout Network（DDN）。最終將Netf和Netm的輸出作為第三級(jí)網(wǎng)絡(luò)的輸入，從而檢測(cè)并標(biāo)注面癱區(qū)域（見(jiàn)圖8）。此方法只對(duì)面癱進(jìn)行檢測(cè)與標(biāo)注。

圖8 深混合網(wǎng)絡(luò)面癱自動(dòng)量化分析[9]Fig.8 Deep hybrid network for automatic quantitative analysis of facial paralysis

此方法提出了一種新的三段式網(wǎng)絡(luò)結(jié)構(gòu)，無(wú)需根據(jù)標(biāo)志點(diǎn)或感興趣區(qū)域提取特征，就可以通過(guò)網(wǎng)絡(luò)學(xué)習(xí)得到面癱部位以及面癱的程度。但根據(jù)經(jīng)驗(yàn)，沒(méi)有專業(yè)的醫(yī)生標(biāo)注的小樣本數(shù)，得到的分類結(jié)果的權(quán)威性不強(qiáng)。對(duì)于其結(jié)論能否真正用于臨床應(yīng)用仍舊有待進(jìn)一步研究。

GUO等[5]提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)單側(cè)周圍性面癱進(jìn)行客觀評(píng)估的方法。該方法應(yīng)用GoogLeNet來(lái)獲取患者面部圖像和HB評(píng)分的非線性映射關(guān)系。該方法進(jìn)行了樣本數(shù)微調(diào)和數(shù)據(jù)擴(kuò)張，并對(duì)卷積網(wǎng)絡(luò)參數(shù)進(jìn)行了優(yōu)化，面癱評(píng)估的準(zhǔn)確率最高達(dá)到了91.25%，這也給樣本缺乏的面癱自動(dòng)評(píng)估研究提供了新的思路和方法。

2.2 3D卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用

3D卷積神經(jīng)網(wǎng)絡(luò)由JI等[10]最早提出，如今其在視頻、動(dòng)作識(shí)別、面部表情[11-13]分辨等方面展現(xiàn)出了巨大的優(yōu)勢(shì)。

3D卷積相對(duì)于2D卷積能更好地捕捉視頻中的時(shí)間和空間的特征，因?yàn)槭菍?duì)連續(xù)幀進(jìn)行操作，將多個(gè)連續(xù)幀組成立方體，然后用卷積核計(jì)算（見(jiàn)圖9）。

圖9 卷積算法原理Fig.9 Principal of convolution algorithm

3D卷積神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)視頻連續(xù)幀進(jìn)行3D卷積核運(yùn)算，提取的是時(shí)空域的特征，更合適解決動(dòng)作識(shí)別的問(wèn)題。由于面癱評(píng)估的重要依據(jù)就是面部肌肉的運(yùn)動(dòng)能力和對(duì)稱性，所以面癱評(píng)估是適合這個(gè)方法的。

目前已經(jīng)有3D卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于面癱評(píng)估的研究，STOREY等[14]首次將3D卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于面癱檢測(cè)和評(píng)估中，取得了不錯(cuò)的評(píng)估準(zhǔn)確率，約為88%。此方法通過(guò)遷移學(xué)習(xí)和引入正常數(shù)據(jù)的方法，在一定程度上弱化了面癱樣本量不足的問(wèn)題。這表明時(shí)空域特征對(duì)于面癱評(píng)估來(lái)說(shuō)比較合適，目前的準(zhǔn)確率還有提高的潛力，對(duì)于如何優(yōu)化運(yùn)算速度，節(jié)約時(shí)間成本，仍有待于進(jìn)一步的研究。

3 總結(jié)與展望

當(dāng)前階段對(duì)于面癱自動(dòng)評(píng)估的研究仍然受制于樣本量的限制，因?yàn)橐Ｗo(hù)患者隱私等原因，尚未構(gòu)建出大量而權(quán)威的面癱視頻數(shù)據(jù)集。

對(duì)于傳統(tǒng)人工選擇特征的評(píng)估方法，樣本數(shù)量較少的情況影響較小，特征點(diǎn)的選擇影響著分類器的計(jì)算速度與準(zhǔn)確度，而對(duì)于面癱相鄰評(píng)級(jí)沒(méi)有很好的分類效果。

利用神經(jīng)網(wǎng)絡(luò)的方法對(duì)面癱相鄰評(píng)級(jí)的問(wèn)題有較好的準(zhǔn)確率，但仍受制于小樣本量，需要通過(guò)樣本增強(qiáng)等方法來(lái)提升網(wǎng)絡(luò)訓(xùn)練效果。

以上兩種方法都很少考慮到時(shí)間域特征對(duì)于整體評(píng)估的影響，由于面癱數(shù)據(jù)是視頻形式的，當(dāng)下的研究仍采用隨機(jī)截取特定幀作為分類的數(shù)據(jù)進(jìn)行評(píng)估研究，如何通過(guò)機(jī)器學(xué)習(xí)能自動(dòng)截取到需要的關(guān)鍵幀；或者更進(jìn)一步，將一段連續(xù)幀作為學(xué)習(xí)網(wǎng)絡(luò)的輸入，視頻時(shí)間域上是否有更多的特征有助于更精確的面癱檢測(cè)與評(píng)估等，有待于進(jìn)一步深入研究。