劉旭龍，付斌瑞，許瀝文，魯 寧，于長永, 柏祿一

1.東北大學(xué)秦皇島分校生物醫(yī)學(xué)工程系，河北 秦皇島 066004 2.東北大學(xué)信息科學(xué)與工程學(xué)院，遼寧 沈陽 110819

紅外熱成像輔助面神經(jīng)功能自動評估方法研究

劉旭龍1, 2，付斌瑞1, 2，許瀝文1，魯 寧2，于長永2, 柏祿一2

1.東北大學(xué)秦皇島分校生物醫(yī)學(xué)工程系，河北 秦皇島 066004 2.東北大學(xué)信息科學(xué)與工程學(xué)院，遼寧 沈陽 110819

面癱是一種多發(fā)的面神經(jīng)疾病，表現(xiàn)為患側(cè)面神經(jīng)功能失調(diào)，嚴重影響患者的正常生活和人際交往。面神經(jīng)功能自動評估方法對于面癱的診治是至關(guān)重要的。面部神經(jīng)功能受損導(dǎo)致體表溫度分布發(fā)生改變，可以通過紅外熱成像采集患者的面部溫度分布不對稱特征，基于紅外熱成像提出一種面神經(jīng)功能自動評估新方法，融合溫度特異性和邊緣檢測自動將面部紅外熱像劃分為左右對稱的八個區(qū)域，提取面部溫度不對稱特征，包括溫差、有效熱面積比和溫度分布不對稱度，采用徑向基神經(jīng)網(wǎng)絡(luò)作為面神經(jīng)功能自動分類器。實驗收錄了390幅單側(cè)患病的面癱患者正面紅外熱像圖，結(jié)果顯示：采用徑向基神經(jīng)網(wǎng)絡(luò)的紅外熱成像面神經(jīng)功能自動分類器的平均分類準確率為94.10%，比采用K近鄰分類器和支持向量機分類器分別提高了9.31%和4.87%，優(yōu)于傳統(tǒng)的House-Brackmann面神經(jīng)功能評估方法，對面神經(jīng)功能的分類精度完全符合臨床應(yīng)用標(biāo)準，可以有效評估面癱患者的面神經(jīng)功能，有助于面癱的臨床診斷與治療。

面神經(jīng)功能； 紅外熱成像； 溫度； 評估

引 言

面神經(jīng)功能受損導(dǎo)致面癱患者面部一側(cè)肌肉運動功能失調(diào)，臨床表現(xiàn)為眼斜嘴歪，嚴重影響患者的正常面部表情和語言表達能力[1]。面癱是一種臨床常見病，中老年人群發(fā)病率高達25/10 000，其中單側(cè)面癱約為90%[2-3]。面癱患者患病期間不同時期具有不同的面神經(jīng)功能損傷程度，準確地評估不同時期面癱患者的面神經(jīng)功能有益于最佳的臨床決策和愈后的療效評價，對于面癱的臨床診治和研究具有重要的意義。

目前，面神經(jīng)功能的評估方法主要分為兩類，一類為House-Brackmann (HB)分級系統(tǒng)及其改進方法[4-5]，即患者依據(jù)評分規(guī)則進行一系列的面部表情動作(閉眼、皺眉、微笑等)，醫(yī)師觀測患者面部兩側(cè)運動的對稱度，評估面神經(jīng)功能等級，一般按面部神經(jīng)功能正常到全癱，分為六級； 另一類主要為基于HB分級標(biāo)準的生物醫(yī)學(xué)圖像序列面神經(jīng)功能自動評估方法，這類方法采集面癱患者的面部表情動作圖像序列，利用模式識別方法自動提取患者面部肌肉運動不對稱特征，構(gòu)建面神經(jīng)功能自動分類器。例如：Wachtman等利用特征點定位算法自動評估面癱患者的面部表情特征，計算患者面部圖像中每一種表情動作的不對稱程度，以此來評估面癱患者的面神經(jīng)功能[6]。Mitre等提出了類似的方法，增加了兩種新的面部表情動作，利用Bayes判別法，面神經(jīng)分級準確率為85.71%[7]。Park等提出了模糊均值聚類嘴唇自動分割算法，進行復(fù)雜環(huán)境下的面神經(jīng)功能自動分級[8]。He等提出了基于徑向基神經(jīng)網(wǎng)絡(luò)和支持向量機分類器的面神經(jīng)功能自動評估系統(tǒng)，其中采用光流法和局部二值模式表示面部表情動作不對稱特征，分級正確率為93.9%[8-9]。上述這些方法的缺點在于測試者必須按要求完成一系列的面部表情動作，患者的動作規(guī)范度、心理抵觸情緒等因素都將影響面神經(jīng)功能分級結(jié)果的準確性，降低其客觀程度。此外，面癱圖像或視頻中的面部表情不對稱特征易受外界環(huán)境干擾(光照、拍攝角度等)，帶來評估結(jié)果的不一致性。

為了解決上述方法的缺點，通過紅外熱成像輔助面神經(jīng)功能客觀評估成為目前計算機輔助面癱診治中的一個研究熱點，當(dāng)人體面部局部出現(xiàn)病變時，局部組織的血流量將會發(fā)生改變，導(dǎo)致患者面部溫度分布異常。通過紅外熱成像采集人體面部的溫度分布信息，對比面部健康區(qū)域與患病區(qū)域的溫度分布特征的差異，可以用來評估面癱病情的嚴重度。高宇紅等利用紅外熱像觀察急性面癱患者的面部供血狀態(tài)的變化，發(fā)現(xiàn)患側(cè)區(qū)域溫度明顯高于健側(cè)，表明紅外熱像是一種面癱臨床診斷的客觀評估指標(biāo)[10]。張棟等采用紅外熱成像發(fā)現(xiàn)面神經(jīng)麻痹患者的面部左右兩側(cè)溫差顯著大于健康人群，并且兩側(cè)溫差與面神經(jīng)功能損傷相關(guān)，為臨床客觀評估面神經(jīng)功能提供了一個量化指標(biāo)[11]。劉旭龍等利用紅外熱成像發(fā)現(xiàn)面癱患者面部局部區(qū)域的健患兩側(cè)溫度分布不對稱特征明顯異于正常人群，且與面神經(jīng)功能正相關(guān)，為面神經(jīng)功能的自動評估提供了理論基礎(chǔ)[12]。

上述的研究方法只是分別統(tǒng)計了面癱患者面部不同區(qū)域的溫度分布差異，分析了面部溫度分布與面神經(jīng)功能的相關(guān)性，但是并沒有給出完整的紅外熱成像輔助面神經(jīng)功能自動評估系統(tǒng)。結(jié)合紅外熱成像和徑向基神經(jīng)網(wǎng)絡(luò)(RBFNN)，提出了一種新的面神經(jīng)功能自動評估方法，即采集面癱患者面部紅外熱像圖，自動提取患者面部不同區(qū)域的左右兩側(cè)溫度不對稱特征，利用徑向基神經(jīng)網(wǎng)絡(luò)自動分類器，自動評估面癱患者的面神經(jīng)功能。

1 研究方法

實驗數(shù)據(jù)集共收錄了面癱患者65例，所有患者都簽署了知情同意書。醫(yī)用紅外熱像儀為液氮制冷WP-95型，其中靈敏度0.05 ℃。面癱患者的病程大約為30 d，每間隔5 d對面癱患者采集一次面部紅外熱像，共采集紅外熱像圖390(65×6)幅。實驗中利用HB評分量表評估面癱患者的面神經(jīng)功能，將面神經(jīng)功能的損傷程度由輕到重分成六級，一級表示功能正常，六級表示面部完全癱瘓。因此，每幅面癱患者面部紅外熱像圖都會與面神經(jīng)功能等級相關(guān)聯(lián)，共同組成實驗數(shù)據(jù)集。圖1為面神經(jīng)功能自動評估方法的總體框圖，采用紅外熱像面部器官溫度分布特異性和邊緣特征自動劃分面部感興趣區(qū)域(region of interest, ROI)，從ROI中自動提取三種面部溫度分布不對稱特征，即溫差、有效熱面積比和溫度分布不對稱度，采用徑向基神經(jīng)網(wǎng)絡(luò)作為分類器，將三種特征值和HB分級值作為輸入?yún)?shù)，訓(xùn)練分類器，比較徑向基神經(jīng)網(wǎng)絡(luò)與支持向量機、K近鄰分類器的面神經(jīng)功能分類準確度，構(gòu)建紅外熱像面神經(jīng)功能自動評估系統(tǒng)。

圖1 面神經(jīng)功能評估系統(tǒng)框圖

1.1 紅外熱像ROI自動分割

為了客觀評估面癱患者的面神經(jīng)功能，如圖2所示，我們將每幅熱像圖分割為兩兩對稱的8個ROI，ROI自動分割算法以紅外熱像面部器官自動定位算法為基礎(chǔ)，面癱患者的面部紅外熱像不同于正常人的面部熱像，例如眼斜嘴歪，傳統(tǒng)方法定位錯誤率較高，故我們采用融合溫度分布特異性和邊緣檢測的面部ROI的自動分割算法，其中首先利用溫度特異性的極值點檢測鼻子、瞳孔的水平與垂直位置，接著利用邊緣檢測定位嘴唇的位置，最后融合兩者的信息對面部器官定位進行微調(diào)。

圖2 面部感興趣區(qū)域分割

紅外熱像中面部器官的溫度特異性可以表示為溫度自相關(guān)函數(shù)。設(shè)面部熱像圖的溫度矩陣為I，其自相關(guān)函數(shù)可表示為

(1)

其中，(x,y)表示紅外熱像圖上像素點的坐標(biāo)值，I(x,y)表征溫度值。E(x,y)表示像素點(x,y)移動(u,v)時產(chǎn)生的溫差，E表示紅外熱像溫度分布的變化程度。根據(jù)Harris算法，紅外熱像圖I的自相關(guān)函數(shù)中的局部極值為

Ex, y=∑wx, y(Ix|u, y|v-Ix, y)=

(2)

式中，Ex, y為窗口內(nèi)的溫度變化度量；wx, y為窗口函數(shù)，一般定義為wx, y=e(x2+y2)/σ2。

面部紅外熱像的邊緣檢測采用Log算子，其邊緣特征圖像表示為

M(x,y)=2[G(x，y)×I(x,y)]=[2G(x，y)]×I(x,y)

(3)

式中，G(x,y)表示為二維高斯函數(shù)，2G(x，y)為Log算子

(4)

紅外熱像中鼻子的溫度特異值分布范圍約在15～150之間，以此為約束條件分別向垂直和水平方向投影，投影曲線的最大值即為鼻孔的垂直和水平位置坐標(biāo)。同樣，眼睛的溫度特異值分布范圍約在14～80之間，分別向垂直方向和水平方向做投影，找出水平方向的最大值即為瞳孔中心點的橫坐標(biāo)，找出垂直方向上左右兩側(cè)的峰值點即為瞳孔中心點的縱坐標(biāo)，結(jié)合溫度特異性矩陣與邊緣特征矩陣，可以找出眼角和眉骨等其他位置的坐標(biāo)，紅外熱像面部器官定位實驗最終結(jié)果如圖3所示，通過這些面部關(guān)鍵點的定位，可以完成對面部ROI的自動分割。

圖3 紅外熱像面部器官定位

1.2 有效熱面積比

在紅外熱像中兩個ROI的平均溫差越大其色彩差異越大，如圖2所示。在計算ROI的有效熱面積比時，一般將紅外熱像在面部中線處劃分成左右對稱的兩側(cè)，分別表示為健側(cè)和患側(cè)。對比面部ROI中兩側(cè)的溫差，溫差大于0.3 ℃的區(qū)域，定義為溫度異常區(qū)。由面神經(jīng)功能受損引起的溫度分布不對稱特征，不僅取決于面部局部區(qū)域兩側(cè)溫差的大小，還與溫度異常區(qū)的面積相關(guān)聯(lián)。因此，綜合這兩點，有效熱面積比的定義為[12]

(5)

式中：E為有效熱面積比，NIsub為溫度異常區(qū)中像素的數(shù)目，NIROI為整個區(qū)域中像素的數(shù)目，w為一個加權(quán)值，當(dāng)面部ROI兩側(cè)的溫差≤0.5 ℃時，其值為1，溫差每增加0.1 ℃，其增加0.1，當(dāng)溫差≥1.5 ℃，其值為2。

1.3 溫度分布不對稱度

圖2中將面癱患者正面紅外熱像圖劃分為兩兩對稱的8個ROI，其中溫度分布不對稱度表示為：兩個對稱分布的ROI的局部二值模式[13](local binary pattern, LBP)的直方圖之間的RAD(resistor-average distance)。

LBP算子通常用于紋理分析，可以表示為

(6)

其中P表示一個圓心為(x,y)，半徑為R的圓形鄰域。LBP表示由二項式權(quán)值2p和函數(shù)S得到的唯一的P位二進制編碼。LBP編碼圍繞坐標(biāo)(x,y)描繪了紅外熱像ROI中的紋理特征，包含溫度特異性信息、溫度異常區(qū)邊緣信息和溫度分布特征。

不對稱度也就是兩個概率分布之間的相異度，通常用兩點間的RAD來表示這種差異，RAD可以表示為

DRA(p,q)=[DKL(p‖q)-1+DKL(q‖p)-1]-1

(7)

其中DKL(p‖q)表示Kullback-Leibler (KL)散度，DRA(p,q)隨著p(x)與q(x)的相異度的增加而增大。KL散度定義為

(8)

當(dāng)p(x)和q(x)屬于同一種概率分布時，KL散度為0。當(dāng)p(x)和q(x)的差異越大時，RAD的值越大。

1.4 面神經(jīng)功能自動分類器

采用RBFNN作為面神經(jīng)功能自動分類器，并與支持向量機(SVM)、K近鄰(K-NN)這兩種常見的分類器進行對比實驗[14]，比較其分類準確度。RBFNN分類器的輸入節(jié)點包括：面部ROI的4組面部溫度分布不對稱度、4組有效熱面積比以及一個面部雙側(cè)平均溫差，共9個輸入節(jié)點。輸出節(jié)點為面神經(jīng)功能等級，即HB面神經(jīng)功能分級標(biāo)準，按病情輕重分為1～6級。在實驗方法上，利用N倍交叉驗證(N-fold cross validation)進行分級準確率的比較，即將全部樣本N等分，循環(huán)N次，每次選擇1份為測試集其余數(shù)據(jù)為訓(xùn)練集，進行分類實驗。這種方法可以有效分析分類器對訓(xùn)練樣本的依賴程度，實驗中將分別采用留一法、5倍和10倍交叉驗證來進行實驗結(jié)果的對比分析。

2 結(jié)果與討論

2.1 面部ROI自動定位準確率分析

如圖2所示，紅外熱像上用于面神經(jīng)功能評估的區(qū)域(ROIs)共四個，分別為額部、眼部、臉頰和嘴部。ROIs自動定位的準確率會影響面神經(jīng)功能自動評估的準確率，實驗結(jié)果如表1所示。綜合分析，對面部區(qū)域的定位準確率總體達到了90%以上，其中額部、眼部、臉頰的定位準確率明顯高于嘴部的定位準確率，分別為95.38%，96.92%，96.92%和90.77%。額部、眼部、臉頰主要利用溫度分布特異性進行定位，其取值范圍比較穩(wěn)定，嘴部采用邊緣特征與溫度分布特異性共同定位，容易受到外部干擾，因此額部、眼部、臉頰的定位準確率相對較高，而嘴部的定位準確率相對較低。紅外熱像中ROIs定位出現(xiàn)錯誤的主要原因為一些患者的面部器官的溫度分布發(fā)生改變(例如一些患者天生無眉毛或進行整容等)，圖4(a)中患者整容導(dǎo)致鼻部的溫度特異性較低，鼻部的定位中線比正常位置偏左，(b)中患者沒有眼眉，導(dǎo)致額部的定位中線比正常位置偏下。

表1 紅外熱像面部區(qū)域定位準確率

圖4 不同干擾下的定位結(jié)果

2.2 面神經(jīng)功能自動分類準確率分析

為了分析面神經(jīng)功能自動分類器的性能，選取kNN、SVM與徑向基神經(jīng)網(wǎng)絡(luò)作對比測試。在實驗方法上，采用留一法與5倍交叉驗證、10倍交叉驗證相結(jié)合進行測試。相關(guān)研究表明，不同的醫(yī)師采用HB面神經(jīng)功能分級標(biāo)準(1～6級)，同時對一名患者進行面神經(jīng)功能評估，其中60%的醫(yī)師的面神經(jīng)功能分級與患者的實際面神經(jīng)功能分級結(jié)果相一致，大約四分之一的評估結(jié)果與實際的面神經(jīng)功能分級結(jié)果相差一個等級(例如實際為3級，一些醫(yī)師評估為4級)[15]。在臨床研究中，面神經(jīng)功能自動評估結(jié)果與HB面神經(jīng)功能分級標(biāo)準之間經(jīng)常存在一個等級的誤差，這種評估結(jié)果被認為是可以接受的[8-9]。因此在本系統(tǒng)中，若自動評估結(jié)果與醫(yī)師給出的HB面神經(jīng)分級相同或相差在一級以內(nèi)，則認為自動分類結(jié)果是正確的，否則，認為自動評估系統(tǒng)對面神經(jīng)功能分類錯誤。

表2表示分類器RBF，KNN和SVM的平均分類準確率，表中第二、三、四行分別表示在采用5倍交叉驗證、10倍交叉驗證和留一法時的實驗結(jié)果。如圖5所示，RBFNN的分類準確率高于其他兩種分類器，RBFNN平均分類準確率(誤差在1個等級以內(nèi))為94.10%，比k-NN與SVM分別高9.31%和4.87%。文獻[7]中對面癱患者面神經(jīng)功能自動分級的準確率為85.71%，文獻[9]中對面神經(jīng)功能自動分級的準確率為93.9%，因此紅外熱成像面神經(jīng)功能自動評估結(jié)果優(yōu)于其他的自動評估方法，可以減輕醫(yī)師的工作負擔(dān)，為面神經(jīng)功能的分級提供一種客觀標(biāo)準。

表2 分類器分類精度比較

圖5 不同分類器的性能對比

面神經(jīng)功能自動評估出現(xiàn)誤差的主要原因為受試者原有的面部溫度分布模式在紅外熱像采集前后發(fā)生改變，主要由拍攝環(huán)境(溫濕度等)的變化和面癱患者生理狀況的改變(拍攝前飲酒、吸煙、服藥等)所引起。為了更加客觀準確地進行面神經(jīng)功能自動評估，在采集面癱患者的紅外熱像時，應(yīng)該嚴格保持室內(nèi)環(huán)境的穩(wěn)定，避免環(huán)境因素對紅外熱成像的影響，通常在采集紅外熱像前，面癱患者不能飲酒服藥，采集前須靜坐20分鐘以適應(yīng)室內(nèi)環(huán)境，采集室內(nèi)必須隔離熱源，溫度維持在(24±1)℃，濕度為60%±5%。

3 結(jié) 論

面神經(jīng)功能失調(diào)將改變面部局部區(qū)域的血液循環(huán)，導(dǎo)致面部皮膚表層的熱輻射異常，如果能夠在一個穩(wěn)定的環(huán)境下采集患者的面部紅外熱像圖，通過分析紅外熱像圖上的溫度分布不對稱模式，可以有效的評估患者的面神經(jīng)功能。因此，我們提出一種紅外熱像輔助面神經(jīng)功能自動評估方法，利用計算機自動分割面部局部區(qū)域，提取面部溫度分布不對稱特征，采用RBFNN作為面神經(jīng)功能自動分類器，利用390幅面癱患者的面部紅外熱像進行實驗，結(jié)果表明，面神經(jīng)功能自動分類器評估準確率高于傳統(tǒng)評估方法。因此，紅外熱成像可以作為一種客觀高效的面神經(jīng)功能自動評估工具。

[1] Holland N J, Weiner G M.BMJ, 2004, 329(7465): 553.

[2] Chan J Y K, Byrne P J.Facial Plastic Surgery, 2011, 27(4): 346.

[3] Lamina S, Hanif S.African Health Sciences, 2013, 12(4): 514.

[4] Henstrom D K, Skilbeck C J, Weinberg J, et al.The Laryngoscope, 2011, 121(1): 47.

[5] Lee H Y, Park M S, Byun J Y, et al.Clinical and Experimental Otorhinolaryngology, 2013, 6(3): 135.

[6] Wachtman G S, Cohn J F, VanSwearingen J M, et al.Plastic and Reconstructive Surgery, 2001, 107(5): 1124.

[7] Mitre E I, Lazarini P R, Dolci J E L.American Journal of Otolaryngology, 2008, 29(1): 51.

[8] He S, Soraghan J J, O’Reilly B F.EURASIP J Image Video Process, 2007, 2007(4): 81282.

[9] He S, Soraghan J J, O’Reilly B F, et al.IEEE Trans.Biomed.Eng., 2009, 56(7): 1864.

[10] GAO Yu-hong, XUE Yi-long, LUO Yun, et al(高宇紅, 薛毅瓏, 羅 蕓, 等).Chinese Journal of Laser Medicine & Surgery(中國激光醫(yī)學(xué)雜志), 2008, 17(1): 50.

[11] Zhang D.The American Journal of Chinese Medicine, 2007, 35(6): 967.

[12] LIU Xu-long, HONG Wen-xue, ZHANG Tao, et al(劉旭龍, 洪文學(xué), 張 濤, 等).Journal of Biomedical Engineering(生物醫(yī)學(xué)工程學(xué)雜志), 2013, 30(1): 34.

[13] Nosaka R, Fukui K.Pattern Recognition, 2014, 47(7): 2428.

[14] Luqman H, Mahmoud S A, Awaida S.Pattern Recognition, 2014, 47(6): 2231.

[15] O’Reilly B F, Soraghan J J, McGrenary S, et al.Otology & Neurotology, 2010, 31(3): 486.

(Received Nov.16, 2014; accepted Mar.15, 2015)

Automatic Assessment of Facial Nerve Function Based on Infrared Thermal Imaging

LIU Xu-long1, 2, FU Bin-rui1, 2, XU Li-wen1, LU Ning2, YU Chang-yong2, BAI Lu-yi2

1.Department of Biomedical Engineering, Northeastern University at Qinhuangdao, Qinhuangdao 066004, 2.College of Information Science and Engineering, Northeastern University, Shenyang 110819, China

Facial paralysis which is mainly caused by facial nerve dysfunction is a common clinical entity.It seriously devastates a patient's daily life and interpersonal relationships.A method of automatic assessment of facial nerve function is of critical importance for the diagnosis and treatment of facial paralysis.The contralateral asymmetry of facial temperature distribution is one of the newly symptoms of facial paralysis patients which can be captured by infrared thermography.This paper presents a novel framework for objective measurement of facial paralysis based on the automatic analysis of infrared thermal image.Facial infrared thermal image is automatically divided into eight regional areas based on facial temperature distribution specificity and edge detection, the facial temperature distribution features are extracted automatically, including the asymmetry degree of facial temperature distribution, effective thermal area ratio and temperature difference.The automatic classifier is used to assess facial nerve function based on radial basis function neural network (RBFNN).This method comprehensively utilizes the correlation and specificity of the facial temperature distribution，extracts efficiently the facial temperature contralateral asymmetry of facial paralysis in the infrared thermal imaging.In our experiments, 390 infrared thermal images were collected from subjects with unilateral facial paralysis.The results show: the average classification accuracy rate of our proposed method was 94.10%.It has achieved a better classification rate which is above 9.31% thanKnearest neighbor (kNN) classifier and 4.87% above Support vector machine (SVM).This experiment results is superior to traditional House-Brackmann facial neural function assessment method.The classification accuracy of facial nerve function with the method is full compliance with the clinical application standard.A complete set of automated techniques for the computerized assessment of thermal images has been developed to assess thermal dysfunction caused by facial paralysis, and the clinical diagnosis and treatment of facial paralysis also will benefit by this method.

Facial nerve function; Infrared thermal imaging; Temperature; Assessment

2014-11-16，

2015-03-15

國家自然科學(xué)基金項目(61401080, 61402087), 中央高?；究蒲袠I(yè)務(wù)費專項資金項目(N130323021, N130323006)，東北大學(xué)秦皇島分校博士基金項目(XNB201409, XNB201428)資助

劉旭龍，1984年生，東北大學(xué)秦皇島分校計算機與通信工程學(xué)院生物醫(yī)學(xué)工程系講師 e-mail：liuxulong@neuq.edu.cn

R318.5

A

10.3964/j.issn.1000-0593(2016)05-1445-06