劉旭龍，付斌瑞，許瀝文，魯 寧，于長(zhǎng)永, 柏祿一

1.東北大學(xué)秦皇島分校生物醫(yī)學(xué)工程系，河北 秦皇島 066004 2.東北大學(xué)信息科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110819

紅外熱成像輔助面神經(jīng)功能自動(dòng)評(píng)估方法研究

劉旭龍1, 2，付斌瑞1, 2，許瀝文1，魯 寧2，于長(zhǎng)永2, 柏祿一2

1.東北大學(xué)秦皇島分校生物醫(yī)學(xué)工程系，河北 秦皇島 066004 2.東北大學(xué)信息科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110819

面癱是一種多發(fā)的面神經(jīng)疾病，表現(xiàn)為患側(cè)面神經(jīng)功能失調(diào)，嚴(yán)重影響患者的正常生活和人際交往。面神經(jīng)功能自動(dòng)評(píng)估方法對(duì)于面癱的診治是至關(guān)重要的。面部神經(jīng)功能受損導(dǎo)致體表溫度分布發(fā)生改變，可以通過(guò)紅外熱成像采集患者的面部溫度分布不對(duì)稱特征，基于紅外熱成像提出一種面神經(jīng)功能自動(dòng)評(píng)估新方法，融合溫度特異性和邊緣檢測(cè)自動(dòng)將面部紅外熱像劃分為左右對(duì)稱的八個(gè)區(qū)域，提取面部溫度不對(duì)稱特征，包括溫差、有效熱面積比和溫度分布不對(duì)稱度，采用徑向基神經(jīng)網(wǎng)絡(luò)作為面神經(jīng)功能自動(dòng)分類器。實(shí)驗(yàn)收錄了390幅單側(cè)患病的面癱患者正面紅外熱像圖，結(jié)果顯示：采用徑向基神經(jīng)網(wǎng)絡(luò)的紅外熱成像面神經(jīng)功能自動(dòng)分類器的平均分類準(zhǔn)確率為94.10%，比采用K近鄰分類器和支持向量機(jī)分類器分別提高了9.31%和4.87%，優(yōu)于傳統(tǒng)的House-Brackmann面神經(jīng)功能評(píng)估方法，對(duì)面神經(jīng)功能的分類精度完全符合臨床應(yīng)用標(biāo)準(zhǔn)，可以有效評(píng)估面癱患者的面神經(jīng)功能，有助于面癱的臨床診斷與治療。

面神經(jīng)功能； 紅外熱成像； 溫度； 評(píng)估

引 言

面神經(jīng)功能受損導(dǎo)致面癱患者面部一側(cè)肌肉運(yùn)動(dòng)功能失調(diào)，臨床表現(xiàn)為眼斜嘴歪，嚴(yán)重影響患者的正常面部表情和語(yǔ)言表達(dá)能力[1]。面癱是一種臨床常見病，中老年人群發(fā)病率高達(dá)25/10 000，其中單側(cè)面癱約為90%[2-3]。面癱患者患病期間不同時(shí)期具有不同的面神經(jīng)功能損傷程度，準(zhǔn)確地評(píng)估不同時(shí)期面癱患者的面神經(jīng)功能有益于最佳的臨床決策和愈后的療效評(píng)價(jià)，對(duì)于面癱的臨床診治和研究具有重要的意義。

目前，面神經(jīng)功能的評(píng)估方法主要分為兩類，一類為House-Brackmann (HB)分級(jí)系統(tǒng)及其改進(jìn)方法[4-5]，即患者依據(jù)評(píng)分規(guī)則進(jìn)行一系列的面部表情動(dòng)作(閉眼、皺眉、微笑等)，醫(yī)師觀測(cè)患者面部?jī)蓚?cè)運(yùn)動(dòng)的對(duì)稱度，評(píng)估面神經(jīng)功能等級(jí)，一般按面部神經(jīng)功能正常到全癱，分為六級(jí)； 另一類主要為基于HB分級(jí)標(biāo)準(zhǔn)的生物醫(yī)學(xué)圖像序列面神經(jīng)功能自動(dòng)評(píng)估方法，這類方法采集面癱患者的面部表情動(dòng)作圖像序列，利用模式識(shí)別方法自動(dòng)提取患者面部肌肉運(yùn)動(dòng)不對(duì)稱特征，構(gòu)建面神經(jīng)功能自動(dòng)分類器。例如：Wachtman等利用特征點(diǎn)定位算法自動(dòng)評(píng)估面癱患者的面部表情特征，計(jì)算患者面部圖像中每一種表情動(dòng)作的不對(duì)稱程度，以此來(lái)評(píng)估面癱患者的面神經(jīng)功能[6]。Mitre等提出了類似的方法，增加了兩種新的面部表情動(dòng)作，利用Bayes判別法，面神經(jīng)分級(jí)準(zhǔn)確率為85.71%[7]。Park等提出了模糊均值聚類嘴唇自動(dòng)分割算法，進(jìn)行復(fù)雜環(huán)境下的面神經(jīng)功能自動(dòng)分級(jí)[8]。He等提出了基于徑向基神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)分類器的面神經(jīng)功能自動(dòng)評(píng)估系統(tǒng)，其中采用光流法和局部二值模式表示面部表情動(dòng)作不對(duì)稱特征，分級(jí)正確率為93.9%[8-9]。上述這些方法的缺點(diǎn)在于測(cè)試者必須按要求完成一系列的面部表情動(dòng)作，患者的動(dòng)作規(guī)范度、心理抵觸情緒等因素都將影響面神經(jīng)功能分級(jí)結(jié)果的準(zhǔn)確性，降低其客觀程度。此外，面癱圖像或視頻中的面部表情不對(duì)稱特征易受外界環(huán)境干擾(光照、拍攝角度等)，帶來(lái)評(píng)估結(jié)果的不一致性。

為了解決上述方法的缺點(diǎn)，通過(guò)紅外熱成像輔助面神經(jīng)功能客觀評(píng)估成為目前計(jì)算機(jī)輔助面癱診治中的一個(gè)研究熱點(diǎn)，當(dāng)人體面部局部出現(xiàn)病變時(shí)，局部組織的血流量將會(huì)發(fā)生改變，導(dǎo)致患者面部溫度分布異常。通過(guò)紅外熱成像采集人體面部的溫度分布信息，對(duì)比面部健康區(qū)域與患病區(qū)域的溫度分布特征的差異，可以用來(lái)評(píng)估面癱病情的嚴(yán)重度。高宇紅等利用紅外熱像觀察急性面癱患者的面部供血狀態(tài)的變化，發(fā)現(xiàn)患側(cè)區(qū)域溫度明顯高于健側(cè)，表明紅外熱像是一種面癱臨床診斷的客觀評(píng)估指標(biāo)[10]。張棟等采用紅外熱成像發(fā)現(xiàn)面神經(jīng)麻痹患者的面部左右兩側(cè)溫差顯著大于健康人群，并且兩側(cè)溫差與面神經(jīng)功能損傷相關(guān)，為臨床客觀評(píng)估面神經(jīng)功能提供了一個(gè)量化指標(biāo)[11]。劉旭龍等利用紅外熱成像發(fā)現(xiàn)面癱患者面部局部區(qū)域的健患兩側(cè)溫度分布不對(duì)稱特征明顯異于正常人群，且與面神經(jīng)功能正相關(guān)，為面神經(jīng)功能的自動(dòng)評(píng)估提供了理論基礎(chǔ)[12]。

上述的研究方法只是分別統(tǒng)計(jì)了面癱患者面部不同區(qū)域的溫度分布差異，分析了面部溫度分布與面神經(jīng)功能的相關(guān)性，但是并沒有給出完整的紅外熱成像輔助面神經(jīng)功能自動(dòng)評(píng)估系統(tǒng)。結(jié)合紅外熱成像和徑向基神經(jīng)網(wǎng)絡(luò)(RBFNN)，提出了一種新的面神經(jīng)功能自動(dòng)評(píng)估方法，即采集面癱患者面部紅外熱像圖，自動(dòng)提取患者面部不同區(qū)域的左右兩側(cè)溫度不對(duì)稱特征，利用徑向基神經(jīng)網(wǎng)絡(luò)自動(dòng)分類器，自動(dòng)評(píng)估面癱患者的面神經(jīng)功能。

1 研究方法

實(shí)驗(yàn)數(shù)據(jù)集共收錄了面癱患者65例，所有患者都簽署了知情同意書。醫(yī)用紅外熱像儀為液氮制冷WP-95型，其中靈敏度0.05 ℃。面癱患者的病程大約為30 d，每間隔5 d對(duì)面癱患者采集一次面部紅外熱像，共采集紅外熱像圖390(65×6)幅。實(shí)驗(yàn)中利用HB評(píng)分量表評(píng)估面癱患者的面神經(jīng)功能，將面神經(jīng)功能的損傷程度由輕到重分成六級(jí)，一級(jí)表示功能正常，六級(jí)表示面部完全癱瘓。因此，每幅面癱患者面部紅外熱像圖都會(huì)與面神經(jīng)功能等級(jí)相關(guān)聯(lián)，共同組成實(shí)驗(yàn)數(shù)據(jù)集。圖1為面神經(jīng)功能自動(dòng)評(píng)估方法的總體框圖，采用紅外熱像面部器官溫度分布特異性和邊緣特征自動(dòng)劃分面部感興趣區(qū)域(region of interest, ROI)，從ROI中自動(dòng)提取三種面部溫度分布不對(duì)稱特征，即溫差、有效熱面積比和溫度分布不對(duì)稱度，采用徑向基神經(jīng)網(wǎng)絡(luò)作為分類器，將三種特征值和HB分級(jí)值作為輸入?yún)?shù)，訓(xùn)練分類器，比較徑向基神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)、K近鄰分類器的面神經(jīng)功能分類準(zhǔn)確度，構(gòu)建紅外熱像面神經(jīng)功能自動(dòng)評(píng)估系統(tǒng)。

圖1 面神經(jīng)功能評(píng)估系統(tǒng)框圖

1.1 紅外熱像ROI自動(dòng)分割

為了客觀評(píng)估面癱患者的面神經(jīng)功能，如圖2所示，我們將每幅熱像圖分割為兩兩對(duì)稱的8個(gè)ROI，ROI自動(dòng)分割算法以紅外熱像面部器官自動(dòng)定位算法為基礎(chǔ)，面癱患者的面部紅外熱像不同于正常人的面部熱像，例如眼斜嘴歪，傳統(tǒng)方法定位錯(cuò)誤率較高，故我們采用融合溫度分布特異性和邊緣檢測(cè)的面部ROI的自動(dòng)分割算法，其中首先利用溫度特異性的極值點(diǎn)檢測(cè)鼻子、瞳孔的水平與垂直位置，接著利用邊緣檢測(cè)定位嘴唇的位置，最后融合兩者的信息對(duì)面部器官定位進(jìn)行微調(diào)。

圖2 面部感興趣區(qū)域分割

紅外熱像中面部器官的溫度特異性可以表示為溫度自相關(guān)函數(shù)。設(shè)面部熱像圖的溫度矩陣為I，其自相關(guān)函數(shù)可表示為

(1)

其中，(x,y)表示紅外熱像圖上像素點(diǎn)的坐標(biāo)值，I(x,y)表征溫度值。E(x,y)表示像素點(diǎn)(x,y)移動(dòng)(u,v)時(shí)產(chǎn)生的溫差，E表示紅外熱像溫度分布的變化程度。根據(jù)Harris算法，紅外熱像圖I的自相關(guān)函數(shù)中的局部極值為

Ex, y=∑wx, y(Ix|u, y|v-Ix, y)=

(2)

式中，Ex, y為窗口內(nèi)的溫度變化度量；wx, y為窗口函數(shù)，一般定義為wx, y=e(x2+y2)/σ2。

面部紅外熱像的邊緣檢測(cè)采用Log算子，其邊緣特征圖像表示為

M(x,y)=2[G(x，y)×I(x,y)]=[2G(x，y)]×I(x,y)

(3)

式中，G(x,y)表示為二維高斯函數(shù)，2G(x，y)為L(zhǎng)og算子

(4)

紅外熱像中鼻子的溫度特異值分布范圍約在15～150之間，以此為約束條件分別向垂直和水平方向投影，投影曲線的最大值即為鼻孔的垂直和水平位置坐標(biāo)。同樣，眼睛的溫度特異值分布范圍約在14～80之間，分別向垂直方向和水平方向做投影，找出水平方向的最大值即為瞳孔中心點(diǎn)的橫坐標(biāo)，找出垂直方向上左右兩側(cè)的峰值點(diǎn)即為瞳孔中心點(diǎn)的縱坐標(biāo)，結(jié)合溫度特異性矩陣與邊緣特征矩陣，可以找出眼角和眉骨等其他位置的坐標(biāo)，紅外熱像面部器官定位實(shí)驗(yàn)最終結(jié)果如圖3所示，通過(guò)這些面部關(guān)鍵點(diǎn)的定位，可以完成對(duì)面部ROI的自動(dòng)分割。

圖3 紅外熱像面部器官定位

1.2 有效熱面積比

在紅外熱像中兩個(gè)ROI的平均溫差越大其色彩差異越大，如圖2所示。在計(jì)算ROI的有效熱面積比時(shí)，一般將紅外熱像在面部中線處劃分成左右對(duì)稱的兩側(cè)，分別表示為健側(cè)和患側(cè)。對(duì)比面部ROI中兩側(cè)的溫差，溫差大于0.3 ℃的區(qū)域，定義為溫度異常區(qū)。由面神經(jīng)功能受損引起的溫度分布不對(duì)稱特征，不僅取決于面部局部區(qū)域兩側(cè)溫差的大小，還與溫度異常區(qū)的面積相關(guān)聯(lián)。因此，綜合這兩點(diǎn)，有效熱面積比的定義為[12]

(5)

式中：E為有效熱面積比，NIsub為溫度異常區(qū)中像素的數(shù)目，NIROI為整個(gè)區(qū)域中像素的數(shù)目，w為一個(gè)加權(quán)值，當(dāng)面部ROI兩側(cè)的溫差≤0.5 ℃時(shí)，其值為1，溫差每增加0.1 ℃，其增加0.1，當(dāng)溫差≥1.5 ℃，其值為2。

1.3 溫度分布不對(duì)稱度

圖2中將面癱患者正面紅外熱像圖劃分為兩兩對(duì)稱的8個(gè)ROI，其中溫度分布不對(duì)稱度表示為：兩個(gè)對(duì)稱分布的ROI的局部二值模式[13](local binary pattern, LBP)的直方圖之間的RAD(resistor-average distance)。

LBP算子通常用于紋理分析，可以表示為

(6)

其中P表示一個(gè)圓心為(x,y)，半徑為R的圓形鄰域。LBP表示由二項(xiàng)式權(quán)值2p和函數(shù)S得到的唯一的P位二進(jìn)制編碼。LBP編碼圍繞坐標(biāo)(x,y)描繪了紅外熱像ROI中的紋理特征，包含溫度特異性信息、溫度異常區(qū)邊緣信息和溫度分布特征。

不對(duì)稱度也就是兩個(gè)概率分布之間的相異度，通常用兩點(diǎn)間的RAD來(lái)表示這種差異，RAD可以表示為

DRA(p,q)=[DKL(p‖q)-1+DKL(q‖p)-1]-1

(7)

其中DKL(p‖q)表示Kullback-Leibler (KL)散度，DRA(p,q)隨著p(x)與q(x)的相異度的增加而增大。KL散度定義為

(8)

當(dāng)p(x)和q(x)屬于同一種概率分布時(shí)，KL散度為0。當(dāng)p(x)和q(x)的差異越大時(shí)，RAD的值越大。

1.4 面神經(jīng)功能自動(dòng)分類器

采用RBFNN作為面神經(jīng)功能自動(dòng)分類器，并與支持向量機(jī)(SVM)、K近鄰(K-NN)這兩種常見的分類器進(jìn)行對(duì)比實(shí)驗(yàn)[14]，比較其分類準(zhǔn)確度。RBFNN分類器的輸入節(jié)點(diǎn)包括：面部ROI的4組面部溫度分布不對(duì)稱度、4組有效熱面積比以及一個(gè)面部雙側(cè)平均溫差，共9個(gè)輸入節(jié)點(diǎn)。輸出節(jié)點(diǎn)為面神經(jīng)功能等級(jí)，即HB面神經(jīng)功能分級(jí)標(biāo)準(zhǔn)，按病情輕重分為1～6級(jí)。在實(shí)驗(yàn)方法上，利用N倍交叉驗(yàn)證(N-fold cross validation)進(jìn)行分級(jí)準(zhǔn)確率的比較，即將全部樣本N等分，循環(huán)N次，每次選擇1份為測(cè)試集其余數(shù)據(jù)為訓(xùn)練集，進(jìn)行分類實(shí)驗(yàn)。這種方法可以有效分析分類器對(duì)訓(xùn)練樣本的依賴程度，實(shí)驗(yàn)中將分別采用留一法、5倍和10倍交叉驗(yàn)證來(lái)進(jìn)行實(shí)驗(yàn)結(jié)果的對(duì)比分析。

2 結(jié)果與討論

2.1 面部ROI自動(dòng)定位準(zhǔn)確率分析

如圖2所示，紅外熱像上用于面神經(jīng)功能評(píng)估的區(qū)域(ROIs)共四個(gè)，分別為額部、眼部、臉頰和嘴部。ROIs自動(dòng)定位的準(zhǔn)確率會(huì)影響面神經(jīng)功能自動(dòng)評(píng)估的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如表1所示。綜合分析，對(duì)面部區(qū)域的定位準(zhǔn)確率總體達(dá)到了90%以上，其中額部、眼部、臉頰的定位準(zhǔn)確率明顯高于嘴部的定位準(zhǔn)確率，分別為95.38%，96.92%，96.92%和90.77%。額部、眼部、臉頰主要利用溫度分布特異性進(jìn)行定位，其取值范圍比較穩(wěn)定，嘴部采用邊緣特征與溫度分布特異性共同定位，容易受到外部干擾，因此額部、眼部、臉頰的定位準(zhǔn)確率相對(duì)較高，而嘴部的定位準(zhǔn)確率相對(duì)較低。紅外熱像中ROIs定位出現(xiàn)錯(cuò)誤的主要原因?yàn)橐恍┗颊叩拿娌科鞴俚臏囟确植及l(fā)生改變(例如一些患者天生無(wú)眉毛或進(jìn)行整容等)，圖4(a)中患者整容導(dǎo)致鼻部的溫度特異性較低，鼻部的定位中線比正常位置偏左，(b)中患者沒有眼眉，導(dǎo)致額部的定位中線比正常位置偏下。

表1 紅外熱像面部區(qū)域定位準(zhǔn)確率

圖4 不同干擾下的定位結(jié)果

2.2 面神經(jīng)功能自動(dòng)分類準(zhǔn)確率分析

為了分析面神經(jīng)功能自動(dòng)分類器的性能，選取kNN、SVM與徑向基神經(jīng)網(wǎng)絡(luò)作對(duì)比測(cè)試。在實(shí)驗(yàn)方法上，采用留一法與5倍交叉驗(yàn)證、10倍交叉驗(yàn)證相結(jié)合進(jìn)行測(cè)試。相關(guān)研究表明，不同的醫(yī)師采用HB面神經(jīng)功能分級(jí)標(biāo)準(zhǔn)(1～6級(jí))，同時(shí)對(duì)一名患者進(jìn)行面神經(jīng)功能評(píng)估，其中60%的醫(yī)師的面神經(jīng)功能分級(jí)與患者的實(shí)際面神經(jīng)功能分級(jí)結(jié)果相一致，大約四分之一的評(píng)估結(jié)果與實(shí)際的面神經(jīng)功能分級(jí)結(jié)果相差一個(gè)等級(jí)(例如實(shí)際為3級(jí)，一些醫(yī)師評(píng)估為4級(jí))[15]。在臨床研究中，面神經(jīng)功能自動(dòng)評(píng)估結(jié)果與HB面神經(jīng)功能分級(jí)標(biāo)準(zhǔn)之間經(jīng)常存在一個(gè)等級(jí)的誤差，這種評(píng)估結(jié)果被認(rèn)為是可以接受的[8-9]。因此在本系統(tǒng)中，若自動(dòng)評(píng)估結(jié)果與醫(yī)師給出的HB面神經(jīng)分級(jí)相同或相差在一級(jí)以內(nèi)，則認(rèn)為自動(dòng)分類結(jié)果是正確的，否則，認(rèn)為自動(dòng)評(píng)估系統(tǒng)對(duì)面神經(jīng)功能分類錯(cuò)誤。

表2表示分類器RBF，KNN和SVM的平均分類準(zhǔn)確率，表中第二、三、四行分別表示在采用5倍交叉驗(yàn)證、10倍交叉驗(yàn)證和留一法時(shí)的實(shí)驗(yàn)結(jié)果。如圖5所示，RBFNN的分類準(zhǔn)確率高于其他兩種分類器，RBFNN平均分類準(zhǔn)確率(誤差在1個(gè)等級(jí)以內(nèi))為94.10%，比k-NN與SVM分別高9.31%和4.87%。文獻(xiàn)[7]中對(duì)面癱患者面神經(jīng)功能自動(dòng)分級(jí)的準(zhǔn)確率為85.71%，文獻(xiàn)[9]中對(duì)面神經(jīng)功能自動(dòng)分級(jí)的準(zhǔn)確率為93.9%，因此紅外熱成像面神經(jīng)功能自動(dòng)評(píng)估結(jié)果優(yōu)于其他的自動(dòng)評(píng)估方法，可以減輕醫(yī)師的工作負(fù)擔(dān)，為面神經(jīng)功能的分級(jí)提供一種客觀標(biāo)準(zhǔn)。

表2 分類器分類精度比較

圖5 不同分類器的性能對(duì)比

面神經(jīng)功能自動(dòng)評(píng)估出現(xiàn)誤差的主要原因?yàn)槭茉囌咴械拿娌繙囟确植寄Ｊ皆诩t外熱像采集前后發(fā)生改變，主要由拍攝環(huán)境(溫濕度等)的變化和面癱患者生理狀況的改變(拍攝前飲酒、吸煙、服藥等)所引起。為了更加客觀準(zhǔn)確地進(jìn)行面神經(jīng)功能自動(dòng)評(píng)估，在采集面癱患者的紅外熱像時(shí)，應(yīng)該嚴(yán)格保持室內(nèi)環(huán)境的穩(wěn)定，避免環(huán)境因素對(duì)紅外熱成像的影響，通常在采集紅外熱像前，面癱患者不能飲酒服藥，采集前須靜坐20分鐘以適應(yīng)室內(nèi)環(huán)境，采集室內(nèi)必須隔離熱源，溫度維持在(24±1)℃，濕度為60%±5%。

3 結(jié) 論

面神經(jīng)功能失調(diào)將改變面部局部區(qū)域的血液循環(huán)，導(dǎo)致面部皮膚表層的熱輻射異常，如果能夠在一個(gè)穩(wěn)定的環(huán)境下采集患者的面部紅外熱像圖，通過(guò)分析紅外熱像圖上的溫度分布不對(duì)稱模式，可以有效的評(píng)估患者的面神經(jīng)功能。因此，我們提出一種紅外熱像輔助面神經(jīng)功能自動(dòng)評(píng)估方法，利用計(jì)算機(jī)自動(dòng)分割面部局部區(qū)域，提取面部溫度分布不對(duì)稱特征，采用RBFNN作為面神經(jīng)功能自動(dòng)分類器，利用390幅面癱患者的面部紅外熱像進(jìn)行實(shí)驗(yàn)，結(jié)果表明，面神經(jīng)功能自動(dòng)分類器評(píng)估準(zhǔn)確率高于傳統(tǒng)評(píng)估方法。因此，紅外熱成像可以作為一種客觀高效的面神經(jīng)功能自動(dòng)評(píng)估工具。

[1] Holland N J, Weiner G M.BMJ, 2004, 329(7465): 553.

[2] Chan J Y K, Byrne P J.Facial Plastic Surgery, 2011, 27(4): 346.

[3] Lamina S, Hanif S.African Health Sciences, 2013, 12(4): 514.

[4] Henstrom D K, Skilbeck C J, Weinberg J, et al.The Laryngoscope, 2011, 121(1): 47.

[5] Lee H Y, Park M S, Byun J Y, et al.Clinical and Experimental Otorhinolaryngology, 2013, 6(3): 135.

[6] Wachtman G S, Cohn J F, VanSwearingen J M, et al.Plastic and Reconstructive Surgery, 2001, 107(5): 1124.

[7] Mitre E I, Lazarini P R, Dolci J E L.American Journal of Otolaryngology, 2008, 29(1): 51.

[8] He S, Soraghan J J, O’Reilly B F.EURASIP J Image Video Process, 2007, 2007(4): 81282.

[9] He S, Soraghan J J, O’Reilly B F, et al.IEEE Trans.Biomed.Eng., 2009, 56(7): 1864.

[10] GAO Yu-hong, XUE Yi-long, LUO Yun, et al(高宇紅, 薛毅瓏, 羅 蕓, 等).Chinese Journal of Laser Medicine & Surgery(中國(guó)激光醫(yī)學(xué)雜志), 2008, 17(1): 50.

[11] Zhang D.The American Journal of Chinese Medicine, 2007, 35(6): 967.

[12] LIU Xu-long, HONG Wen-xue, ZHANG Tao, et al(劉旭龍, 洪文學(xué), 張 濤, 等).Journal of Biomedical Engineering(生物醫(yī)學(xué)工程學(xué)雜志), 2013, 30(1): 34.

[13] Nosaka R, Fukui K.Pattern Recognition, 2014, 47(7): 2428.

[14] Luqman H, Mahmoud S A, Awaida S.Pattern Recognition, 2014, 47(6): 2231.

[15] O’Reilly B F, Soraghan J J, McGrenary S, et al.Otology & Neurotology, 2010, 31(3): 486.

(Received Nov.16, 2014; accepted Mar.15, 2015)

Automatic Assessment of Facial Nerve Function Based on Infrared Thermal Imaging

LIU Xu-long1, 2, FU Bin-rui1, 2, XU Li-wen1, LU Ning2, YU Chang-yong2, BAI Lu-yi2

1.Department of Biomedical Engineering, Northeastern University at Qinhuangdao, Qinhuangdao 066004, 2.College of Information Science and Engineering, Northeastern University, Shenyang 110819, China

Facial paralysis which is mainly caused by facial nerve dysfunction is a common clinical entity.It seriously devastates a patient's daily life and interpersonal relationships.A method of automatic assessment of facial nerve function is of critical importance for the diagnosis and treatment of facial paralysis.The contralateral asymmetry of facial temperature distribution is one of the newly symptoms of facial paralysis patients which can be captured by infrared thermography.This paper presents a novel framework for objective measurement of facial paralysis based on the automatic analysis of infrared thermal image.Facial infrared thermal image is automatically divided into eight regional areas based on facial temperature distribution specificity and edge detection, the facial temperature distribution features are extracted automatically, including the asymmetry degree of facial temperature distribution, effective thermal area ratio and temperature difference.The automatic classifier is used to assess facial nerve function based on radial basis function neural network (RBFNN).This method comprehensively utilizes the correlation and specificity of the facial temperature distribution，extracts efficiently the facial temperature contralateral asymmetry of facial paralysis in the infrared thermal imaging.In our experiments, 390 infrared thermal images were collected from subjects with unilateral facial paralysis.The results show: the average classification accuracy rate of our proposed method was 94.10%.It has achieved a better classification rate which is above 9.31% thanKnearest neighbor (kNN) classifier and 4.87% above Support vector machine (SVM).This experiment results is superior to traditional House-Brackmann facial neural function assessment method.The classification accuracy of facial nerve function with the method is full compliance with the clinical application standard.A complete set of automated techniques for the computerized assessment of thermal images has been developed to assess thermal dysfunction caused by facial paralysis, and the clinical diagnosis and treatment of facial paralysis also will benefit by this method.

Facial nerve function; Infrared thermal imaging; Temperature; Assessment

2014-11-16，

2015-03-15

國(guó)家自然科學(xué)基金項(xiàng)目(61401080, 61402087), 中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目(N130323021, N130323006)，東北大學(xué)秦皇島分校博士基金項(xiàng)目(XNB201409, XNB201428)資助

劉旭龍，1984年生，東北大學(xué)秦皇島分校計(jì)算機(jī)與通信工程學(xué)院生物醫(yī)學(xué)工程系講師 e-mail：liuxulong@neuq.edu.cn

R318.5

A

10.3964/j.issn.1000-0593(2016)05-1445-06