楊海清, 何 力, 田聰聰, 袁 剛, 劉兆邦, 楊曉凱

(1.浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023；2.中國(guó)科學(xué)院 蘇州生物醫(yī)學(xué)工程技術(shù)研究所 醫(yī)學(xué)影像室，江蘇 蘇州 215000；3.溫州市人民醫(yī)院 神經(jīng)內(nèi)科，浙江 溫州 325000)

0 引 言

良性陣發(fā)性位置性眩暈(benign positional paroxysmal vertigo，BPPV)的常用診斷方法為Hallpike變位性眼震試驗(yàn)，診斷的關(guān)鍵在于根據(jù)變位試驗(yàn)所誘發(fā)的具有典型特征的眼震來(lái)進(jìn)行定側(cè)、定位[2]。眼震是眼球震顫的簡(jiǎn)稱，是眼球的一種不隨意的節(jié)律性的往返運(yùn)動(dòng)[3]，眼震在臨床中是檢查疾病的一種重要依據(jù)。國(guó)外利用紅外視頻來(lái)對(duì)眼震追蹤的文章不多見(jiàn)，但以研究出一些視頻眼震記錄儀產(chǎn)品用于醫(yī)院的臨床中，這些進(jìn)口設(shè)備大多價(jià)格昂貴，不利于推廣[4]。國(guó)內(nèi)近幾年來(lái)也研制出了幾款視頻眼震記錄儀并已在醫(yī)院臨床中使用，但仍存在不少問(wèn)題，需要進(jìn)一步完善，醫(yī)院現(xiàn)有的視頻眼震記錄儀多為有線傳輸，其空間旋轉(zhuǎn)性較差，由于在誘發(fā)眼震時(shí)需要進(jìn)行變位性實(shí)驗(yàn)，在治療時(shí)也需要使用特殊的手法進(jìn)行復(fù)位，使用有線不利于診斷與治療；醫(yī)院現(xiàn)有的無(wú)線眼震記錄儀視頻采集分辨率及幀率較低，導(dǎo)致精度不足，對(duì)微弱眼震的記錄存在缺失。

本文設(shè)計(jì)了一種無(wú)線高速視頻眼震分析系統(tǒng)，實(shí)現(xiàn)了實(shí)時(shí)眼震的記錄與識(shí)別，解決了現(xiàn)有的有線視頻眼震記錄儀空間旋轉(zhuǎn)性差、無(wú)線視頻眼震記錄儀分辨率及幀率低的問(wèn)題。

1 眼震記錄儀設(shè)計(jì)

1.1 眼震記錄儀結(jié)構(gòu)總體設(shè)計(jì)

眼震記錄儀設(shè)計(jì)為穿戴式眼罩，其中一個(gè)眼罩包括攝像頭和光路模塊，另一個(gè)包括核心控制板和無(wú)線傳輸模塊[5]，總體結(jié)構(gòu)組成如圖1所示。

圖1 總體結(jié)構(gòu)

1.2 光路設(shè)計(jì)

為了適應(yīng)于眼震追蹤算法，設(shè)計(jì)了獨(dú)特的采集模塊，只采集眼部區(qū)域視頻，避免背景的干擾；采用暗瞳成像原理使采集的瞳孔區(qū)域易于區(qū)分，便于算法處理；采用紅外光源照明，通過(guò)二向色鏡濾除掉可見(jiàn)光的干擾，保證了采集的圖像光照均勻并且不受環(huán)境光照的影響，有利于算法相關(guān)參數(shù)的選取[6]。

由4個(gè)紅外光源產(chǎn)生近紅外光，通過(guò)二向色鏡的反射照射到眼部，鏡頭接收眼球通過(guò)二向色鏡反射回來(lái)的紅外光，進(jìn)而完成眼部圖像的采集。眼震記錄儀設(shè)計(jì)為穿戴式眼罩，眼罩的結(jié)構(gòu)如圖2所示，二向色鏡與攝像頭紅外光源分別位于眼罩兩端，其距離b為5 cm，二向色鏡與眼睛的距離a為3 cm，紅外光源的入射光線與眼睛的反射光線和二向色鏡的夾角均為45°。紅外光源的波長(zhǎng)為850 nm近紅外波段，功率為50 mW，二向色鏡的透射波長(zhǎng)為400～700 nm，反射波長(zhǎng)為800～950 nm。

圖2 眼罩結(jié)構(gòu)

1.3 核心控制板

核心控制板是基于Cortex-A7內(nèi)核，主頻最高可以達(dá)到600 MHz，還具有32 KB 的指令緩存和數(shù)據(jù)緩存和128 KB的二級(jí)緩存，保證了高速眼震視頻的輸入與處理能力，其內(nèi)部集成了H.264/H.265/MJPEG/JPEG等多協(xié)議編解碼器，能快速有效實(shí)現(xiàn)眼震視頻的無(wú)損壓縮。

本系統(tǒng)采用的是高性能400萬(wàn)像素OV4689傳感器，其采用先進(jìn)的2 μmOmniBSI-2TM像素，提供同類最佳的低光敏度和高動(dòng)態(tài)范圍，OV4689可以每秒60幀捕獲HD(高清)1080視頻，可實(shí)現(xiàn)高速眼震視頻的捕捉。使用移動(dòng)工業(yè)處理器接口(mobile industry processor interface，MIPI)，解決了圖像傳感器與核心控制板之間高速通信的難題，在接口電路中，把數(shù)據(jù)信號(hào)組和控制信號(hào)組分別接入核心控制板的MIPI0和SPI0即可。

系統(tǒng)采用RTL8821au無(wú)線模塊，其采用新一代802.11.ac標(biāo)準(zhǔn)，支持5 GHz頻段，相比于802.11.n標(biāo)準(zhǔn)2.4 G頻段，具有傳輸速率快，抗干擾能力強(qiáng)等優(yōu)勢(shì)[7]。該模塊通過(guò)核心控制板上設(shè)計(jì)的USB接口電路實(shí)現(xiàn)數(shù)據(jù)的傳輸[8]。

2 眼震記錄儀系統(tǒng)軟件框架

眼震記錄儀的軟件框架包括眼震記錄儀端與PC端軟件兩部分，兩者一起實(shí)現(xiàn)了眼震視頻的采集、壓縮編碼、無(wú)線傳輸和算法分析等功能。如圖3所示為眼震追蹤系統(tǒng)軟件框架。

圖3 眼震追蹤系統(tǒng)軟件框架

主要包括功能：

1)基于ISP的視頻采集模塊：實(shí)現(xiàn)相機(jī)傳感器的適配，設(shè)定采集圖像的公共屬性，包括幀率、分辨率，并對(duì)采集的圖像進(jìn)行壞點(diǎn)檢測(cè)、去噪等處理；

2)Video subsystem硬件編碼模塊：將采集到的YUV格式的視頻送入編碼模塊，接著對(duì)視頻進(jìn)行H.265格式編碼；

3)基于RTSP協(xié)議的實(shí)時(shí)視頻傳輸模塊：該模塊分為L(zhǎng)inux服務(wù)端與Windows客戶端兩部分，Linux端先通過(guò)RTSP協(xié)議負(fù)責(zé)與Windows端溝通傳輸方式與內(nèi)容，本系統(tǒng)使用的是H.265流、后續(xù)的RTP,RTCP協(xié)議采用的是UDP傳輸、RTSP服務(wù)器的端口號(hào)為554，接著將Video subsystem編碼后的視頻通過(guò)打包到RTP協(xié)議的數(shù)據(jù)部分發(fā)送到Windows客戶端，最后通過(guò)RTCP協(xié)議中斷整個(gè)協(xié)議的傳輸；

4)控制通信模塊：眼震記錄儀與PC端使用Socket通信方式PC端將控制指令與配置信息打包并轉(zhuǎn)化為流數(shù)據(jù)，再通過(guò)無(wú)線網(wǎng)絡(luò)傳輸?shù)较挛粰C(jī)， Cortex-A7處理器根據(jù)事先規(guī)定好的協(xié)議解析數(shù)據(jù)包，并做出響應(yīng)并返回給上位機(jī)響應(yīng)信息；

5)基于FFmpeg的視頻解碼模塊：調(diào)用FFmpeg庫(kù)中的函數(shù)，將通過(guò)RTSP協(xié)議接收到的H.265視頻流解碼為算法模塊能使用的視頻流；

6)基于暗瞳的眼震追蹤算法模塊：對(duì)接收到的眼震視頻進(jìn)行算法分析，提取瞳孔中心坐標(biāo)，根據(jù)坐標(biāo)變化判斷眼震軌跡。

3 PC端實(shí)時(shí)眼震追蹤算法

在BPPV的診斷中，醫(yī)生需要實(shí)時(shí)觀察患者的眼震軌跡，對(duì)算法的運(yùn)行速度有很高的要求，眼震追蹤算法的關(guān)鍵在于瞳孔中心坐標(biāo)的獲取，國(guó)內(nèi)外文獻(xiàn)中應(yīng)用于眼動(dòng)追蹤中的瞳孔定位算法方法比較多，其中比較典型的有閾值法、星爆模型、Hough變換圓檢測(cè)等[9～11]，但是其中的大部分算法處理一幀圖像的時(shí)間較長(zhǎng)，不是很適用于本系統(tǒng)。本系統(tǒng)設(shè)計(jì)為滿足每秒60幀視頻的實(shí)時(shí)瞳孔追蹤，這樣處理一幀圖像的時(shí)間需為16 ms，算上接收與解碼的時(shí)間的話，處理一幀的時(shí)間更要小于16 ms。

為解決實(shí)時(shí)眼震追蹤，本文在采集端做了獨(dú)特的設(shè)計(jì)，采集到了只有眼部區(qū)域的高質(zhì)量不受環(huán)境光照影響的暗瞳眼震視頻，這樣避免了瞳孔追蹤中為消除這些影響而做的處理，并通過(guò)Harr特征與積分圖來(lái)提取瞳孔附件為感興趣區(qū)域，減小了后續(xù)算法處理的區(qū)域從而縮短了處理時(shí)間，算法通過(guò)VS與OpenCV實(shí)現(xiàn)，在算法處理的過(guò)程中需要多次遍歷圖像，為了提高效率，利用VS中的OpenMp進(jìn)行并行編程，加快遍歷操作。

本文的算法流程如圖4所示，先提取感興趣區(qū)域，接著對(duì)其進(jìn)行圖像預(yù)處理，再進(jìn)行瞳孔中心定位，根據(jù)獲得的瞳孔中心坐標(biāo)生成眼震曲線圖。

圖4 眼震追蹤算法流程

3.1 提取感興趣區(qū)域

Haar特征是反映圖像灰度變化的，像素分模塊求差值的一種特征，在特征模板內(nèi)用黑色矩形像素和減去白色矩形像素和來(lái)表示這個(gè)模版的特征值。瞳孔附件的區(qū)域可以很容易的通過(guò)這種特征描述，采集的眼部圖像如圖5(a)由于采集的是暗瞳圖像，瞳孔為黑色，其四周為白色區(qū)域，感興趣區(qū)域可以通過(guò)如圖5(b)特征模板表示，求得圖像中該模板特征值最大的位置即為所需的瞳孔附近感興趣區(qū)域，如圖5(c)所示。

圖5 提取感興趣區(qū)域

3.2 圖像預(yù)處理與邊緣檢測(cè)

眼震記錄儀采集圖像時(shí)使用了四個(gè)紅外光源照明，這會(huì)在圖像上形成四個(gè)普爾欽斑，影響后面瞳孔中心定位算法的速度與精度，為消除光斑的影響先對(duì)感興趣區(qū)域進(jìn)行形態(tài)學(xué)處理，包括腐蝕與膨脹操作，同時(shí)形態(tài)學(xué)處理能消除一部分睫毛對(duì)瞳孔中心定位的影響。

如圖6(c)為經(jīng)過(guò)形態(tài)學(xué)處理和高斯濾波后再進(jìn)行Canny邊緣檢測(cè)的效果，可以看到，相比圖6(a)和圖6(b),圖6(c)瞳孔的邊緣變得平滑，斷開(kāi)的部分也變少，同時(shí)也消除了大部分光斑和睫毛的影響。

圖6 圖像預(yù)處理與邊緣檢測(cè)

3.3 瞳孔中心定位

獲取瞳孔中心坐標(biāo)的常見(jiàn)方法有星爆模型和Hough變換圓檢測(cè)，其中星爆模型準(zhǔn)確度比較低，Hough變換圓檢測(cè)耗時(shí)長(zhǎng)，都不是很滿足要求。在瞳孔中心定位時(shí)，本文使用了基于最小二乘技術(shù)的橢圓擬合方法來(lái)獲取瞳孔中心坐標(biāo)[12]，相較于前兩種方法，準(zhǔn)確性和實(shí)時(shí)性都能滿足要求。

橢圓可以由以下二階多項(xiàng)式圓錐曲線表示

上式具有特殊的橢圓約束條件b2-4ac<0

圖7 瞳孔中心坐標(biāo)

將計(jì)算出的每幀圖像瞳孔中心的坐標(biāo)生成眼震曲線，醫(yī)生通過(guò)該曲線來(lái)判斷出眼震類型從而診斷疾病。經(jīng)計(jì)算本文的眼震追蹤算法流程處理一幀圖像的時(shí)間為13 ms，滿足了60幀每秒實(shí)時(shí)眼震追蹤。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 傳輸穩(wěn)定性

測(cè)試傳輸性能時(shí)眼震記錄儀采集視頻數(shù)據(jù)，進(jìn)行H.265壓縮編碼，再通過(guò)RTSP服務(wù)器以不同的傳輸方式將編碼后的視頻傳輸?shù)絇C客戶端，PC端使用VLC播放器解碼顯示，傳輸方式使用實(shí)驗(yàn)室有線局域網(wǎng)、802.11.n標(biāo)準(zhǔn)2.4G頻段WiFi和802.11.ac標(biāo)準(zhǔn)5G頻段WiFi。

本文模擬了BPPV診療中眼震記錄儀的工作狀態(tài)，測(cè)試了不同傳輸方式在眼震記錄儀靜止、運(yùn)動(dòng)和電磁干擾這三種情況下傳輸?shù)姆€(wěn)定性，結(jié)果如表1所示。采集的視頻分辨率為HD720，幀率為60。測(cè)試時(shí)電腦不連接因特網(wǎng)，也不使用其他占用網(wǎng)絡(luò)的軟件，傳輸HD720/60幀需要的帶寬小于這三種傳輸方式的極限帶寬。采集傳輸6 000幀視頻，統(tǒng)計(jì)期間的丟幀數(shù)，并計(jì)算出丟幀率作為穩(wěn)定性的衡量標(biāo)準(zhǔn)。

表1 傳輸穩(wěn)定性

由表1實(shí)驗(yàn)結(jié)果可知，在靜止條件下三種傳輸方式丟幀率都很低，在運(yùn)動(dòng)與抗干擾性方面5 G頻段WiFi接近于有線網(wǎng)絡(luò)傳輸，并都強(qiáng)于2.4 GHz頻段WiFi。

4.2 系統(tǒng)精度

根據(jù)國(guó)際注視交流交互技術(shù)委員會(huì)(The COGAIN Technical Comittee)在2012年提出的眼動(dòng)儀系統(tǒng)精度測(cè)量的標(biāo)準(zhǔn)技術(shù)方法，本文眼震記錄儀系統(tǒng)精度以相鄰樣本間瞳孔中心角距離的均方根值(root mean square,RMS)[13]

(1)

實(shí)際測(cè)量中系統(tǒng)精度受多種因素影響，包括紅外光源照明強(qiáng)度、室內(nèi)照明度改變、人眼特征等，本文只討論采集視頻幀率與分辨率對(duì)系統(tǒng)精度的影響，實(shí)驗(yàn)過(guò)程中保持其他環(huán)境不變，采集存儲(chǔ)一段時(shí)間60幀/s的HD1080視頻，將視頻改變幀率與分辨率，再分別使用PC端算法對(duì)不同幀率與分辨率的視頻進(jìn)行瞳孔追蹤，根據(jù)獲取的相鄰兩幀圖像的瞳孔中心坐標(biāo)計(jì)算出RMS的值，實(shí)驗(yàn)結(jié)果:HD1080/60,HD1080/30,VGA/60,VGA/30分別為0.005,0.013,0.023,0.069。單位為度，數(shù)值越小表示系統(tǒng)精度越高[14]。

由上面數(shù)據(jù)可知，幀率相同時(shí)分辨率越高系統(tǒng)的精度越高，分辨率相同時(shí)幀率越高系統(tǒng)的精度越高，而幀率分辨率都高時(shí)系統(tǒng)精度最高。

5 結(jié) 論

實(shí)驗(yàn)結(jié)果表明：5 GHz WiFi的使用提高了眼震記錄儀的抗干擾能力，高清及高幀率眼震視頻的獲取，提高了系統(tǒng)的精度。本文設(shè)計(jì)出的視頻眼震分析系統(tǒng)穩(wěn)定精度高，能夠?qū)崟r(shí)有效的獲取眼震的運(yùn)動(dòng)軌跡，為BPPV的診療提供了信息支持。