邱會(huì)麗,何 煜,程 徐,趙 萌,陳勝勇,

(1.天津理工大學(xué) 計(jì)算機(jī)與通信工程學(xué)院,天津 300384; 2.浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,杭州 310023)

0 概述

腦電圖(Electroencephalogram,EEG)技術(shù)具有很高的研究?jī)r(jià)值[1],其中一個(gè)重要研究領(lǐng)域就是如何準(zhǔn)確定位產(chǎn)生頭皮信號(hào)部分在大腦皮層中的位置[2-5]。目前有5類EEG電極信號(hào)定位方法,分別是人工方法、電磁射頻數(shù)字化儀器、核磁共振輔助方法、超聲波透射和反射方法以及攝影測(cè)量方法[6]。人工方法十分耗時(shí)耗力,并且很容易因?yàn)槿斯げ僮髟斐烧`差。電磁射頻數(shù)字化儀器是目前應(yīng)用最多的定位方法,工作原理是通過磁場(chǎng)去定位EEG電極的位置,精度在4 mm以內(nèi),速度比人工方法快很多。缺點(diǎn)是單點(diǎn)測(cè)量容易出錯(cuò),要獲取精確的結(jié)果需要多次重復(fù)測(cè)量。再有對(duì)整體測(cè)量環(huán)境要求苛刻,不能有金屬器物,對(duì)空氣濕度溫度敏感,并需要額外的數(shù)據(jù)轉(zhuǎn)換工具。磁核共振輔助方法具體實(shí)現(xiàn)需要額外的標(biāo)定物,不適用于多傳感器的情況。超聲波方法同數(shù)字電磁轉(zhuǎn)換方法一樣對(duì)環(huán)境要求苛刻,并且需要單點(diǎn)測(cè)量,十分耗費(fèi)時(shí)間精力。以上幾種方法的一個(gè)共同缺點(diǎn)是本身電信號(hào)會(huì)對(duì)EEG信號(hào)產(chǎn)生干擾,影響最終檢測(cè)結(jié)果。相比其他方法,攝影測(cè)量方法具有快捷、精確、簡(jiǎn)單操作的特點(diǎn)。

在攝影測(cè)量方法基礎(chǔ)上,本文設(shè)計(jì)一款針對(duì)深度相機(jī)的標(biāo)定板,用飛行時(shí)間法(Time of Flight,TOF)直接獲取沒有徑向畸變的點(diǎn)云數(shù)據(jù)代替分辨率低的深度圖像,與CCD相機(jī)標(biāo)定。

1 相關(guān)工作

文獻(xiàn)[7]使用11組工業(yè)相機(jī)來對(duì)電極位置進(jìn)行定位,精度達(dá)到1.27 mm,操作過程簡(jiǎn)單,不需要受試者參與很長(zhǎng)時(shí)間,也不需要額外裝置。從裝置設(shè)備調(diào)整參數(shù),到拍攝完畢,只需15 min～20 min時(shí)間,而后續(xù)數(shù)據(jù)處理不需要受試者參與,給醫(yī)生、病人都帶來極大方便。其工作原理是利用計(jì)算機(jī)視覺的立體匹配思想,對(duì)不同位置相機(jī)標(biāo)定,配準(zhǔn)不同角度下同一電極位置的三維信息。其缺點(diǎn)一是必須人工標(biāo)記每幅圖像的電極點(diǎn),容易造成人工誤差;二是這套系統(tǒng)只適用于自己特定設(shè)計(jì)的電極帽,不適用與其他類型的電極帽,而其他傳統(tǒng)方法沒有這個(gè)限制,任何電極帽都可適用;三是這套系統(tǒng)只能識(shí)別可見的電極點(diǎn),對(duì)于隱藏在頭發(fā)下而不可見的電極點(diǎn)將無法識(shí)別。電磁數(shù)字方法與超聲波方法沒有這個(gè)限制[8]。文獻(xiàn)[9]利用kinect相機(jī),搭建出一套攝影測(cè)量系統(tǒng),但kinect相機(jī)所獲取的深度圖像需要一系列的修復(fù)去噪工作。文獻(xiàn)[2]利用一套8相機(jī)的紅外快速移動(dòng)采集系統(tǒng)(IR-MOCAP)來定位源信號(hào)。但是其同樣必須使用特定的電極帽,因?yàn)樵诿總€(gè)電極上都安裝了反射器,以便紅外相機(jī)識(shí)別采集。文獻(xiàn)[6]采用一個(gè)相機(jī)實(shí)現(xiàn)定位,希望能夠減少成本,工作過程是根據(jù)提前規(guī)劃好的路線去轉(zhuǎn)動(dòng)相機(jī),每隔一個(gè)角度拍攝一次。該方法雖然減少了成本,但是病人測(cè)試過程中必須保持長(zhǎng)時(shí)間不動(dòng),增加了人為誤差,并且增加了數(shù)據(jù)采集時(shí)間。

利用深度圖像與彩色圖像的融合,對(duì)EEG電極定位有重要的應(yīng)用意義。文獻(xiàn)[10]利用彩色圖像邊緣信息作為指導(dǎo),將深度圖像分辨率放大增益并無損降噪。但是2種相機(jī)的標(biāo)定校準(zhǔn)是圖像融合最重要的一環(huán)。與普通相機(jī)的校準(zhǔn)不同[11],TOF相機(jī)標(biāo)定面臨的最大挑戰(zhàn)是深度圖像的畸變與低分辨率帶來的影響[12]。深度相機(jī)標(biāo)定校準(zhǔn)的方法有多種。文獻(xiàn)[13]提出了多相機(jī)立體融合的方法,利用雙相機(jī)估計(jì)視差匹配。文獻(xiàn)[14]利用混合參數(shù)方法實(shí)現(xiàn)深度相機(jī)與彩色相機(jī)的標(biāo)定,改進(jìn)了標(biāo)定的算法,將非線性算法改為線性,提高了效率與精度。文獻(xiàn)[15]在視差圖像標(biāo)定算法的基礎(chǔ)之上,利用泰勒公式簡(jiǎn)化視差畸變模型,改進(jìn)了算法。文獻(xiàn)[16]采用基于深度的前景分割方法,找出深度圖與彩色圖邊緣不匹配像素集合,利用基于聯(lián)合雙邊濾波的插值算法對(duì)空洞進(jìn)行補(bǔ)充。但是這些方法都是集中在內(nèi)部校準(zhǔn)建模、系統(tǒng)誤差噪聲,外部校準(zhǔn)也是一個(gè)重要因素。最近有學(xué)者提出利用一種新設(shè)計(jì)的標(biāo)定板,充分利用深度相機(jī)的特性,將深度圖像的畸變與低分辨率影響降到最低,并執(zhí)行光線校正,距離偏差校正,精度有很大提高[17-18]。

2 實(shí)驗(yàn)原理

2.1 實(shí)驗(yàn)設(shè)備

本文采用一種新型的深度相機(jī)(MESA-SR-4000,176×144像素),利用TOF技術(shù)直接計(jì)算獲取物體的距離或深度信息。TOF相機(jī)的基本原理如圖1所示,由相機(jī)的LED光源發(fā)射紅外光線到目標(biāo)物體,TOF相機(jī)檢測(cè)由物體反射的光線,然后通過計(jì)算所檢測(cè)到的出射光和放射光之間的相位差,就可以得到目標(biāo)物體的深度信息[19]。其中出射光和放射光之間的相位差是由4個(gè)控制信號(hào)收集的電荷量計(jì)算得到,每個(gè)控制信號(hào)之間的各有90°的相位延遲,如圖2所示。

圖1 TOF相機(jī)基本原理

相位φ由下式計(jì)算得到:

(1)

其中,C1～C4代表每一個(gè)控制信號(hào)的電荷量。因此,深度D就可以通過光速c和信號(hào)的頻率f計(jì)算得到:

(2)

由于現(xiàn)有深度相機(jī)的分辨率不高,不能直接識(shí)別EEG的電極位置。而彩色相機(jī)可以獲取拍攝目標(biāo)的顏色、紋理等二維信息,所以本文將兩者結(jié)合起來同時(shí)獲取場(chǎng)景內(nèi)物體的距離以及顏色信息。即搭建基于RGB-D[20]多模態(tài)數(shù)據(jù)的腦電信號(hào)采集系統(tǒng)。首先,用彩色相機(jī)(1 624×1 234像素)和深度相機(jī)聯(lián)合采集圖像,如圖3所示。其中:彩色相機(jī)負(fù)責(zé)拍攝含有電極的彩色圖,以便可以在圖像中方便的檢測(cè)到EEG電極并獲取電極的二維信息;深度相機(jī)負(fù)責(zé)獲取含有電極的點(diǎn)云數(shù)據(jù),以便可以得到電極的距離或深度信息。其中關(guān)鍵問題是對(duì)2個(gè)不同相機(jī)的標(biāo)定。本文選用5個(gè)相機(jī)組分別在5個(gè)角度對(duì)實(shí)驗(yàn)?zāi)繕?biāo)進(jìn)行拍攝,5個(gè)角度分別位于頭部的前后左右和頂部。鑒于目前實(shí)驗(yàn)設(shè)備的不完備,本文用同一個(gè)相機(jī)組分別在頭部的5個(gè)角度進(jìn)行拍攝。經(jīng)實(shí)驗(yàn)證明,這5個(gè)角度拍攝到的數(shù)據(jù)可以包含到所有的電極信息。

圖3 相機(jī)組

根據(jù)TOF相機(jī)的感知范圍的精度分析,TOF相機(jī)最佳拍攝距離為0.5 m～8 m之間。系統(tǒng)搭建示意圖如圖4所示。通過多個(gè)角度獲取實(shí)驗(yàn)?zāi)繕?biāo)的RGB-D數(shù)據(jù),圖4即為5個(gè)相機(jī)組系統(tǒng)。周邊4組相機(jī)每組相機(jī)采用30°角俯拍,平均分布在頭模型前后左右4個(gè)方向,中間正上方一組俯拍。模具距離相機(jī)的水平距離是60 cm,垂直距離是40 cm。

圖4 系統(tǒng)搭建示意圖

2.2 相機(jī)標(biāo)定

傳統(tǒng)經(jīng)典的相機(jī)組標(biāo)定方法,利用TOF相機(jī)獲取的深度圖與CCD相機(jī)獲取的彩色圖標(biāo)定[17]。但是深度圖像素過低,不清晰,結(jié)果很不穩(wěn)定。因此,本文采用精確的點(diǎn)云數(shù)據(jù)和新型的標(biāo)定板來做相機(jī)標(biāo)定。2種方法的對(duì)比實(shí)驗(yàn)將在下一部分具體介紹。

相機(jī)標(biāo)定過程[14]設(shè)計(jì)如下:

假設(shè)Q為空間中一點(diǎn),相機(jī)坐標(biāo)系統(tǒng)下其坐標(biāo)為(xc,yc,zc)T。點(diǎn)Q在歸一化圖像中的投影是Xn:

(3)

考慮到鏡頭畸變,以上坐標(biāo)映射為Xd:

(4)

最后,由Xd映射到圖像坐標(biāo)Xq:

(5)

其中,fx、fy分別是x方向和y方向的焦距,cx、cy是主點(diǎn)坐標(biāo)。

相機(jī)組之間的關(guān)系可以描述為點(diǎn)Q在2個(gè)相機(jī)坐標(biāo)系下坐標(biāo)的關(guān)系。假設(shè)Xcd是點(diǎn)Q在TOF相機(jī)坐標(biāo)系下的坐標(biāo),Xcc是點(diǎn)Q在CCD相機(jī)坐標(biāo)系下的坐標(biāo),它們的關(guān)系可以寫為

Xcc=RXcd+T

(6)

其中,R是3×3的旋轉(zhuǎn)矩陣,T是3×1的平移矩陣。標(biāo)定的目標(biāo)便是求解出旋轉(zhuǎn)矩陣R以及平移矩陣T。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 改進(jìn)的相機(jī)標(biāo)定

深度相機(jī)所獲取的深度圖像,其像素值代表所攝物體到相機(jī)的距離。因圖像對(duì)距離信息敏感,文獻(xiàn)[18]提出一種新型的2.5維的標(biāo)定板,如圖5所示,圖5(a)是標(biāo)定板彩色圖像,圖5(b)是標(biāo)定板深度圖像。特征點(diǎn)是標(biāo)定板每個(gè)圓孔的中心,充分利用深度圖像的特性,提高了相機(jī)配準(zhǔn)的精度,簡(jiǎn)化了算法復(fù)雜度。

圖5 2.5維標(biāo)定板

標(biāo)定具體過程如下:

1)提取特征點(diǎn):首先選取感興趣區(qū)域(ROI),自動(dòng)閾值二值化,去除圖像噪聲,放大圖像洞的形狀。然后計(jì)算連通區(qū)域,計(jì)算每個(gè)連通區(qū)域的中心,如圖5(c)所示。以連通區(qū)域的中心作為特征點(diǎn)。

2)擬合特征點(diǎn):對(duì)取到的每一列每一行特征點(diǎn)采用最小二乘法進(jìn)行擬合,以減少會(huì)出現(xiàn)的位置誤差,如圖5(d)所示。然后利用2.2節(jié)介紹的標(biāo)定方法進(jìn)行標(biāo)定。

盡管以上方法提高了配準(zhǔn)精度,但是深度圖本身的徑向畸變,尤其邊緣偏差相差很大,如圖6(a)所示。盡管采用擬合特征點(diǎn)的方法降低了一些誤差,但是仍有提高空間,因此本文在文獻(xiàn)[18]結(jié)果的基礎(chǔ)上提出采用TOF獲取的點(diǎn)云數(shù)據(jù),替換掉原先采用的深度圖,以最大限度消除因?yàn)樯疃认鄼C(jī)鏡頭帶來的徑向畸變,從而提高標(biāo)定精度。具體過程如下:

1)對(duì)點(diǎn)云插值因。相機(jī)分辨率較低,為獲得更精確的數(shù)據(jù),系統(tǒng)利用雙線性插值算法對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行插值,使得其分辨率與彩色圖一致,如圖6(b)所示。

2)將點(diǎn)云轉(zhuǎn)換為二維圖像。由于點(diǎn)云是三維數(shù)據(jù),無法直接與彩色圖進(jìn)行標(biāo)定,因此需要將點(diǎn)云轉(zhuǎn)換為二維圖像。本文采用針孔模型作為理論依據(jù),將三維坐標(biāo)投影到二維平面,如圖6(c)所示。

比較圖6(a)與圖6(c)可知,圖像的徑向畸變與切向畸變都有很大改善。根據(jù)2種方法得出的結(jié)果,對(duì)比2組點(diǎn)轉(zhuǎn)換之后的距離誤差,結(jié)果如圖7所示。橫坐標(biāo)代表100個(gè)數(shù)據(jù)點(diǎn),縱坐標(biāo)代表標(biāo)定前后2點(diǎn)的距離差。由圖中數(shù)據(jù)可知標(biāo)定誤差由原先平均3.51 mm降到了1.06 mm。

圖7 2種方法結(jié)果對(duì)比

在相機(jī)標(biāo)定過程中,畸變是相機(jī)自身誤差的主要來源,而標(biāo)定誤差對(duì)EEG定位系統(tǒng)的精度有很大影響。TOF相機(jī)可以同時(shí)獲取深度圖以及三維點(diǎn)云,但是深度圖普遍具有低分辨率、空洞、鏡頭畸變等等問題。為改善這些不足,利用深度圖與彩色圖進(jìn)行2種傳感器的標(biāo)定是普遍的方法,但過程較復(fù)雜而效果卻不穩(wěn)定。而TOF相機(jī)所獲取的三維點(diǎn)云卻不受這些影響,但需要精確地將三維點(diǎn)云投影到二維圖像上再與彩色圖進(jìn)行標(biāo)定。本文的實(shí)驗(yàn)結(jié)果證明了利用三維點(diǎn)云替代深度圖所獲取的標(biāo)定精度有很大提高。

3.2 電極定位

為精確定位電極的空間位置,需要計(jì)算出電極在彩色圖中的位置信息,再由3.1節(jié)標(biāo)定所計(jì)算得到的變換關(guān)系,映射到深度圖中EEG電極所在的位置,從而定位出EEG電極的空間三維位置。

通過檢測(cè)各個(gè)角度彩色圖的連通區(qū)域,計(jì)算出EEG電極二維圖像中的精確位置。在彩色圖中檢測(cè)電極時(shí),由于本文用到了真實(shí)的電極帽,在電極帽檢測(cè)過程中會(huì)有很多的干擾。為了能夠準(zhǔn)確地檢測(cè)到電極,本文進(jìn)行如下實(shí)驗(yàn):用合適的閾值對(duì)彩色圖像進(jìn)行二值化,如圖8(a)所示,圓圈里的便是干擾點(diǎn);在選取ROI之后,計(jì)算出所有的連通區(qū)域,進(jìn)行標(biāo)記,并計(jì)算出每個(gè)連通區(qū)域的面積;調(diào)整合適的面積閾值,將大于閾值的連通區(qū)域保留,小于閾值的連通區(qū)域進(jìn)行濾掉;計(jì)算保留下來的連通區(qū)域的中心,該連通區(qū)域中心即為電極點(diǎn)的中心,用該中心點(diǎn)的坐標(biāo)作為電極的位置,如圖8(b)所示。

圖8 真實(shí)電極帽EEG電極檢測(cè)

電極的三維坐標(biāo)信息由3.1節(jié)的變換關(guān)系映射得到,如圖9所示(以角度1為例),圖9(a)為彩色圖中獲取的電極信息標(biāo)記,圖9(b)為映射到深度圖像中的對(duì)應(yīng)電極信息,圖9(c)為對(duì)應(yīng)點(diǎn)云數(shù)據(jù)中的電極信息。

圖9 EEG電極配準(zhǔn)結(jié)果

重建整個(gè)腦部模型以及電極點(diǎn)位置[21]。利用svd算法將不同角度點(diǎn)云以及電極點(diǎn)轉(zhuǎn)換到同一坐標(biāo)系下[22]。其中,圖10(a)是傳統(tǒng)標(biāo)定方法的配準(zhǔn)效果圖,圖10(b)是標(biāo)定改進(jìn)后的效果圖。最明顯區(qū)別是在同一角度下傳統(tǒng)方法沒有顯示出最邊緣電極點(diǎn)(畫紅線處,見電子版)。

圖10 所有EEG電極的配準(zhǔn)結(jié)果

為使實(shí)驗(yàn)數(shù)據(jù)更加精準(zhǔn),本文以另一組實(shí)驗(yàn)對(duì)象來驗(yàn)證所提算法。實(shí)驗(yàn)流程如圖11所示(以角度1為例)。最終配準(zhǔn)效果如圖12所示。

圖11 實(shí)驗(yàn)對(duì)象2流程

圖12 實(shí)驗(yàn)對(duì)象2配準(zhǔn)效果圖

在EEG定位系統(tǒng)中,電極的錯(cuò)誤定位可能造成源的錯(cuò)誤定位,因此電極定位的精度在系統(tǒng)中是很重要的評(píng)價(jià)指標(biāo)。標(biāo)準(zhǔn)的系統(tǒng)定位誤差由下式給出:

(7)

其中,X、Y、Z是估算的三維坐標(biāo),Xa、Ya、Za是通過Artec 3D的便攜式三維手持掃描儀Space Spider獲取的標(biāo)準(zhǔn)坐標(biāo)值,其精度為0.05 mm。本文針對(duì)2組實(shí)驗(yàn)對(duì)象分別做5次實(shí)驗(yàn)取平均值,30個(gè)電極點(diǎn)的平均誤差如表1所示。實(shí)驗(yàn)對(duì)象2的平均誤差如表2所示。傳統(tǒng)方法的電極點(diǎn)誤差如表3所示。

比較表1～表3的數(shù)據(jù)可以看出,表1的平均誤差為3.26 mm,表2的平均誤差為3.91 mm,表3的平均誤差為6.13 mm。臨床所廣泛使用的電磁數(shù)字方法誤差在3.86 mm～7.66 mm之間[4],可知改進(jìn)之后的相機(jī)標(biāo)定方法所實(shí)現(xiàn)的EEG電極定位系統(tǒng)的誤差是在可接受范圍之內(nèi)的。

表1 改進(jìn)后的30個(gè)電極點(diǎn)的定位誤差 mm

表2 實(shí)驗(yàn)對(duì)象2的30個(gè)電極點(diǎn)的定位誤差 mm

表3 傳統(tǒng)的30個(gè)電極點(diǎn)的定位誤差 mm

4 結(jié)束語

本文通過TOF相機(jī)來獲取深度信息的特性,并將TOF相機(jī)與CCD相機(jī)相結(jié)合,得到電極的位置信息以及顏色信息。對(duì)于相機(jī)的標(biāo)定,針對(duì)TOF相機(jī)對(duì)距離敏感的特性,設(shè)計(jì)一種具有深度特征的標(biāo)定板。根據(jù)獲取的三維點(diǎn)云數(shù)據(jù)進(jìn)行標(biāo)定,將三維點(diǎn)云利用針孔原理映射到二維圖像,以消除因徑向畸變而帶來的誤差,運(yùn)用雙線性插值的方法提高分辨率。相機(jī)的標(biāo)定精度對(duì)整個(gè)系統(tǒng)的精度有很大影響,通過2組真人實(shí)驗(yàn),結(jié)果顯示,改進(jìn)后的相機(jī)標(biāo)定方法在精度上有很大提高,但深度相機(jī)的點(diǎn)云數(shù)據(jù)精度仍然有限,下一步將采用更高精度的相機(jī)以及采集更多的實(shí)驗(yàn)數(shù)據(jù)來進(jìn)行驗(yàn)證。

致謝在此特別感謝實(shí)驗(yàn)室成員薛佳樂與欒昊同學(xué)參與實(shí)驗(yàn)。