李愛麗,田雯邇,涂序彥,鄭雪峰
(北京科技大學(xué) 信息工程學(xué)院,北京100083)
我國白內(nèi)障患者人數(shù)眾多,目前治療采用的主要手段是超聲乳化抽吸術(shù)。在該手術(shù)實施過程中存在自動化程度不高,需要過分依賴手術(shù)醫(yī)師技術(shù)水平等弊端。因此急需要研究根據(jù)視頻圖像等信息自動識別白內(nèi)障組織及其硬度的方法,并對白內(nèi)障組織進(jìn)行智能分類。
一般來講,在對白內(nèi)障組織的圖像進(jìn)行去噪時主要實現(xiàn)以下兩個目的:
(1)能夠區(qū)分白內(nèi)障和正常眼組織,以避免手術(shù)過程中傷及眼內(nèi)正常組織;
(2)能夠區(qū)分白內(nèi)障硬度級別。
兩者的設(shè)計與實現(xiàn)過程類似,不同之處在于對于特征的選擇與提取,前者需要選擇能夠區(qū)分正常與病變組織的特征,后者則需要選擇能夠區(qū)分晶狀體硬度的特征。根據(jù)圖像的特征,利用設(shè)計好的分類器實現(xiàn)對組織圖像的識別。
特征提取的定義請參見文獻(xiàn) [1,2]。常用的圖像特征包括紋理特征、顏色特征、形狀特征、空間關(guān)系特征。
圖像的重要視覺特征之一就是顏色,相對明確,提取也比較容易,在圖像檢索中應(yīng)用較早效果也比較好[3]。
紋理是所有事物表面固有的一種特性,紋理從側(cè)面反映了不同事物的本身屬性。在圖像處理中,可用利用紋理特征對圖像空間信息進(jìn)行一定程度的定量描述[4]。基于紋理特征檢索的定義請參見文獻(xiàn) [5]。
本文在對圖像特征的提取上,采用了顏色特征和紋理特征,并在此基礎(chǔ)之上提出了一種新的圖像特征提取方法。
分類器是一種機(jī)器學(xué)習(xí)程序,分類器根據(jù)所提取的特征完成對目標(biāo)的識別任務(wù)。分類器的設(shè)計在圖像去噪問題中是十分關(guān)鍵的問題。目前已有多種分類算法應(yīng)用于實際,如最小距離法、線性分類器、最近鄰法、人工神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)等[6]。
結(jié)合實際需要,本文主要采取以下兩種算法。
最近鄰法。最近鄰法是一種很直觀的分類方法,其基本思想就是在訓(xùn)練集中找到一個和待識別目標(biāo)距離最小的樣本,以它所屬的類別作為識別結(jié)果。
最近鄰法是一種很直觀的分類方法,其基本思想就是在訓(xùn)練集中找到一個和待識別目標(biāo)距離最小的樣本,以它所屬的類別作為識別結(jié)果。該算法簡單可靠,是非參數(shù)法的一種代表性算法。
設(shè)模式類別有C個ω1,ω2,…,ωc,每個類別具有與之對應(yīng)的訓(xùn)練樣本Ni個,i=1,2,…,C。所有樣本都是最近鄰分類器的代表點,未知樣本X則判斷為與其最近的樣品,所以樣本平均矢量偏差造成的影響能夠在一定程度上得以克服[7]。設(shè)ωi類的判別函數(shù)為
則判X∈ωj
支持向量機(jī)算法 (support vector machine,SVM)。這一算法是Vapnik等人在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小化原則基礎(chǔ)上提出的一種新的機(jī)器學(xué)習(xí)方法[8]。根據(jù)有限樣本信息,在復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中,以獲得更好的泛化能力。目前已經(jīng)成為機(jī)器學(xué)習(xí)的熱點,成功的應(yīng)用于分類和回歸問題。
對白內(nèi)障組織圖像去噪的重點在于:①區(qū)分白內(nèi)障組織和正常眼組織;②判定白內(nèi)障組織硬度級別。對于這兩個要點的設(shè)計與實現(xiàn)過程類似,不同之處在于對于圖像特征的選擇與提取。
能正確區(qū)分正常組織與白內(nèi)障組織是對白內(nèi)障組織圖像進(jìn)行去噪的核心環(huán)節(jié)。
提取白內(nèi)障組織的顏色特征,本系統(tǒng)采用HSV (hue,saturation,value)顏色模型,即色調(diào)、飽和度、亮度顏色模型,因其較符合人眼視覺特征。方法是先對圖像進(jìn)行RGB到HSV的轉(zhuǎn)換,然后根據(jù)人眼對顏色的感知特性,對HSV顏色空間進(jìn)行63級非均勻量化
量化結(jié)果是一維特征向量,可以壓縮顏色特征。顏色特征可以表示為c= [c0,c1,c2…c62]。
在白內(nèi)障組織紋理特征處理上,本系統(tǒng)采用灰度共生矩陣方法。紋理是由某些灰度反復(fù)在空間位置上出現(xiàn)形成的,因此在圖像空間中間隔一定距離的兩象素間會存在一定的灰度關(guān)系,即圖像中灰度的空間相關(guān)性?;叶裙采仃嚪椒ㄋ璧?個特征量分別為:反差 (CON)、能量(ASM)、熵 (ENT)、相關(guān) (COR)。分別構(gòu)造多個角度方向的共生矩陣并計算上述4個特征量,最后用其均值和標(biāo)準(zhǔn)差作為紋理特征,可表示為t= [t0,t1,t2…t7]。
根據(jù)白內(nèi)障核塊和眼正常組織顏色特征的差異,本文提出了一種用于白內(nèi)障核塊和眼正常組織的新的特征表達(dá)方法。
這種特征表達(dá)方法分為以下四個步驟:子圖像劃分;特征提??;生成特征矩陣;特征矩陣向量化。
子圖像劃分。如圖1所示,對于一幅待分類的圖像,沿水平方向和垂直方向?qū)ζ溥M(jìn)行劃分。經(jīng)過劃分,該圖像被分成M×N個大小相等的子圖像。
圖1 圖像劃分
特征提取。經(jīng)過上步子圖像劃分,一幅圖像I被劃分成一個新的集合,該集合可以表示為:I= {S11,S12,…,SMN},其中,元素Sij(i=1,2,…,M;j=1,2,…,N)就是圖像I經(jīng)子圖形劃分中所描述的方法劃分得到的每一個子圖像塊。
對于每一個子圖像塊Sij,我們提出了一種新的方法用于表達(dá)其顏色特征。假設(shè)圖像塊Sij高m像素,寬n像素,我們用該圖像塊在R,G,B顏色通道上的顏色值之和的平均值作為Sij的顏色特征。求圖像塊Sij的R,G,B顏色通道上的顏色值和的平均值的過程可以表示為公式
其中,rij、gij、bij是Sij的每個像素點分別在R,G,B顏色通道上的顏色值。這樣,字圖像塊Sij就可以表示成一個三元組
生成特征矩陣。經(jīng)過子圖像劃分和特征提取,一幅圖像I可以表示成如下矩陣
其中,每一個元素tij= (i=1,2,…,M;j=1,2,…,N)都是一個三元組。稱公式中的矩陣MI為圖像I的顏色特征矩陣。
特征矩陣向量化。根據(jù)特征矩陣MI,圖像I可以表示成如下的特征向量:VI= (t1,t2,…,tM),其中,元素tI(i=1,2,…,M)對應(yīng)特征矩陣的第i行。
晶狀體硬度級別的識別,直接決定了手術(shù)中所需能量的大小。只有準(zhǔn)確地識別晶狀體的硬度,才能控制能量的釋放,使得探頭所發(fā)出的能量恰好能夠?qū)崿F(xiàn)對晶狀體核塊的乳化和抽吸,而不會有多余的能量傷及正常組織,或者能量不足導(dǎo)致乳化不充分。
在顏色特征的描述方法中,顏色直方圖應(yīng)用最廣。顏色直方圖反映的是圖像中顏色的組成分布,即出現(xiàn)了哪些顏色以及各種顏色出現(xiàn)的概率。其函數(shù)表達(dá)式如下
式中:k——此圖像的特征值,L——特征可取值的數(shù)量,nk——此圖像中具有k特征值的像素的數(shù)量,N——此圖像的像素總數(shù)。
顏色直方圖表示待分類白內(nèi)障組織的顏色特征。考慮RGB顏色空間內(nèi)待分類的白內(nèi)障組織。該特征提取過程分別在圖像的R、G、B這3個顏色通道進(jìn)行,最后得到一個三維的顏色直方圖,即圖像的R、G、B顏色通道的直方圖。顏色直方圖如圖2(左側(cè)圖片原為彩色)所示。
系統(tǒng)根據(jù)圖像的特征,利用設(shè)計好的分類器實現(xiàn)對組織圖像的識別。
k近鄰準(zhǔn)則是最近鄰準(zhǔn)則的一個推廣。最為一種非參數(shù)的分類準(zhǔn)則,k近鄰準(zhǔn)則是一種重要的數(shù)據(jù)分類工具。k近鄰準(zhǔn)則就是把一個待分類模式分為與它最接近的k個近鄰中出現(xiàn)最多的那個類別。對于白內(nèi)障識別,就是把一幅待分類的白內(nèi)障圖像歸為和它最接近的k個圖像中出現(xiàn)類別最多的那個類別。k近鄰對圖像的分類流程如圖3所示。
圖2 圖像的直方圖
圖3 K近鄰對圖像的分類流程
支持向量機(jī)算法。SVM對圖像的分類流程如圖4所示。
實驗1實驗圖像來自于某醫(yī)院提供的手術(shù)視頻截圖,對眼內(nèi)組織的不同部位的圖像進(jìn)行截取,經(jīng)過規(guī)一化后每幅圖像尺寸為50 (pix)×50(pix)。
圖4 SVM對圖像的分類流程
實驗訓(xùn)練庫大小為:100(正常組織)+100(白內(nèi)障組織),測試庫大小:30(正常組織)+30(白內(nèi)障組織)。
特征采用顏色特征和紋理特征,分類器采用最近鄰分類器,實驗結(jié)果如表1所示。
表1 實驗結(jié)果
從表1可以看出,當(dāng)采用顏色單特征時白內(nèi)障和正常組織的識別率達(dá)到了0.97和0.93,但采用紋理單特征時其識別率僅為0.6和0.5。當(dāng)顏色紋理權(quán)值比值達(dá)到9:1時,識別效果最好,分別達(dá)到了1和0.97。
實驗2圖像數(shù)據(jù)獲取方式與預(yù)處理過程與實驗1相同,只是獲取時間不同,實驗平臺為 Matlab 7.0.4、Windows XP(sp3)。
實驗訓(xùn)練庫大小為:94(正常組織)+555(白內(nèi)障組織),測試庫大?。?1(正常組織)+556(白內(nèi)障組織)。
特征提取方法:顏色特征、新特征提取方法;分類器方法:k近鄰分類器,k取值5;SVM分類器。
采用上述方法與系統(tǒng)對白內(nèi)障和正常組織的識別率如表2所示。
表2 白內(nèi)障和正常組織的識別率 單位:%
基于以上實驗結(jié)果,SVM分類器對白內(nèi)障與正常組織的分類效果高于最近鄰分類器,但SVM分類器運(yùn)算復(fù)雜,需要大量的訓(xùn)練樣本和測試樣本。
依據(jù)前述分類標(biāo)準(zhǔn),建立了訓(xùn)練庫和測試庫。所有圖像均取自北京某醫(yī)院眼科中心的實時白內(nèi)障超聲乳化術(shù)錄像。
圖像庫分成兩個:訓(xùn)練庫和測試庫。訓(xùn)練庫共包含649幅圖片,測試庫共包含647幅圖片,圖片如圖5所示 (圖片原為彩色)。表3給出了訓(xùn)練庫和測試庫的具體構(gòu)成情況。
圖5 實驗圖片
表3 實驗圖片數(shù)目列表 單位:幅
實驗平臺:Matlab 7.0.4、Windows XP (sp3);分類器:k近鄰分類器,k取值5;SVM分類器特征。提取方法:顏色特征提取方法、新特征提取方法。
對白內(nèi)障硬度的識別率:采用上述方法與系統(tǒng)對白內(nèi)障硬度的識別率如表4所示。
表4 白內(nèi)障硬度級別識別率 單位:%
基于以上實驗結(jié)果,SVM分類器對白內(nèi)障組織圖像的識別率高于最近鄰分類器,但SVM分類器運(yùn)算復(fù)雜,需要大量的訓(xùn)練樣本和測試樣本。
本文基于分類器技術(shù)的白內(nèi)障組織圖像去噪方法提出了一種新的特征表達(dá)和提取方法;利用近鄰規(guī)則和支持向量機(jī)方法實現(xiàn)了對白內(nèi)障的高精度識別;提出了改進(jìn)決策的模板方法,并融合了多分類器識別結(jié)果。
本文在傳統(tǒng)的特征提取方法上提出了一種新的圖像特征提取方法,并基于近鄰分類器和SVM分類器技術(shù)對白內(nèi)障手術(shù)圖像信息自動識別,甄別白內(nèi)障組織及硬度,試驗發(fā)現(xiàn)SVM分類器對白內(nèi)障組織、正常組織和白內(nèi)障硬度的識別分別達(dá)到95.68%、99.5%和96.29%。本技術(shù)成果在白內(nèi)障手術(shù)智能分析領(lǐng)域?qū)賴H領(lǐng)先,所屬課題——高效智能化微創(chuàng)白內(nèi)障治療系統(tǒng)研制[10]已通過國家科技部驗收。
[1]SHI Yuying.Modern cataract treatment [M].Beijing:People's Medical Publishing House,2006 (in Chinese). [施玉英.現(xiàn)代白內(nèi)障治療 [M].北京:人民衛(wèi)生出版社,2006.]
[2]QI Baoying.Enhancing line detection efficiency by using hough transform [J].Computer Systems & Applications,2012,21(6):228-231 (in Chinese). [祁寶英.運(yùn)用 Hough變換提高直線 檢 測 效 率 [J].計 算 機(jī) 系 統(tǒng) 應(yīng) 用,2012,21 (6):228-231.]
[3]AN Lei.Image-based three-dimensional realistic model reconstruction research [D].Beijing:Beijing Jiaotong University,2011(in Chinese).[安磊.基于圖像的三維真實感模型重建研究 [D].北京:北京交通大學(xué),2011.]
[4]ZENG Taisheng.Image retrieval research based on color,texture and related feedback [D].Quanzhou:Huaqiao University,2006(in Chinese).[曾臺盛.基于顏色、紋理特征及相關(guān)反饋的圖像檢索技術(shù)研究 [D].泉州:華僑大學(xué),2006.]
[5]WANG Hairong.The prospect of content-based image retrieval technology research and applications [D].Xian:Northwestern University,2009 (in Chinese).[王海榮.基于內(nèi)容的圖像檢索技術(shù)研究及應(yīng)用瞻望 [D].西安:西北大學(xué),2009.]
[6]ZENG Qisen.Content-based image retrieval technology research[D].Nanjing:Nanjing University of Science and Technology,2007(in Chinese).[曾奇森.基于內(nèi)容的圖像檢索相關(guān)技術(shù)研究 [D].南京:南京理工大學(xué),2007.]
[7]WANG Weidong.Feature extraction and classification algorithm research of high-dimensional small sample data [D].Nanjing:Nanjing University of Science and Technology,2006 (in Chinese).[王衛(wèi)東.高維小樣本數(shù)據(jù)的特征提取及分類器算法研究 [D].南京:南京理工大學(xué),2006.]
[8]WANG Weidong.Efficient nearest neighbor classification algorithm based on the preclassification [J].Computer Science,2007,34 (2):198-200 (in Chinese).[王衛(wèi)東.一種基于預(yù)分類的高效最近鄰分類器算法 [J].計算機(jī)科學(xué),2007,34(2):198-200.]
[9]FU yan,NING ning.Image denoising method based on multifeature and weighted support vector machines [J].Computer Applications,2011,31 (8):2217-2220 (in Chinese).[付燕,寧寧.基于多特征結(jié)合與加權(quán)支持向量機(jī)的圖像去噪方法[J].計算機(jī)應(yīng)用,2011,31 (8):2217-2220.]
[10]SONG Yan.Image retrieval integrated color and texture [J].Computer Engineering and Design,2007,28 (17):4180-4182(in Chinese).[宋艷.綜合顏色與紋理的圖像檢索 [J].計算機(jī)工程與設(shè)計,2007,28 (17):4180-4182.]
[11]JIANG Lanchi.Content-based image retrieval key technology research [D].Hangzhou:Hangzhou Dianzi University,2009(in Chinese).[姜蘭池.基于內(nèi)容的圖像檢索關(guān)鍵技術(shù)研究[D].杭州:杭州電子科技大學(xué),2009.]