王 昕, 李 亮, 尹小童, 李夢爍, 曾朝偉, 王守義
(長春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 吉林 長春 130012)
甲狀腺結(jié)節(jié)超聲圖像特征提取及識(shí)別
王 昕, 李 亮, 尹小童, 李夢爍, 曾朝偉, 王守義
(長春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 吉林 長春 130012)
采用多特征融合方法鑒別甲狀腺結(jié)節(jié)超聲圖像的良惡性。首先用多尺度LBPV模型提取結(jié)節(jié)的局部紋理特征,然后與Tamura模型提取的全局紋理特征相結(jié)合,從全局和局部兩方面對(duì)甲狀腺結(jié)節(jié)的紋理特征進(jìn)行了細(xì)致的描述。又提取了縱橫比、圓形度、緊致度等形狀特征,將上述特征進(jìn)行融合并利用主成分分析法PCA對(duì)融合后的特征進(jìn)行降維。實(shí)驗(yàn)結(jié)果表明,模型提取的特征用于分類識(shí)別時(shí),較上述任一單一模型所提取特征用于分類時(shí)能獲得更高的識(shí)別率。
甲狀腺結(jié)節(jié); LBPV模型; Tamura模型; 形狀特征; 紋理特征; PCA模型
甲狀腺結(jié)節(jié)是指甲狀腺中的細(xì)胞在誘因的影響下以非正常的方式快速生長而產(chǎn)生的腫塊,可分為良性和惡性[1]。研究表明,惡性結(jié)節(jié)約占所有結(jié)節(jié)的5%~10%,并且其發(fā)生率正在逐年提高[2]。
臨床上對(duì)于惡性結(jié)節(jié)必須及時(shí)切除,而對(duì)于良性結(jié)節(jié)只需要定期隨訪觀察即可,因此對(duì)于結(jié)節(jié)的良惡性的判斷就顯得十分重要,醫(yī)學(xué)上對(duì)于甲狀腺結(jié)節(jié)良惡性的判斷采用的是穿刺活檢(Fine Needle Aspiration Biospsy, FNAB)[3],但由于這是一種有創(chuàng)性檢查,會(huì)給患者帶來一定的痛苦,而且該項(xiàng)檢查花費(fèi)大、耗時(shí)長,所以非常不便于大規(guī)模的篩查。當(dāng)前B超圖像檢查因其方便快捷的特點(diǎn)已成為甲狀腺結(jié)節(jié)良惡性判別的最常用手段,但由于成像和醫(yī)生經(jīng)驗(yàn)的原因并沒有形成一套統(tǒng)一的標(biāo)準(zhǔn)來判斷甲狀腺結(jié)節(jié)的良惡性。眾所周知,紋理是一種用于描述圖像的重要特性,不同的圖像往往具有不同的紋理特征,因此,可以利用圖像的紋理特征對(duì)圖像進(jìn)行分類識(shí)別研究。
國內(nèi)外針對(duì)圖像紋理特征的研究已取得了不俗的成績。目前常用的紋理特征提取算法包括:灰度共生矩陣(Gray Level Co-occurrence Matrix, GLCM)[4];Tamura[5]提出的紋理特征算法;局部二值模式(Local Binary Pattern, LBP)[6],以及由其衍生出來的((Local Binary Pattern Variance, LBPV)[7]等算法。其中,GLCM及Tamuras這兩類算法往往側(cè)重提取圖像的全局紋理特征而忽視局部紋理特征。而LBP及其變式等算法因?yàn)槎x在一個(gè)很小的鄰域內(nèi),因此提取圖像的局部紋理特征雖然有效,卻忽略了其對(duì)全局紋理特征的描述。由于甲狀腺結(jié)節(jié)超聲圖像往往具有灰度不均勻、邊緣模糊、噪聲污染嚴(yán)重等特點(diǎn)。如果僅僅單一的使用上述算法來對(duì)甲狀腺結(jié)節(jié)進(jìn)行特征提取分類,可能得不到令人滿意的結(jié)果。
基于以上論述,文中提出了一種多尺度LBPV模型和Tamura相結(jié)合的紋理特征提取算法,同時(shí)為了更加全面地描述甲狀腺結(jié)節(jié)的特征信息,又提取了結(jié)節(jié)的形狀特征[8],為了去除冗余提升算法的效率,利用主成分分析法(Principal Component Analysis, PCA)[9]對(duì)融合后的特征進(jìn)行降維,最后再將經(jīng)上述處理過的特征作為分類器的輸入向量。實(shí)驗(yàn)結(jié)果表明,文中提出的模型提取的甲狀腺結(jié)節(jié)紋理特征用于分類時(shí)能得到更高的分類精度。
LBPV模型自出現(xiàn)以來得到了廣泛運(yùn)用,將其每個(gè)點(diǎn)的方差值作為編碼時(shí)的自適應(yīng)權(quán)值,假設(shè)一圖像M×N,其中任一像素點(diǎn)(i,j)的LBPV定義為:
式中:k----LBP模式數(shù)。
由于VAR是對(duì)區(qū)域?qū)Ρ榷鹊姆从?,因?VAR值越大,對(duì)應(yīng)的編碼權(quán)重越大,對(duì)該區(qū)域內(nèi)判別信息的貢獻(xiàn)越大。且LBPV算子無需量化、無需訓(xùn)練,因此在做分類實(shí)驗(yàn)時(shí)表現(xiàn)非常優(yōu)秀。但因?yàn)榧谞钕俳Y(jié)節(jié)超聲因其圖像本身具有邊緣模糊、噪聲干擾大、灰度不均勻等特點(diǎn),如果僅僅使用單一尺度下的紋理特征并不能反映其全面信息,而如果通過改變圖像自身的大小從而在多個(gè)尺度下提取紋理,則可較好地彌補(bǔ)這一缺點(diǎn)。因此,文中首先將結(jié)節(jié)區(qū)域進(jìn)行尺度歸一化處理,然后將結(jié)節(jié)區(qū)域分成4×4共16個(gè)子區(qū)域,對(duì)每個(gè)子區(qū)域的LBPV值進(jìn)行計(jì)算,記為H1~H16,最后統(tǒng)計(jì)每個(gè)區(qū)域的譜直方圖,形成整個(gè)圖片的特征直方圖為:
H={H1,H2,…,H16}
1978年,Tamura等提出了Tamura模型用于提取紋理特征,Tamura紋理特征因其更直觀,在視覺效果上更有優(yōu)勢,所以得到了廣泛的應(yīng)用,該模型紋理特征由6個(gè)分量構(gòu)成,但在圖像識(shí)別和圖像檢索方面常用的是粗糙度(coarsences)、對(duì)比度(contrast)、方向度(directionality)這3個(gè)分量。具體介紹如下:
1)粗糙度。它反映的是圖像中紋理的間隔尺寸或者粒度表達(dá)式:
其中,Sbest(x,y)=2k;M,N分別表示圖像的長和寬。
2)對(duì)比度。它反映的是圖像像素強(qiáng)度的統(tǒng)計(jì)分布,是一種全局度量,其計(jì)算公式為:
3)方向度。它反映的是圖像紋理集中或者散布的方向?qū)傩?,其?jì)算步驟如下:
①計(jì)算每個(gè)像素的梯度g=(Δh,Δv),其中Δh表示水平方向梯度,Δv表示垂直方向的梯度,計(jì)算如下:
②計(jì)算梯度向量的極坐標(biāo):
③利用如下公式構(gòu)造θ的直方圖:
其中,np為圖像灰度直方圖中峰值的數(shù)目,p是直方圖HD的峰值,ωp為任一峰值p包含的量化值范圍,φp是ωp量化值中的最大值。
因?yàn)榱夹越Y(jié)節(jié)的形狀與惡性結(jié)節(jié)的形狀往往有很大的區(qū)別,所以除了紋理特征,我們還提取了縱橫比、圓形度、緊致度3個(gè)形狀特征(Form Feature)。
1)縱橫比。超聲判查的一個(gè)重要特征。一般縱橫比大于1時(shí),惡性的風(fēng)險(xiǎn)較大,小于1時(shí),惡性的風(fēng)險(xiǎn)較小。
2)圓形度。用來反映結(jié)節(jié)形狀的規(guī)則度,其值越小,越可能為惡性。定義為:
3)緊致度。反映物體邊緣規(guī)則度,其定義如下:
式中:S----結(jié)節(jié)實(shí)質(zhì)區(qū)域的面積;
L----結(jié)節(jié)實(shí)質(zhì)區(qū)域的周長。
在提取完紋理特征和形狀特征之后,將這些特征進(jìn)行串行融合,用H表示:
文中算法的具體實(shí)現(xiàn)步驟如下:
1)輸入甲狀腺結(jié)節(jié)超聲圖像;
2)提取結(jié)節(jié)ROI區(qū)域;
3)對(duì)結(jié)節(jié)ROI區(qū)域圖像進(jìn)行尺度歸一化處理并分塊;
4)提取各個(gè)子區(qū)域的局部LBPV紋理特征;
5)將各個(gè)子區(qū)域的LBPV特征進(jìn)行融合;
6)提取Tamura全局紋理特征;
7)提取結(jié)節(jié)區(qū)域形狀特征;
8)將上述特征進(jìn)行融合,并進(jìn)行PCA降維處理;
9)將降維處理后的特征歸一化,并輸入到分類器進(jìn)行分類。
4.1結(jié)節(jié)ROI區(qū)域提取
實(shí)驗(yàn)中所選用的140幅128×128甲狀腺結(jié)節(jié)超聲圖像均來自吉林省某醫(yī)院,其中110幅圖像為良性結(jié)節(jié),另外30幅結(jié)節(jié)圖像為惡性,所有圖像均由臨床醫(yī)生標(biāo)注了結(jié)節(jié)區(qū)域與邊界,所用的超聲診斷儀為Philips iu22,彩色超聲診斷儀探頭頻率為7~12 MHz,實(shí)驗(yàn)平臺(tái)是windows10專業(yè)版,PC機(jī)處理器為intel(R)core(TM)i5-3470cpu@3.20GHz,內(nèi)存是4GB軟件版本MATLAB2013a(64位)。實(shí)驗(yàn)中在提取紋理特征前,先對(duì)甲狀腺結(jié)節(jié)進(jìn)行實(shí)質(zhì)ROI區(qū)域提取[10],如圖1所示。
(a) 原始的結(jié)節(jié)圖像 (b) 分割后的圖像
(c) 結(jié)節(jié)實(shí)質(zhì)區(qū)域圖1 結(jié)節(jié)分割及實(shí)質(zhì)區(qū)域提取
4.2分類器選擇及評(píng)價(jià)實(shí)驗(yàn)
隨機(jī)取50%良性結(jié)節(jié)和50%的惡性結(jié)節(jié)作為訓(xùn)練集,剩余的部分作為測試集。最后將由文中模型得到的特征向量進(jìn)行歸一化處理,并輸入到不同的分類器中,SVM、BP神經(jīng)網(wǎng)絡(luò)、決策樹、極限學(xué)習(xí)機(jī),每個(gè)分類器重復(fù)試驗(yàn)10次,然后統(tǒng)計(jì)其各自的平均精度和運(yùn)行時(shí)間,統(tǒng)計(jì)結(jié)果見表1。
由表1可以看出,在選擇SVM作為分類器時(shí)的分類精度最高,且運(yùn)行的時(shí)間相對(duì)較短。為了選擇更為合適的分類器,從特異度、靈敏度、陽性預(yù)測值、陰性預(yù)測值等4個(gè)方面對(duì)各個(gè)分類器的性能進(jìn)行評(píng)價(jià),相關(guān)表達(dá)式及實(shí)驗(yàn)結(jié)果分別見表2和表3。
表1 各分類器的分類精度與運(yùn)行時(shí)間表
表2 各分類器性能評(píng)價(jià)指標(biāo)的相關(guān)公式
表中:TP----被正確分類的惡性結(jié)節(jié)個(gè)數(shù);
TN----被正確分類的良性性結(jié)節(jié)個(gè)數(shù);
FP----被錯(cuò)誤分類的良性結(jié)節(jié)個(gè)數(shù);
FN----被錯(cuò)誤分類的惡性結(jié)節(jié)個(gè)數(shù)。
在上面4個(gè)表征指標(biāo)中,一般靈敏度和特異度的參考價(jià)值最大。靈敏度反映的是惡性結(jié)節(jié)被正確分類的程度,靈敏度值越大,表明被錯(cuò)誤分類的惡性結(jié)節(jié)越少,當(dāng)其值等于1時(shí),說明惡性結(jié)節(jié)都被正確分類。同樣的特異度反映的是良性結(jié)節(jié)被正確分類的程度,當(dāng)特異度的值等于1時(shí),說明良性結(jié)節(jié)都被正確分類。
表3 各分類器性能評(píng)價(jià)結(jié)果
由表3可以看出,采用SVM模型作分類器時(shí),實(shí)驗(yàn)結(jié)果的特異度比其他模型都高,再綜合表1的分類精度信息,因此,可以說在對(duì)甲狀腺結(jié)節(jié)超聲圖像進(jìn)行識(shí)別時(shí),SVM算法相比其他幾種算法具有更優(yōu)秀的性能。
4.3文中算法與傳統(tǒng)算法對(duì)比實(shí)驗(yàn)
為了驗(yàn)證文中提出的算法與傳統(tǒng)LBPV算法相比是否具有優(yōu)越性,分別將上述各算法得到的特征向量輸入到SVM分類器中驗(yàn)證各自的分類精度,實(shí)驗(yàn)結(jié)果見表4。
表4 各特征提取算法分類效果對(duì)比
由表4的對(duì)比實(shí)驗(yàn)結(jié)果可以看出,本算法由于融合了精細(xì)的紋理特征信息和形狀特征信息,對(duì)圖像的特征描述更加全面細(xì)致,所以得到了最高的分類精度。
4.4PCA降維性能實(shí)驗(yàn)
為了驗(yàn)證PCA降維后的特征對(duì)分類的影響,進(jìn)行了對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)中統(tǒng)一使用SVM做分類器,并對(duì)各自的分類精度及運(yùn)行時(shí)間進(jìn)行統(tǒng)計(jì),實(shí)驗(yàn)結(jié)果見表5。
表5 PCA處理后分類效果驗(yàn)證
由表5的對(duì)比實(shí)驗(yàn)結(jié)果可以看出,原融合特征是166維,經(jīng)過PCA降維處理后,特征維度降低為89維,降維后的運(yùn)行時(shí)間明顯減少,而分類精度略低于未降維時(shí)的精度,這是由于訓(xùn)練樣本較少以及PCA算法自身的缺點(diǎn)而造成的。
針對(duì)甲狀腺結(jié)節(jié)超聲圖像灰度不均勻、噪聲大等特點(diǎn),提出了紋理特征與形狀特征相結(jié)合的結(jié)節(jié)特征表征方法,從全局和局部等不同角度細(xì)致地提取了結(jié)節(jié)區(qū)域的特征。實(shí)驗(yàn)結(jié)果表明,文中算法提取的融合特征用于SVM分類時(shí)較任一單一模型所提取的特征用于分類時(shí)有更優(yōu)越的性能,在自建的圖像數(shù)據(jù)庫中,其針對(duì)甲狀腺結(jié)節(jié)的良惡性的識(shí)別率達(dá)94.28%,且經(jīng)過PCA降維處理后效率有較大提高,識(shí)別精度基本不變。
[1] 夏炳蘭,何春蘭,宋斌,等.超聲引導(dǎo)下甲狀腺結(jié)節(jié)細(xì)針吸取細(xì)胞學(xué)檢查的診斷價(jià)值[J].中國現(xiàn)代普通外科進(jìn)展,2014,17(7):540-542.
[2] 錢軍,刁暢,馬云海,等.甲狀腺結(jié)節(jié)診斷評(píng)估模式的演變[J].國際外科學(xué)雜志,2013,40(2):75-77.
[3] Feldkamp J, Führer D, Luster M, et al. Fine needle aspiration in the investigation of thyroid nodules[J]. DeutschesRzteblatt International,2016,113(20):353-359.
[4] Wu H, Sun T, Wang J, et al. Combination of radiological and gray level co-occurrence matrix textural features used to distinguish solitary pulmonary nodules by computed tomography[J]. Journal of Digital Lmaging,2013,26(4):797-802.
[5] 景軍鋒,張緩緩,李鵬飛,等.LBP和TAMURA紋理特征方法融合的織物疵點(diǎn)分類算法[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(23):155-160.
[6] Ali A, Hussain S, Haroon F, et al. Face recognition withlocal binary pattens[J]. Bahria University Journal of Information & Communication Technolocies,2012,5(12):469-481.
[7] Guo Z, Zhang L, Zhang D. Rotation invariant texture class ification using LBP Variance(LBPV) with global matching[J]. Pattern Recognition,2010,43(3):706-719.
[8] 葛杰,曹晨晨,李光.基于機(jī)器視覺的圖像形狀特征提取方法研究進(jìn)展[J].包裝學(xué)報(bào),2015(1):54-60.
[9] Jiang H. Image compression and reconstruction of PCA[J]. Electronic Design Engineering,2012,285(5430):1055-1057.
[10] 王昕,徐文杰.甲狀腺結(jié)節(jié)超聲圖像分割算法研究[J].電視技術(shù),2016(8):26-30.
Ultrasoundimagefeatureextractionandclassificationalgorithmforthyroidnodules
WANG Xin, LI Liang, YIN Xiaotong, LI Mengshuo,ZENG Chaowei, WANG Shouyi
(School of Computer Science & Engineering, Changchun University of Technology, Changchun 130012, China)
Multi-feature fusion method is applied to distinguish benign and malignant thyroid nodules. First, multi-scale Local Binary Pattern Variance (LBPV) model is used to extract the local texture features of the nodules and then combined with the global texture features extracted with Tamura model to describethe texture characteristics of thyroid nodules globally and locally. Also the aspect ratio, circularity and compactness are extractedand fused, and then reduced the dimensionality with Primary Component Analysis (PCA). Experimental results indicate that the proposed fusion model is more effective than any other single one.
thyroid nodules; Local Binary Pattern Variance (LBPV) model; Tamura model; form feature; texture features; Primary Component Analysis (PCA) model.
TP 391.41
A
1674-1374(2017)04-0322-06
2017-05-19
國家級(jí)大學(xué)生創(chuàng)新訓(xùn)練計(jì)劃基金資助項(xiàng)目(201710190041)
王 昕(1972-),女,漢族,吉林長春人,長春工業(yè)大學(xué)副教授,博士,主要從事圖像處理與模式識(shí)別方向研究,E-mail:wangxin315@ccut.edu.cn.
10.15923/j.cnki.cn22-1382/t.2017.4.02