王生生，王 琪

(吉林大學(xué)計算機科學(xué)與技術(shù)學(xué)院，吉林 長春 130012)

融合LBP和小波矩特征的肺癌圖像精細分類

王生生，王 琪

(吉林大學(xué)計算機科學(xué)與技術(shù)學(xué)院，吉林 長春 130012)

在肺癌圖像精細分類中，進一步區(qū)分小細胞肺癌、鱗肺癌、腺肺癌、細支氣管肺泡癌還不夠成熟，為此，在改進現(xiàn)有精細圖像分類研究工作的基礎(chǔ)上，利用無須碼本與釋文的快速模板匹配框架，融合了LBP(Local Binary Pattern)紋理特征和小波矩形狀特征，提出了適合肺癌數(shù)據(jù)的精細圖像分類新方法.將紋理特征與形狀特征融合，通過分配兩種特征的權(quán)重，用融合特征進行模板匹配.匹配結(jié)果表示成特征響應(yīng)圖的形式，再通過改進的均值空間金字塔模型，從特征響應(yīng)圖中抽取有用特征，進行分類訓(xùn)練.實驗結(jié)果表明，該方法在肺部影像數(shù)據(jù)庫聯(lián)盟(LIDC)數(shù)據(jù)庫上達到了91.75%的平均正確率，證明了肺癌圖像精細分類方法的有效性.

醫(yī)學(xué)圖像；特征融合；精細分類；空間金字塔模型

0 引言

精細圖像分類[1-3]是指區(qū)分具有相同基本層類別，或具有相似形狀和視覺表觀等對象.例如區(qū)分不同種類的飛機、花類、鳥類等[4-5].近年來，計算機技術(shù)及人工智能技術(shù)飛速發(fā)展，為精細圖像分類的發(fā)展提供了理論與技術(shù)上的支持.由于精細圖像分類在生態(tài)環(huán)境監(jiān)控、食品監(jiān)控、地質(zhì)勘探、材料分析及刑事偵查等領(lǐng)域具有廣泛的應(yīng)用前景和實用價值，因此越來越受到計算機視覺領(lǐng)域研究者的廣泛關(guān)注.但是將精細圖像分類在醫(yī)學(xué)領(lǐng)域應(yīng)用的研究還比較少.

精細圖像分類時，同一基本層類別下的各個類別之間往往只存在非常細微的差別，精細圖像分類與普通分類的核心區(qū)別就在于如何捕捉這些決定性的細節(jié)信息.目前主要的普通圖像分類算法有基于碼書[6]和基于釋文的圖像分類算法.基于碼書的圖像分類算法是指將局部圖像塊特征映射成視覺單詞，將這些視覺單詞放在一起形成視覺詞袋.輸入圖像與視覺詞袋中的特征進行匹配來實現(xiàn)分類.它在以往的圖像分類算法中屬于最先進的一種，但是，這種“詞典”通常用非監(jiān)督方法進行構(gòu)建，當被檢測的區(qū)域映射成“詞典詞條”形式時，很多細節(jié)信息很容易被丟失；而基于釋文的圖像分類算法是指在分類的過程中，為待分類圖像進行人工標注，通過手動標注的信息來實現(xiàn)分類.基于釋文的方法在很大程度上彌補了基于碼本方法的不足，而且識別效果也非常好，在很多分類中顯示出令人振奮的優(yōu)良效果，但是巨大的人工成本使其發(fā)展受到了很大的限制.以上局限性使得傳統(tǒng)圖像分類方法在圖像精細分類時表現(xiàn)的效果并不理想.[7]

綜上所述，我們在無須碼本與釋文的快速模板匹配框架下[8]，提出了一種基于LBP和小波矩融合特征的肺癌圖像精細分類算法，通過分配兩種特征的權(quán)重，用融合特征進行模板匹配.匹配結(jié)果表示成特征響應(yīng)圖的形式，再通過改進的均值空間金字塔模型，從特征響應(yīng)圖中抽取有用特征，進行分類訓(xùn)練.有效地識別肺癌圖像精細分類所需的細節(jié)差異信息，實現(xiàn)肺癌圖像的精細分類，這是精細分類思想在醫(yī)學(xué)領(lǐng)域應(yīng)用的一次嘗試.

1 算法框架

在無須碼本與釋文的快速模板匹配框架下，提出了一種基于LBP和小波矩融合特征的肺癌圖像精細分類算法，算法流程見圖1.

圖1 肺癌圖像精細分類方法流程圖

1.1 預(yù)處理

圖2 病灶定位

以前提出的模板匹配框架，第一步采用隨機生成大量模板的方法，在生成模板之前沒有進行預(yù)處理，產(chǎn)生了大量含有無用信息的冗余模板塊，在后續(xù)的縮放匹配過程中，導(dǎo)致提取特征維數(shù)過大，分類精度降低.基于此，在生成模板塊之前，我們采用基于灰度變化的病灶區(qū)域檢測方法先對病變部位進行定位，定位結(jié)果見圖2.

通過病灶檢測定位方法，將模板塊的產(chǎn)生控制在病灶部位，減少了冗余模板的產(chǎn)生，降低特征維數(shù)，為提高分類精度奠定了基礎(chǔ).

1.2 特征提取與匹配

將輸入樣本圖像進行不同尺度的縮放，分別對縮放的圖像塊與病灶定位后產(chǎn)生的模板塊進行特征提取，提取紋理特征MBLBP與形狀特征小波矩.然后為提取的兩種特征分配權(quán)重參數(shù)，通過實驗調(diào)整待分配的權(quán)重參數(shù)，最終選定兩組分類精度較好的參數(shù)作為融合參數(shù)，把兩種權(quán)重下的融合特征看成兩類特征，再將其組合成一個新的特征作為最終分類器的訓(xùn)練特征.

(1) 紋理特征MBLBP的提取

LBP紋理特征在醫(yī)學(xué)圖像分類中已經(jīng)表現(xiàn)出良好的效果.LBP最初定義于像素的8鄰域中，以中心像素的灰度值為閾值，將周圍8個像素的值與其比較，如果周圍的像素值小于中心像素的灰度值，該像素位置就標記為0，否則標記為1.將閾值化后的值(0或l)分別與對應(yīng)位置像素的權(quán)重相乘，8個乘積的和即為該鄰域的 LBP值.[9]

在做肺癌圖像的精細分類時，LBP算子提取的特征有限，很容易引入大量隨機噪聲，并且在紋理特征提取時忽略了細節(jié)信息的處理.所以針對LBP的局限性，本文在LBP思想基礎(chǔ)上提出了改進的MBLBP方法.該方法將紋理特征的計算擴展到分塊區(qū)域上，分塊的大小決定了特征結(jié)構(gòu)的大小，然后在子塊區(qū)域內(nèi)選取各像素點的平均值，強調(diào)了像素之間的相關(guān)性，而不是簡單描述單個像素的值.這種方法首先在全局特征的層面上進行粗分析，又進一步通過分塊的形式捕捉局部信息，使得分析越來越精細.捕捉到圖像像素之間的細節(jié)信息，更有利于應(yīng)用在圖像的精細分類中，其計算原理如圖3所示.圖3給出了原始圖像下MBLBP的計算過程，首先以像素gc為中心像素提取圖像的一個3像素×3像素區(qū)域，順序標記各子區(qū)域為gi(i=0，1，2，…，7).每個子塊區(qū)域隨機分為2*t個子窗口，各個子窗口的平均值作為這個區(qū)域的像素值，計算方法為

(1)

然后以中心區(qū)域的平均值為閾值，按照傳統(tǒng)LBP編碼的計算思想計算得到MBLBP編碼.具體計算方法為：

(2)

(3)

MBLBP特征不僅得到包含圖像模式微觀結(jié)構(gòu)的編碼，而且也包含了宏觀結(jié)構(gòu)和更多的圖像細節(jié)信息，更適合在精細分類的思想下應(yīng)用.

g0g14633g7gcg37063g5g4均值化→Mg0Mg14Mg7MgcMg34Mg5Mg4閾值化→1000Mgc1011

圖3 MBLBP原理示意圖

(2) 形狀特征小波矩的提取

基于小波變換的小波矩不僅能得到圖像的全局特征，也能得到圖像的局部特征.因此在識別相似物體時具有較高的識別率，并且對圖像結(jié)構(gòu)精細特征把握得較好.由于小波矩只具有旋轉(zhuǎn)不變性，不具有平移性和比例不變性，所以應(yīng)采用歸一化的方法對圖像進行歸一化處理，使各個圖像的中心位于坐標原點，各個圖像的尺度保持一致.使其具有平移、旋轉(zhuǎn)和比例不變性.

設(shè)圖像為f(x，y)，則其標準矩可以定義為

wpq=?xpyqf(x，y)dxdy.

(4)

由x=cosθ，y=sinθ將(4)式轉(zhuǎn)化為極坐標系得矩陣特征的一般表達式為

Hpq=?f(r，θ)hp(r)ejqθrdrdθ.

(5)

(6)

(3) 特征融合

單一紋理特征在醫(yī)學(xué)圖像的普通分類中已經(jīng)顯示出良好的分類效果，但是在圖像精細分類的過程中，想要具體區(qū)分同一癌癥下的不同類型，除了含有大量的紋理信息外，形狀上也有細微的差別，精細分類要捕捉的就是這樣的區(qū)別信息.小波矩特征具有良好的平移旋轉(zhuǎn)和縮放不變形，加強了不變矩特征對圖像結(jié)構(gòu)精細特征的把握能力.所以我們提出調(diào)整權(quán)重參數(shù)的紋理特征與形狀特征相融合的想法.由于紋理信息含有信息量大，在權(quán)重參數(shù)分配時，權(quán)重參數(shù)較大，形狀特征含有的差異信息比較少，對應(yīng)的權(quán)重參數(shù)就少.具體按照

(7)

進行融合.其中：WMBLBP表示融合特征；C1，C2為參數(shù)，表示紋理特征與形狀特征分別所占的權(quán)重，滿足C1+C2=1；Hm，n，q表示極坐標系下提取的小波矩特征，用來表示形狀.經(jīng)過實驗證明，在參數(shù)分別取C1=0.8、C2=0.2與C1=0.75、C2=0.25時分類效果較好.將這2種參數(shù)下的融合特征整合為一個特征向量(WMBLBP1，WMBLBP2)，這個向量將用于后面的匹配、分類.

得到融合的特征向量后，我們用已有的高度優(yōu)化的模板匹配算法進行匹配，[10]用P表示輸入訓(xùn)練圖像，S表示不同的特征類型(如顏色，梯度等)，本文方法中不同的特征類型就是2種不同權(quán)重下的融合特征，每個圖像塊的模板表示為T=P(r，s)，每一對r和s用于表示輸入圖像在位置r處的特征Ps.對圖像縮放后得位置r處的圖像塊I，它與每個模板按照

(8)

進行匹配.其中：c′為圖像I位置r處的鄰域r+c，防止圖像變形和噪聲影響；Ps(r)是輸入圖像P在位置r處融合特征的值；Is(c′)定義同上；fs(Ps(r)，Is(c′))用來計算Ps(r)與Is(c′)的相似度.

圖4 特征響應(yīng)圖

經(jīng)過上面的匹配，每個模板與樣本圖像的每個縮放尺度會對應(yīng)一個響應(yīng)得分圖，簡稱特征響應(yīng)圖，如圖4所示.這個特征響應(yīng)圖就反映出了輸入的示例圖像與模板的匹配情況.

1.3 改進的均值空間金字塔模型將特征響應(yīng)圖轉(zhuǎn)化為特征向量

上一步通過匹配得到了用于表示輸入示例圖像與模板塊匹配度的響應(yīng)圖，然后我們用空間金字塔模型從響應(yīng)圖像中抽取特征，將響應(yīng)圖像轉(zhuǎn)化為一個特征向量.用空間金字塔方法表示圖像是傳統(tǒng)BOF(Bag of Features)方法的改進.它是在不同分辨率上統(tǒng)計圖像特征點的分布，從而獲取圖像的空間信息.首先將圖像劃分為不同的層，圖像劃分為4i個塊，然后在每個塊上統(tǒng)計直方圖特征，最后將所有層的直方圖特征連接起來組成一個向量，作為圖形的特征.基于醫(yī)學(xué)圖像的精細分類，希望在金字塔分層結(jié)構(gòu)中有更多的保留細節(jié)信息，所以本文在原始金字塔模型的基礎(chǔ)上提出改進的均值空間金字塔模型進行圖像特征匹配.改進的算法步驟如下：

Step1.將原始圖像劃分為3個層，分別為level(i)，i=0，1，2.每個層劃分為4i個塊，如圖5所示.然后在每個塊上統(tǒng)計直方圖特征.

Step2.從第0層里選出4個響應(yīng)最大的值，第1層中選出4個區(qū)域的值，這個值由第2層中的每個對應(yīng)2像素×2像素區(qū)域的均值來表示.

Step3.將所有的直方圖特征連接起來組成一個8維向量作為圖形的特征，如圖6所示.

Step4.將融合特征向量作為輸入，利用支持向量機對肺癌圖像進行精細分類.

圖5 原始圖像分層

圖6 金字塔特征抽取

2 實驗結(jié)果及分析

2.1 數(shù)據(jù)庫

LIDC(Lung Image Database Consortium，肺部影像數(shù)據(jù)庫聯(lián)盟)[11]是美國國家癌癥學(xué)會(NCI)2001年資助的一個項目.其主要目的之一就是建立一套公認的指南，用以創(chuàng)建肺部CT影像的數(shù)據(jù)庫，用于開發(fā)、訓(xùn)練和評價利用螺旋CT進行肺癌檢測和診斷的計算機輔助診斷(CAD)的方法.在該數(shù)據(jù)庫的基礎(chǔ)上，不同的研究者可以對比計算機輔助肺癌檢測和診斷的性能及其臨床應(yīng)用價值，因此它的應(yīng)用越來越廣泛.目前LIDC包括68名病例的約10 000張全肺CT掃描圖像(掃描層厚1.25～3 mm，大小為512像素×512像素).每名病例對應(yīng)一個文件夾，包括完整的肺部CT掃描圖像(DICOM格式)100～300張以及一個注釋文件.在注釋文件中給出了4名放射學(xué)專家對每張CT片中出現(xiàn)的結(jié)節(jié)的定義，包括結(jié)節(jié)的主要CT征象，如毛刺征(Spiculation)、分葉征(Lobulation)等以及結(jié)節(jié)的惡性度(Malignancy).結(jié)合這些信息及醫(yī)學(xué)輔助信息，選取LIDC數(shù)據(jù)庫中的68個病例，每名病例100張CT掃描圖像，共6 800張圖片樣本作為本文實驗的精細圖像分類庫，將這些樣本圖像分為小細胞肺癌、鱗肺癌、腺肺癌、細支氣管肺泡癌4類進行實驗.該數(shù)據(jù)庫中某個病例的連續(xù)CT圖像示例如圖7所示.

圖7 LIDC數(shù)據(jù)庫圖像示例

2.2 單一特征的分類結(jié)果

在用融合特征進行分類之前，首先使用單一特征進行肺癌圖像的精細分類，更好地了解兩種特征對分類精度的影響，也能與后面融合特征下的分類精度做比較.本文實驗平均正確率結(jié)果均保留到小數(shù)點后兩位，經(jīng)過實驗分類的結(jié)果如表1所示.

表1 提取單一特征肺癌圖像的分類結(jié)果 %

通過表1實驗結(jié)果可以看出，提取單一的紋理特征MBLBP時，圖像精細分類的平均正確率較好，說明MBLBP紋理特征對圖像精細分類是有效的，但還不是最好的分類效果.此外還可以看出MBLBP特征效果好于小波矩特征的效果，說明對肺癌圖像的精細分類來說，紋理特征所占的權(quán)重要大一些.

2.3 不同融合特征不同參數(shù)下分類結(jié)果

通過以上實驗可以看出，在使用單一特征進行肺癌圖像精細分類時，MBLBP紋理特征的表現(xiàn)好于小波矩形狀特征，但是單一的紋理特征表現(xiàn)仍差強人意.所以我們按照重要性為兩種特征分配權(quán)重，分別在不同的融合特征下分配3組不同的參數(shù)，再來計算平均正確率.大量實驗表明，在以下幾組權(quán)重的分配下，分類精度較好，其中紋理系數(shù)C1=0.75，形狀系數(shù)C2=0.25時分類效果尤為突出，具體實驗結(jié)果見表2.

表2 不同融合算法精細分類結(jié)果 %

從表2可以看出，3組不同參數(shù)下，MBPLBP與小波矩的融合特征平均正確率都要好于另外相似的融合特征.這進一步說明了我們提出的由全局紋理信息到局部紋理信息的MBLBP紋理特征更好地捕捉了肺癌圖像精細分類所需要的紋理信息.而小波矩形狀特征結(jié)合了全局與局部的特征信息，更適合用在精細結(jié)構(gòu)的分類上，這一點是其他矩特征所做不到的，也決定了小波矩特征在肺癌圖像精細分類應(yīng)用中的有效性.綜上所述，兩種應(yīng)用在肺癌圖像精細分類中效果較好的特征按照權(quán)重融合就得到了令人滿意的效果.

2.4 不同精細分類方法的對比

圖8 幾種精細分類方法的整體檢索性能對比

為了證明本文提出的算法對肺癌圖像的精細分類的有效性，分別選取了幾種不同的精細分類算法與本文做比較.共選取3種以往表現(xiàn)較好的精細分類算法，第一種是B.Yao等人[12]提出的結(jié)合隨機化與區(qū)別化的精細分類算法，簡稱CRD方法；第二種是K.Duan等人[13]提出的結(jié)合本地化屬性精細分類方法，簡稱DLA方法；最后一種對比算法是L.Zhang等人[14]提出的本地化未加注釋圖像小區(qū)域塊的圖像精細分類方法，簡稱LTOUI方法.選取的對比算法與本文的算法在同一數(shù)據(jù)庫LIDC上實現(xiàn)，訓(xùn)練的樣本數(shù)目保持一致.實驗結(jié)果使用查準率-查全率(RP)曲線進行檢測和識別的性能評價，查準率表示檢索到的目標圖像數(shù)與被檢索的圖像數(shù)的比值，查全率表示檢索到的目標圖像數(shù)與數(shù)據(jù)庫中所有的圖像數(shù)的比值.不同算子的RP曲線如圖8所示.由圖8可以看出，本文提出的肺癌圖像的精細分類方法效果優(yōu)于其他幾個表現(xiàn)較好的精細分類算法.

3 小結(jié)

本文提出了一種基于MBLBP紋理特征和小波矩形狀特征融合特征的肺癌圖像精細分類算法.介紹了肺癌圖像精細分類算法的研究現(xiàn)狀與研究必要性，介紹了改進的MBLBP紋理特征和小波矩特征的提取，然后將兩種特征按參數(shù)融合，通過大量實驗獲得效果較好的參數(shù)對.給出了匹配方法和改進的特征抽取算法，最終實現(xiàn)了肺癌圖像的精細分類.實驗部分在LIDC肺癌CT圖像庫上進行，實驗結(jié)果證明了本文提出的融合算法優(yōu)于單獨的特征提取方法和相近特征的融合算法，也優(yōu)于目前效果較好的幾種精細分類算法，最好分類精度達到91.75%.實驗結(jié)果也表明MBLBP 紋理特征和小波矩形狀特征的融合有互補的作用，融合方法增強了圖像特征的表示能力，捕捉到了普通分類方法容易忽略的細節(jié)信息，顯著提高了圖像精細分類識別性能，驗證了提出的算法的有效性，為圖像精細分類在醫(yī)學(xué)領(lǐng)域的研究提供了參考.

[1] GAVVES E，F(xiàn)ERNANDO B，SNOEK C G M，et al.Local alignments for fine-grained categorization[J].International Journal of Computer Vision，2015，111(2)：191-212.

[2] SHIH K J，MALLYA A，SINGH S，et al.Part localization using multi-proposal consensus for fine-grained categorization[J].Computer Science，2015：1-12.

[3] ZHANG L，GAO Y，XIA Y，et al.A fine-grained image categorization system by cellet-encoded spatial pyramid modeling[J].Industrial Electronics，IEEE Transactions on，2015，62(1)：564-571.

[4] ZHANG N，DONAHUE J，GIRSHICK R，et al.Part-based R-CNNs for fine-grained category detection[M]//Computer Vision-ECCV 2014，Zurich：Springer International Publishing，2014：834-849.

[5] NILSBACK M E，ZISSERMAN A.A visual vocabulary for flower classification[C]//2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Newyork：IEEE，2006：1447-1454.

[6] SHINOMIYA Y，HOSHINO Y.A feature encoding based on fuzzy codebook for large-scale Image recognition[C]//2015 IEEE International Conference on Systems，Man，and Cybernetics(SMC)，Hongkong：IEEE，2015：2908-2913.

[7] FARRELL R，OZA O，ZHANG N，et al.Birdlets：subordinate categorization using volumetric primitives and pose-normalized appearance[C]//2011 IEEE International Conference on Computer Vision(ICCV)，Barcelona：IEEE，2011：161-168.

[8] YAO B，BRADSKI G，F(xiàn)EI-FEI L.A codebook-free and annotation-free approach for fine-grained image categorization[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Rhode Island:IEEE，2012：3466-3473.

[9] OJALA T，PIETIKINEN M，MENPT.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(7)：971-987.

[10] HINTERSTOISSER S，HOLZER S，CAGNIART C，et al.Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes[C]//2011 IEEE International Conference on Computer Vision(ICCV)，Barcelona：IEEE，2011：858-865

[11] ARMATO III S G，MCLENNAN G，BIDAUT L，et al.The lung image database consortium(LIDC)and image database resource initiative(IDRI)：a completed reference database of lung nodules on CT scans[J].Medical physics，2011，38(2)：915-931.

[12] YAO B，KHOSLA A，F(xiàn)EI-FEI L.Combining randomization and discrimination for fine-grained image categorization[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Colorado：IEEE，2011：1577-1584.

[13] DUAN K，PARIKH D，CRANDALL D，et al.Discovering localized attributes for fine-grained recognition[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Rhode Island：IEEE，2012：3474-3481.

[14] ZHANG L，YANG Y，ZIMMERMANN R.Fine-grained image categorization by localizing tiny object parts from unannotated images[C]//Proceedings of the 5th ACM on International Conference on Multimedia Retrieval，Shanghai：ACM，2015：107-114.

(責(zé)任編輯：石紹慶)

WMBLBP=C1×MBLBP+C2×Hm，n，q

Lung cancer image fine-grained classification based on wavelet moment fused with LBP

WANG Sheng-sheng，WANG Qi

(College of Computer Science and Technology，Jilin University，Changchun 130012，China)

Lung cancer fine image is further divided into small cell lung cancer，squamous lung cancer，gland cancer，bronchioloalveolar carcinoma，yet can not be achieved.To this end，with improvement based on the existing fine image classification work，this paper takes advantage of fast template matching framework and the wavelet moment features fused with LBP(Local Binary Pattern)texture，presenting data for lung cancer fine-grained image classification method.This paper will feature the texture and shape of the feature fusion，by assigning two feature weights，characterized by the fusion template matching.Matching results expressed as characteristic response in the form of graphs，and through improved mean spatial pyramid model，extract useful features characteristic response from the figure for classification training.Experimental results show that our method on LIDC(Lung Image Database Consortium)database reached an average accuracy rate of 91.75%，which is the basic proof of the effectiveness of our lung images fine classification method.

medical image；feature fusion；fine-grained image classification；space pyramid model

1000-1832(2017)02-0057-07

10.16163/j.cnki.22-1123/n.2017.02.012

2016-06-15

國家自然科學(xué)基金資助項目(61472161，61402195，61502198).

王生生(1974—)，男，博士，教授，博士研究生導(dǎo)師，主要從事時空推理、機器視覺、計算智能、數(shù)據(jù)挖掘等研究；王琪(1992—)，女，碩士研究生，主要從事圖像處理研究.

TP 391 [學(xué)科代碼] 520·60

A