柯爾挺 厲力華* 劉 偉 徐偉棟 張 娟 張凌男 ZHENG Bin ,2

1(杭州電子科技大學生命信息與儀器工程學院, 杭州 310018)2(Department of Radiology in University of Pittsburgh, PA 15213, USA)3( 浙江省腫瘤醫(yī)院放射科, 杭州 310022)

基于視覺感知信息的乳腺鉬靶腫塊檢測分析與自動提取

柯爾挺1厲力華1*劉 偉1徐偉棟1張 娟3張凌男3ZHENG Bin1,2

1(杭州電子科技大學生命信息與儀器工程學院, 杭州 310018)2(Department of Radiology in University of Pittsburgh, PA 15213, USA)3( 浙江省腫瘤醫(yī)院放射科, 杭州 310022)

醫(yī)生的視覺感知信息與影像診斷聯(lián)系緊密，如何有效利用該信息以提高醫(yī)學影像輔助診斷中的決策準確性，是一個具有前沿性和實際臨床價值的研究課題。針對醫(yī)生臨床診斷時其視覺感知行為的分析和利用，探討醫(yī)生讀片時單純的視覺注視信息在多大程度上反映腫塊位置(可檢測性)，以及如何利用視覺注視信息提取病灶。首先，用眼動儀采集醫(yī)生讀片時的注視點序列，每個注視點包括該點在鉬靶影像中的相對位置、注視點停留時間和瞳孔直徑等3個視覺特征，然后基于這些特征對注視點序列進行聚類分析，根據(jù)關注度評價找出醫(yī)生瀏覽影像時的若干“關注點”位置，并對比分析其與腫塊位置的關系，以評價“命中率”；以關注點為引導，利用區(qū)域生長和水平集方法對腫塊病灶進行提取。利用DDSM數(shù)據(jù)庫和浙江省腫瘤醫(yī)院數(shù)據(jù)庫的75張鉬靶影像進行初步實驗。將關注點數(shù)限制在4個以內(nèi)時，腫塊病灶命中率為58.49%，同時所有命中腫塊中被完整提取的占70.97%。結果表明，醫(yī)生視覺注意信息對腫塊位置的反應有一定作用，有助于理解感知反饋提高診斷精度的內(nèi)在機理。

視覺感知；圖像分割；眼動儀；聚類分析

引言

乳腺癌是危害婦女身體健康的最常見的惡性腫瘤之一[1]。我國乳腺癌發(fā)病率目前正以每年3%～4%的增長率急劇上升。2011年10月北京市腫瘤防治研究所發(fā)布的《1995～2010北京市惡性腫瘤發(fā)病報告》顯示，北京市戶籍人口中乳腺癌為女性惡性腫瘤之首[2]。國內(nèi)外研究表明早期診斷和治療能夠有效提高乳腺癌病人的存活率[3-4]。鉬靶X線攝影檢查是目前臨床上乳腺癌檢測的最主要手段[5]，計算機輔助診斷技術可以對乳腺鉬靶X線攝影進行初步檢測，將圖像中的疑似病灶區(qū)報告給醫(yī)生來進行決策[6]。

臨床上，對鉬靶X線攝影的腫塊檢測是一個醫(yī)生感知和決策的過程，分為3種情況：一是注視到腫塊病灶，并識別為腫塊；二是注視到腫塊病灶但誤判為正常組織，或正常組織誤判為腫塊病灶，其原因包括主客觀因素，其結果表現(xiàn)為假陰性和假陽性；三是沒有注視到腫塊病灶，以致漏診。醫(yī)生根據(jù)自身經(jīng)驗來判定圖像中病灶的性質(zhì)，其主要表現(xiàn)為兩點：不同醫(yī)生對同一影像的診斷感知過程存在差異，對同一個疑似病灶區(qū)域的解釋也存在差異。因此，不同醫(yī)生間的經(jīng)驗差異是腫塊診斷結果不同的重要原因。

國際醫(yī)學影像界的研究表明：醫(yī)生的視覺感知行為和醫(yī)學影像(如乳腺鉬靶)的診斷過程之間有著緊密的內(nèi)在聯(lián)系[7-8]。Kundel等的實驗表明，診斷經(jīng)驗不同的醫(yī)生其注視同一幅圖像時的眼動軌跡差異較大，這說明診斷過程中醫(yī)生視覺感知行為的主觀性不同[9]。另外，通過眼動跟蹤設備記錄醫(yī)生注視行為而得到的眼動軌跡數(shù)據(jù)對診斷具有重要價值。如Krupinski研究了醫(yī)生在讀片時的視覺感知行為，發(fā)現(xiàn)“感知反饋(perceptual feedback)”方法，即對醫(yī)生讀片時注視點停留時間較長(> 1 s)的部位進行顯著標記供醫(yī)生二次讀片，可以提高約16%的診斷精度[10]。感知反饋還可以降低識別錯誤和決策錯誤。

基于上述思路，在腫塊檢測分析中引入視覺感知信息，既有科學意義又有重要的實際臨床價值。就科學意義而言，通過把主觀視覺感知信息引入乳腺癌輔助診斷，實質(zhì)是將更豐富的“原始”生物信息引入輔助診斷；就實際臨床價值而言，國外研究已經(jīng)證明“感知反饋”方法的潛在價值，而本研究正是試圖探索“感知反饋”方法能提高診斷精度的內(nèi)在機理，期望將其引入計算機輔助診斷(computer-aided diagnosis，CAD)，以提高輔助診斷水平。

鉬靶CAD的腫塊檢測主要包含兩部分：查找疑似病灶和基于腫塊分類的假陽性排除。目前，國內(nèi)外研究提出的疑似病灶查找方法主要是基于鉬靶圖像分割或者濾波實現(xiàn)的。例如：Hu等提出利用自適應的全局閾值和局部閾值相結合的方法分割原始鉬靶的多分辨率圖像[11]；徐等提出基于海島沖刷模型的腫塊檢測方法，通過自適應神經(jīng)模糊推理系統(tǒng)進行參數(shù)調(diào)節(jié)以達到腫塊分離的最佳效果[12]；Marcin Bator提出通過進化算法優(yōu)化后的模型，檢測疑似病灶[13]。鑒于目前國內(nèi)外將視覺感知信息應用于腫塊檢測分析的研究較少，本研究探索性地將視覺感知信息引入腫塊檢測分析中，并使用基于密度的 (density-based spatial clustering of applications with noise，DBSCAN)聚類算法分析感知信息，以查找定位鉬靶X線攝影中的疑似腫塊病灶。與傳統(tǒng)乳腺鉬靶腫塊檢測分析方法不同，本方法利用主觀視覺感知信息分析，實現(xiàn)疑似病灶定位，能夠揭示醫(yī)生單純的視覺注意信息對腫塊位置的定位程度。

基于以上所述，開展基于視覺感知信息分析的乳腺鉬靶腫塊檢測分析與自動提取的研究。研究方法包括3個步驟：首先用眼動儀采集醫(yī)生診斷影像時的視覺注視點序列，每個注視點都包含其在鉬靶全圖中的相對坐標位置、停留時間和瞳孔直徑等視覺特征；基于以上3個視覺特征和DBSCAN算法，對視覺注視點序列進行聚類分析，找出醫(yī)生診斷影像時的關注點位置，并且比較分析關注點與真實腫塊的位置關系，以評價“單純的視覺注意信息對腫塊位置的反映程度”；以關注點為種子點，采用區(qū)域生長方法初步提取疑似病灶區(qū)，稱之為“粗分割”，之后采用所提出的基于水平集的多尺度乳腺腫塊病灶分割方法[15]對提取的疑似病灶區(qū)進行“細分割”，以得到最終的提取結果。

1 方法

基于視覺感知信息分析來驗證醫(yī)生診斷過程中其自身感知行為對腫塊檢測的作用，提出一種基于視覺感知信息的腫塊自動提取方法來實現(xiàn)感知反饋，方法框架如圖1所示。通過采集醫(yī)生視覺感知信息,并對其進行聚類分析，得到醫(yī)生關注點，然后以關注點為種子點，利用圖像分割技術提取疑似腫塊。為了更清晰地演示所提出的研究思路，圖2顯示了與方法框架對應的示例。

圖1 方法框架Fig.1 The framework of the proposed approach

1.1眼動視覺注意信息采集和預處理

實驗邀請具有20多年臨床影像診斷經(jīng)驗的醫(yī)生作為眼動數(shù)據(jù)采集的被試，使用ASL-H6頭戴式單目眼動跟蹤系統(tǒng)[16],記錄醫(yī)生在瀏覽鉬靶影像時的各項眼動信息。已有研究表明，注視點位置、注視點停留時間和瞳孔直徑這3項眼動注視點屬性能反映被試在瀏覽圖像時對不同局部區(qū)域的感興趣程度。筆者讀取每個鉬靶影像對應的所有注視點的該屬性數(shù)據(jù)，并將其作為后續(xù)分析的眼動數(shù)據(jù)。

1.2眼動視覺注意信息分析

采用聚類方法分析眼動數(shù)據(jù)，提出一種關注度評價指標來捕捉關注點，并在實驗結果中對“基于眼動數(shù)據(jù)進行腫瘤檢測”的敏感性和特異性進行分析。

1.2.1基于DBSCAN算法的聚類分析

1.2.1.1DBSCAN聚類算法

通過大量的前期試驗，比較了不同聚類算法在眼動數(shù)據(jù)分析上的應用，發(fā)現(xiàn)DBSCAN算法能更好地分析醫(yī)生瀏覽影像時的眼動數(shù)據(jù)。DBSCAN是一種基于密度的聚類算法，能將具有一定密度的區(qū)域劃分為簇，可以在含有“噪聲”的空間數(shù)據(jù)集中自動確定簇的數(shù)量，并發(fā)現(xiàn)任意形狀的簇。DBSCAN聚類算法涉及以下6個概念[17]：

1)ε鄰域：以任意注視點p為中心、ε為半徑的圓形區(qū)域就是注視點p的ε鄰域。

2)核心點：給定鄰域半徑ε，ε鄰域中包含最少注視點數(shù)目MinPts，若注視點p的ε鄰域Nε(p)包含的注視點數(shù)|Nε(p)|≥MinPts，則稱p為核心點。

3)直接密度可達：給定ε、MinPts，若兩個注視點同時滿足以下兩個條件：p∈Nε(q)，|Nε(q)|≥MinPts,則稱注視點p是從注視點q出發(fā)直接密度可達的。

4)密度可達：給定注視點序列D，當存在一個注視點子序列p1，p2，…，pn(p1=q，pn=p，對pi∈D，pi+1是從pi關于ε和MinPts直接密度可達的，則稱注視點p從注視點q關于ε和MinPts密度可達。

5)密度相連：如果注視點序列D中存在一個注視點z，使得注視點p和q是從z關于ε和MinPts密度可達的，那么注視點p和q關于ε和MinPts密度相連。

6)簇和噪聲：由任意一個核心點開始，從該點密度可達的所有注視點構成的注視點集稱為“簇”，不在任何簇中的注視點被認為是“噪聲點”。

所謂DBSCAN算法，實質(zhì)就是通過迭代，查找密度可達的注視點集組成的所有簇。其中，在鄰域半徑ε和ε鄰域中注視點個數(shù)最小值MinPts的選擇很重要，它決定聚類效果的好壞[18]，有助于實現(xiàn)上述參數(shù)的自適應選擇。

1.2.1.2自適應DBSCAN聚類分析

設某一鉬靶全圖對應的醫(yī)生注視點序列為n1,n2,…，nN，分別提取每個注視點的視覺特征參數(shù)值，包括其在鉬靶全圖中的坐標位置(x，y)、停留時間t和瞳孔直徑d，得到4個特征序列(x1，x2,…，xN)，(y1，y2,...，yN)，(t1,t2,…，tN)，(d1,d2,…，dN)，將4個特征序列各自歸一化后，構建成與注視點對應的視覺特征點(集)為(xi,yi,ti,pi)，i=1,2,…,N。

基于該特征向量計算距離的分布矩陣為

(1)

式中，N為視覺特征點數(shù)目，它等于序列中注視點的數(shù)目；k表示第i個視覺特征點到第j個視覺特征點的歐式距離，DN×N是N行N列的實對稱矩陣。

1)鄰域半徑ε的計算

①首先，基于DN×N計算視覺特征點集(xi,yi,ti,pi)，i=1,2,…,N的k-最近鄰距離集合。

距離視覺特征點p最近的第k點到特征點p的距離，被稱為p的k-最近鄰距離；在視覺特征點集中所有成員的k-最近鄰距離的集合，被稱為該視覺特征點集的k-最近鄰距離集合。k-最近鄰距離集合的具體具體計算方法如下：

對DN×N每列排序并轉(zhuǎn)置得到矩陣D0,N×N=sort(DN×N)′，其中D0,N×N的每一列向量代表視覺特征點集中所有成員到最近的第k-1(k是列下標，k=1,2,…,N)成員的距離集合。第一列全為零，即每個對象到自身的距離。去除D0,N×N第一列，并對列向量排序得到D1,N×(N-1)有，

D1，N×(N-1)=sort(D0，N×N(1:end;2:end))

(2)

式中，D1，N×(N-1)的第k(k=1,2,…,N-1)列代表所有視覺特征點的k-最近鄰距離集合Distk。

舉個例子，某一個鉬靶全圖對應的注視點序列數(shù)N=33，計算視覺特征點集所有成員的最近鄰距離集合的矩陣為D1，33×32，其1-最近鄰距離集合為D1，33×32的第一列Dist1，如圖3(a)所示。

②其次，根據(jù)DBSCAN算法，對MinPts分別取1～N，依次分別計算對應且合適的領域半徑。

由于D1,N×(N-1)矩陣的每列向量代表視覺特征點集的k-最近鄰距離集合，因此根據(jù)DBSCAN算法實質(zhì)，給定MinPts=k時選擇合適的鄰域半徑ε，就是從D1,N×(N-1)的第k列選取一個合適的值。

依舊以圖3(a)為例，具體方法如下：根據(jù)文獻[18]，D1,33×32的每個列元素排序后繪制于坐標系中，形狀基本與圖3(a)一致，而自適應的計算合適的鄰域半徑ε只能通過尋找圖3(a)中曲線的拐點縱坐標值來獲得。又因為直接用數(shù)學方法無法計算曲線的拐點縱坐標值，因此筆者選擇擬合方法來近似獲取該值。通過統(tǒng)計圖3(a)中Dist1在各個取值段上所包含的樣本點數(shù)(即核心點數(shù))，繪制圖3(a)Dist1概率分布圖。通過核擬合(Kernelsmoothingdensityestimate)得到的峰值點(即圖3(a)中曲線的拐點的近似)所對應橫坐標值(即圖3(a)的縱坐標值)近似作為ε1，如圖3(b)所示。再依次從D1，33×32中取第2～32列計算得到ε2,ε3,…,ε32，那么最終得到32對數(shù)據(jù)，如表1所示。

表1 32組MinPts和鄰域半徑ε值

2)對象個數(shù)MinPts的計算

由于εk，k=(1,2,…，N)是通過擬合估計所得，會因此造成偏差。但根據(jù)文獻[18]，其中有一對鄰域半徑和MinPts值是合適用于聚類的。通過計算當MinPts=k，ε=εk時的噪聲注視點數(shù)(記為noisek)，以確定合適的DBSCAN聚類參數(shù)。

仍然以N=33為例，具體計算如下：根據(jù)文獻[18]方法，繪制圖3(c)，縱坐標為MinPts=k，ε=εk時的噪聲點數(shù)noisek(k=1,…，32，橫坐標為噪聲點數(shù)noisek的最大值和最小值之間的等差數(shù)列(含32個整數(shù))。繪制噪聲點曲線和45°斜線(如圖3(c))，求得兩線交點的縱坐標值i就是MinPts的最佳值，最終得到DBSCAN聚類參數(shù)MinPts=i，ε=ει。

1.2.2“關注點”捕捉

圖3 自適應DBSCAN算法參數(shù)選取。(a)排序后的Dist1；(b)Dist1概率分布和曲線擬合；(c)兩線相交得MinPts值Fig.3 The parameters selection of the adaptive DBSCAN algorithm. (a) Sorted Dist1; (b) Probability distribution of Dist1 and then curve fitting; (c) Achieving MinPts at the point of intersection

采用筆提出的“剪枝”算法[19]，對自適應DBSCAN聚類算法分析后得到的眼動注視點序列進行進一步分析，取類內(nèi)各注視點處的停留時間總和作為“代表注視點”的停留時間，取該類中心坐標位置作為其坐標位置，取類內(nèi)所有注視點中的瞳孔直徑最大值作為其瞳孔直徑。這樣取值的意義在于讓注視點密集區(qū)域更容易在競爭中被選為關注點，這主要基于本實驗的假設前提，即診斷過程中醫(yī)生會比較關注感興趣的區(qū)域。之后，筆者提出一個綜合指標來選取醫(yī)生“關注點”位置。文獻[19]分析了停留時間和瞳孔直徑對關注度評價的作用，對確定兩者對關注度評價的作用程度仍然是個難題。因此，筆者將注視點序列中停留時間和瞳孔直徑各自歸一化后取同一注視點的停留時間與瞳孔直徑的和作為綜合指標，指標值越大，對應注視點所在區(qū)域受關注度越高。通過統(tǒng)計每張乳腺鉬靶全圖上的病灶個數(shù)，得出選取指標值最大的4個注視點作為關注點較為合適，合并相鄰的關注點。

1.3基于視覺注意信息的疑似病灶提取

在醫(yī)生眼動信息分析之后，筆者采用經(jīng)典的區(qū)域生長分割算法，得到腫塊病灶的“粗輪廓”。按照本文1.2節(jié)所述方法選取關注點，生長過程采用基于迭代的自動灰度閾值算法。本方法為自動灰度閾值算法設定一個以關注點為中心800像素 × 800像素的區(qū)域，具體如下：

1)該算法將灰度平均值作為初始閾值T0，根據(jù)T0將像素點分成兩組：第一組像素點灰度大于T0，第二組像素點灰度小于或等于T0。

2)兩組像素點各自求灰度平均值，得到A1和A2，求A1和A2的平均值T1，然后計算T0與T1差值的絕對值。

3)如果絕對值大于1，則T0=T1，重復1)、2)；否則，T0就是該關注點的生長閾值。

實驗中關注點的生長面積限制為160 000個像素，這是多次實驗得出的經(jīng)驗值，比較適合提取整個腫塊病灶。關注點區(qū)域生長完成后，采用形態(tài)學閉運算和區(qū)域填充的方法，進一步處理得到的“粗輪廓”。

1.4基于水平集的多尺度腫塊病灶分割

腫塊病灶的“粗分割”主要用于提取含腫塊的矩形區(qū)域，其分割結果與真實病灶輪廓相比精度較低。為了提取較為精確的腫塊病灶輪廓，采用筆作者提出的一種基于水平集的多尺度乳腺病灶分割方法[11]，對“粗輪廓”進行“細分割”，具體處理方法如下：

1)以本文1.3節(jié)中得到的“粗輪廓”作為“細分割”的初始輪廓，計算輪廓左右兩端和上下兩端距離，分別記為D1、D2。

2)以粗輪廓為中心，從全圖中截取(2D1)×(2D2)像素的矩形圖像。

3)以矩形病灶圖像中心為圓心和(D1+D2)/20為半徑確定一個初始圓，作為文獻[8]中方法的初始輪廓進行“細分割”。初始圓半徑應該足夠小，要使初始圓盡量在真實腫塊區(qū)域內(nèi)。

綜合考慮算法效率和“細分割”精度，將粗尺度圖像分割迭代次數(shù)設置為600次，細尺度圖像分割迭代次數(shù)為100次。另外，由于醫(yī)生診斷讀片時很大一部分注視點落在腫塊邊緣上，而種子點生長對初始種子點的位置敏感性較大，所以“粗分割”得到的腫塊輪廓很可能只包括真實腫塊的一部分區(qū)域，因此需要將疑似病灶區(qū)截取范圍擴大到(2D1)×(2D2)。

1.5實驗數(shù)據(jù)、實驗被試和實驗環(huán)境

實驗數(shù)據(jù)庫使用南佛羅里達大學的DDSM(Digital Database for Screening Mammography)公用數(shù)據(jù)庫浙江省腫瘤醫(yī)院的數(shù)據(jù)，共76個鉬靶影像，其中46個包含腫塊病灶，30個未包含腫塊病灶，圖像尺寸平均值為2 500 × 4 500像素點。

實驗參加者為浙江省腫瘤醫(yī)院放射科的副主任醫(yī)生，具有20多年的臨床影像診斷經(jīng)驗。被試在實驗前未瀏覽過實驗圖像庫中的任何圖像，實驗時的圖像隨機呈現(xiàn)。圖像顯示設備為21吋的WIDE醫(yī)用液晶顯示器，分辨率為2 048像素×2 560像素。實驗中的圖像顯示在屏幕中央，被試瀏覽圖像結束后，閉眼表示一次眼動數(shù)據(jù)記錄結束。圖4為被試佩戴ASL-H6眼動儀頭盔瀏覽鉬靶影像時的情形，其身后放置一個電磁式頭部運動補償裝置，使被試在瀏覽圖像時可以在一定范圍內(nèi)自由活動頭部。

圖4 實驗場景Fig.4 The scene of experiment

1.6評價方法

將關注點與醫(yī)生手動標注的腫塊病灶區(qū)域進行位置比較分析，將關注點落在腫塊病灶標注區(qū)域內(nèi)稱為關注點“命中”腫塊病灶。分別計算“命中腫塊的關注點數(shù)占關注點總數(shù)的比例”和“未命中腫塊的非關注點數(shù)占非關注點總數(shù)的比例”。設NUM1為命中腫塊的關注點數(shù)目，NUM關注點總數(shù)為關注點總數(shù)，NUM2為未命中腫塊的非關注點數(shù)，NUM非注視點總數(shù)為非關注點總數(shù)，那么有如下公式定義：

命中腫塊的關注點數(shù)占關注點總數(shù)的比例=

(3)

未命中腫塊的非關注點數(shù)占非關注點

(4)

統(tǒng)計結果顯示，“命中腫塊的關注點數(shù)占關注點總數(shù)的比例”和“未命中腫塊的非關注點數(shù)占非關注點總數(shù)的比例”分別為41.3%和81.9%。

為了定量評價視覺感知信息對鉬靶腫塊病灶定位的作用，采用命中率(shooting average, SA)和假陽性率(false positive rate, FPR)進行客觀評價。設FA為鉬靶全圖中被關注點命中的真實腫塊個數(shù)，F(xiàn)B為鉬靶全圖中真實腫塊總數(shù)，F(xiàn)C為鉬靶全圖中被關注點定位的疑似腫塊病灶總數(shù)，那么有如下定義：

(5)

(6)

可以看出：SA的值越大，敏感性越高；FPR的值越小，對鉬靶腫塊病灶的定位效果越好。

為了進一步提取被定位的疑似腫塊病灶，引入腫塊病灶分割方法提取腫塊病灶。首先，基于區(qū)域生長從乳腺鉬靶全圖中提取腫塊病灶的“粗輪廓”，得到包含腫塊病灶的感興趣區(qū)域。粗輪廓基本決定最終腫塊病灶分割所能達到的精度水平，分為完整包含、半包含和不包含腫塊病灶3種情況。

基于目前已有腫塊分割方法用視覺感知信息分析定位疑似腫塊代替醫(yī)生手動標記方法，肯定會降低最終的腫塊分割精度。為了初步估計分割精度降低幅度，將算法分割得到的結果與該領域?qū)＜沂謩臃指畹慕Y果進行像素級別的比較。采用重疊率(overlap rate, OR)和誤分率(misclassification rate, MR)兩個指標來對腫塊分割結果進行客觀評價。設SA為分割輪廓，SB為專業(yè)醫(yī)生勾勒的標準輪廓，于是有如下定義：

(7)

(8)

可以看出，OR的值越大，MR的值越小，則表示分割結果越好。當OR=1，MR=0時，表明算法分割結果與手工分割結果一致?；谑?7)和式(8)，挑選出包括或部分包括腫塊病灶區(qū)域的生長結果，計算平均重疊率和平均誤分率。平均重疊率和平均誤分率定義如下：

平均重疊率=重疊率總和/區(qū)域個數(shù)

(9)

平均誤分率=誤分率總和/區(qū)域個數(shù)

(10)

2 結果

對以上76個鉬靶影像進行實驗，并對“基于視覺感知信息進行腫塊檢測”的敏感性和特異性進行分析，還對基于視覺感知信息提取腫塊病灶的準確度進行評價。

2.1腫塊檢測結果

本方法基于視覺感知信息中的主要參數(shù)——瞳孔直徑和停留時間，提出一個綜合指標。先對視覺注視點序列進行DBSCAN聚類分析，再基于綜合指標進行“關注度”評價，找出醫(yī)生的“關注點”，如圖5所示。注意關注點少于4的例圖是緊鄰關注點合并的結果：將聚類剪枝后的視覺注視點分為關注點和非關注點，如圖5(a)中的上下兩張圖，下一張圖中的兩點是本方法找到的關注點，聚類剪枝后的注視點序列中除了這兩點被歸類為關注點外，其余的視覺注視點都被歸為非關注點。

圖5 基于DBSCAN聚類分析的關注點定位實驗的部分結果(上行為注視點分布，下行為關注點分布)。(a)和(b)來自DDSM；(c)來自浙江省腫瘤醫(yī)院Fig.5 The part result of locating concerns based on DBSCAN(The upper line is distribution of fixation points and the bottom line is the distribution of concerns). Mammograms (a) and (b) are from DDSM and (c) is from Zhejiang Cancer Hospital

對含腫塊的46例乳腺鉬靶全圖中53個腫塊病灶的命中率進行統(tǒng)計，被準確命中的腫塊病灶為31個，命中率為58.49%。另外，46例全圖中產(chǎn)生關注點的總數(shù)為134個，其中覆蓋假陽性病灶的關注點為103個，假陽性率為76.87%。

2.2腫塊提取結果

包含完整腫塊的感興趣區(qū)域為22個，半包含腫塊為7個，不包含腫塊為24個。大部分被定位的腫塊病灶是被完整提取的，即在31個被定位的腫塊病灶中，被完整提取的有22個，部分包含提取的有7例，完全不被包含提取的有2例，腫塊完整提取的占70.97%。

對被種子命中且完全提取鉬靶腫塊病灶的22個感興趣區(qū)域進行精分割，并對分割結果進行客觀評價和統(tǒng)計分析，顯示平均重疊率為55.96%、平均誤分率為76.51%。在腫塊病灶分割例子中，最大重疊率為97.50%，其對應的誤分率為123.16%；最小誤分率為30.20%，其對應的重疊率為79.70%。

3 討論

將每個鉬靶全圖中的關注點位置與對應的注視點分布進行對比分析和統(tǒng)計，結果顯示鉬靶全圖中視覺注視點密集區(qū)幾乎總會產(chǎn)生“關注點”(如圖5所示)，這說明診斷醫(yī)生讀圖時會在感興趣區(qū)域給予較高的關注度。同時，因為表征感興趣程度的不只是注視點密集程度這一特征，所以關注度評價指標綜合了其他能表征感興趣程度的眼動數(shù)據(jù)——瞳孔直徑和停留時間，盡可能使關注點位置準確覆蓋在醫(yī)生最關注的區(qū)域。

在實驗結果中“命中腫塊的關注點數(shù)占關注點總數(shù)的比例”和“未命中腫塊的非關注點數(shù)占非關注點總數(shù)的比例”并不高，原因主要有兩方面：一是通過設定關注點最大數(shù)4，本方法將“剪枝”后的注視點序列成員分為關注點與非關注點，而鉬靶影像基本只包含1個真實腫塊，使得很大一部分關注點覆蓋了假陽性病灶區(qū)域；二是在診斷過程中，醫(yī)生未對部分隱蔽腫塊產(chǎn)生明顯的視覺感知活動，因而很難從視覺注意特征角度識別這些隱蔽的腫塊。

實驗結果中假陽性率較高，其原因在于本方法只用于腫塊檢測中的疑似腫塊查找，而沒有涉及假陽性的識別與排除。正是這個實驗結果，證明臨床診斷中假陽性病灶會獲得醫(yī)生關注的概率較大，表明為醫(yī)生提供感知反饋的必要性。

在診斷過程中，醫(yī)生時常注視腫塊邊界的病灶特征，導致關注點很可能落在腫塊邊緣(見圖5(b))；又由于區(qū)域生長對初始點位置條件較為苛刻，因此“粗分割”提供的初始輪廓線未能達到醫(yī)生手動標注的準確度。但從CAD系統(tǒng)發(fā)展的角度講，本方法直接基于眼動數(shù)據(jù)和區(qū)域生長提取感興趣區(qū)域，利用 “原始的”視覺感知信息來完成腫塊病灶區(qū)域的標注，這正是筆者提出的乳腺癌腫塊檢測分析方法的不同之處。如果腫塊檢測結果經(jīng)過醫(yī)生感知信息的肯定，那么計算機可以對檢測結果做進一步分析。如圖6、7所示，“細分割”的腫塊輪廓精度較高，有可能用于良惡性診斷和病灶檢索分析。

圖6 基于“命中”腫塊中心區(qū)的關注點的細分割實驗結果。(a)對應圖5(a)；(b)對應圖5(b)；(c)對應圖5(c)Fig.6 The final result of mass segmentation with shooting concerns. (a) Corresponding to Fig. 5(a); (b) Corresponding to Fig. 5(b); (c) Corresponding to Fig.5(c)

從腫塊病灶定位角度分析，關注點位置分為腫塊中心區(qū)、腫塊輪廓附近和遠離腫塊區(qū)，是對醫(yī)生視覺注意位置信息的客觀反映，只是以本方法為基礎，后兩種關注點位置通常會降低腫塊提取精度，如圖7所示。由此得知，針對不同位置的關注點，應該從不同角度、不同方法對其進行利用。目前，本方法只適用于腫塊中心區(qū)域上的關注點，而如何有效利用腫塊病灶邊緣上的關注點是筆者之后需要研究的內(nèi)容之一。

圖7 基于未“命中”腫塊中心區(qū)的關注點的細分割實驗結果。(a)對應圖5(a)；(b)對應圖5(b)；(c)對應圖5(c)Fig.7 The final result of mass segmentation with missing concerns. (a) Corresponding to Fig.5(a); (b) Corresponding to Fig.5(b); (c) Corresponding to Fig.5(c)

4 結論

醫(yī)生讀片過程視覺感知信息對腫塊檢測分析是有一定幫助的，基于視覺感知信息的腫塊檢測分析方法能定位一半以上的真實腫塊。對于被定位的腫塊，通過乳腺癌腫塊分割方法，可以提取大多數(shù)腫塊。筆者所開展的研究是“視覺感知信息在輔助診斷中的應用”課題中的一項探索性的工作，所使用的視覺感知信息采集設備為頭戴式眼動跟蹤系統(tǒng)。為了適應臨床應用需要，今后本研究可以擴展采用更方便的非接觸式設備來跟蹤記錄眼動視覺信息。另外，筆者目前只對一個醫(yī)生做了眼動數(shù)據(jù)采集實驗，由此分析得到的“命中率”只能初步說明單純視覺注視信息對腫塊定位的程度。下一步的工作將包括如下幾個方面：一是讓不同醫(yī)生對同一套鉬靶影像進行診斷，對比分析醫(yī)生對不同特征腫塊的感知能力；二是探索更合適的腫塊提取方法，以提高腫塊的提取精度；三是定量分析“感知反饋”對提高診斷精度的效果。

[1] A Jemal, R Siegel, E Ward,etal. Cancer statistics, 2008 [J]. Ca-a Cancer Journal for Clinicians, 2008,58(2): 71-96.

[2] 報告稱癌癥成北京人主要死因，乳腺癌及肺癌居首 [EB/OL]. http://news.sohu.com/20111011/n321857525.shtml, 2011-10-11/2012-07-01.

[3] 謝凱濤. 乳腺癌和乳腺病 [M]. 北京：北京醫(yī)科大學中國協(xié)和醫(yī)科大學聯(lián)合出版社, 1995.

[4] 劉佩芳. 乳腺影像診斷必讀 [M]. 北京：人民軍醫(yī)出版社, 2007.

[5] Al Sharkawy M, Sharkas M, Ragab D. Breast cancer detection using support vector machine technique applied on extracted electromagnetic waves [J]. Applied Computational Electromagnetics Society Journal, 2012,27(4): 292-301.

[6] Xu Xiangmin, Zhou Fengle, Xiao Yue. The study of mammary disease CAD system [C] // 2007 IEEE/ICME International Conference on Complex Medical Engineering. Beijing:IEEE,2007: 676-679.

[7] Mello-Thoms C, Dunn SM, Nodine CF,etal. The perception of breast cancers-a spatial frequency analysis of what differentiates missed from reported cancers [J]. IEEE Transactions on Medical Imaging, 2003,22(10): 1297-1306.

[8] Kundel HL, Nodine CF, Krupinski EA,etal. Using gaze-tracking data and mixture distribution analysis to support a holistic model for the detection of cancers on mammograms [J]. Academic Radiology, 2008,7(15): 881-886.

[9] Kundel HL, Nodine CF, Conant EF,etal. Holistic component of image perception in mammogram interpretation: gaze-tracking study [J]. Radiology, 2007,242(2): 396-402.

[10] Krupinski EA. The importance of perception research in medical imaging [J]. Radiation Medicine, 2000,18(6): 329-334.

[11] Hu Kai, Gao Xieping, Li Fei. Detection of suspicious lesions by adaptive thresholding based on multiresolution analysis in mammograms [J]. IEEE Transactions on Instrumention and Measurement, 2011,60(2): 462-472.

[12] 徐偉棟, 劉偉, 厲力華, 等. 一種基于海島沖刷模型的乳腺鉬靶腫塊檢測新算法 [J]. 中國生物醫(yī)學工程學報, 2011,30(4): 567-575.

[13] Marcin Bator MN. Detection of cancerous masses in mammograms by template matching: Optimization of template brightness distribution by means of evolutionary algorithm [J]. Journal of Digital Imaging, 2012,25(1): 162-172.

[14] Robert MN, Lorenzo LP. Fundamental limitations in developing computer-aided detection for mammography [J]. Nuclear Instruments and Methods in Physics Research, 2011,648(Supp 1): S251-S254.

[15] 虞紅偉, 厲力華, 徐偉棟, 等. 一種基于水平集的多尺度乳腺腫塊分割方法 [J]. 儀器儀表學報, 2010, 31(6): 1418-1423.

[16] Applied Science Laboratories [EB/OL]. http://asleyetracking.com, 2011-03-01/2012-07-01.

[17] Ester M, Kriegel H P, Sander J,etal. A density-based algorithm for discovering clusters in large spatial data sets with noise [C]// International Conference on Knowledge Discovery and Data Mining. Oregon:KDD, 1996: 226-231.

[18] 夏魯寧, 荊繼武. SA-DBSCAN：一種自適應基于密度聚類算法 [J]. 中國科學院研究生院學報, 2009, 26(4): 530-538.

[19] 李雙, 劉偉, 徐偉棟, 等. 基于眼動感知信息的彩色圖像感興趣區(qū)域提取算法 [J]. 光電工程, 2011,38(4): 115-123.

ApplyingVisualPerceptionInformationforDetectionAnalysisandAutomaticExtractionofBreastMassinMammograms

KE Er-Ting1LI Li-Hua1*LIU Wei1XU Wei-Dong1ZHANG Juan3ZHANG Ling-Nan3ZHENG Bin1, 2

1(CollegeofLifeInformationScienceandInstrumentEngineering,HangzhouDianziUniversity,Hangzhou310018,China)2(DepartmentofRadiology,UniversityofPittsburgh,Pittsburgh,PA15213,USA)3(ZhejiangCancerHospital,Hangzhou310022,China)

Clinical diagnosis according to medical images is a process of radiologists’ visual perception and decision-making. The radiologists’ visual perception information is intimately associated with diagnosis. How to effectively use visual perception information to improve the decision-making accuracy in computer-aided diagnosis is a research subject which is full of scientific significance and clinical value. This paper conducted researches on the analysis and the use of visual perception behavior during diagnosis to explore two issues:one is how well the single perceptual information during diagnosis can reflect masses position; the other is how to use the perceptual information for extracting masses. In the paper, the research method includes two steps. Firstly, radiologists’ fixation point sequence, in which every point includes fixation point location in mammogram, duration time and pupil diameters, was recorded by an eye-tracker during reading and then clustered to achieve some radiologists’ concerns according to the three visual features. Shooting average was calculated by analyzing the positional relationship between concerns and masses in the same mammogram. Secondly, regarding concerns as seeds, the SBRG (seeds-based region growing) approach and the multi-scale mass segmentation approach were applied to buckle breast masses from mammograms. The result of applying the proposed method to 75 mammograms from both DDSM and Zhejiang Cancer Hospital showed that it could achieve shooting average of 58.49% when the limitation of concerns number was 4, and the full-extraction rate for the shot masses was 70.97%. It is revealed that the perceptual information is helpful to reflect masses position as well as to understand the inner mechanism of perceptual feedback.

CAD; visual perception; image segmentation; eye-tracker; clustering analysis

10.3969/j.issn.0258-8021. 2014. 01.005

2013-02-22， 錄用日期：2013-11-15

國家重點基礎研究發(fā)展計劃資助(2013CB329502)；國家自然科學基金(61001215、61271063)

TP391.4；TP751.1

A

0258-8021(2014) 01-0028-09

*通信作者。E-mail: lilh@hdu.edu.cn