朱超華 陳武凡 徐子海 陳超敏 賀志強*（南方醫(yī)科大學生物醫(yī)學工程學院，廣州 5055）

2（解放軍303醫(yī)院放射治療中心，南寧 530021）

引言

對腫瘤靶區(qū)的精確性定位，是體外分次放療的關鍵問題。使用立體定向技術，可以為頭頸部的腫瘤靶區(qū)制訂出高精度的治療計劃［1］。但是，在呼吸等生理因素的影響下，位于胸腹部的腫瘤及其周圍組織動態(tài)地變化。相關研究表明，胸隔膜在呼吸運動的影響下活動范圍可達0.5～2.0cm，并且個體的差異性很大［2-3］。為了減少呼吸運動造成的不利后果，傳統(tǒng)解決方案一般采用等中心位移和呼吸門控等手段［4］，這些方法對患者的呼吸和狀態(tài)要求嚴格，治療效率低，正常組織仍然受到照射傷害。采取擴大邊界的方式往往會危及到正常器官，因此外擴靶區(qū)的治療手段極不安全。

實時跟蹤腫瘤靶區(qū)的關鍵就是計算出腫瘤靶區(qū)在空間中隨時間變化的具體位置。有研究者采用平板kV級X射線成像系統(tǒng)［5］、紅外線跟蹤體外標記加正交X線成像（Cyberknife-賽博刀）定位系統(tǒng)［6］和4DCT成像系統(tǒng)［7］等引導放療，在一定程度上解決了腫瘤靶區(qū)精確定位的問題。但是，成人的正常呼吸周期為4～5s，由呼吸運動導致的腫瘤靶區(qū)運動時刻都在發(fā)生，而一般的X線機的系統(tǒng)成像周期為1min［6］，加上圖像配準及電機驅(qū)動等延時，因此并不能做到準確實時，并且不停的X線掃描具有一定的副作用?；?D-CT成像的基本原理，它需要病人嚴格配合并進行呼吸訓練，復雜性較高，由于不是在治療的同時獲得圖像，因此也不是真實意義上的實時腫瘤靶區(qū)跟蹤。研究和探索一種能夠?qū)崟r跟蹤靶區(qū)、提高治療精度和效果且給患者傷害最小的方法，仍然是眾多科研工作者的共同努力方向。

下面介紹一種基于圖像尺度不變特征變換（SIFT）的雙目視覺實時跟蹤腹部表面運動的測量方法，對動態(tài)自適應中的跟蹤模型、時間響應和跟蹤精度等幾個關鍵技術問題進行了研究和實驗。大家都知道，在雙目視覺的三維坐標計算過程中，準確匹配出左右視覺圖片中的同一物體是計算精度最重要的保證。由于圖像的SIFT特征對尺度、旋轉(zhuǎn)、亮度、仿射、噪聲等都具有良好的不變性，在混亂和遮擋情況下也可魯棒地識別目標，所以本系統(tǒng)采用圖像的SIFT特征進行配準。Mikolajczyk K比較了各種局部特征檢測和描述符算法，指出SIFT特征算法具有最好的匹配效果［8］，但是計算時間長，一般情況下難以滿足大尺寸圖片配準的實時性要求。因此，本系統(tǒng)采用該算法進行配準時，在配準圖像的選取過程中采用動態(tài)采集左右視頻圖像感興趣區(qū)域的方法，減少了提取整張視頻圖片SIFT特征所需要的大量時間，較好地滿足了雙目視覺跟蹤的實時性要求。

1 方法

雙目視覺測量跟蹤的基本原理是：通過已經(jīng)標定好的兩個攝像頭，對以不同角度同時拍攝到的兩幅平面圖像進行校準，再利用已知被跟蹤目標圖像的SIFT特征，對所得到的兩幅圖像進行配準，計算出被跟蹤物體分別在兩幅圖像質(zhì)心的坐標。然后，依據(jù)雙目視覺成像的基本模型，計算出物體在三維空間中的實際位置。通過引入時間變量，可以得到物體在空間的實時運動情況而進行運動跟蹤。

1.1 跟蹤目標圖像SIFT特征的配準

視頻跟蹤的效果取決于視頻圖像的可靠性和圖像配準的速度。基于特征的匹配穩(wěn)定可靠，是較適合于視頻圖像中對特定目標配準的方法。DG Lowe教授總結了現(xiàn)有的、基于不變量技術的特征檢測方法，提出了一種基于尺度空間的、對圖像縮放和旋轉(zhuǎn)甚至仿射變換保持不變的圖像局部特征描述算子—SIF算子，這是一種多尺度技術［9］。SIFT特征匹配算法思想是：首先在尺度空間進行特征檢測，確定關鍵點（key points）的位置，然后使用關鍵點鄰域梯度的主方向作為該點的方向特征，以實現(xiàn)SIFT特征對尺度和方向的無關性。SIFT特征匹配算法分為生成SIFT特征向量和特征向量匹配兩個過程。

1.1.1 生成SIFT特征向量

生成SIFT特征向量包括以下4步：檢測尺度空間極值點、精確定位極值點、為每個關鍵點指定方向參數(shù)和生成關鍵點的特征向量。

尺度空間理論是模擬圖像數(shù)據(jù)的多尺度特征，尺度空間極值檢測的主要過程是：在尺度空間內(nèi)利用唯一的線性核——高斯核，建立高斯金字塔［10］。為了有效地在尺度空間檢測到穩(wěn)定的關鍵點，進一步提出了高斯差分尺度空間（DOG scale-space），利用不同尺度的高斯差分核與圖像卷積生成，有

在DOG金字塔內(nèi)進行極值檢測.最后可以初步確定特征點的位置及所在尺度。為了尋找尺度空間的極值點，每一個采樣點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或小。

精確定位極值點的作用是消除低對比度極值點和不穩(wěn)定的邊緣響應點，獲得圖像局部特征點。通過擬和三維二次函數(shù)，以精確地確定關鍵點的位置和尺度（達到亞像素精度）；同時刪掉低對比度的關鍵點和不穩(wěn)定的邊緣響應點（因為DOG算子會產(chǎn)生較強的邊緣響應），以增強匹配穩(wěn)定性、提高抗噪聲能力。

對于選定的圖像局部特征點，利用特征點鄰域像素的梯度方向分布特性，為每個特征點指定其方向參數(shù)，使得SIFT算子具有旋轉(zhuǎn)不變性。

下式為（x，y）處梯度的模和方向公式，有式中，L所用的尺度為每個關鍵點各自所在的尺度。

以特征點為中心取8×8的窗口，在每4×4的小塊上計算8個方向的梯度方向累加值，繪制每個梯度方向的直方圖，即可形成一個種子點，每個種子點有8個方向的向量信息。Lowe建議對每個特征點使用4×4共16個種子點來描述，這樣對于一個特征點就可以產(chǎn)生128個數(shù)據(jù)，最終形成128維的SIFT特征向量。此時，SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特征向量的長度歸一化，則可以進一步去除光照變化的影響。

1.1.2 SIFT特征向量的匹配

當兩幅圖像的SIFT特征向量生成后，進一步采用關鍵點特征向量的歐式距離作為兩幅圖像中關鍵點的相似性判定度量。取圖像1中的某個關鍵點，并找出其與圖像2中歐式距離最近的前兩個關鍵點。Lowe采用的方法是使用歐氏距離作為特征點的相似性度量，特征點a、b間的歐氏距離Uab表示為式中，n為特征向量的維數(shù)。

為了排除因為圖像遮擋和背景混亂而產(chǎn)生的無匹配關系的特征點，Lowe提出通過比較最鄰近距離和次鄰近距離來消除錯配，有

式中，Umin為最鄰近距離，U1為次鄰近距離，當它們的比值小于距離比例閾值R時判定為正確匹配，否則為錯誤匹配。降低比例閾值R，會使SIFT匹配點數(shù)目減少，但更加穩(wěn)定。

1.1.3 SIFT算法的優(yōu)化

雖然SIFT特征匹配算法具有高度的魯棒性，但是需要大量的計算時間。為了提高特征可靠性和配準速度，在具體情況下，對SIFT算法做以下優(yōu)化。

1）SIFT算法的計算量主要耗費在建立尺度空間和生成特征向量，圖像越大，生成的特征向量越多。為此，在第一次完成標記物圖像和左右視頻圖像的匹配后，在后續(xù)的左右視頻圖像中，以標記物所在的上一幀圖像位置為中心，動態(tài)選取匹配區(qū)域來進行下一步的配準，然后再把所獲得的準確位置映射到原圖像中，所選動態(tài)區(qū)域的大小決定了視頻匹配的效率。

2）由于所需配準的標記物的圖片并不在復雜環(huán)境中，因此需在圖像配準過程中，進一步減小最鄰近和次鄰近距離的比值R，使配準更加穩(wěn)定、運行速度更快。

1.2 雙攝像機測量原理

物體P在雙攝像頭像平面空間中的成像關系如圖2所示。

依據(jù)上述分析，得到物體P在左像平面上的坐標（xPl，yPl，zPl），可以寫為

同理，物體P在右像平面上的坐標（xPr，yPr，zPr）可以寫為

圖1 平行雙目視覺原理Fig.1 Parallel binocular stereo vision schematic diagram

圖2 立體坐標Fig.2 Stereo coordinate system

式中，（xl，yl）和（xr，yr）分別為物體在兩個像平面上的坐標，可以分別由在兩副圖像中的像素坐標、通過已知的攝像機內(nèi)部參數(shù)計算得到（內(nèi)部參數(shù)通過雙攝像頭標定得到）。

依據(jù)式（5）和式（6），可以通過獲取目標點在兩幅圖像中的位置，在攝像機坐標系中標定目標點的三維坐標［11］。

1.3 雙攝像機立體標定

攝像機標定是通過所攝取的圖像，求解攝像機的內(nèi)外參數(shù)。攝像機的外部參數(shù)表示攝像機的位置和方位相對于一個實際坐標系的坐標變換，內(nèi)部參數(shù)表示攝像機的光學本質(zhì)特性。在本系統(tǒng)中，對攝像機的標定方案是先分別對兩個攝像機進行單個標定，再進行立體標定。單個攝像機的標定是分別求出它們的內(nèi)參數(shù)矩陣、畸變系數(shù)、旋轉(zhuǎn)矩陣R和平移向量T，前兩者構成了攝像機的內(nèi)參數(shù)，R和T構成了物體位置和方向的攝像機外參數(shù)。在立體標定中，利用旋轉(zhuǎn)矩陣R和平移向量T來聯(lián)系左右攝像機。對于給定物體坐標系中的任意3D點P，分別代入到左右攝像機的坐標系中，有

相應地，P點在兩臺攝像機的關聯(lián)關系為

式中，R和T分別為兩個攝像機之間的旋轉(zhuǎn)矩陣和平移向量。

聯(lián)立等式（7）和式（8），可以得到

即得到了兩臺攝像機之間的內(nèi)參數(shù)，可以用來幫助計算物體在空間中的位置。

2 實驗設計

2.1 雙攝像機跟蹤系統(tǒng)的設計

由上述分析可知，可以計算靜態(tài)狀況下選定標記物的三維坐標。如果要進行三維視覺跟蹤，則需要對時間序列的視頻圖像進行計算。為了實現(xiàn)上述功能，將整個工程細分成幾個模塊實現(xiàn)，包括系統(tǒng)初始化模塊、視頻圖像校準模塊、標記物圖像SIFT特征提取模塊、立體匹配模塊、三維坐標計算模塊和運動跟蹤實現(xiàn)模塊，具體流程如圖3所示。

圖3 標記物跟蹤處理流程Fig.3 Markers tracking process

1）初始化模塊。該模塊的主要功能是對攝像機進行立體標定，先分別獲取左右攝像機的內(nèi)外參數(shù)和畸變向量，再進行立體標定，計算得到兩攝像機之間的內(nèi)參數(shù)（R，T）。其中，單個攝像機的畸變系數(shù)輸入到視頻圖像校準模塊，對視頻圖像進行矯正，兩攝像機之間的內(nèi)參數(shù)（R，T）則用來計算三維坐標。具體方法是：兩臺攝像機同時獲取標定棋盤板的系列圖片（共15副7×8的棋盤板圖片），對于每張圖片，提取棋盤角點、內(nèi)參數(shù)和畸變系數(shù)的計算。

2）視頻圖像校準模塊。用標定的內(nèi)參數(shù)矩陣，對獲取的每一幀視頻圖像進行校準。具體過程是：先將原圖像乘以畸變系數(shù)，得到非畸變的圖像，再對其校正和裁剪成兩幅圖像相重疊區(qū)域的圖片。

3）標記物圖像SIFT特征提取模塊和立體匹配模塊。獲取標記物圖像和左右攝像機圖像匹配點。具體方法如下［12］：首先分別建立標記物圖像Image_object的SIFT特征點集合Sb，左攝像機圖像Image_left的SIFT特征點集合Sl和右攝像機圖像Image_right的SIFT特征點集合Sr。用集合Sb對集合Sl進行搜索，提取具有相同特征的元素，建立集合Sbl；同理，建立集合Sbr。

下面計算配準標記物的坐標。設空間匹配點集中元素總數(shù)為n，（xi，yi）為點集中的坐標，則該點集的中心坐標為

將中心坐標取整后作為標定點圖像坐標，分別記為（xl，yl）和（xr，yr）。

4）三維坐標計算模塊。依據(jù)本文1.2節(jié)所述的原理，結合已經(jīng)求得的（xl，yl）和（xr，yr），可以計算出物體三維坐標。

5）三維運動計算模塊。根據(jù)物理學中速度的定義，要實現(xiàn)對標記物的實際速度測量，需要獲得兩個信息量，一個是標記物的運動時間間隔Δt，另一個是在這段時間內(nèi)標記物的運動路程S。對于第k幀到第l幀的時間間隔tkl，可以通過計算目標運動期間所經(jīng)歷的視頻序列幀數(shù)和采集頻率得到，即tkl=|l-k|Δt。對于標記物的云動路程Skl，可以用空間歐氏幾何知識來計算，有

式中，（xk，yk，zk）為第k幀目標質(zhì)心的三維坐標。

標記物的平均運動速度為：

標記物在x、y、z軸方向的運動速度，則可以計算為

6）后續(xù)幀的配準圖像選擇。為了減少計算量、提高處理速度，在提取第一幀視頻圖像的SIFT特征后，其后續(xù)的圖像的配準采用以下方式：以前一幀圖片中計算出的標記物的坐標（xl，yl）為中心，選定一個配準區(qū)域圖像imge_block進行匹配，依據(jù)人體腹部隨呼吸運動的狀況和所采用的視頻采集頻率，選定配準區(qū)域為

式中，（vx，vy）為上一幀所計算出來的標記物的運動速度，t為視頻的采樣周期，（x，y）為上一幀中標記物的坐標，w為標記物圖像的寬；系數(shù)1.5是為了提高匹配的準確性，如果過大會增大所選圖像的配準區(qū)域，降低效率，過小則有可能丟失標記物圖像，導致匹配失敗。

如此循環(huán)執(zhí)行，如果標記物丟失，則再到第3步重新執(zhí)行。

2.2 實驗實施方法

實驗的硬件由2個平行并排置于治療床上方的攝像頭和1臺PC組成，PC的配置為4GB RAM，2.66 GHz*4 CPU，Nvidia Geforce 9800 GT顯卡。為了方便實驗進行，作者基于C++平臺開發(fā)了一套實驗軟件系統(tǒng)，用來完成視頻圖像采集、攝像機標定、標記物的匹配和三維運動計算等工作，最后將標記物的運動結果動態(tài)地顯示出來（攝像機的采樣頻率為15Hz）。依據(jù)文中第2.1節(jié)所述的工作流程，軟件系統(tǒng)先采集標定棋盤圖片，完成立體標定。如圖4中的窗口所示，選定一個條形碼作為標記物，將其固定于一個平躺人的腹部。在圖4中，條形碼實際位置的邊界由系統(tǒng)自動實時界定。

3 結果

根據(jù)實驗記錄，前15幀的數(shù)據(jù)如表1所示，表中記錄了每一幀圖像中提取的SIFT特征點的個數(shù)和時間，以及標記物（條形碼）在各幀圖像中的二維坐標（x，y），三維坐標（x，y，z）為實時計算出的標記物在三維空間中的具體坐標。其中，左右圖像中坐標的單位為標記物在圖像中的像素點位置。

4 討論

4.1 時間與匹配準確性

從表1中可以發(fā)現(xiàn)，在提取第一幀左右圖像的SIFT特征向量時，在預設的條件下，左右圖像的特征個數(shù)分別為590和610，耗費時間分別達到了350.56和430.36ms；如果再加上匹配和坐標計算時間，完成第一幀圖像的三維坐標的計算將接近1s，遠不能滿足實時性。但是，在第二幀以后，由于采用了文中第2.1節(jié)6）所述的優(yōu)化方法，在左右圖像中提取的SIFT特征數(shù)分別為35和30，耗費時間分別降為13.01和14.12ms，加上匹配和坐標計算時間，每一幀的處理時間可以在50ms內(nèi)完成。在試驗中還發(fā)現(xiàn)，當標記物隨腹部表面運動時會發(fā)生旋轉(zhuǎn)，角度變換和小部分遮擋導致左右圖像中的特征向量數(shù)目（13）小于標記物圖像特征向量數(shù)（25），但系統(tǒng)依然能夠標記出標記物在圖像中的位置，說明采用此方法的準確性能夠滿足試驗的設計要求。

圖1 腹部標記物跟蹤。（a）左攝像頭；（b）右攝像頭Fig.1 Abdominal markers tracking figure.（a）the picture from the left camera；（b）the picture from the right camera

表1 實驗數(shù)據(jù)Tab.1 Experimental data

Alper Yilmaz指出，基于圖像的目標跟蹤存在一些復雜因素，主要在于以下幾個方面［13］：由2D圖像投射到3D圖像過程中信息丟失、圖像噪聲、目標的復雜運動、目標的部分遮擋、復雜的目標形狀、光照變化和實時性的要求。在本實驗中，先分別匹配出2D圖像中目標的坐標位置，避免了圖像直接投射到3D場景中再計算三維坐標而導致的信息丟失。由于采用SIFT算法作為配準的方法，能很好地解決圖像的光照和仿射變換等問題。上述的實驗結果也表明，系統(tǒng)能夠解決目標發(fā)生部分遮擋、旋轉(zhuǎn)和角度變換的情況。

4.2 測量精度

將各軸向的坐標變化在時間（幀數(shù)）軸上表示出來，可得到如圖5所示的運動時間曲線。三維坐標中x表示標記物的左右運動方向，如曲線（a）所示；y表示標記物在人體頭腳方向運動的情況，如曲線（b）所示；z表示標記物的運動深度方向，即為標記物隨腹部上下運動的情況，如曲線（c）所示。

圖5 位置-幀數(shù)（時間）跟蹤曲線。（a）對應于x軸，人體左右方向；（b）對應于y軸，人體的頭腳方向；（c）對應于z軸，腹部的上下運動方向Fig.5 The Position-Time curve of the tracking.（a）xcoordinate axis for the left and right direction of the body；（b）y coordinate axis for the head and foot direction of the body；（c）z coordinate axis for the up and down direction of the abdomen

由圖5可見，此呼吸周期約為3.5s，標記物的運動范圍分別為前后0.34cm、左右0.25cm、上下1.43cm，與實際監(jiān)測值的上下運動距離1.60cm的差為0.17cm。由于標記物放置于腹部表面，所以位移變化主要集中在z軸方向，符合人體腹部隨呼吸運動變化的規(guī)律。

計算中的誤差主要來源于以下方面：一是攝像機的內(nèi)部參數(shù)和實際的誤差，雖然攝像機系統(tǒng)經(jīng)過立體標定，但是標定板尺寸和兩攝像間的固定距離存在一定的誤差；二是攝像機自身的像素限制。

4.3 多點跟蹤與呼吸運動模型

前面所討論的是基于單點跟蹤呼吸運動的模型，但在實際的放療過程中，位于胸腹部的不同位置、具有不同的體積大小、處于不同分期的腫瘤有著不同的運動模式，單獨考慮體表標記點的呼吸運動情況，將其等效于腫瘤靶區(qū)的呼吸運動情況有一定的誤差性。因此，在下一步的工作中，要對單點跟蹤模型進行改進，擬采用多點跟蹤呼吸運動跟蹤法，并結合4DCT圖像，為個體構建腹部標記物-腫瘤相關性模型。在實際應用過程中，將建立的腫瘤靶區(qū)實時運動軌跡輸入到反饋跟蹤系統(tǒng)中，對治療過程中的腫瘤靶區(qū)運動進行逆向補償，以期得到更好的胸腹部腫瘤放射治療效果。

5 結論

本研究采用提取動態(tài)范圍圖像和標記物圖像的SIFT特征進行匹配的方法，實現(xiàn)了雙目視覺的三維跟蹤。試驗結果表明，通過上述方法測得的標記物三維運動軌跡精確度高、實時性好，并且具有良好的穩(wěn)定性。該方法是對腹部表面單點進行運動跟蹤，如果要建立整個腹部表面的運動模型，則還需要對腹部多特征的運動進行跟蹤分析。同時，該方法僅僅是對位于腹部表面的標記物跟蹤，在實際臨床應用中，還需要研究胸腹部腫瘤靶區(qū)與標記物之間的對應關系，這一點還需要做很多的工作。

［1］Karger C，J kel O，Debus J，et al.Three-dimensional accuracy and interfractional reproducibility of patient fixation and positioning using a stereotactic head mask system［J］.International Journal of Radiation Oncology Biology Physics，2001，49（5）：1493-1504.

［2］Wu Huanmei，Sharp G，Zhao Qingya，et al.Statistical analysis and correlation discovery of tumor respiratory motion［J］.Physics in Medicine and Biology，2007，52：4761-4774.

［3］張丹丹，張紅志，韓偉，等.呼吸運動對肺部腫瘤靶區(qū)受照劑量分布影響的研究［J］.中華放射腫瘤學雜志，2009，（003）：191-196.

［4］Minohara S，Kanai T，Endo M，et al.Respiratory gated irradiation system for heavy-ion radiotherapy［J］.International Journal of Radiation Oncology Biology Physics.2000，47（4）：1097-1103.

［5］Berbeco RI，Jiang Steve B，Sharp GC，et al.Integrated radiotherapy imaging system（IRIS）：design considerations of tumourtracking with linacgantry-mounted diagnosticx-ray systems with flat-panel detectors［J］.Phys Med Biol，2004，49（2）：243-255.

［6］Chang S，Main W，Martin D，Gibbs I，et al.An analysis of the accuracy of the CyberKnife：a robotic frameless stereotactic radiosurgical system［J］.Neurosurgery，2003，52（1）：140-147.

［7］Weiss E，Wijesooriya K，Dill S，et al.Tumor and normal tissue motion in the thorax during respiration：Analysis of volumetric and positional variations using 4D CT［J］.International Journal of Radiation Oncology，Biology and Physics，2007，67（1）：296-307.

［8］Mikolajczyk K，Leibe B，Schiele B.Local features for object class recognition［J］.Tenth Ieee International Conference on Computer Vision，Vols 1 and 2，Proceedings，2005：1792-1799.

［9］Lowe DG.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91-110.

［10］Babaud J，Witkin AP，Baudin M，et al.Uniqueness of the Gaussian Kernel for Scale-Space Filtering［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8（1）：26-33.

［11］吳福朝.計算機視覺中的數(shù)學方法［M］.北京：科學出版社，2008：94-98.

［12］孟浩，程康.基于SIFT特征點的雙目視覺定位［J］.哈爾濱工程大學學報，2009，（006）：649-652.

［13］Yilmaz A，Javed O，Shah M.Object tracking：A survey［J］.Acm Computing Surveys.2006，38（4）：Article No.13.