周嘉悅，韓少峰，鄭昱，吳壯志，梁慶豐，楊洋

1 北京航空航天大學 機械工程及自動化學院，北京市，100191

2 北京航空航天大學 計算機科學與技術學院，北京市，100191

3 北京同仁醫(yī)院，北京市，100062

0 引言

眼底是眼球內后節(jié)組織，包括視網膜、視乳頭、黃斑和視網膜中央動靜脈，眼底如圖1所示。人眼球的橫徑約為24 mm，眼球纖維膜的后5/6部分為鞏膜。視網膜血管以視乳頭為中心，呈網狀分布在視網膜上。通過選取樣本進行放大測量可以得知視網膜血管的動脈直徑約為193.0～203.7 μm，靜脈血管直徑約為249.5～263.4 μm[1]。普通的眼底影像技術如眼底照相機無法獲得眼底參數的三維信息，影響疾病的診斷、治療和手術定位。

圖1 眼底示意圖Fig.1 Fundus diagram

手術操作點定位是眼科顯微手術機器人研究中的重要研究方向[2]，在視網膜血管搭橋[3]、視網膜血管光凝以及視網膜血管注藥等手術中，都需要定位手術器械刺入目標位置（視網膜血管根部、視網膜血管堵塞處、視網膜血管出血點等），并以此為反饋控制機器人運動。目前，手術器械定位依賴醫(yī)生的肉眼觀察?？紤]到人類醫(yī)生的尺度感知能力有限、微尺度的視網膜血管難以精準定位，肉眼觀察定位的方式易造成手術誤操作，引起器官損傷。因此，需要精確地獲取視網膜血管上的刺入點和血管的脈絡走向，為醫(yī)生或機器人提供精準的手術操作點位置信息。雙目視覺技術，通過識別目標點的三維坐標等信息，可對目標點進行精確定位，具有應用于眼科手術中的可能。因此，該文中采用雙目視覺進行視網膜血管三維重建。

目前，雙目立體視覺的研究多側重于宏觀尺度物體的定位和重建，對小尺度物體重建的研究以及在醫(yī)學方面的應用相對較少。天津大學的高禮圳等[4]使用“距離空間圖”匹配算法，在3幅圖像上建立匹配關系，誤差為1～3 mm。長春理工大學的馮進良等[5]使用雙目視覺系統(tǒng)監(jiān)控焊點位置，精度可達0.68 mm。日本研究人員開發(fā)出能在手術過程中透視體內淋巴結、血管等組織的手術“導航”系統(tǒng)，在手術中可借助彩色圖像清晰地觀察到上述組織的狀態(tài)[6]。上海理工大學的喻海中等[7]利用雙目視覺原理獲取了醫(yī)療器械的3D數據，與實際測量出的數據相比精度更高，可用于模擬手術和手術導航。

本研究首先搭建雙目視覺系統(tǒng)，并對攝像機進行標定，之后獲取視網膜血管模型的雙目圖像并校正為共面平行的兩平面圖像。對圖像進行濾波提取分割出視網膜血管，去除背景，減小誤匹配產生的誤差，最后利用雙目視覺中的視差原理得到視網膜血管的點云圖，并進行誤差分析。

1 問題描述

為驗證雙目視覺測量出點的坐標的準確性，采用Solidworks繪制眼球模型作為測量參考，通過對Solidworks中測量出目標點的三維坐標與雙目視覺測量出的三維坐標進行對比，驗證三維模型的準確性。在Solidworks中繪制的眼球模型，直徑38 mm，深度26 mm，內部刻有寬度和深度均為1 mm的凹槽用來模擬視網膜血管。視網膜血管模型，如圖2所示。

圖2 Solidworks中繪制的視網膜血管模型Fig.2 Retinal vessel model in Solidworks

雙目立體成像原理如圖3所示，基線距離B表示兩攝像機的投影中心連線的距離，攝像機在同一時間觀察同一點P，分別獲取了左圖像和右圖像上的點P的坐標Pl=(Xl,Yl)；Pr=(Xr,Yr)。經過立體校正后的圖像位于同一平面上，故Yl=Yr=Y。視差D=Xl-Xr，由幾何關系可得點P在攝像機坐標系下的三維坐標如式(1)～(3)所示：

圖3 雙目立體視覺三維重建原理Fig.3 Principle of 3D-reconstruction

2 眼底血管的雙目重建

2.1 雙目視覺系統(tǒng)搭建

實驗中使用的相機為大恒工業(yè)USB3.0工業(yè)相機MER-500-14U-3C，分辨率為2 592×1 944。雙目視覺系統(tǒng)如圖4所示。

圖4 雙目視覺系統(tǒng)Fig.4 Binocular vision system

攝像機鏡頭選用computar鏡頭，鏡頭焦距為12～36 mm，最大成像尺寸8.8 mm×6.6 mm，芯片尺寸H×V=4.8 mm×3.6 mm。通過式(4)可以計算出鏡頭的實際焦距為13.7 mm。

式(4)中，f表示鏡頭焦距，W表示物距，F表示視場大小，H×V表示芯片尺寸。對于雙目視覺系統(tǒng)，改變參數(如基線長度、物距等)可以減小測量誤差，提高系統(tǒng)的精度，雙目視覺系統(tǒng)在x、y、z三個方向的理論分辨率如式(5)～(7)所示。

其中，h表示物距，f表示焦距，b表示相機光心距離又稱基線距離，△d表示像素精度。雙目視覺系統(tǒng)在x、y、z方向上的分辨率與物距和焦距有關，在z方向上的分辨率還與基線的長度有關。由于模型尺寸較小，所以在進行雙目立體視覺平臺搭建時，需要盡可能保證精度?？紤]到工作距離和拍攝視野的要求，盡量減小物距，增大基線距離。

為了滿足攝像機公共視野的要求，選擇基線距離為68 mm，物距約為500 mm，攝像機精度為0.001 85 mm，根據式(5)～(7)可以求出該雙目視覺系統(tǒng)在x、y方向上的理論分辨率為0.06 mm，在z方向的理論分辨率為0.49 mm。

2.2 攝像機標定

本研究采用“張正友標定法”[8]對攝像機進行標定，成像模型如式(8)所示。

式(8)中，k代表比例因子，K為攝像機坐標系的內參矩陣，[X Y Z1]T為模板平面上點的齊次坐標，[u v1]T為模板平面上點投影到圖像平面上對應點的齊次坐標，如圖5所示。R和T分別是攝像機坐標系相對世界坐標系的旋轉矩陣和平移矢量。

圖5 平面標定算法原理圖Fig.5 Zhang's calibration algorithm

由于攝像機內參矩陣中有5個未知參數，所以當所取得的圖像數目大于等于3時，可線性唯一求解出K。

相機標定時采用棋盤格靶標，精度為0.001 mm，棋盤格為邊長2.6 mm的正方形。使用雙目攝像機對靶標拍攝圖片各15張。將拍攝的圖片導入Matlab中進行標定，得到標定結果如表1和表2所示。通過標定得到重投影誤差為0.5個像素，約為0.03 mm。

2.3 立體校正

圖6中P點為空間中某一點的位置，Ol，Or分別為左右攝像機光心，Pl，Pr分別為P點在左右圖像上的成像點。gl，gr分別為左右極線。需要通過立體校正將實際中共面行不對準的兩幅圖像如圖6(a)，校正為共面行對準的兩幅圖像如圖6(b)。

表1 相機內部參數Tab.1 Camera internal references

表2 左右相機相對位姿Tab.2 Relative pose of two cameras

圖6 立體校正過程Fig.6 Rectify process

理想的雙目系統(tǒng)中兩攝像機圖像平面平行，光軸和圖像平面垂直，極點處于無窮遠處。要滿足這個條件，必須使兩幅圖像平面和兩個攝像機坐標原點的連線平行。計算Rrect矩陣如式(9)所示，使極點處于無窮遠處。

式(10)中，T是右攝像機相對于左攝像機的平移向量。e1和e2正交，求出e2如式(11)所示。

e3和e1、e2正交，如式(12)所示。

可以解出矩陣Rrect。將Rrect左乘到R分解后作用于左右相機坐標系的矩陣，即可得到最終的立體校正矩陣。

根據Solidworks繪制的視網膜模型，通過3D打印將其打印為實物，拍攝實物圖片，利用上文標定出的數據對其進行立體校正，對該模型拍攝的兩張圖片如圖7所示，能夠清楚地看到血管的分布。

圖7 視網膜血管模型圖片Fig.7 Retinal vessel model images

校正后得到共面平行的兩張圖片如圖8所示。

圖8 視網膜血管模型校正后圖像Fig.8 Rectified retinal vessel model image

2.4 圖像分割

與傳統(tǒng)的直接進行立體匹配的方法[9]不同，本研究采用先將血管進行分割，再進行匹配的方法，消除了周圍背景區(qū)域對匹配的影響，只留下視網膜血管進行后續(xù)的立體匹配和三維重建，使重建后的視差圖更加清晰完整。

采用對比度受限的自適應直方圖均衡算法（CLAHE）[10]對圖像進行處理，這種方法采用直方圖匹配方法來逐個處理圖像中的較小區(qū)域，然后使用雙線性內插方法將相鄰的小片組合起來，從而消除引入的邊界。在灰度均勻的區(qū)域，通過限制對比度來避免放大噪聲。

對CLAHE后的圖像進行均值濾波，然后求取均值濾波后的圖像與原圖的差值，再進行二值化，分割出視網膜血管輪廓。

分割出來的視網膜血管圖像是二值的，用其作為掩膜應用于視網膜血管灰度圖像中，即可分割出去除背景的視網膜血管灰度分布圖，如圖9所示。

圖9 視網膜血管分割過程Fig.9 Retinal vessel segment

2.5 雙目立體匹配

立體匹配的目的是找到左右圖像的對應點，需要在一定的范圍內進行搜索。由于本研究中只需要對視網膜血管上的點進行匹配，所以采用基于局部的立體匹配算法能夠更好地對圖像上的感興趣區(qū)域進行匹配。參考圖像的坐標(u，v)和視差搜索范圍d就構成了視差圖。視差圖中的每一點(u，v，d)的像素表示的是位于參考圖像上的點(u，v)和位于匹配圖像上的點(u+d，v)之間的“距離”。SAD算法[11]是一種基于局部的圖像匹配算法，常用于圖像塊匹配，原理如式(13)所示。

計算機實驗教學中心建設要考慮安全化和節(jié)約化。中心建設要牢固樹立“安全第一，預防為主”和“安全無小事”的理念，堅決克服麻痹懈怠思想，認真做好安全防范工作，明確安全責任人，確保安全。實驗中心建設要做好五防：防火、防水、防雷、防盜、防病。

SAD算法的基本流程如下：

（1）構造一個類似卷積核的小窗口；

（2）用窗口覆蓋左邊圖像，選出覆蓋區(qū)域的像素點；

（3）用窗口覆蓋右邊圖像并選出覆蓋區(qū)域像素點；

（4）求出左右區(qū)域像素點差的絕對值之和；

（5）移動右邊圖像上的窗口，重復(3)、(4)，直到找出差值最小的窗口，即找到了與左圖匹配的像素塊。

直接對原圖像進行匹配，背景區(qū)域會對視網膜血管上的點的匹配造成影響，因此本研究先將視網膜血管分割，再進行匹配，兩種匹配方式得到的視差圖，如圖10所示。

圖10 視網膜血管視差圖Fig.10 Disparity map of retinal vessel

從圖10(b)中可以清晰地看出血管的分布和走向，說明先對血管進行分割去除背景后再進行匹配能夠達到更好的匹配效果。

3 結果與誤差分析

采用第1節(jié)中的雙目視覺三維重建原理可以求出視網膜血管上每點的三維坐標，在Matlab中繪制出視網膜血管的三維點云圖像如圖11所示。

圖11 三維重建出的點云圖像Fig.11 Point cloud of 3D reconstruction

任取視網膜模型圖像上的7個血管交叉點來對實驗結果準確性進行驗證，如圖12所示。

圖12 7個目標點圖像Fig.12 7 target points in image

由于測量目標點實際的三維坐標較為困難，文中將通過每個點的相對位置來對誤差進行估計。

提取出每個點的像素坐標，并通過雙目視覺三維重建算法即式(1)～(3)計算出每個點的三維坐標，將其稱為點集A，其中每個點的三維坐標如表3所示。將模型在Solidworks坐標系中的三維坐標稱為點集B，其中每個點的三維坐標如表4所示。尋找點集B相對點集A的旋轉矩陣R和平移矩陣T，使得點集B旋轉平移后與點集A之間的誤差最小。求解出中心點，將點集中心化后計算點集之間的協(xié)方差矩陣，通過奇異值分解(SVD)可求解出R、T。

式(14)、(15)中，μA、μB是兩個點集的中心點，H是兩個點集之間的協(xié)方差矩陣。最終得到R、T如式(16)、(17)所示。

將點集B旋轉平移前后與點集A的相對位置如圖13所示。

計算出每兩個對應點之間的誤差和7個點的平均誤差如表5所示。

表3 所取7個目標點通過雙目視覺系統(tǒng)求出的三維坐標Tab.3 The coordinates of seven selected target points obtained by binocular vision system

表4 所取7個目標點通過Solidworks測量出的三維坐標Tab.4 The coordinates of seven selected target points measured with Solidworks

表5 兩個點集之間的誤差Tab.5 The error between 2 sets of points

從表5中可以看出，平均誤差為0.68 mm，產生誤差的原因是相機精度有限、相機標定過程中產生的重投影誤差和拍照時光線和角度的影響以及3D打印的誤差。可以通過選擇精度更高，視野更廣的相機、增加標定精度和改善圖片質量來進一步提高測量精度。

圖13 兩坐標系下的點集配準Fig.13 Point registration between two coordinates

4 結論

本研究采用視網膜模型以及雙目視覺系統(tǒng)對眼底視網膜血管進行圖像處理，通過先分割后匹配的方法得到完整的視差圖以進行三維重建，得到眼底視網膜血管點云圖，對于血管上的任意一點，能較為精確地求出其三維坐標，控制誤差在1 mm之內，基本滿足對視網膜血管上任意一點進行定位的要求。本方法可對小尺度的視網膜血管模型進行三維重建，并獲得定位點的坐標，后續(xù)的研究中，將使用真實眼底視網膜血管進行實驗，從而實現對真實眼底視網膜血管的三維重建。