郭俊廣 谷飛飛 葉于平 宋 展,3*

1(中國科學院深圳先進技術(shù)研究院 深圳 518055)

2(中國科學院大學 北京 100039)

3(粵港澳人機智能協(xié)同系統(tǒng)聯(lián)合實驗室 深圳 518055)

1 引 言

內(nèi)窺鏡是一種集傳統(tǒng)光學、人體工程學、精密器械、現(xiàn)代電子、數(shù)學和軟件為一體的新型無損檢測儀器[1]，可以擴大視距和視野，提高觀察分辨率。內(nèi)窺鏡由于可以在受限的空間(如人體)及高溫、高壓、有毒有害的環(huán)境中工作，所以在醫(yī)療診斷和工業(yè)檢測中成為非常重要的成像工具[2]。在工業(yè)領域，內(nèi)窺鏡在發(fā)動機、齒輪箱等機械不拆卸的情況下，就可以準確、清晰地檢測其內(nèi)部情況；在醫(yī)療領域，醫(yī)生可以通過內(nèi)窺鏡對病人病患處進行檢查，也可以將電子內(nèi)窺鏡作為圖像采集設備來輔助微創(chuàng)手術(shù)。隨著三維測量技術(shù)的不斷發(fā)展，三維測量與三維重建在工業(yè)和醫(yī)療領域有著越來越重要的意義[3]，三維測量內(nèi)窺鏡成為了一個熱門研究課題[4]。2006 年，Hayashibe等人研究了一種基于激光掃描三維技術(shù)的內(nèi)窺鏡系統(tǒng)[5]，實現(xiàn)了內(nèi)窺鏡的立體成像；2015 年，Yang 等人提出了一種融合三維超聲波掃描技術(shù)的內(nèi)窺鏡手術(shù)跟蹤系統(tǒng)[6]，將超聲構(gòu)造的場景幾何與內(nèi)窺鏡視覺結(jié)合，解決了尺度模糊和特征點不足的問題；2016 年，F(xiàn)urukawa 等人設計了一種內(nèi)置衍射光學元件(DOE)投影儀的內(nèi)窺鏡[7]，并提出了一種基于網(wǎng)格線的網(wǎng)格模式與間隙編碼，成功地重建了人體的軟組織形狀；2017 年，周亭亭提出了基于散斑結(jié)構(gòu)光的雙目電子內(nèi)窺鏡技術(shù)[8]，針對腹腔弱紋理真實場景，解決了被測物體表面弱紋理導致誤匹配問題，并實現(xiàn)了較高分辨率的測量精度。

目前，美國和日本對內(nèi)窺鏡的研究在全球處于領先地位，美國韋林公司的 Mentor Visual iQTM系列[9]內(nèi)窺鏡產(chǎn)品和日本奧林巴斯公司的 EVIS LUCERA ELITE 電子內(nèi)窺鏡系統(tǒng)[10]，基本壟斷了國內(nèi)外電子內(nèi)窺鏡的高端市場。這些產(chǎn)品都具有測量長度、深度、周長和面積的功能，但不具備稠密重建的能力，且產(chǎn)品價格不菲，售后服務費用高昂。以上海澳華內(nèi)鏡股份有限公司和北京愛迪泰克科技有限公司等為代表的國內(nèi)企業(yè)，其內(nèi)窺鏡直徑可以做到 1～10 mm，但不具備立體重建測量功能。2019 年，沈陽沈大內(nèi)窺鏡有限公司和北京德朗檢視科技有限公司分別推出了一款具有三維測量功能的內(nèi)窺鏡產(chǎn)品，其探頭外徑分別為 6 mm 和 8 mm，與國際高端三維內(nèi)窺鏡相比，探頭尺寸偏大，一定程度上限制了應用場景。因此，研發(fā)一款小尺寸且具備三維重建功能的電子內(nèi)窺鏡具有重要意義。

本文提出一種小尺寸探頭(探頭直徑為3.9 mm)，其包含兩個分辨率為 640×360(23 萬)像素的 CMOS 攝像機，基于散斑結(jié)構(gòu)光的高精度 3D 內(nèi)窺鏡系統(tǒng)。該內(nèi)窺鏡探頭可以進入狹小空間觀測目標物體，滿足大部分應用場景。由于雙目內(nèi)窺鏡的基線較窄(基線為 3.5 mm)，使用光學微型孔徑鏡頭會使拍攝出來的圖片存在大畸變、清晰度不足等不利情況。為此，本文提出一種雙目標定參數(shù)優(yōu)化方法，來降低圖片畸變的影響，提高了雙目內(nèi)窺鏡的標定精度；針對左右像素的匹配精度直接影響內(nèi)窺鏡測量精度的問題，本文提出一種沿著左右相機坐標軸分別旋轉(zhuǎn)兩次的極線校正算法，可以實現(xiàn)左右圖像共面行對準，進而達到像素的精確匹配；針對實際場景中的弱紋理或無紋理區(qū)域，本文提出了基于散斑結(jié)構(gòu)光的半全局立體匹配方法，即將散斑圖案投射到目標物體表面來增加特征信息后，利用半全局立體匹配算法獲取所拍攝圖像的視差圖，并通過三角測量原理獲取三維點云數(shù)據(jù)，實現(xiàn)三維重建。

2 系統(tǒng)工作原理

本文采用基于散斑結(jié)構(gòu)光的雙目內(nèi)窺鏡系統(tǒng)，其硬件主要包括散斑照明系統(tǒng)和雙目內(nèi)窺鏡系統(tǒng)。其中，散斑照明系統(tǒng)采用的投影儀是安華公司生產(chǎn)的 M8M-NIR 投射模組，顯示芯片為DLP4500NIR，物理分辨率為 912×1 140，最大投射頻率為 4 225 fps；雙目攝像頭所使用的圖像傳感器為 OmniVision 公司的 OVM9724 圖像傳感器，有 GND、VDD、P－(負極信號線)、D＋(正極信號線)4 個引腳，光學尺寸為 1/9 in，分辨率為 640×360，幀率最高為 30 fps，內(nèi)窺鏡探頭直徑為 3.9 mm，相應基線為 3.5 mm，探頭的兩個攝像頭旁各有一個發(fā)光二極管作為冷光源進行照明。使用過程中，散斑照明系統(tǒng)首先將散斑圖案投射到待測目標物體表面，然后對雙目內(nèi)窺鏡拍攝帶有散斑圖案的圖片進行處理。

采用散斑結(jié)構(gòu)光技術(shù)進行雙目三維重建的步驟包括：雙目相機標定、極線校正、立體匹配和三維重建。其中，立體標定、極線校正和立體匹配準確性會影響三維重建精度，且高精度的立體標定和極線校正是實現(xiàn)雙目左右圖像特征匹配的前提。因此，本文著重研究高精度的雙目標定算法和極線校正算法。雙目內(nèi)窺鏡系統(tǒng)示意圖如圖 1所示。系統(tǒng)算法流程主要分為以下 4 個步驟：

圖1 系統(tǒng)示意圖Fig. 1 System diagram

(1)系統(tǒng)標定，通過對雙目內(nèi)窺鏡系統(tǒng)進行立體標定，得到左右攝像頭各自的內(nèi)參數(shù)和兩者之間的外參數(shù)；

(2)非線性標定優(yōu)化，將(1)中得到的立體標定參數(shù)作為初始值，在傳統(tǒng)方法所定義的重投影誤差目標函數(shù)基礎上，增加定義平面度、距離、角度 3 個度量誤差函數(shù)，通過構(gòu)建多目標非線性優(yōu)化函數(shù)，求解雙目系統(tǒng)的最優(yōu)標定參數(shù)；

(3)極線校正，為了提升立體匹配的速度和準確率，提出一種沿著左右相機坐標軸分別旋轉(zhuǎn)兩次的極線校正方法；

(4)立體匹配和三維重建，根據(jù)(1)～(3)得到最優(yōu)的雙目內(nèi)窺鏡內(nèi)部和外部參數(shù)，沿著校正后的極線進行特征匹配，利用三角測量原理重建目標物體的三維信息。

2.1 系統(tǒng)標定

圖2 雙目成像幾何模型Fig. 2 Geomagic model of binocular imaging

由于相機鏡頭的制作、安裝等工藝問題會導致圖像發(fā)生畸變，所以需在雙目成像幾何模型中加入非線性畸變校正項，鏡頭畸變校正公式如公式(2)所示：

其中，xd,yd為畸變的位置；r2為畸變位置到畸變中心徑向距離的平方；k1,k2,k3為徑向畸變系數(shù)；p1,p2為切向畸變系數(shù)；xp,xp為畸變校正后的新位置。如果有n幅標定圖像，每幅標定圖像上可以提取m個特征點，那么加入畸變系數(shù)后，使用 LM(Levenberg-Maquardt)優(yōu)化算法[14]對包含所有參數(shù)的目標函數(shù)進行優(yōu)化求解，最終得到優(yōu)化的相機參數(shù)。以左相機為例，構(gòu)造的非線性目標函數(shù)如公式(3)所示：

其中， 為左相機拍攝第i幅圖像中的第j個特征角點的像素坐標； 為左相機的鏡頭畸變系數(shù)， , 為左相機所拍攝的第i幅圖像的相機坐標系對應于世界坐標系之間的旋轉(zhuǎn)矩陣和平移向量；為第i幅圖像中空間坐標點Mj在圖像上的重投影。右相機的標定方法與之相同，標定后可以分別得到內(nèi)部參數(shù)AR和外部參數(shù)RR,TR。

聯(lián)立左右相機標定后的內(nèi)部參數(shù)及相對于世界坐標系的外部參數(shù)，求得左右相機之間的旋轉(zhuǎn)平移關(guān)系，以左相機坐標系為參考坐標系，雙目系統(tǒng)的旋轉(zhuǎn)矩陣R和平移向量T表述如下：

該標定方法通過最小化參考點的二維重投影誤差來優(yōu)化標定結(jié)果，但最小重投影誤差并不等于最小重建誤差[15]，因為雙目內(nèi)窺鏡的基線窄，立體像對視差小[16]，標定的微小誤差就會引起很大的重建誤差。為了提高三維重建精度，在 Nie 等人提出的針對單目結(jié)構(gòu)光系統(tǒng)的標定優(yōu)化算法[17]的基礎上，本文研究了一種基于三維的標定優(yōu)化方法。該方法將基于雙目內(nèi)窺鏡系統(tǒng)的所有標定參數(shù)作為全局優(yōu)化問題來處理：將初始標定的結(jié)果作為初值，通過構(gòu)造一些目標函數(shù)，達到最小化三維測量誤差、實現(xiàn)最優(yōu)標定結(jié)果的目的。

2.2 標定優(yōu)化

為了保證物體的平整度，采用一種反射率均勻的平面棋盤格玻璃板進行優(yōu)化，如圖 3 所示。平面棋盤格玻璃板上標記點之間的距離L非常精確，其以基準面為基礎，定義了平面度誤差、距離誤差和角度誤差 3 種三維測量誤差準則。將雙目內(nèi)窺鏡系統(tǒng)通過第 2.1 節(jié)得到的所有標定參數(shù)作為變量，可以建立一個多目標非線性優(yōu)化問題，以初始標定結(jié)果作為初始值，求解出三維測量誤差最小的最佳標定參數(shù)，標定優(yōu)化工作流程圖如圖 4 所示。

系統(tǒng)根據(jù)棋盤格亞像素角點檢測算法[18]，首先提取棋盤格玻璃板上的亞像素角點坐標，獲得一組圖像點(cp)，同理，根據(jù)亞像素精度檢測算法得到圖 3 上所標注的標記點cm；然后根據(jù)初始標定參數(shù)和雙目三維重建算法[19]，cp和cm的三維坐標可以表示為Cp和Cm；最后在三維重建點Cp和Cm的基礎上，通過構(gòu)造 3 個度量誤差目標函數(shù)，構(gòu)造出多目標優(yōu)化問題，用于精確地估計系統(tǒng)標定參數(shù)。3 個目標函數(shù)定義如下：

圖3 用于系統(tǒng)參數(shù)優(yōu)化的棋盤格玻璃板Fig. 3 Illustration of checkboard glass plate used for system parameters optimization

(1)平面度誤差：將用于重建的參考平面看作是一個完美的平面，即在不考慮標定誤差和重建誤差的情況下，Cp的平面度誤差為 0。在此基礎上，提出了最小二乘擬合法[20]，假設參考平面提取角點的數(shù)目為N，第i個點到擬合平面的距離為gi，則平面度誤差Dp可以表示為：

(2)距離誤差：對于每個標記點 ，它與所有相鄰標記點在水平和垂直方向上的平面距離表示為lj，參考平面有 4 個角，那么，距離誤差函數(shù)Dd可以表示為：

其中，L為參考平面相鄰兩個標記點之間的長度。

(3)角度誤差：平面度誤差和距離誤差仍然不足以保證很好的重構(gòu)參考面，考慮到仿射變換可能是由于初始標定參數(shù)不準確引起的，因此，構(gòu)造一個目標誤差函數(shù)來評價標記點(圖 4 已標出)之間的角度。對于每個標記點 ，通過相鄰的標記點連接起來，可以計算角度θj。θ的理論參考值為 90°，那么，角度誤差函數(shù)Dθ可以表示為：

圖4 標定參數(shù)優(yōu)化流程圖Fig. 4 Flow chart of the calibration parameters optimization

綜上所述，共需優(yōu)化 30 個參數(shù)，包含 8 個內(nèi)參數(shù)(左右相機各 4 個)，12 個外參數(shù)(左右相機之間旋轉(zhuǎn)矩陣R中有 9 個，平移向量T中有 3 個)和 10 個鏡頭畸變參數(shù)(左右相機各有 5個)。若在優(yōu)化過程中不考慮相機傳感器的傾斜因子 ，那么所有需要優(yōu)化的參數(shù)用向量Q表示為：

通過常規(guī)的標定程序[21-23]得到的初始值Q0，可建立一個多目標優(yōu)化問題，如公式(9)所示：

其中，第一約束 用來確保旋轉(zhuǎn)矩陣R的正交性，第二約束用來設置參數(shù)的取值范圍。下邊界系數(shù)lb和上邊界系數(shù)ub按照經(jīng)驗值設置為 [0.9,1.1]，使用權(quán)重因子 和 來平衡 3 個誤差函數(shù)的影響，這 3 個誤差函數(shù)可以通過經(jīng)驗來實際調(diào)整權(quán)重因子的大小，使其滿足。在實際實驗中， 通常設置為 1， 設置為 1.44[17]。

本研究中使用 MATLAB 優(yōu)化工具箱中提供的優(yōu)化函數(shù)“fmincon”，用以求解多目標優(yōu)化問題，該函數(shù)基于序列二次規(guī)劃方法[24]求解。本實驗用三維度量代替了二維重投影，實驗結(jié)果表明，前者測量結(jié)果準確性更高。

2.3 極線校正

雙目攝像機系統(tǒng)的立體匹配是在左右相機嚴格對齊的理想情況下進行的，因此需在立體匹配前進行極線校正，即將左右相機成像平面校正成共面行對準。立體圖像極線校正示意圖如圖 5 所示。

圖5 立體圖像極線校正Fig. 5 Epipolar rectification of stereoimages

以左相機坐標系為參考坐標系，在進行極線校正前，右相機坐標系對左相機坐標系的相對變換為。為了使所有的極線平行以輔助立體匹配，校正后的左右相機坐標系應水平對齊，即它們之間只有平移關(guān)系[25]。

本文提出一種左右相機坐標軸雙次旋轉(zhuǎn)的極線校正方法，具體過程如圖 6 所示。假設左右相機光軸之間形成的角度為 ，為了最小限度地旋轉(zhuǎn)左右相機并使其坐標系具有相同的方向，那么把左右相機沿相反方向都旋轉(zhuǎn) ，這正好是左右相機之間旋轉(zhuǎn)關(guān)系R的一半。引入旋轉(zhuǎn)向量om，把R和 聯(lián)系起來，其中，om是一個3×1 的向量，可以將 3×3 的矩陣R描述得更加緊湊些。向量om的方向為旋轉(zhuǎn)軸，om的模為繞旋轉(zhuǎn)軸旋轉(zhuǎn)的角度。因此，向量om與旋轉(zhuǎn)角度 的關(guān)系為，根據(jù)羅德里格斯(Rodrigues)變換公式得到左相機的旋轉(zhuǎn)矩陣，如公式 10 所示：

圖6 極線校正的兩次旋轉(zhuǎn)Fig. 6 Epipolar rectification by two rotations

經(jīng)第一次旋轉(zhuǎn)后，雖然左右相機的新光軸是平行的，但是它們與OL和OR連線所構(gòu)成的軸不垂直(圖6)。因此，需要對左右相機坐標軸再進行一次角度為 的旋轉(zhuǎn)，令，使軸和平移向量對齊。新旋轉(zhuǎn)軸的方向可以用和計算得到：

第二次旋轉(zhuǎn)的角度 可以通過下式得到：

通過上述兩次旋轉(zhuǎn)，可以得到極線校正后左右相機的旋轉(zhuǎn)和平移關(guān)系：

其中，rec表示經(jīng)過極線校正后的參數(shù)。

對于雙目相機的成像中心，通常選取左右相機的成像中心的平均值作為校正后的雙目相機中心位置，但是這在實際中并不準確[26]。這是因為校正后的圖像或多或少受到旋轉(zhuǎn)和扭曲的影響，成像中心的位置也可能隨之受到影響。所以，在確定了其他內(nèi)、外參數(shù)后，可以根據(jù)已知參數(shù)求解矯正后的圖像中心位置。首先，假設校正后的成像中位在[0,0]T處，如圖 7 所示，將原始圖像的 4 個頂點{v1,v2,v3,v4}投影到極線校正后的坐標系中，得到校正后的圖像中心k0：

圖7 極線校正后圖像中心的確定Fig. 7 Determination in imaging center after epipolar rectification

2.4 立體匹配和 3D 重建

精確的特征匹配在三維重建中起到至關(guān)重要的作用。根據(jù)第 2.1～2.3 節(jié)，首先得到優(yōu)化的左右像機的內(nèi)外參數(shù)，其次沿著校正后的極線進行特征匹配，再次基于三角測量原理計算場景的視差信息，最后經(jīng)過三角重建即可進行三維場景的測量。與局部匹配算法和全局匹配算法相比，半全局立體匹配算法可以實現(xiàn)獲得高質(zhì)量深度圖和運行效率之間的平衡[27]，但針對紋理稀疏或無紋理區(qū)域容易出現(xiàn)錯誤匹配，本文利用散斑結(jié)構(gòu)光的特征信息，通過將散斑投射到缺乏紋理特征信息的目標物體表面，基于半全局立體匹配算法完成對缺乏紋理特征表面的三維重建目標。本文采用相同的重建方法分別對無散斑投射和有散斑投射的棋子進行三維重建，實驗結(jié)果如圖 8 所示。通過對圖 8 分析可得，經(jīng)散斑投射的棋子重建出的點云更加稠密，具有更好的重建效果。

圖8 有無散斑條件下的重建點云結(jié)果Fig. 8 Point cloud reconstruction results of with or without speckles

左右雙目相機都可看作是水平放置的針孔相機，其光圈中心都位于x軸上，兩中心之間的距離稱為雙目相機的基線。三角測量原理的幾何模型如圖 9 所示，OL和OR分別為左右相機的光圈中心，f為焦距，uL和uR為成像平面的坐標，按照坐標系方向，圖中標出的距離為－uR。將左相機坐標系與世界坐標系重合，假設空間有一點，在左相機和右相機上的投影點分別為和，根據(jù)透視投影變換和圖 9 中與的相似關(guān)系，有：

圖9 三角測量幾何模型Fig. 9 Geometric model of triangulation

3 實驗結(jié)果

3.1 實驗設備

本實驗裝置由雙目模塊和散斑光源組成。其中，雙目模塊由兩個定焦 RGB 相機(分辨率640×360，USB2.0 接口，幀率 30 fps，焦距 5 cm)和一臺 DLP4500 光機(分辨率 912×1 140，投射比 1:1.2)組成，實驗平臺放置方式如圖 10 所示。

圖10 實驗平臺搭建Fig. 10 The experimental setup

3.2 雙目內(nèi)窺鏡系統(tǒng)標定結(jié)果與分析

雙目內(nèi)窺鏡系統(tǒng)利用張氏標定法[12]標定初始參數(shù)，通過改變棋盤格(角點 7×7，每個方格大小 3 mm×3 mm)的擺放姿態(tài)獲得 23 組不同的視圖，如圖 11 所示。

圖11 左右相機獲得不同位姿標定圖像Fig. 11 Calibration images with diあerent orientation captured by left and right camera

雙目內(nèi)窺鏡系統(tǒng)初始標定參數(shù)如表 1 所示。初始標定之后，根據(jù)第 2.2 節(jié)提出的首先利用基于三維的標定優(yōu)化算法對初始標定后的參數(shù)進行非線性優(yōu)化，通過對比標定優(yōu)化前后的兩組參數(shù)計算出該節(jié)所述的 3 個度量誤差函數(shù)，如表 2 所示。然后將雙目內(nèi)窺鏡系統(tǒng)進行沿左右相機坐標軸旋轉(zhuǎn)兩次的極線校正操作，其極線校正后的標定參數(shù)如表 3 所示。

表1 系統(tǒng)初始標定參數(shù)Table 1 Initial calibration parameters of the system

表3 系統(tǒng)優(yōu)化后的標定參數(shù)Table 3 Calibration parameters after system optimization

用于標定優(yōu)化的平面棋盤格玻璃板(圖 3)還可用于評估標定參數(shù)的精度，即通過優(yōu)化前后的標定參數(shù)提取平面棋盤格的角點，提取角點擬合平面誤差如圖 12 所示。由圖 12(a)和圖 12(b)可知(R-square 的范圍為[0,1]，值越接近 1，表示平面擬合程度越好)，優(yōu)化前后的平面度誤差分別為 0.845 3 mm 和 0.999 2 mm，優(yōu)化后的標定參數(shù)使角點平面擬合度精度提高近 18.21%。其中，對第 2.2 節(jié)所建立的 3 個度量誤差函數(shù)的優(yōu)化結(jié)果對比見表 2。

圖12 棋盤格角點擬合平面誤差Fig. 12 Chessboard cornor fitting plane error

表2 系統(tǒng)優(yōu)化前后的度量誤差Table 2 Metric errors with and without system optimization

標定優(yōu)化是在離線情況下進行的，從輸入初始標定參數(shù)作為初始值開始，到迭代次數(shù)大于最大迭代次數(shù)停止，求解最優(yōu)標定參數(shù)的整個過程耗時 55 s，因為目標優(yōu)化函數(shù)公式(9)中所含的3 個誤差函數(shù)在參考平面(圖 3)中提取的點的數(shù)量較少，計算過程中計算量較小，因此整個標定優(yōu)化時間也較短；三維重建是在線進行的，在對圖 8 中的棋子進行三維重建時，系統(tǒng)首先讀取雙目內(nèi)窺鏡拍攝帶散斑圖案的二維圖片，然后利用最優(yōu)標定參數(shù)進行圖像極線校正、半全局立體匹配，最后進行三維重建，圖 8 中棋子的三維重建過程運行時間約為 1.042 s，而在實際中，三維重建的時間與待重建場景的紋理豐富度、立體匹配算法選擇的關(guān)系很大。

3.3 對比實驗

為了測試本文雙目內(nèi)窺鏡系統(tǒng)的重建精度，將基于三維的標定優(yōu)化方法和沿坐標軸旋轉(zhuǎn)兩次的極線校正算法得到的標定優(yōu)化參數(shù)，與傳統(tǒng)標定方法[12]得到的標定優(yōu)化參數(shù)分別進行三維重建并作對比。本文采用球體、圓錐體和標準平面作為重建對象，其中，球體直徑為 20 mm，加工精度 ±20 μm；圓錐體直徑為 20 mm，加工精度 ±10 μm；標準平面 25 mm×35 mm，加工精度 ±10 μm。重建結(jié)果如圖 13 所示，圖中從上到下分別對應圓錐體、球體和標準平面重建的結(jié)果。精度對比如表 4 所示，由表 4 可知，本文系統(tǒng)對圓錐體的三維測量誤差為 0.098 mm，而傳統(tǒng)方法重建的誤差為 0.145 mm，重建誤差比本文系統(tǒng)高出 48.0%；對于球體，本文三維測量誤差為 0.112 mm，而傳統(tǒng)方法三維測量誤差為 0.124 mm，重建誤差比本文系統(tǒng)高出 10.7%；對于標準平面，本文三維測量誤差為 0.270 mm，而傳統(tǒng)方法三維測量的誤差為0.361 mm，重建誤差比本文系統(tǒng)高出 33.7%。綜上所述，雙目內(nèi)窺鏡散斑系統(tǒng)有較高的三維測量精度。

圖13 本文方法與傳統(tǒng)方法三維重建精度比較Fig. 13 Comparison of 3D reconstruction by the traditional and proposed method

表4 三維測量精度對比Table 4 Comparison of 3D measurement accuracy

3.4 實際應用場景三維重建

為了評估本文基于雙目內(nèi)窺鏡的散斑三維重建系統(tǒng)的有效性和準確性，分別對豬小腸內(nèi)壁和牙齒的立體圖像進行三維重建，其原始圖像、散斑投射圖、深度圖、帶紋理點云圖及重建的 3D模型如圖 14 所示。

由圖 14 可知，圖像紋理信息越豐富，其表面形狀恢復的越好。重建模型圖與原圖相比，雖然出現(xiàn)殘缺，但是其完成重建部分的整體形狀符合人們的視覺直觀感受，滿足部分應用場景。如在醫(yī)療領域，通過基于雙目內(nèi)窺鏡的散斑三維重建系統(tǒng)可完成體內(nèi)三維場景深度圖的構(gòu)建，幫助醫(yī)生在某些復雜病變情況下完成對病人精確診斷治療。

圖14 本文系統(tǒng)對豬小腸內(nèi)壁和真實牙齒的重建結(jié)果Fig. 14 Reconstruction result of porcine small intestine and real teeth by using the proposed system

4 討論與分析

本文提出了一種基于雙目內(nèi)窺鏡的散斑三維重建系統(tǒng)，在雙目內(nèi)窺鏡基線較窄的條件下，仍具有較高的測量精度和較好的重建效果。具體地，本文系統(tǒng)采用基于三維的標定優(yōu)化方法實現(xiàn)了雙目內(nèi)窺鏡系統(tǒng)的高精度標定，同時采用基于左右相機坐標軸旋轉(zhuǎn)兩次的極線校正方法，顯著提高了左右圖像共面行對齊的精度。本文提出的極線校正方法具有以下優(yōu)勢：

(1)雙目內(nèi)窺鏡的兩個攝像機繞坐標軸旋轉(zhuǎn)同一個角度，以最小限度旋轉(zhuǎn)就可具有相同的方向，這樣使左右相機圖像之間的特征差異最小化；

(2)校正后的圖像與原始圖像保持相同的分辨率，方便立體匹配，因為稠密匹配算法都需要相同大小的左右圖像；

(3)最大化左右視圖的公共視野，在校正后的圖像中保證最大的可見圖像面積，從而使校正過程中圖像信息損失最小。

相較于傳統(tǒng)標定方法[12]，本文提出的雙目內(nèi)窺鏡系統(tǒng)通過對棋盤格提取角點擬合平面誤差分析和對標準體進行精度測試，結(jié)果表明本文提出的雙目內(nèi)窺鏡散斑系統(tǒng)在三維測量精度上具有較明顯的優(yōu)勢。

由于雙目內(nèi)窺鏡散斑系統(tǒng)真實應用在受限空間內(nèi)，所以需要在保證高分辨率的情況下，將散斑光源縮小到雙目內(nèi)窺鏡的探頭上，而這對光學及材料提出了更高要求，需要進一步的研究。

5 結(jié) 論

本文基于立體視覺原理，搭建了一套基于散斑編碼的雙目內(nèi)窺鏡系統(tǒng)。為了提高系統(tǒng)的測量精度，本文著重針對雙目內(nèi)窺鏡的標定和左右視圖極線校正進行研究，提出了一種基于三維的非線性全局優(yōu)化的標定方法和相機坐標軸旋轉(zhuǎn)兩次的極線校正算法。經(jīng)過對棋盤格提取角點擬合平面的分析和對圓球、圓錐體及標準平面的精度測量，本文提出系統(tǒng)的測量精度相較于傳統(tǒng)標定方法有顯著提升。并且，對于實際應用場景中不同紋理對象目標的重建，如表面較為光滑的豬小腸內(nèi)壁和紋理較少的且是非朗伯表面的高仿真牙齒，本文系統(tǒng)均取得了較好的重建效果。