張峰峰， 陳龍， 楊欣榮， 薛峰， 孫立寧

(1.蘇州大學(xué) 機電工程學(xué)院，江蘇 蘇州 215006； 2.蘇州大學(xué) 蘇州納米科技協(xié)同創(chuàng)新中心，江蘇 蘇州 215123； 3.復(fù)旦大學(xué)附屬中山醫(yī)院 肝外科肝癌研究所， 上海 200032； 4.中國鐵道科學(xué)研究院集團有限公司 鐵道建筑研究所， 北京 100081)

開放式肝臟腫瘤切除手術(shù)是目前治療肝臟腫瘤最有效的方法之一[1-3]。從醫(yī)生角度出發(fā)，如果能在術(shù)中無輻射條件下快速獲取肝臟表面三維信息進行三維重建，將有助于醫(yī)生實時觀察肝臟表面切割狀況，可以較大程度上規(guī)避肝臟被誤切的風(fēng)險[4-6]?；陔p目結(jié)構(gòu)光的肝臟表面三維重建的方法可以為醫(yī)生提供術(shù)中重建的肝臟表面，但在三維重建之前，需要完成肝臟表面三維重建系統(tǒng)的標(biāo)定。肝臟表面三維重建系統(tǒng)的標(biāo)定精度直接影響后續(xù)肝臟表面三維重建的精度。

目前尚未有成熟的面向肝臟表面三維重建的系統(tǒng)標(biāo)定方法。傳統(tǒng)的標(biāo)定方法在實際標(biāo)定過程中存在著標(biāo)定流程復(fù)雜、標(biāo)定精度低、求解計算復(fù)雜等問題[7-8]。相機的標(biāo)定相對比較成熟[9]，通常以基于張正友的標(biāo)定方法為主流[10]。然而投影儀的標(biāo)定卻相對復(fù)雜，目前常用的投影法存在較大弊端。主要存在的問題在于其提取的棋盤圖像的角點或圓形圖像的圓心的亞像素精度較低，導(dǎo)致最終的投影儀標(biāo)定精度較差[11-12]。王衡等[13]利用投影法進行投影儀標(biāo)定，取得了一定的效果，但從整體精度來講，該標(biāo)定方法無法滿足術(shù)中肝臟三維重建系統(tǒng)的要求。YANG等[14]也利用了類似的方法完成了相機投影儀系統(tǒng)的標(biāo)定，但是結(jié)果依然不盡人意。除此以外整個系統(tǒng)標(biāo)定還需要對投影儀和相機的標(biāo)定參數(shù)進行組合優(yōu)化，這樣才能保證最終系統(tǒng)的標(biāo)定精度[15-16]。

針對上述問題，本文主要根據(jù)實際手術(shù)過程中的需要，提出了一種針對肝臟表面三維重建系統(tǒng)的標(biāo)定方法。從實際的手術(shù)過程中的肝臟表面三維重建系統(tǒng)的硬件之間的位姿關(guān)系入手，對手術(shù)視場進行分析。針對標(biāo)定過程中存在的解相困難、標(biāo)定板質(zhì)心求解復(fù)雜等問題進行深入分析和研究，提出相應(yīng)的解決辦法。在此基礎(chǔ)上搭建肝臟表面三維重建的實驗平臺，通過標(biāo)定實驗來對本文提出的方法進行驗證，并且對系統(tǒng)的標(biāo)定參數(shù)進行整體優(yōu)化。

1 雙目系統(tǒng)標(biāo)定方法

1.1 雙目模型及手術(shù)視場分析

在肝臟表面三維重建系統(tǒng)中雙目相機和投影儀之間擺放的位置對手術(shù)過程中肝臟表面三維重建的精度和完整度有著重要的影響。在基于雙目結(jié)構(gòu)光的肝臟表面三維重建過程中，一般雙目相機的擺放位置按照其光軸是否相交可分為平行雙目模型和相交雙目模型。平行雙目模型最大的優(yōu)點在于左右相機之間的幾何關(guān)系簡單，計算方便。但是考慮到實際的手術(shù)過程中肝臟表面三維重建會需要較廣的手術(shù)視野，此時平行雙目模型的視野不符合要求，因此選擇視野更加寬闊的相交雙目模型。這樣可以保證在手術(shù)區(qū)域范圍內(nèi)左右相機能夠捕獲更多的公共視場下的投影儀投射的條紋光柵。

如圖1所示為手術(shù)過程中雙目結(jié)構(gòu)光系統(tǒng)的視場示意圖，在相機視場中只有左右相機、投影儀三者的公共重疊視場才可以作為肝臟表面三維重建的范圍。已知左相機的視場范圍為AF,右相機的視場范圍為CH，投影儀有效視場范圍為IK，因此只有圖1中陰影部分IJK構(gòu)成的區(qū)域為肝臟表面三維重建的有效區(qū)域。若是超出該區(qū)域則會破壞結(jié)構(gòu)光相位的單調(diào)性，影響后續(xù)的相位立體匹配，導(dǎo)致肝臟表面的部分區(qū)域無法三維重建。

圖1 手術(shù)過程中肝臟表面三維重建的有效視場分析

1.2 雙目模型及手術(shù)視場分析

雙目相機主要由2個單目相機組成，雙目相機的內(nèi)參標(biāo)定可以簡化成2個單目相機的內(nèi)參的標(biāo)定。假設(shè)肝臟表面三維空間中存在一點P，則跟據(jù)坐標(biāo)系轉(zhuǎn)換關(guān)系得到P點在像素坐標(biāo)系的坐標(biāo)為：

(1)

式中：s表示相機的比例系數(shù)；R和T共同組成相機的外參；A表示通過相機標(biāo)定出的相機內(nèi)部參數(shù)矩陣；(u,v)和(XW,YW,ZW)為像素坐標(biāo)和世界坐標(biāo)中點的坐標(biāo)?？梢詫⑷S世界坐標(biāo)系建立在標(biāo)定板的左上角第一個圓的圓心上。在此基礎(chǔ)上可以求得三維世界坐標(biāo)系中的點的Z軸方向的坐標(biāo)值都為0，進而可以將式(1)改寫為：

(2)

式中：r1、r2、r3為外參旋轉(zhuǎn)矩陣的3個列向量。相機的外參旋轉(zhuǎn)矩陣R通過r1、r2和r3來表示。與此同時，在制造和安裝時，由于人為的操作或自身材料的限制會導(dǎo)致相機在標(biāo)定時產(chǎn)生一定的誤差，這就導(dǎo)致相機在實際的標(biāo)定過程中需要進行非線性標(biāo)定。通常對相機的標(biāo)定精度影響較大的畸變主要是偏心畸變和徑向畸變。將相機的這2種畸變考慮在內(nèi)，可以得到相機整體畸變的數(shù)學(xué)模型為：

(3)

此外，還要確定2個相機之間的三維空間位置關(guān)系，即雙目相機的外參。假設(shè)2個相機求得的內(nèi)參分別為Al和Ar,外參數(shù)的平移和旋轉(zhuǎn)矩陣分別為Tl、Rl和Tr、Rr。由于以圓形標(biāo)定板中左上角建立世界坐標(biāo)系，因此可以根據(jù)標(biāo)定板物理尺寸來確定標(biāo)定板中所有圓的圓心坐標(biāo)。通過雙目相機捕捉到的圖像，選擇與實際標(biāo)定板對應(yīng)的圓，分別在左右相機圖像中求取該圓心的坐標(biāo)。則世界坐標(biāo)系和像素坐標(biāo)系關(guān)系已知的情況下，可以求解出左右相機在世界坐標(biāo)系中的位姿關(guān)系，整個雙目系統(tǒng)的標(biāo)定轉(zhuǎn)換關(guān)系如圖2所示。

圖2 雙目系統(tǒng)標(biāo)定轉(zhuǎn)換關(guān)系

上述世界坐標(biāo)系中的點P(XW,YW,ZW),通過雙目相機拍攝后，左、右相機坐標(biāo)系中的點Pcl(Xcl,Ycl,Zcl)和Pcr(Xcr,Ycr,Zcr)與之相對應(yīng)，根據(jù)相機坐標(biāo)系轉(zhuǎn)換關(guān)系可得：

(4)

(5)

聯(lián)立式(4)和式(5)可得：

(6)

式中：Rl、Tl、Rr和Tr分別為左右相機各自的旋轉(zhuǎn)和平移矩陣；Rlr和Tlr為左右相機之間的旋轉(zhuǎn)和平移矩陣；Pcl(Xcl,Ycl,Zcl)和Pcr(Xcr,Ycr,Zcr)分別為左右相機坐標(biāo)系中的點。

由式(6)可以看出只需要求出Tl、Rl和Tr、Rr的值，即2個相機的外參數(shù)就可求得2個相機的空間相對位置關(guān)系。由于2個相機的外參數(shù)在2個相機單獨標(biāo)定時已求出，故可求得2個相機的相對旋轉(zhuǎn)矩陣Rlr和平移矩陣Tlr。

1.3 基于三頻四步法的結(jié)構(gòu)光絕對相位值求解

目前投影儀標(biāo)定主要有向標(biāo)定板投射棋盤或圓形圖案的投影法和向標(biāo)定板投射條紋光柵的解相法。投影法標(biāo)定投影儀主要存在的問題在于其提取的棋盤圖像的角點或圓形圖像的圓心的亞像素精度較低，導(dǎo)致最終的投影儀標(biāo)定精度較差。解相法主要通過向標(biāo)定板投射條紋光柵，其利用相移法求解出對應(yīng)于角點或圓心的絕對相位值，從而進一步建立其與投影平面中的像素坐標(biāo)的關(guān)系。該方法標(biāo)定的投影儀精度相對較高。

本文采用3種不同頻率的光柵條紋，有助于降低三維重建精度對相位主值的精度和光柵條紋節(jié)距大小的依賴。結(jié)合四步相移原理，如圖3所示，本文采用三頻四步法，共需要投射12幅不同的條紋光柵圖像，圖3中φi為不同頻率的相位主值，Φi為絕對相位。利用多頻外差法將相位主值展開，獲得絕對相位，從而保證在相機拍攝的視野范圍內(nèi)的每個像素有與之唯一對應(yīng)的絕對相位值。本文所采用的光柵條紋的頻率分別為70、64和59。使用多頻外差法解相的流程如下所示：

圖3 基于三頻四步法的絕對相位值求解

1) 相機拍攝投射的條紋光柵圖像，根據(jù)相移原理對圖像的相位主值求解；

2) 依據(jù)外差疊加原理，將不同頻率的相位主值進行疊加；

3) 求得整個圖像范圍內(nèi)唯一的相位頻率為1的不重復(fù)的絕對相位Φi；

4) 根據(jù)周期相位Φi反推出φi的連續(xù)的相位。

1.4 基于解相法的投影儀標(biāo)定

投影儀的標(biāo)定所需要標(biāo)定出的參數(shù)和相機一樣，主要包括其內(nèi)參、畸變系數(shù)以及和相機之間的外參矩陣。投影儀的結(jié)構(gòu)與相機類似，在某種程度上可以看成是一種“逆相機”，但是無法和相機一樣拍攝標(biāo)定板圖片。

1.4.1 投影儀的標(biāo)定流程

“逆向機”標(biāo)定主要建立投影圖像坐標(biāo)和三維世界坐標(biāo)下的角點或圓心之間的對應(yīng)映射關(guān)系。棋盤圖像的角點主要由水平和豎直的線相交組成，利用解相法進行投影儀標(biāo)定時，其圖像的角點包含豐富的相位信息。投影儀的標(biāo)定需要借助左、右相機中的任何一個相機。以左相機為例，由于棋盤圖像角點處的黑白灰度差較大，產(chǎn)生較大的灰度跳躍，導(dǎo)致采集角點處的條紋光柵的效果較差。這種偏差將導(dǎo)致后續(xù)的條紋光柵解相的時候出現(xiàn)相位丟失，進而影響投影儀標(biāo)定的精度。因此本文選擇黑底白圓的標(biāo)定板進行投影儀標(biāo)定。

采用解相法進行投影儀的標(biāo)定時需要通過投影儀向圓形標(biāo)定板投射水平、豎直2種類型的條紋光柵，其具體的標(biāo)定步驟為：

1) 調(diào)節(jié)投影儀和相機的視角，確保相機能采集到投影儀投射的光柵；

2) 調(diào)節(jié)并固定相機的曝光時間和進光量；

3) 向圓形標(biāo)定板投射水平、豎直條紋光柵，并用相機進行拍攝，調(diào)節(jié)標(biāo)定板位置，連續(xù)采集圖像；

4) 計算出拍攝圖像中標(biāo)定板的圓心亞像素坐標(biāo)，進而可完成相機的標(biāo)定；

5) 對圓心坐標(biāo)在水平和豎直方向的絕對相位進行插值進而求解出對應(yīng)投影平面下的亞像素圓心坐標(biāo)；

6) 重復(fù)上述步驟，最終即可完成投影儀的逆向機標(biāo)定。

1.4.2 基于亞像素坐標(biāo)線性插值的橢圓質(zhì)心求解

從投影儀標(biāo)定的流程中可看出標(biāo)定板圓心的亞像素坐標(biāo)的求取異常重要。相比于棋盤圖像，圓形標(biāo)定板的圓心周圍的灰度差較小，故其圓心對應(yīng)的絕對相位值求解的精度較高。為了提高投影儀的標(biāo)定精度，需要對相機拍攝的圖像的圓心進行亞像素坐標(biāo)求解。由于相機成像的問題，在相機拍攝的圖像中的圓形近似成橢圓形，因此需要對橢圓的圓心進行擬合來求解其圓心的亞像素坐標(biāo)。橢圓的圓心相對圓的圓心求解較為困難，因此本文采用橢圓的質(zhì)心來近似代替圓心，從而在保證精度的前提下減少復(fù)雜的求解操作并提高求解計算的速度。

在進行橢圓質(zhì)心求解的時候，需要劃分橢圓的窗口區(qū)域，對窗口區(qū)域內(nèi)的橢圓進行圖像的二值化處理。假設(shè)該窗口區(qū)域僅包含一個橢圓，通過m、n來表示對應(yīng)的行和列的序列號，選擇一個合適的閾值TI作為圖像二值化的標(biāo)準(zhǔn)，則根據(jù)圖像二值化的方法對其處理后的灰度值為：

(7)

式中：I(m,n)表示窗口內(nèi)對應(yīng)的像素點的灰度值。根據(jù)橢圓的質(zhì)心求解公式可解得其質(zhì)心坐標(biāo)為：

(8)

根據(jù)計算出的橢圓質(zhì)心的像素坐標(biāo)，此時便可對相機進行標(biāo)定。由于用橢圓的質(zhì)心代替橢圓圓心，因此可以進一步求解出圓心的亞像素坐標(biāo)。本文的相位展開方法主要針對像素級的像素點對于亞像素級的橢圓圓心無法實現(xiàn)相位展開，需要憑借插值法對相機圖像中圓心周圍的像素進行插值才能進一步相位展開。

假設(shè)如圖4所示相機圖像中的亞像素圓心相鄰的4個像素點分別為(uce,vce)、(uce,vce+1) 、(uce+1,vce) 和(uce+1,vce+1) ，從水平、豎直方向?qū)?個像素點分別進行相位展開，則投影儀圖像中的橢圓圓心的亞像素坐標(biāo)(ucp,vcp) 可根據(jù)水平和豎直2個方向的相位展開求得：

圖4 亞像素坐標(biāo)的線性插值

(9)

2 實驗與結(jié)果

2.1 肝臟表面三維重建系統(tǒng)實驗平臺的搭建

2.1.1 雙目相機的參數(shù)計算及選型

相機的選擇對肝臟表面三維重建起到至關(guān)重要的作用，結(jié)合重建精度的需求和成本2方面考慮，本文選擇型號為MER-125-30UC-L的相機。相機只可采集有限視野范圍內(nèi)的圖像，因此相機的選擇需要根據(jù)實際的使用要求確定。本文中根據(jù)醫(yī)生提供的實際的相機采集到的手術(shù)區(qū)域范圍達到S=30 cm×30 cm 即可完全滿足需求，相機安放的位置距離手術(shù)區(qū)域大約為H=60～120 cm。相機的焦距f計算公式為：

(10)

式中：F為相機感光原件的物理尺寸。根據(jù)上述的手術(shù)區(qū)域面積及高度等要求，最終計算后選擇焦距為f=8～12 mm，選擇鏡頭的型號為C08F16-5MP。

2.1.2 肝臟表面三維重建系統(tǒng)的硬件組成

肝臟表面三維重建的硬件平臺主要由圖5所示的顯示器、工作站、投影儀、雙目相機、滑動支架、支撐架、手術(shù)器械、豬肝等組成。每個硬件的參數(shù)/型號和具體的作用如表1所示。

圖5 基于雙目結(jié)構(gòu)光的肝臟表面三維重建系統(tǒng)硬件平臺

表1 肝臟表面三維重建平臺硬件作用及參數(shù)

2.2 肝臟表面三維重建系統(tǒng)的標(biāo)定實驗

2.2.1 雙目相機內(nèi)、外參標(biāo)定實驗

本文采用圓形標(biāo)定板進行標(biāo)定，該圓形標(biāo)定板主要由19×15個圓組成，其中圓形距為10 mm。圓形標(biāo)定板中包括5個用于確定世界坐標(biāo)系的大圓以及用于圓形特征點檢測的280個小圓。如圖6所示，調(diào)節(jié)標(biāo)定板的位置，使其能夠清晰、完整地出現(xiàn)在雙目相機的視野范圍內(nèi)，用雙目相機拍攝標(biāo)定板。不斷改變標(biāo)定板的位姿，使其始終出現(xiàn)在雙目相機的視野范圍內(nèi)，雙目相機同時拍攝20組標(biāo)定板的圖片。

圖6 雙目相機采集標(biāo)定板圖像

對相機拍攝的上述圖像分別利用OpenCV庫中的函數(shù)對其進行橢圓和其圓心的擬合，最終擬合的結(jié)果如圖7所示。從擬合的效果可以看出大部分的橢圓擬合成功，在標(biāo)定板的邊緣也存在極少數(shù)的擬合失敗，但這對實際的標(biāo)定結(jié)果的影響可以忽略不計。

圖7 標(biāo)定板的圓心檢測

雙目相機的最終標(biāo)定結(jié)果為：

雙目相機標(biāo)定的誤差主要依靠重投影誤差的平均值來衡量，憑借已經(jīng)經(jīng)過標(biāo)定得到的雙目相機的系統(tǒng)參數(shù)以及標(biāo)定板圓心的坐標(biāo)，計算出理論上的圓心坐標(biāo)值。通過將標(biāo)定板中實際的圓心的坐標(biāo)值與理論上的坐標(biāo)值來作差計算，將二者的差值作為重投影的誤差值。對重投影誤差求取平均值作為相機和投影儀的平均標(biāo)定誤差。

2.2.2 投影儀及系統(tǒng)外參標(biāo)定實驗

將雙目相機和投影儀的位置進行固定，調(diào)節(jié)相機的光圈和曝光時間，使相機能夠拍攝到完整清晰的圖像。投影儀的“逆相機”標(biāo)定需要借助左、右相機中的任意一個，二者構(gòu)成類似雙目系統(tǒng)。以左相機為例。通過投影儀將已制定好的條紋光柵投射至標(biāo)定板上，利用左相機采集此時的圖像，如圖8所示，右下角為標(biāo)定板中圓形的放大圖。調(diào)整標(biāo)定板的位置，不斷利用相機采集標(biāo)定板表面的圖像。

圖8 基于結(jié)構(gòu)光掃描的標(biāo)定板放大圖

將上述相機拍攝的圖片中的圓提取出來，如圖9中黃色的方框框選區(qū)域，在此基礎(chǔ)上將該圓按照橢圓的圓心擬合的方式來擬合出圓心。對提取的橢圓進行如圖9中白色方框框選的區(qū)域進行圖像二值化處理，從而進一步求出圖9中紫色方框圈出的橢圓的質(zhì)心。根據(jù)橢圓質(zhì)心標(biāo)定左相機，再對相機圖像中的亞像素圓心周圍的像素點進行插值解出絕對相位。從而求解對應(yīng)的投影面的圓心的位置，完成投影儀標(biāo)定，其最終標(biāo)定的結(jié)果如表2所示。

表2 投影儀標(biāo)定的參數(shù)結(jié)果

圖9 橢圓的圓心擬合

將投影儀看成逆相機后，通過依賴左相機完成投影儀內(nèi)參標(biāo)定進而可以得到投影儀和左相機之間的位姿關(guān)系。左、右相機之間的位姿關(guān)系在雙目相機標(biāo)定實驗中便可求出，因此最終的系統(tǒng)標(biāo)定參數(shù)如表3所示。

表3 系統(tǒng)外參標(biāo)定結(jié)果

2.3 肝臟表面三維重建系統(tǒng)標(biāo)定優(yōu)化及誤差分析

2.3.1 系統(tǒng)整體參數(shù)的標(biāo)定優(yōu)化

以圓形標(biāo)定板某個圓為例，假設(shè)利用投影儀投射結(jié)構(gòu)光至標(biāo)定板后，對應(yīng)該圓的結(jié)構(gòu)光經(jīng)過三頻四步解相法后獲得的投影儀圖像坐標(biāo)為(up,vp)。與此同時相機圖像中拍攝的該圓的坐標(biāo)為(uc,vc),該圓的實際三維世界坐標(biāo)為(XW,YW,ZW)。采用基于Levenberg-Marquardt的非線性最小二乘法對系統(tǒng)的整體參數(shù)進行優(yōu)化。對經(jīng)過優(yōu)化后的系統(tǒng)標(biāo)定誤差進行統(tǒng)計，最大的標(biāo)定誤差為0.098 mm,整體的均方根誤差為0.084 mm。

為了進一步驗證該系統(tǒng)的標(biāo)定精度，通過將標(biāo)定板移到5個不同的位置，對其進行系統(tǒng)重新標(biāo)定。由于標(biāo)定板放在水平面上，暫設(shè)置其世界坐標(biāo)中的Z坐標(biāo)為0，使用標(biāo)定板上所有圓坐標(biāo)(xci,yci)測量值與理論值(xi,yi)的偏差表示系統(tǒng)的測量誤差，具體的誤差測量數(shù)據(jù)如表4所示。

表4 肝臟三維重建系統(tǒng)的標(biāo)定精度

從表4中的實驗數(shù)據(jù)可以看出，基于雙目結(jié)構(gòu)光的肝臟表面三維重建系統(tǒng)的平均標(biāo)定誤差為0.078 mm,且最大誤差不超過0.1 mm。

2.3.2 系統(tǒng)誤差分析

針對上述5組實驗，在每組實驗中隨機選取50個標(biāo)定的圓心坐標(biāo)的誤差進行分析。從圖10可以看出5組實驗選取的圓的標(biāo)定精度平均值在0.07 mm左右，而且誤差最大和最小值之間相差較小，最高的精度達到0.05 mm左右。

圖10 肝臟三維重建系統(tǒng)的標(biāo)定誤差

從圖11所示的誤差曲線變化圖中可以清晰看出本文提出的肝臟表面三維重建系統(tǒng)的標(biāo)定仍然存在一定的誤差，并且該誤差會有輕微的波動。在整體系統(tǒng)的標(biāo)定精度穩(wěn)定的同時，存在極少數(shù)的標(biāo)定點的誤差相對較大。

圖11 肝臟三維重建系統(tǒng)的標(biāo)定誤差變化曲線

3 結(jié)論

1)針對術(shù)中雙目結(jié)構(gòu)光肝臟表面三維重建系統(tǒng)，本文提出一種高精度的系統(tǒng)標(biāo)定方法。根據(jù)實際的手術(shù)環(huán)境，研究系統(tǒng)各組成硬件之間的位姿關(guān)系，制定了系統(tǒng)的標(biāo)定流程。

2)通過實驗驗證，本文提出的方法的標(biāo)定精度達到0.078 mm，完全符合醫(yī)生的實際需求。