李幫建
(奧佳華瑞(廈門)醫(yī)療科技有限公司, 福建 廈門 361008)
甲狀腺相關眼病是最常見的眼眶疾病,因其病程長(持續(xù)時間通常為25 年),損傷組織結(jié)構(gòu)多,癥狀、體征復雜,治療效果欠佳,而備受關注。 中國甲狀腺相關眼病的患病率為0.1%~0.3%。 準確地診斷甲狀腺相關眼病,必須了解甲狀腺相關眼病的臨床表現(xiàn),包括癥狀和體征、影像學檢查和輔助檢查等。 眼球突出,即眼球向前突出,是甲狀腺相關眼病中第二常見的體征,可影響40%~70%的甲狀腺相關眼病患者。 眼球突出主要是眼眶脂肪和(或)肌肉膨大所致,即由于眼瞼存在相對致密的瞼板-韌帶隔膜,限制擴張的眼眶組織前移,而推壓眼球向前突出。 甲狀腺相關眼病80%~90%雙眼都會發(fā)生眼球突出,可以是不對稱的,或者僅單眼突出。 眼球突出的判斷依賴于眼球突出程度的準確測量和正常突出度的上限參考值。 中國漢族人口的眼球突出度正常上限是19 mm。 針對不同人種的眼球突出差異,眼球突出被定義為個體的眼球突出度增加至少2 mm。
目前,眼球突出度的常見測量方法有Hertel 眼球突出計測量方法和CT 測量方法。 Hertel 眼球突出計測量方法需要測試者與被測試者近距離相對而坐進行測量,該方法測量效率低(兩只眼睛需要分別測量),且對測試者要求高(測試者需避免用力下壓患者眼球,需調(diào)整觀察角度進行讀數(shù),需調(diào)整頭的姿態(tài)并保證Hertel 眼球突出計靜止)。 CT 測量方法需要進行顱腦連續(xù)掃描,并進行圖像重建。 測試者選取眼眶軸位圖像,通過人機交互測量眼球突出度值。 該方法測量結(jié)果的影響因素有眶周軟組織、測量體位變化、頭顱活動等,此外與測量平面、窗寬、窗位等具體計算過程有關。 該方法使用價格高且有輻射風險。
三維視覺測量技術(shù)是結(jié)合計算機視覺和精密測量的先進高端技術(shù)。 隨著計算機和視覺技術(shù)的發(fā)展,三維視覺測量已形成成熟的理論基礎,且已廣泛應用于科學研究、醫(yī)學診斷、逆向工程、刑事偵查、在線檢測、質(zhì)量控制、智慧城市和高端裝備制造等領域。 雙目視覺測量是三維視覺測量技術(shù)中被動視覺測量方法的一種。 近來,有研究者提出利用雙目視覺測量眼球突出度,具體地,利用雙目相機獲取圖像,通過標定、利用霍夫變換定位角膜中心點(顳側(cè)骨性點通過人工手動選擇)、利用SURF 特征描述子獲取左右視圖特征點且利用RANSAC 算法篩選,完成立體匹配、計算三維位置信息和眼球突出度值。 目前該方法的測量結(jié)果不穩(wěn)定,相對誤差為0.3%~68.3%。 為了使眼球突出度的雙目視覺測量方法測量結(jié)果更穩(wěn)定,在本文的雙目視覺測量法中,顳側(cè)骨性點和角膜中心點均采用圖像處理方法獲得。 為了驗證本文雙目視覺測量方法的精密度和準確度,搭建了實驗平臺,采集了不同對象的雙目圖像,計算獲得不同狀態(tài)下的眼球突出度,實驗結(jié)果表明,本文雙目視覺測量方法的測量結(jié)果具有較高的穩(wěn)定性。
眼球突出度的計算示意如圖1 所示。、’表示角膜頂點;、’ 表示顳側(cè)骨性點;’ 為顳側(cè)骨性點連線;、’’ 為角膜頂點到顳側(cè)骨性點連線的垂直距離,該距離為左、右眼的眼球突出度值。
圖1 眼球突出度計算示意圖Fig.1 Schematic diagram of exophthalmos calculation
本文中,眼球突出度采用雙目視覺測量方法獲得。 如圖2 所示。 眼球突出度的雙目視覺測量步驟如下:
圖2 眼球突出度的雙目視覺測量流程圖Fig.2 Flow chart of binocular vision measurement of the exophthalmos
(1)利用雙目相機采集被測試者眼部圖像,如圖3(a)、3(b)所示;
(2)結(jié)合標定信息對圖像進行校正,校正結(jié)果如圖3(c)、3(d)所示;
(3)利用圖像處理方法識別圖3(c)中的角膜頂點和顳側(cè)骨性點,如圖3(e)所示;
(4)利用匹配算法獲得圖3(d)中角膜頂點和顳側(cè)骨性點,如圖3(f)所示;
(5)利用視差原理可獲得對應特征點(角膜頂點和顳側(cè)骨性點)的空間三維坐標;
(6)結(jié)合圖1 計算左、右眼的眼球突出度值。
圖3(e)、圖3(f)中,十字星表示角膜頂點、六角星表示顳側(cè)骨性點。
圖3 眼球突出度雙目視覺測量中間過程圖Fig.3 Images of intermediate process of binocular vision measurement of the exophthalmos
本文中,人眼角膜頂點使用MediaPipe Iris獲取的虹膜中心代替。 如圖4 所示,顳側(cè)骨性點圖像處理識別步驟如下:
圖4 顳側(cè)骨性點圖像處理流程圖Fig.4 Flow chart of image processing of temporal bony spot
(1)使用MediaPipe Iris 獲取人眼位置,如圖5(a)所示;
(2)根據(jù)人眼位置,繪制顳側(cè)骨性點所在區(qū)域,如圖5(b)所示;
(3)利用閾值分割,獲取顳側(cè)骨性點標記點區(qū)域,如圖5(c)中白色區(qū)域;
(4)利用輪廓檢測,獲取顳側(cè)骨性點的輪廓;
(5)輪廓中心為顳側(cè)骨性點。 如圖5(d)中,六角星表示顳側(cè)骨性點。
圖5 顳側(cè)骨性點圖像處理中間過程圖Fig.5 Images of intermediate process of image processing of temporal bony spot
實驗搭建了雙目視覺測量系統(tǒng),首先,對雙目系統(tǒng)進行立體標定,得到相機的內(nèi)外參數(shù);其次,根據(jù)雙目視覺視差原理,得到眼球突出度特征點的三維坐標;最后,利用特征點的三維空間位置計算眼球突出度值。
實際應用中,雙目相機及鏡頭不可能做到理想對齊,為了修正鏡頭的偏差和相機安裝偏差,同時獲取相機的參數(shù),需對雙目相機進行標定和立體校正。本文采用中科融合感知智能研究院(蘇州工業(yè)園區(qū))有限公司提供的相機標定軟件進行標定,標定模板為GRB200-11*9 圓點標定板(黑底白點),如圖6(a)所示,具體參數(shù)見表1。
圖6 實驗平臺Fig.6 Experiment platform
表1 標定板參數(shù)Tab.1 Parameters of calibration board mm
本文中,相機標定得到的參數(shù)為:
式中,和分別為左右相機的內(nèi)參矩陣;和分別為左右相機的畸變參數(shù);和分別為右相機相對于左相機的旋轉(zhuǎn)矩陣和平移矩陣。
搭建的實驗平臺如圖6(b)所示,相機與頭部支架的距離約為30 cm,符合眼科檢測設備的一般應用場景距離。 如圖6(c)所示,頭部支架通過額托、頜托固定頭部姿態(tài),此外設計的卡具可以精準定位顳側(cè)骨性點。 雙目相機使用??迪鄼C搭建,如圖6(d)所示。
實驗采集了不同對象的圖像,如圖7 所示。 為了驗證整體精度,標準件靜止和移動后狀態(tài)各采集5 組圖像;頭部模型(含角膜標記點)靜止和移動后狀態(tài)各采集5 組圖像;頭部模型(不含角膜標記點)靜止和移動后狀態(tài)各采集5 組圖像;真人(含角膜標記點)靜止和移動后狀態(tài)各采集5 組圖像;真人(不含角膜標記點)靜止和正常測試狀態(tài)各采集5組圖像,共采集50 組圖像。
圖7 采集的圖像Fig.7 Captured images
2.3.1 標準件
標準件如圖6(e)所示,共有4 個標記點,從左到右依次為顳側(cè)骨性點1、角膜頂點1(類似右眼)、角膜頂點2(類似左眼)和顳側(cè)骨性點2。 雙目相機采集的圖像如圖7(a)所示。 標準件的實際尺寸如圖8 所示,其中眶距為左右顳側(cè)骨性點的連線距離,瞳距為左右眼角膜頂點的連線距離。 標準件保持靜止狀態(tài)采集5 組圖像,各標記點識別方法參考顳側(cè)骨性點圖像識別方法,具體測量結(jié)果見表2。
圖8 標準件實際尺寸示意圖Fig.8 Schematic diagram of actual size of standard part
表2 標準件靜止狀態(tài)測量結(jié)果Tab.2 Measurement results of standard part in static state mm
標準差的計算公式為:
其中,表示樣本數(shù)量;x表示第個樣本值;表示樣本的平均值。
標準差可以反映樣本數(shù)據(jù)的離散程度,即可以度量本文數(shù)據(jù)的精密度。 均方根誤差可以反映樣本數(shù)據(jù)的準確度,其計算公式為:
其中,表示樣本的真值。
從表2 可以得出,對于標準件靜止狀態(tài)時,眼球突出度的標準差最大值為0.003 7 mm,均方根誤差最大值為0.375 3 mm;眶距的均方根誤差為0.221 2 mm;瞳距的標準差為0.089 2 mm,均方根誤差為0.122 8 mm。存在標準差和均方根誤差,說明特征點的圖像識別方法存在一定誤差。
標準件移動到5 個不同位置后采集圖像,具體測量結(jié)果見表3。 從表3 可以得出,對于標準件移動后測量時,眼球突出度的標準差最大值為0.467 0 mm;均方根誤差最大值為0.631 3 mm;眶距的標準差為0.130 2 mm,均方根誤差為0.305 8 mm;瞳距的標準差為0.220 8 mm;均方根誤差為0.238 3 mm。比較表3 和表2,移動后測量結(jié)果的標準差和均方根誤差均比靜止狀態(tài)大,說明移動到不同位置后,圖像識別方法同樣存在一定誤差。 原因是不同位置處的光照等外界環(huán)境不同。
表3 標準件移動后測量結(jié)果Tab.3 Measurement results of standard part after moved mm
2.3.2 頭部模型實驗
頭部模型如圖6(f)所示,共有4 個標記點,從左到右依次為顳側(cè)骨性點1、角膜頂點1(右眼)、角膜頂點2(左眼)和顳側(cè)骨性點2。 雙目相機采集的圖像如圖7(b)所示。 頭部模型保持靜止狀態(tài)采集5 組圖像,各標記點識別方法參考顳側(cè)骨性點圖像識別方法,具體測量結(jié)果見表4。 因頭部模型各項的真值不易獲得,表4 中未給出真值和均方根誤差值。 從表4可以得出,對于頭部模型靜止狀態(tài)時,眼球突出度的標準差最大值為0.281 8 mm;眶距的標準差為0.041 5 mm;瞳距的標準差為0.000 7 mm。
表4 頭部模型靜止狀態(tài)測量結(jié)果Tab.4 Measurement results of head model in static state mm
頭部模型移動到5 個不同位置后采集圖像,具體測量結(jié)果見表5。 表5 中的真值為表4 中的平均值。 從表5 可以得出,對于頭部模型移動后測量時,眼球突出度的標準差最大值為0.344 8 mm,均方根誤差最大值為0.391 3 mm;眶距的標準差為0.086 0 mm,均方根誤差為0.088 0 mm;瞳距的標準差為0.046 8 mm,均方根誤差為0.047 2 mm。 比較表5 和表3,頭部模型測量結(jié)果的均方根誤差均比標準件的大,原因是兩組數(shù)據(jù)的真值來源不同。
表5 頭部模型移動后測量結(jié)果 Tab.5 Measurement results of head model after moved mm
針對頭部模型,去掉兩角膜頂點的標記點。 雙目相機采集的圖像如圖7(c)所示。 頭部模型保持靜止狀態(tài)采集5 組圖像,其中角膜頂點使用MediaPipe Iris 獲取的虹膜中心代替,具體測量結(jié)果見表6。 從表6 可以得出,對于頭部模型靜止狀態(tài)時,眼球突出度的標準差最大值為0.490 6 mm;眶距的標 準 差 為 0.118 6 mm; 瞳 距 的 標 準 差 為0.119 3 mm。比較表6 和表4,頭部模型(無角膜頂點標記點)測量結(jié)果中,眼球突出度的標準差比頭部模型(有角膜頂點標記點) 的大, 原因是MediaPipe Iris 獲取的虹膜中心有一定誤差;此外,頭部模型(無角膜頂點標記點)測量結(jié)果中,眼球突出度和瞳距的平均值均比頭部模型(有角膜頂點標記點) 的小,原因是角膜頂點標記點的位置和MediaPipe Iris 獲取的虹膜中心的位置不同。
表6 頭部模型(無角膜頂點標記點)靜止狀態(tài)測量結(jié)果Tab.6 Measurement results of head model without corneal markers in static state mm
頭部模型(無角膜頂點標記點)移動到5 個不同位置后采集圖像,具體測量結(jié)果見表7。 表7 中的真值為表6 中的平均值。 從表7 可以得出,對于頭部模型移動后測量時,眼球突出度的標準差最大值為0.696 3 mm,均方根誤差最大值為0.845 4 mm;眶距的標準差為0.080 8 mm,均方根誤差為0.220 7 mm;瞳距的標準差為0.218 5 mm,均方根誤差為0.229 5 mm。
表7 頭部模型(無角膜頂點標記點)移動后測量結(jié)果Tab.7 Measurement results of head model without corneal markers after moved mm
2.3.3 真人實驗
雙目相機采集的圖像如圖7(d)所示(真人閉眼且貼有角膜頂點標記點)。 共有4 個標記點,從左到右依次為顳側(cè)骨性點1、角膜頂點1(右眼)、角膜頂點2(左眼)和顳側(cè)骨性點2。 真人保持靜止狀態(tài)采集5 組圖像,各標記點識別方法參考顳側(cè)骨性點圖像識別方法,具體測量結(jié)果見表8。 因真人各項的真值不易獲得,表8 中也未給出真值和均方根誤差值。 從表8 可以得出,對于真人靜止狀態(tài)時,眼球突出度的標準差最大值為0.269 9 mm;眶距的標準差為0.017 9 mm;瞳距的標準差為0.203 4 mm。
表8 真人靜止狀態(tài)測量結(jié)果 Tab.8 Measurement results of real person in static state mm
真人移動到5 個不同位置后采集圖像,具體測量結(jié)果見表9。 表9 中的真值為表8 中的平均值。從表9 可以得出,對于真人移動后測量時,眼球突出度的標準差最大值為0.388 0 mm,均方根誤差最大值為0.486 1 mm;眶距的標準差為0.057 8 mm,均方根誤差為0.072 6 mm;瞳距的標準差為0.212 5 mm,均方根誤差為0.238 8 mm。
表9 真人移動后測量結(jié)果 Tab.9 Measurement results of real person after moved mm
針對真人實驗,去掉兩角膜頂點的標記點。 雙目相機采集的圖像如圖7(e)所示(真人睜開眼且不貼角膜標記點)。 真人保持靜止狀態(tài)采集5 組圖像,其中角膜頂點使用MediaPipe Iris 獲取的虹膜中心代替,具體測量結(jié)果見表10。 從表10 可以得出,對于真人靜止狀態(tài)時,眼球突出度的標準差最大值為0.474 2 mm;眶距的標準差為0.132 7 mm;瞳距的標準差為0.177 6 mm。
表10 真人(無角膜標記點)靜止狀態(tài)測量結(jié)果Tab.10 Measurement results of real person without corneal markers in static state mm
真人(無角膜標記點)移動到5 個不同位置后采集圖像,具體測量結(jié)果見表11。 表11 中的真值為表10 中的平均值。 從表11 可以得出,對于真人(無角膜標記點)移動后測量時,眼球突出度的標準差最大值為0.645 4 mm,均方根誤差最大值為0.689 1 mm;眶距的標準差為0.144 5 mm,均方根誤差為0.160 8 mm;瞳距的標準差為0.206 8 mm,均方根誤差為0.207 6 mm。
表11 真人(無角膜標記點)移動后測量結(jié)果Tab.11 Measurement results of real person without corneal markers after moved mm
本文研究了雙目視覺測量眼球突出度。 雙目視覺測量方法較Hertel 眼球突出計測量方法效率更高,較CT 測量方法無輻射更安全。 為了評估雙目視覺測量方法的精密度和準確度,搭建了實驗平臺,并針對不同對象和不同狀態(tài),采集了雙目圖像。 實驗結(jié)果表明,對于標準件,精密度為0.467 0 mm,準確度為0.631 3 mm;對于頭部模型,精密度為0.696 3 mm,準確度為0.8454 mm;對于真人實驗,精密度為0.645 4 mm,準確度為0.689 1 mm。 真人實驗的精密度和準確度比標準件均低,下一步需深入研究角膜頂點圖像處理識別算法。