王 鵬，董美涵，孫長庫，付魯華

光柵投影真?zhèn)位旌想p目舌面三維成像方法

王 鵬，董美涵，孫長庫，付魯華

(天津大學(xué)精密測(cè)試技術(shù)及儀器國家重點(diǎn)實(shí)驗(yàn)室，天津 300072)

傳統(tǒng)的舌頭診斷會(huì)受到醫(yī)生的知識(shí)、診斷技能和照明條件的限制，客觀性和可重復(fù)性較差．因此，對(duì)舌診進(jìn)行客觀化是很重要的．將光柵投影技術(shù)與雙目視覺相結(jié)合是實(shí)現(xiàn)三維成像的常用手段．然而，舌頭表面的津液會(huì)形成反射區(qū)導(dǎo)致相位展開失敗，而且雙目系統(tǒng)只能測(cè)量公共區(qū)域，邊緣無法測(cè)量．為了獲取完整的彩色舌面三維數(shù)據(jù)，提出了一種光柵投影的真?zhèn)位旌想p目三維重建的方法．將投影儀看成是一個(gè)逆向相機(jī)，對(duì)投影儀進(jìn)行標(biāo)定．由投影儀和左、右攝像機(jī)組成的兩個(gè)偽雙目系統(tǒng)，用于補(bǔ)充舌面過度曝光區(qū)以及舌面邊緣的點(diǎn)云．為避免空間點(diǎn)的重復(fù)重建，從理想光柵圖像出發(fā)，采用級(jí)次和極線混合約束的方法逐點(diǎn)分別向左、右相機(jī)尋找匹配點(diǎn)．對(duì)于左、右相機(jī)均匹配成功的點(diǎn)，采用真雙目系統(tǒng)進(jìn)行重建．對(duì)于單相機(jī)匹配成功的點(diǎn)，用偽雙目系統(tǒng)進(jìn)行重建．結(jié)果顯示，光柵投影真?zhèn)位旌想p目的方法可以準(zhǔn)確快速地獲得完整的區(qū)域性反光階梯塊和真實(shí)舌面三維點(diǎn)云，上舌面舌苔特征明顯，下舌面血管完整清晰，有助于舌診客觀化進(jìn)行．最后，設(shè)計(jì)實(shí)驗(yàn)用測(cè)量半徑為19.05mm的陶瓷球?qū)ο到y(tǒng)進(jìn)行了精度驗(yàn)證，系統(tǒng)的測(cè)量偏差在±0.1mm以內(nèi)．

舌診客觀化；三維測(cè)量；光柵投影；立體匹配

中醫(yī)認(rèn)為，人體是一個(gè)有機(jī)的整體，而舌是全身的臟腑器官的縮影之一，舌診是中醫(yī)望診的主要內(nèi)容之一[1]，各個(gè)組織器官的健康狀況均可通過神經(jīng)、脈絡(luò)反映到舌的不同區(qū)域．傳統(tǒng)的二維舌診儀只能識(shí)別舌體的形狀，無法提供舌體的舌苔厚度，舌裂紋的長度等三維信息，不能提供完整的診斷信息．因此，實(shí)現(xiàn)舌診的標(biāo)準(zhǔn)化、定量化、客觀化[2]，研制三維舌診儀具有重要的現(xiàn)實(shí)意義．

國內(nèi)部分學(xué)者已經(jīng)將光學(xué)的三維形貌測(cè)量技術(shù)引入舌診儀中，如北京工業(yè)大學(xué)蔡軼珩等[3]采用光度立體法配合4個(gè)光源進(jìn)行舌重建，但舌體三維重建的誤差高達(dá)3.6mm，且無法對(duì)舌面反光區(qū)域進(jìn)行重建．天津大學(xué)王元千等[4]利用多目立體視覺進(jìn)行舌面三維重建．為減少視覺盲區(qū)，系統(tǒng)用8個(gè)相機(jī)向心擺設(shè)，實(shí)驗(yàn)系統(tǒng)搭建復(fù)雜．天津大學(xué)郭丹等[5]利用雙目視覺搭建了彩色三維舌診儀，系統(tǒng)利用投影儀作為照明光源，采用改進(jìn)的SSD立體匹配算法對(duì)舌體上表面進(jìn)行了三維重建．本課題組利用成像追蹤模型搭建了一臺(tái)主動(dòng)線結(jié)構(gòu)光式的三維彩色舌診儀[6]．這種方法雖然精度高，但是需要借助精密升降臺(tái)，測(cè)量時(shí)間較長．

光柵投影雙目視覺具有非接觸性、精度高等特點(diǎn)，近年來在醫(yī)療輔助診斷領(lǐng)域有廣泛應(yīng)用．為實(shí)現(xiàn)彩色舌面點(diǎn)云的準(zhǔn)確快速獲取，本文將光柵投影技術(shù)引入到三維舌象儀中．針對(duì)舌面紋理特征不明顯等現(xiàn)象，借助光柵投影解算后的相位值增加匹配特征．對(duì)于光柵投影三維測(cè)量技術(shù)來說，在過度曝光的舌面圖像區(qū)域上無法獲得準(zhǔn)確的相位信息，最終無法獲得展開相位值，會(huì)形成點(diǎn)云的缺失．對(duì)于反射區(qū)域點(diǎn)云的獲取，可分為5類：噴灑顯像劑、多重曝光、調(diào)節(jié)投影亮度方法、后處理的相位補(bǔ)償以及多視角重建的方法．對(duì)于舌面來說，顯然不能采用噴灑顯像劑的方法進(jìn)行反光消除．多重曝光法是將多種曝光時(shí)間下拍攝的一組圖像合并為一個(gè)HDR圖像[7]，測(cè)量時(shí)間長，需要拍攝多組圖片．Babaie等[8]提出一種“空間地變化像素亮度”(SVIP)，該方法迭代地調(diào)節(jié)投影的棋盤格圖案亮度，計(jì)算量較大．趙世紅等[9]對(duì)面結(jié)構(gòu)光的投影條紋進(jìn)行優(yōu)化，減少了投影次數(shù)，并對(duì)最大亮度進(jìn)行了調(diào)整．Chen等[10]提出在步相移中用未飽和的像素點(diǎn)對(duì)相位進(jìn)行恢復(fù)，但需要圖像的像素滿足不飽和數(shù)大于3的條件．Feng等[11]提出利用兩個(gè)單目系統(tǒng)對(duì)強(qiáng)反射區(qū)域進(jìn)行補(bǔ)充，并利用散斑圖像不受像素飽和度的影響的特性確定強(qiáng)反射像素點(diǎn)．本文將投影儀看成是逆向相機(jī)，將投影儀和左右相機(jī)分別構(gòu)成兩套偽雙目測(cè)量系統(tǒng)，最終形成真?zhèn)坞p目混合測(cè)量系統(tǒng)對(duì)舌面點(diǎn)云進(jìn)行獲?。@種測(cè)量系統(tǒng)不僅可以解決反光區(qū)域點(diǎn)云缺失的問題，也可以對(duì)邊緣非公共區(qū)域進(jìn)行點(diǎn)云補(bǔ)充．

1 光柵投影雙目視覺三維成像

2 強(qiáng)反射表面反射模型

圖1 光柵反射示意

3 真?zhèn)位旌想p目測(cè)量模型

3.1 混合雙目立體匹配

傳統(tǒng)的結(jié)構(gòu)光三維重建技術(shù)僅僅把投影儀當(dāng)成提供光柵圖像的設(shè)備，本文將投影儀看成是逆向的相機(jī)，以投影儀輸入的理想光柵圖像作為投影儀拍攝的圖像．由于投影儀不具備真實(shí)成像屬性而且投影儀在制造過程中不可避免會(huì)產(chǎn)生鏡頭、光軸的裝配誤差，僅考慮徑向畸變模型對(duì)理想的光柵圖像進(jìn)行畸變校正，則有

圖2 立體匹配示意

3.2 坐標(biāo)系轉(zhuǎn)換

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)概述

搭建系統(tǒng)實(shí)物圖如圖3所示．系統(tǒng)由兩個(gè)?？低暪镜腗V-CA013-21UC彩色相機(jī)，分辨率為1280×1024，投影儀選擇聞泰科技公司的DLP4500pro，光源由環(huán)形光源CCSHPR2-150SW提供．鏡頭選擇為?？低暪镜?mm鏡頭，左、右相機(jī)的基線長度為180mm，測(cè)量距離為220mm．

圖3 系統(tǒng)實(shí)物圖

4.2 彩色舌面點(diǎn)云獲取

系統(tǒng)采用投影儀同步觸發(fā)照相機(jī)，照相機(jī)拍攝1幅彩色圖像和12幅光柵條紋圖像．彩色圖像用于顏色信息獲取，并經(jīng)過標(biāo)準(zhǔn)24色卡進(jìn)行了顏色校正．光柵圖像用于測(cè)量解相．展開相位時(shí)定義光柵調(diào)制度系數(shù)過濾邊緣相位不可靠區(qū)域．投影儀投射速度為0.04ms，采集時(shí)間在0.5s以內(nèi)，可近似看成舌靜止，從而獲取完整的舌面點(diǎn)云．同時(shí)，如圖4所示，對(duì)系統(tǒng)進(jìn)行機(jī)械封裝，設(shè)置下顎托，防止測(cè)量時(shí)發(fā)生劇烈抖動(dòng)，造成測(cè)量偏差．

圖4 系統(tǒng)封裝圖

如圖5(a)所示，由于舌面存在津液，用傳統(tǒng)雙目系統(tǒng)對(duì)舌面進(jìn)行測(cè)量，舌面出現(xiàn)斑點(diǎn)性缺失，且舌邊緣不完整．利用真?zhèn)位旌想p目模型對(duì)舌面進(jìn)行補(bǔ)充，如圖5(b)所示，舌邊緣完整，舌中點(diǎn)刺特征明顯．舌下表面形貌復(fù)雜，在運(yùn)用真雙目系統(tǒng)進(jìn)行重建時(shí)，由于存在遮擋，下表面重建不完整，如圖5(c)所示．應(yīng)用本文方法對(duì)點(diǎn)云進(jìn)行補(bǔ)充，可重建出完整的舌下表面，如圖5(d)所示，舌下脈絡(luò)清晰．實(shí)驗(yàn)驗(yàn)證，本文方法可以重建出完整的舌體上、下表面，有利于舌診客觀化．

圖5 舌面點(diǎn)云對(duì)比

4.3 鋁合金階梯塊驗(yàn)證

利用鋁合金階梯塊驗(yàn)證本文方法．拍攝的鋁合金階梯塊某一時(shí)刻光柵圖片如圖6所示，可以看出在階梯塊的不同位置處分別出現(xiàn)了過度曝光的現(xiàn)象．

應(yīng)用傳統(tǒng)雙目光柵系統(tǒng)對(duì)階梯塊進(jìn)行重建，重建結(jié)果如圖7(a)所示，階梯塊點(diǎn)云有大面積的缺失現(xiàn)象，應(yīng)用本文方法對(duì)階梯塊點(diǎn)云進(jìn)行補(bǔ)充，在同一視角下，補(bǔ)充后的點(diǎn)云圖如圖7(b)所示，可以看出，點(diǎn)云補(bǔ)充效果良好，階梯塊得到了完整重建．

圖6 階梯塊光柵投影

圖7 階梯塊點(diǎn)云對(duì)比

4.4 精度驗(yàn)證

為驗(yàn)證三維舌象儀的精度，對(duì)半徑為19.05mm的陶瓷球進(jìn)行三維重建并測(cè)量，運(yùn)用最小二乘法擬合半徑，點(diǎn)云結(jié)果如圖8所示．在視場(chǎng)不同位置測(cè)量10次的結(jié)果如表1所示．實(shí)驗(yàn)驗(yàn)證10次測(cè)量的平均值為19.025mm，系統(tǒng)的測(cè)量偏差在±0.1mm以內(nèi)，滿足舌面的測(cè)量要求．

圖8 陶瓷球點(diǎn)云

表1 陶瓷球測(cè)量實(shí)驗(yàn)結(jié)果

5 結(jié) 語

在大力發(fā)展中醫(yī)藥的時(shí)代背景下，為推進(jìn)舌診的客觀化進(jìn)行，本文設(shè)計(jì)并搭建了一套真?zhèn)位旌想p目彩色舌面點(diǎn)云獲取系統(tǒng)，驗(yàn)證了光柵投影技術(shù)可以應(yīng)用于舌面的三維重建．對(duì)傳統(tǒng)的雙目光柵測(cè)量進(jìn)行了改進(jìn)，分析了反射模型，提出了真?zhèn)位旌想p目測(cè)量模型，將投影儀和照相機(jī)組成偽雙目系統(tǒng)，引入了畸變校正后的理想光柵圖像做約束，對(duì)舌面進(jìn)行了有效補(bǔ)充，實(shí)驗(yàn)驗(yàn)證，系統(tǒng)對(duì)氧化鋁階梯塊的反光區(qū)域和邊緣區(qū)域做了明顯補(bǔ)充，可以對(duì)區(qū)域性反光物體做完整三維測(cè)量．應(yīng)用系統(tǒng)對(duì)真實(shí)舌的上、下表面測(cè)量，結(jié)果表明舌面的點(diǎn)云獲取效果良好，可以準(zhǔn)確反映舌面特征信息，具有實(shí)用價(jià)值，推進(jìn)了舌診的客觀化進(jìn)行．對(duì)19.05mm的陶瓷球進(jìn)行精度驗(yàn)證，系統(tǒng)的偏差在±0.1mm以內(nèi)．

［1］ 張麗倩，李孟航，高珊珊，等. 面向計(jì)算機(jī)輔助舌診關(guān)鍵問題的解決方案綜述[J]. 計(jì)算機(jī)科學(xué)，2021，48(7)：256-269.

Zhang Liqian，Li Menghang，Gao Shanshan，et al. Summary of computer-assisted tongue diagnosis solutions for key problems[J]. Computer Science，2021，48(7)：256-269(in Chinese).

［2］ 錢 鵬，燕海霞，李福鳳. 中醫(yī)舌診客觀化研究的臨床應(yīng)用進(jìn)展[J]. 中華中醫(yī)藥雜志，2021，36(5)：2839-2842.

Qian Peng，Yan Haixia，Li Fufeng. Clinical application progress of the objectification research on traditional Chinese medicine tongue diagnosis[J]. China Journal of Traditional Chinese Medicine and Pharmacy，2021，36(5)：2839-2842(in Chinese).

［3］ 蔡軼珩，張琳琳，盛 楠，等. 基于光度立體法的中醫(yī)舌體三維表面重建[J]. 電子與信息學(xué)報(bào)，2015，37(11)：2564-2570.

Cai Yiheng，Zhang Linlin，Sheng Nan，et al. 3D reconstruction of tongue surface based on photometric stereo method[J]. Journal of Electronics & Information Technology，2015，37(11)：2564-2570(in Chinese).

［4］ 王元千，陳 雪，邵 娜，等. 多目視覺三維重建系統(tǒng)在中醫(yī)舌象診斷中的應(yīng)用研究[J]. 生物醫(yī)學(xué)工程與臨床，2020，24(6)：661-666.

Wang Yuanqian，Chen Xue，Shao Na，et al. Research on three-dimensional reconstruction of tongue based on multi-vision[J]. Biomedical Engineering and Clinical Medicine，2020，24(6)：661-666(in Chinese).

［5］ 郭 丹，王學(xué)民，王瑞云，等. 基于雙目立體視覺的舌重建[J]. 傳感技術(shù)學(xué)報(bào)，2016，29(9)：1317-1322.

Guo Dan，Wang Xuemin，Wang Ruiyun，et al. 3D reconstruction of tongue based on binocular stereo[J]. Chinese Journal of Sensors and Actuators，2016，29(9)：1317-1322(in Chinese).

［6］ 孫長庫，陳素芳，王 鵬，等. 成像光線追蹤的舌面彩色三維成像方法研究[J]. 儀器儀表學(xué)報(bào)，2016，37(6)：1398-1404.

Sun Changku，Chen Sufang，Wang Peng，et al. Research on color 3D imaging method for tongue surface based on imaging ray tracking[J]. Chinese Journal of Scientific Instrument，2016，37(6)：1398-1404(in Chinese).

［7］ 張宗華，于 瑾，高 楠，等. 高反光表面三維形貌測(cè)量技術(shù)[J]. 紅外與激光工程，2020，49(3)：104-116.

Zhang Zonghua，Yu Jin，Gao Nan，et al. Three-dimensional shape measurement techniques of shiny surfaes[J]. Infrared and Laser Engineering，2020，49(3)：104-116(in Chinese).

［8］ Babaie G，Abolbashari M，F(xiàn)arahi F. Dynamics range enhancement in digital fringe projection technique[J]. Precision Engineering，2015，39：243-251.

［9］ 趙世紅，薛海峰，方振衛(wèi)，等. 基于雙目面結(jié)構(gòu)光的高反光物體自適應(yīng)條紋方法[J]. 光學(xué)技術(shù)，2020，46(4)：433-437.

Zhao Shihong，Xue Haifeng，F(xiàn)ang Zhenwei，et al. Adaptive fringe method for high reflection object based on binocular coded structured light[J]. Optical Technique，2020，46(4)：433-437(in Chinese).

［10］ Chen Yanming，He Yuming，Hu Eryi. Phase deviation analysis and phase retrieval for partial intensity saturation in phase-shifting projected fringe profilometry[J]. Optics Communications，2008，281(11)：3087-3090.

［11］ Feng Shijie，Chen Qian，Zuo Chao，et al. Fast three-dimensional measurements for dynamic scenes with shiny surfaces[J]. Optics Communications，2017，382：18-27.

［12］ 毛翠麗，盧榮勝，董敬濤，等. 相移條紋投影三維形貌測(cè)量技術(shù)綜述[J]. 計(jì)量學(xué)報(bào)，2018，39(5)：628-640.

Mao Cuili，Lu Rongsheng，Dong jingtao，et al. Overview of the 3D profilometry of phase shifting fringe projection[J]. Acta Metrologica Sinica，2018，39(5)：628-640(in Chinese).

［13］ 王 鵬，張宇倩，孫長庫，等. 極線和級(jí)次雙約束的光柵投影測(cè)量方法[J]. 紅外與激光工程，2020，49(4)：144-150.

Wang Peng，Zhang Yuqian，Sun Changku，et al. Fringe projection measurement method based on polar line and fringe order double constraint[J]. Infrared and Laser Engineering，2020，49(4)：144-150(in Chinese).

［14］ Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2000，22(11)：1330-1334.

［15］ 周 舵，王 鵬，孫長庫，等. 投影儀和雙相機(jī)組成的三目立體視覺系統(tǒng)標(biāo)定方法[J]. 光學(xué)學(xué)報(bào)，2021，41(11)：120-130.

Zhou Duo，Wang Peng，Sun Changku，et al. A calibration method for trinocular stereovision system consisting of a projector and dual cameras[J]. Acta Optica Sinica，2021，41(11)：120-130(in Chinese).

［16］ 李中偉，史玉升，鐘凱，等. 結(jié)構(gòu)光測(cè)量技術(shù)中的投影儀標(biāo)定算法[J]. 光學(xué)學(xué)報(bào)，2009，29(11)：3061-3065.

Li Zhongwei，Shi Yusheng，Zhong Kai，et al. Projector calibration algorithm for the structured light measurement technique[J]. Acta Optica Sinica，2009，29(11)：3061-3065(in Chinese).

Obtaining Tongue Surface Point Clouds with Grating Projection Mixed Real/Pseudo Binocular Model

Wang Peng，Dong Meihan，Sun Changku，F(xiàn)u Luhua

(State Key Laboratory of Precision Measuring Technology and Instruments，Tianjin University，Tianjin 300072，China)

Traditional tongue diagnosis is limited by the knowledge and diagnostic skills of doctors and the lighting conditions，which result in poor objectivity and reproducibility. Therefore，the objectification of tongue diagnosis is important. The combination of grating projection and binocular vision is a common method to realize three-dimensional(3D)imaging. However，fluids create reflective areas that cause the failure of the unwrapped phase and the binocular system can measure public areas but cannot measure edges. To obtain the complete 3D data of tongue color，we proposed a 3D reconstruction method based on grating projection. In the calibration process，we regarded the projector as a reverse camera. The projector-left camera and projector-right camera constituted two pseudo binocular systems，which were used to supplement the overexposure area and the edge of the tongue. To avoid the repeated reconstruction of spatial points，the matching points of the left and right cameras were searched point by point using the hierarchical method and pole line mixed constraints from ideal raster images. For the points matching the left and right cameras successfully，the true binocular system was used to reconstruct the points. For the points only matching a single camera，the pseudo binocular system was used to reconstruct the points. Results show that the grating projection method can accurately and rapidly obtain the complete regional reflective step block and the real 3D tongue surface point clouds. Moreover，the coating on the tongue surface is obvious，and the blood vessels on the lower tongue surface are complete and clear. The method helps promote the objective of tongue diagnosis. Finally，the accuracy of the system is verified by experiments. The measurement deviation of the standard ceramic ball with a radius of 19.05 mm is＜±0.1 mm.

tongue diagnosis objectification；three-dimensional measurement；grating projection；stereo matching

TP391.41；R241

A

0493-2137(2022)10-1101-07

10.11784/tdxbz202110026

2021-10-27；

2021-12-13.

王 鵬（1982— ），男，博士，副教授.

王 鵬，wang_peng@tju.edu.cn.

精密測(cè)試技術(shù)及儀器國家重點(diǎn)實(shí)驗(yàn)室2021年度探索性課題資助項(xiàng)目(Pilt2101).

2021 Exploratory Project Funding Project of the State Key Laboratory of Precision Measuring Technology and Instruments (No.Pilt2101).

(責(zé)任編輯：孫立華)