中國科學院深圳先進技術研究院神經(jīng)工程研究中心夏澤洋研究團隊與上海交通大學趙群飛研究團隊在基于視覺的場景三維重構(gòu)研究方面取得進展。相應成果為“Yan TM, Gan YZ, Xia ZY, et al. Segment-based disparity refinement with occlusion handling for stereo matching [J]. IEEE Transactions on Image Processing, 2019, 28(8): 3885-3897(立體匹配中的視差優(yōu)化方法)”。

立體匹配是三維重建的核心步驟，其輸入是一對經(jīng)過矯正的彩色圖像，通過匹配同一三維物體在左右兩幅圖像上的投影點得到視差。目前，已有的立體匹配方法在無遮擋區(qū)域時，實現(xiàn)了較高的匹配精度，但在有遮擋區(qū)域時，匹配誤差較大。同時，已有方法的計算效率普遍較低。因此，該研究提出了一種基于分割的立體匹配視差優(yōu)化算法，以解決包含遮擋區(qū)域圖像的快速立體匹配問題。

該研究所提出的基于分割的立體匹配視差優(yōu)化方法直接優(yōu)化由彩色參考圖像得到的初始匹配最小代價對應的視差(WTA)。首先，參考圖像被分割為超像素，視差優(yōu)化方法直接在超像素上進行處理；然后，通過對超像素平均視差的估計得到一個前置平行視差圖；之后，對每個超像素分配一個平面以優(yōu)化得到一個傾斜表面視差圖。前置平行視差圖到傾斜表面視差圖的轉(zhuǎn)換通過一個全局優(yōu)化層和一個局部優(yōu)化層優(yōu)化得到。在全局優(yōu)化層中，采用馬爾科夫隨機域優(yōu)化算法對前向平行視差圖進行估計；在局部優(yōu)化層中，利用隨機抽樣一致算法與基于概率的視差平面算法來優(yōu)化傾斜表面視差圖。在 Middlebury 2014 和 KITTI 2015 數(shù)據(jù)庫上對所提出的方法進行了測試并與當前最優(yōu)的視差優(yōu)化方法進行了比較。在計算精度方面，所提出方法排名第 6 位；在計算效率方面，所提出方法比其他方法快 30 倍以上。

該研究所提出的基于分割的立體匹配視差優(yōu)化方法有效地解決了有遮擋時場景的快速、精確三維重建問題，為工業(yè)機器人等領域中的實時三維場景重建以及特殊環(huán)境下醫(yī)療機器人應用中的組織和器械的實時三維重建奠定了基礎。

基于分割的視差方法總體流程