蔡雁翔,謝海成,于天琪,羊箭鋒

(蘇州大學 電子信息學院,江蘇 蘇州 215006)

1 引 言

視覺是人類感知外部客觀世界的主要方式之一,人類日常所獲取和接收到的大多數(shù)信息都是通過視覺[1],因此,用計算機和視覺傳感器等儀器來模擬人類的大腦和眼睛的計算機視覺成為了熱門研究方向。

按照視覺傳感器的數(shù)量,計算機視覺可以簡單分類為單目、雙目和多目視覺[2]。其中,雙目視覺一般由兩個成像設備從不同的角度同時獲取同一場景的兩幅圖像,并根據(jù)圖像恢復出物體的三維坐標信息[3],以便后續(xù)測距、三維重構(gòu)等應用的開發(fā)。

雙目視覺測距方法一般采用棋盤格標定法[4]進行標定,以此為基礎來進行圖像畸變校正,并利用立體匹配和視差原理來得到距離[5]。其中,立體匹配作為關鍵的一步對測距結(jié)果的準確性產(chǎn)生重要影響?，F(xiàn)有的匹配方法多是基于特征的匹配,例如,基于半全局特征匹配的SGBM(Semi-global Block Matching)算法[6]、基于局部特征匹配的SIFT(Scale-invariant Feature Transform)算法[7]、ORB(Oriented FAST and Rotated BRIEF)算法[8]等。對于特征區(qū)別較大且特征較明顯的物體來說特征匹配是一種便捷的方法,但是當左右兩幅畫面中出現(xiàn)多個高度相似的目標且目標表面光滑時,由于高度相似且弱紋理表面會導致無法進行有效匹配,所以基于特征的匹配本身存在局限性。

針對上述問題,本文采用基于特征和空間位置的目標匹配方式,并將其應用到雙目視覺測距模型中,建立了一種基于會聚型雙目立體視覺的測距模型。

2 基于會聚型雙目立體視覺的測距模型總體框架

傳統(tǒng)雙目立體視覺中,按照雙目攝像機的擺放位置和它們的光軸是否平行,可以分為雙目光軸平行模型和雙目光軸交匯模型[9],如圖1所示。

圖1 雙目視覺模型

圖1中Ol和Or為左右兩臺攝像機的光心;b為光心之間的距離;f表示攝像機焦距; πl(wèi)和πr為左右攝像機的成像平面。P為三維空間中任意一點,在左攝像機成像平面πl(wèi)上的投影為pl,在πr上的投影為pr,z為點P到兩臺攝像機光心連線的垂直距離。

理想情況下,兩臺完全相同的攝像機左右平行放置,成像平面πl(wèi)和πr共面,且它們的光軸相互平行,被稱為是雙目光軸平行模型。但實際研究過程中,無法保證左右攝像機的光軸處于平行狀態(tài),所以更常用的模型是雙目光軸交匯模型。本文在雙目光軸交匯模型的基礎上,建立了基于會聚型雙目視覺的測距模型。

首先,針對特征匹配存在局限性的問題,采用了基于特征和空間位置的匹配方式,先利用特征進行目標檢測,再根據(jù)目標的空間位置關系進行匹配。其次,考慮到人類通過控制眼球轉(zhuǎn)動始終讓感興趣的目標處于視野中央這一視覺習慣,同時因為從圖像中心至邊緣,畸變程度越來越明顯,圖像中心幾乎不存在畸變的這一現(xiàn)象,提出了“會聚型”的概念,即在攝像機的基礎上增加了舵機來模擬眼球的轉(zhuǎn)動,通過控制舵機來控制攝像機視角會聚于指定目標,達到使目標物體的成像位于圖像中央的效果,以此來減小圖像畸變對指定目標的影響。最后,該模型依據(jù)三角形原理來計算距離。

因此,本文的測距模型總體框架如圖2所示,主要包括雙目圖像采集、目標匹配、基于舵機的角度控制和距離測量四個部分。

圖2 模型框圖

在理解設計思路的基礎上,對各部分算法進行詳細研究。

3 基于特征及空間位置的目標匹配

本文的目標匹配主要包含目標檢測和目標匹配兩個步驟,流程圖如圖3所示。

圖3 基于特征及空間位置的目標匹配流程圖

目標檢測是計算機視覺技術中的一項關鍵的任務[10],經(jīng)典的運動目標檢測算法有背景差分法、幀間差分法、光流法[11]。主流的深度學習目標檢測算法主要分為雙階段檢測算法和單階段檢測算法,分別以R-CNN和YOLO為代表[12]。

而通常需要做處理的視頻或圖像都是彩色的,因此顏色信息可以作為目標檢測的一個重要特征和依據(jù)。經(jīng)典的顏色空間有RGB,HSV,lab,YCbCr和YUV等[13]。本文中選擇的顏色空間是HSV顏色空間,并且詳細討論了一種簡單背景下基于HSV顏色特征的目標檢測方法。在實現(xiàn)目標檢測效果的基礎上進行后續(xù)的匹配工作。

3.1 顏色空間的轉(zhuǎn)換及圖像濾波

首先利用RTSP協(xié)議從攝像機中實時讀取兩路視頻。其次,攝像機采集到的視頻圖像是BGR格式,需要將BGR格式圖像轉(zhuǎn)為HSV格式。從RGB空間轉(zhuǎn)換到HSV空間的轉(zhuǎn)換算法的公式[14]為如式(1),轉(zhuǎn)換結(jié)果如圖4所示。

圖4 圖像格式轉(zhuǎn)換

(1)

顏色空間轉(zhuǎn)換完成后,選擇合適的閾值對圖像進行二值化處理,去除背景部分。之后對二值化圖像進行形態(tài)學腐蝕膨脹處理和高斯濾波處理,保證輪廓提取的精度。具體處理效果如圖5所示。

三是選擇好播區(qū)。今年，飛播造林選擇了幾種類型的造林地塊，即完成整地的未造林地、整地造林的未成林地、播前使用鎬頭摟溝的宜林地、灌木林地、高山遠山宜林地。通過苗情調(diào)查，我們認為，飛播造林地塊應盡可能進行播前整地或摟溝，為種子出苗提供了良好的土壤環(huán)境，同時可以有效避免水沖使種子集中到低洼處。幾種形式的地塊出苗率較好的是完成整地的未造林地和整地造林的未成林地，其余依次為播前使用鎬頭摟溝的宜林地、灌木林地、高山遠山宜林地。

圖5 具體處理效果圖

3.2 輪廓提取和矩形框標定

目標檢測需要對清晰光滑的二值圖像進行輪廓提取操作,這里只檢索最外面的輪廓。得到目標的輪廓之后,畫出輪廓的外接矩形,并記錄矩形框中心點。目標檢測的效果如圖6所示。

圖6 矩形框標定結(jié)果

3.3 基于空間關系的目標匹配

當只有一個目標物體時,左右兩個攝像機圖像中只能找出一個輪廓,可以直接將兩個畫面中檢測到的目標對應起來。但是當目標物體有兩個及以上時,就需要進行目標匹配。本文根據(jù)左右攝像機的成像具有高度重疊性的特點,采用基于空間位置的方式進行兩幅圖像中多個相似目標的匹配,并利用歐式距離來進行判斷。

按照兩個目標的情況來考慮,攝像機圖像經(jīng)過處理后得到的兩個目標矩形框位置如圖7所示。

圖7 左右攝像機圖像示意圖

由于左右兩幅圖像的分辨率是相同的,所以可以將兩幅圖像重疊,將四個矩形框放在同一個圖像坐標系中去考慮,如將右圖的目標框映射到左圖的畫面中相同位置。圖8表示的是兩個目標可能的兩種匹配方式:一種是A1對應A1′,A2對應A2′;另一種是A1對應A2′,A2對應A1′。

圖8 兩個目標時的兩種匹配情況

當目標都位于同一個坐標系中之后,就可以直接計算相對應的兩個矩形框中心坐標之間的歐式距離。分別計算出圖8中兩種匹配方式的歐氏距離之和后進行比較,歐氏距離比較小的就是最佳匹配。根據(jù)以上討論可知,πl(wèi)平面上的A1對應πr平面上的A1′,πl(wèi)平面上的A2對應πr平面上的A2′。同理可知,如果有兩個以上的相似目標,可以同樣根據(jù)上述的基于歐氏距離的方式來進行目標匹配。

由于雙目視覺的左右畫面具有高度的重疊性,導致左右畫面中目標表面特征無明顯差異,使用同一個目標識別算法對左右畫面進行目標識別,可保證相同的識別結(jié)果,即在左圖中能識別的目標,在右圖中也能進行正確識別。在完成對雙目視覺左右畫面中的目標識別框定過程后,通過歐式距離對雙目視覺左右畫面中的同類型的目標進行匹配,是一種在邏輯層面上的匹配規(guī)則,且更符合人類左右雙眼對目標匹配的習慣,不僅可以實現(xiàn)多類型目標之間的匹配,同時還能實現(xiàn)相似目標之間的匹配。

4 基于舵機的角度控制及測距模型

4.1 攝像頭視角控制

攝像頭的角度控制也就是通過控制舵機,轉(zhuǎn)動攝像頭視角,使攝像頭光軸會聚于目標物體。

本文采用的方法是根據(jù)目標檢測結(jié)果自動控制舵機。根據(jù)前文實現(xiàn)的目標檢測和目標匹配可以得到左右兩幅圖像中指定目標對應的兩個矩形框及其中心坐標。以左攝像頭為例,將矩形框中心與整幅圖像中心位置的水平坐標不斷進行比較,以兩個坐標值的相對大小來判斷舵機向左或向右水平轉(zhuǎn)動2°。不斷重復以上過程直到兩個水平坐標的差的絕對值小于20個像素值,即認為攝像頭在水平方向上轉(zhuǎn)到了合適的位置。

控制兩個攝像頭整體轉(zhuǎn)動時,由于兩個攝像頭在同一平面,所以以左攝像頭為準,且與水平方向的轉(zhuǎn)動方式類似。當兩個方向上,攝像頭都轉(zhuǎn)動到合適的位置時,兩個攝像頭就對準了指定目標。

圖9為兩個攝像頭轉(zhuǎn)動效果的平面和側(cè)視示意圖。兩個攝像機的初始位置是隨意擺放的,經(jīng)過舵機轉(zhuǎn)動后,兩個攝像頭光軸會聚于目標物體上。圖10為圖像中目標成像位置的變化示意圖,經(jīng)過舵機的轉(zhuǎn)動,目標成像會移動到圖像中心位置。

圖9 攝像頭轉(zhuǎn)動效果示意圖

圖10 目標成像位置變化示意圖

4.2 測距模型

本文中的兩臺攝像機是動態(tài)的,相對位置不固定,不能用棋盤格標定法進行標定,也就無法通過視差原理來測距?？紤]到水平方向上的兩臺舵機相對位置固定,左右舵機轉(zhuǎn)軸中心距離不變,因此選擇測量的距離是目標到左舵機轉(zhuǎn)軸中心的距離,并且根據(jù)模型實際運行效果,選擇利用三角形原理來計算距離。

本文采用舵機控制轉(zhuǎn)軸旋轉(zhuǎn)使目標物體成像位置在圖像的中心,圖11(a)為實際攝像頭轉(zhuǎn)動的平面示意圖。

(a)實際攝像頭轉(zhuǎn)動平面示意圖

圖中O1和O2為初始狀態(tài)左右兩臺攝像機的光心,O1′和O2′為轉(zhuǎn)動后左右兩臺攝像機的光心,攝像機通過支架與舵機固定在一起,可以看到舵機轉(zhuǎn)動完成后,目標物體、攝像機和舵機轉(zhuǎn)軸中心處于一條直線上。目標物體和兩個舵機的轉(zhuǎn)軸中心構(gòu)成了一個三角形,簡化示意圖如圖11(b)所示。

根據(jù)解三角形原理:

(2)

其中,b、α和β已知,根據(jù)可以求得目標物體到左舵機轉(zhuǎn)軸中心的距離:

(3)

5 實驗結(jié)果及分析

本文采用基于HSV顏色空間的目標檢測方法,在簡單背景情況下,選擇灰色為待識別顏色,通過設置合適的高、低閾值來實現(xiàn)較好的識別效果。檢測效果如圖12所示。

圖12 目標檢測結(jié)果

模型檢測到特定顏色的物體后,將會根據(jù)空間位置對兩幅圖像中的目標進行匹配,舵機將根據(jù)匹配結(jié)果將指定目標的成像移動到圖像中央。將模型進行測試,舵機能夠達到使指定目標成像位于圖像中央的效果。圖13(a)為單個目標;圖13(b)為兩個目標,此時指定從左到右第二個物體為目標。

(a)單個目標

而采用SIFT和ORB方法對目標框內(nèi)進行特征提取時,由于目標表面光滑且高度相似,提取到的特征多數(shù)位于目標邊緣,且匹配存在較多誤差。特征檢測和匹配結(jié)果如圖14、15所示。

(a)SIFT

(a)SIFT

在實現(xiàn)攝像機光軸自動會聚目標物體的功能后,接著進行了多次距離測量,測量結(jié)果如表1所示。

表1 距離測量結(jié)果

從表1中的測量結(jié)果來看,本文的測距方法相對誤差在6.5 %以內(nèi),平均相對誤差為4.13 %。

總體來說,本文設計的模型能夠測量出目標到左舵機轉(zhuǎn)軸中心的距離,與實際距離相比存在一定的誤差,但誤差在可接受范圍內(nèi)。

6 結(jié) 論

本文針對雙目視覺測距方法中相似目標匹配存在困難這一問題,提出了采用基于特征和空間位置關系的匹配方式,并應用到測距模型中,研究了基于會聚型雙目視覺的測距模型。實驗表明,該模型能夠?qū)崿F(xiàn)簡單背景下對特定目標物體的檢測及匹配,攝像機能夠根據(jù)設計要求自動會聚于目標物體,且能夠測量出目標到左舵機轉(zhuǎn)軸中心的距離,證明了本文模型的可靠性。然而,由于攝像機圖像采集具有延時、舵機角度控制精度不足,導致測試結(jié)果與實際距離相比存在誤差。后續(xù)考慮采用性能更好的硬件模塊進行實驗,以減小測距誤差。