薛廣順，來智勇，張志毅，王美麗

（西北農(nóng)林科技大學(xué) 信息工程學(xué)院，陜西 楊凌712100）

0 引 言

利用三維重建技術(shù)研究我國肉牛產(chǎn)肉量與胴體形態(tài)特征參數(shù)的相關(guān)性，通過胴體形態(tài)特征參數(shù)活體預(yù)測肉牛產(chǎn)肉量具有一定的經(jīng)濟價值［1］。點云獲取是進行三維重建的前提和基礎(chǔ)，通常點云獲取方式可以分為兩類：基于主動視覺的點云獲取和基于被動視覺的點云獲?。?］。由于在點云獲取過程中牛是運動的，而被動視覺具有點云獲取簡單、速度快的優(yōu)點，所以本文采用一種基于計算機立體視覺的被動視覺技術(shù)獲取點云。計算機立體視覺研究的主要內(nèi)容是由多幅圖像的平面圖像恢復(fù)出被攝物體的三維坐標(biāo)［3］，其中基于兩幅圖像的雙目立體視覺技術(shù)是一個研究熱點，然而尚未有利用立體視覺技術(shù)獲取牛體點云數(shù)據(jù)的技術(shù)研究。雙目立體視覺中相機標(biāo)定和立體匹配是兩個比較關(guān)鍵和困難的問題［4］，也是一直以來研究的熱點，本文采用基于SIFT 的特征點提取和匹配方法實現(xiàn)特征點的匹配，并利用計算機視覺中的極線幾何原理，剔除誤匹配點，從而提高匹配精確度。在實際環(huán)境中，牛體所處環(huán)境和身體毛色情況較為復(fù)雜，把牛體從復(fù)雜的背景圖像中篩選出來也是一個比較困難和棘手的問題。如何在復(fù)雜環(huán)境中檢測出目標(biāo)物體是目標(biāo)定位的第一步，基于色彩的檢測方法是一種最為流行的方法［5－7］，針對牛體毛色及所處環(huán)境復(fù)雜的情況，本文采用基于貝葉斯的皮膚檢測算法提取牛體圖像。

本文以雙目立體視覺理論為基礎(chǔ)，以牛體為研究對象，通過相機系統(tǒng)標(biāo)定、貝葉斯分類、特征點提取及匹配、相機成像模型原理獲取點云等方法構(gòu)建一個基于雙目立體視覺的復(fù)雜背景下的牛體點云獲取系統(tǒng)。

1 相機標(biāo)定系統(tǒng)

本文采用兩臺相機，首先對每臺相機進行單獨標(biāo)定獲取相機的內(nèi)部參數(shù)、畸變參數(shù)和外部參數(shù)，進而求取相機之間的旋轉(zhuǎn)、平移關(guān)系和基礎(chǔ)矩陣。若在標(biāo)定過程中，同時對兩臺相機進行標(biāo)定，會造成因標(biāo)定板上的角點獲取不準(zhǔn)確，得到不準(zhǔn)確的標(biāo)定結(jié)果，因此，本文采用先對單個相機標(biāo)定求出內(nèi)部參數(shù)和畸變參數(shù)，再統(tǒng)一標(biāo)定求出外部參數(shù)的標(biāo)定方案。

1.1 相機標(biāo)定

為了建立有效的成像模型，必須先對相機進行標(biāo)定［8］。相機標(biāo)定就是獲得相機的內(nèi)部參數(shù)、畸變參數(shù)和外部參數(shù)。內(nèi)部參數(shù)是相機內(nèi)部的幾何和光學(xué)特性，外部參數(shù)是相機光心在世界坐標(biāo)系中的位置和方向。真正的相機鏡頭通常有一些形變，主要的變形為徑向形變，也會有輕微的切向形變。標(biāo)定就是將相機的畸變系數(shù)（k1，k2，p1，p2）［9］求 出來，以對拍得的牛體照片進行校正，獲得非畸變的圖像。通過建立適當(dāng)?shù)臄?shù)學(xué)模型，得到三維世界中的坐標(biāo)與二維圖像坐標(biāo)之間的映射關(guān)系，可以快速地獲取計算相機內(nèi)外參數(shù)的精確值［10］。

理想情況下，相機的光學(xué)系統(tǒng)成像為針孔模型，即一幅視圖是通過透視變換將三維空間中的點的相應(yīng)坐標(biāo)投影到圖像平面。相應(yīng)的投影公式如下

其展開式為

其中，m′是點M′投影在圖像平面的坐標(biāo)，以像素為單位；（X，Y，Z，1）是一個點的世界坐標(biāo)的齊次表示。表1是相機的一些參數(shù)說明。

表1 相機標(biāo)定參數(shù)

1.2 相機系統(tǒng)標(biāo)定

雙目立體視覺系統(tǒng)使用兩臺相機從不同角度獲取同一景物的兩幅圖像，通過確定兩幅圖像上的對應(yīng)點得到匹配點對，進而求出該點的三維坐標(biāo)；近年來，立體視覺技術(shù)發(fā)展越來越快，立體測量精度也越來越高。精確地標(biāo)定相機內(nèi)外參數(shù)不僅可以直接提高測量精度，而且可以為后續(xù)的三維重建奠定良好的基礎(chǔ)。相機系統(tǒng)標(biāo)定就是求取相機之間的旋轉(zhuǎn)、平移關(guān)系和基礎(chǔ)矩陣。設(shè)空間一點P 的坐標(biāo)為（X，Y，Z），已知左相機在角度為Rl，位置為tl時，P 在成像平面上的投影為ml，其齊次坐標(biāo)表示為（xl，yl，1）；右相機在角度為Rr，位置為tr時，P 在成像面上的投影為mr，其齊次坐標(biāo)表示為（xr，yr，1）。設(shè)左右相機坐標(biāo)系之間的旋轉(zhuǎn)矩陣為R、平移向量為t，可以得到以下關(guān)系

利用式 （2）～式 （4）可求得旋轉(zhuǎn)矩陣R 和平移向量t，即

1.3 極線約束中的基礎(chǔ)矩陣F

極線約束是計算機視覺理論中的一個重要性質(zhì)，對于雙目立體視覺中的對應(yīng)點匹配具有非常重要的作用［11］。若要使用極線約束，就必須首先計算出基礎(chǔ)矩陣。假設(shè)ml，mr是空間點P 在兩個圖像上的投影點，且ml，mr是齊次坐標(biāo)表示，則ml在圖像平面πr上的極線方程為mTlFmr＝0，F(xiàn) 即為兩相機之間的基礎(chǔ)矩陣。

在前面相機標(biāo)定過程中，已經(jīng)求得了左右相機的內(nèi)部參數(shù)矩陣Al，Ar和兩個相機坐標(biāo)系之間的旋轉(zhuǎn)矩陣R 和平移向量t，則基礎(chǔ)矩陣F 可表示為

式中：［t］x——平移向量t的反對稱矩陣。

基礎(chǔ)矩陣F 實際上包括了雙目立體視覺系統(tǒng)的所有參數(shù)，即兩相機的內(nèi)部參數(shù)Al，Ar和相機系統(tǒng)的旋轉(zhuǎn)矩陣R和平移向量t。這說明基礎(chǔ)矩陣F 只與相機系統(tǒng)的參數(shù)有關(guān)，與外部場景無關(guān)，是雙目立體視覺固有的一種約束關(guān)系［12］。

2 牛體檢測

牛體檢測就是將照片中的牛體與其之外的信息區(qū)分開，根據(jù)圖像像素的顏色信息將其判別為牛體或非牛體。顏色空間的選擇決定牛體檢測的效果，本文在RGB 和HSV 兩個顏色空間上采用貝葉斯分類器實現(xiàn)牛體檢測。

貝葉斯分類規(guī)則可表示為

式中：P（beef ∣c）和P（nonbeef ∣c）——給定的像素c是牛體和不是牛體的概率，它們是從顏色直方圖直接計算出來的。P（beef ∣c）和P（nonbeef ∣c）之間的比率為

根據(jù)以上規(guī)則，當(dāng)滿足下列條件時，像素c可以被歸類為牛體

式中：Θ——正確識別率和錯誤識別率的閾值，往往憑經(jīng)驗確定。

這種檢測方法簡單且便于計算，因此被廣泛應(yīng)用于皮膚檢測領(lǐng)域，本文使用該方法對牛體顏色區(qū)域進行檢測。

3 特征點提取及立體匹配

本文采用基于SIFT［13］特征點提取和匹配方法對檢測出的兩幅牛體圖像進行特征點提取和匹配，并利用計算機視覺中的極線理論剔除誤匹配點。SIFT 算法是一種基于旋轉(zhuǎn)、仿射變換保持不變性的圖像局部特征描述算法，主要分3個步驟：①特征點檢測；②特征向量的生成；③特征點匹配。

3.1 特征點檢測

SIFT 特征點檢測建立在圖像尺度空間的基礎(chǔ)上，其主要過程是：在尺度空間內(nèi)，利用唯一的線性核——高斯核，建立高斯金字塔；利用高斯金字塔構(gòu)建DOG （高斯差分）金字塔。DOG 算子是尺度歸一化的LOG 算子的近似，具有計算簡單的優(yōu)點，可通過不同尺度的高斯差分核與圖像卷積確定特征點所在位置及其尺度；為了消除低對比度極值點和不穩(wěn)定的邊緣響應(yīng)點，本文采用Hessian矩陣精確定位極值點，從而可以精確地獲取圖像的局部特征點。

3.2 特征向量的生成

對于每個圖像局部特征點，為了使SIFT 算子具有旋轉(zhuǎn)不變性，可通過特征點鄰域像素的梯度方向分布特性為每個局部特征點確定方向參數(shù)。對每個特征點以該特征點為中心，取8x8的像素窗口，在每個4x4的小像素塊上計算8個方向的梯度直方圖，并繪制每個梯度方向的累加值，進而可以形成一個具有8個梯度方向向量信息的種子點，對每個特征點使用4x4共16個種子點進行描述，使得每個特征點產(chǎn)生128個數(shù)據(jù)，即形成128維的特征向量。

3.3 特征點匹配

SIFT 特征點匹配主要是對兩副待匹配圖像的SIFT 特征向量進行相似度度量，計算其中一副圖像的每個特征點在另一幅匹配圖像的特征點集中的最鄰近匹配。本文采用歐式距離作為特征向量的相似度度量。特征向量a，b間的歐式距離Uab表示如下

式中：n——特征向量的維數(shù)，此處取128。

為了排除因為圖像遮擋和背景混亂而產(chǎn)生的誤匹配，通過比較最鄰近距離和次鄰近距離來消除誤匹配

式中：Umin——最鄰近距離，Ul——次鄰近距離，若其比值小于閾值threshold，則判定為正確匹配點對，否則為錯誤匹配點對。

另外，我們還將利用在式 （7）求出的基礎(chǔ)矩陣F，求出極線方程，利用極線約束剔除誤匹配點對。根據(jù)前面介紹假設(shè)獲得的匹配點對為ml，mr，其齊次坐標(biāo)表示分別為（xl，yl，1），（xr，yr，1），則有

理論上，匹配點對若不滿足式 （13）則剔除；在實際操作中，F(xiàn)mr并非等于0，令

e是預(yù)先設(shè)定的閾值，通常取為0.2－2即可滿足要求。如果匹配不滿足式 （14），將其剔除。

4 點云獲取

通過特征點匹配獲得匹配點對后，可以通過一對匹配點得到三維點的坐標(biāo)了。本部分通過相機成像模型求取三維點的坐標(biāo)，這種方法的優(yōu)點是直觀、易懂［14］。對一匹配點對m1＝ （x1，y1，1）和m2＝ （x2，y2，1），根據(jù)二維圖像點與三維空間點之間的映射關(guān)系，即

其中，Pi為對應(yīng)圖像的透視投影矩陣，M ＝ （X，Y，Z，1）T為對應(yīng)的空間點的三維坐標(biāo)，s1，s2為比例系數(shù)。將式（15）和式 （16）展開，得

式 （17）包含3個方程

從式 （19）的3個方程中將比例系數(shù)s1消去，得

對式 （18）做相同的處理，消去比例系數(shù)s2，得

將式 （20）～式 （23）四式聯(lián)立得到關(guān)于X，Y ，Z 這3個變量的4個方程。理論上來說，這4個方程中的某兩個方程必定是線性相關(guān)的。但由于圖像噪聲以及計算的誤差等因素導(dǎo)致其不是線性相關(guān)關(guān)系，所以求出的X，Y ，Z 是最小二乘意義上的解。解該聯(lián)立方程，可獲得匹配點對m1＝ （x1，y1，1）和m2＝ （x2，y2，1）對應(yīng)的三維坐標(biāo)點（X ，Y，Z） 。

5 實驗結(jié)果

本文是基于OpenCV＋C＋＋實現(xiàn)的，實驗所用相機為羅技Pro9000網(wǎng)絡(luò)高清攝像機。

（1）相機系統(tǒng)標(biāo)定結(jié)果：標(biāo)定采用張正友的標(biāo)定方法進行相機標(biāo)定。在標(biāo)定過程中，由于圖像的內(nèi)部參數(shù)、畸變參數(shù)和外部參數(shù)會受到標(biāo)定過程中標(biāo)定數(shù)目的影響，標(biāo)定數(shù)目越多，理論上來說標(biāo)定結(jié)果越準(zhǔn)確。本文的相機標(biāo)定過程中，采用20副7x9的棋盤圖像，左右相機標(biāo)定得到的相機內(nèi)部參數(shù)見表2，畸變參數(shù)見表3，外部參數(shù)見表4。

通過式 （5）和式 （6）可得兩相機坐標(biāo)系之間的平移向量t和旋轉(zhuǎn)矩陣R，見表5。

表2 左右相機的內(nèi)部參數(shù)

表3 左右相機的畸變參數(shù)

表4 左右相機的外部參數(shù)

表5 兩相機之間的平移向量t和旋轉(zhuǎn)矩陣R

相機之間的基礎(chǔ)矩陣

（2）牛體檢測結(jié)果：在不同顏色通道上對牛體圖像進行了一系列的實驗來分析檢測效果，同時建立了對應(yīng)的訓(xùn)練集和測試集。為了支持實驗，本文預(yù)先建立了47張彩色牛體圖像組成的小型數(shù)據(jù)集，并且每張圖像都已事先手動標(biāo)記出了牛體區(qū)域。實驗過程分為訓(xùn)練階段 （訓(xùn)練集32張）和測試階段 （測試集15張）兩部分，見表6。

表6 數(shù)據(jù)集

在實驗中，檢測效果由正確識別率和錯誤識別率共同來決定ROC （receiver operating characteristic）曲線，其中正確識別率為牛體像素點并被正確檢測為牛體的點的概率，而錯誤識別率為非牛體像素點被檢測為牛體的點的概率，正確識別率越高而錯誤識別率越低的通道檢測效果越好。

將所得的較好的顏色通道進行比較，ROC 曲線如圖1所示，RG、HS、RGB這3個顏色通道都具有較好的效果。選取RG 通道進行牛體檢測，結(jié)果如圖2所示

圖1 多通道ROC曲線比較

圖2 牛體圖像在RGB通道上牛體檢測結(jié)果

觀察結(jié)果可以看出結(jié)果圖存在噪聲與小洞，可通過形態(tài)學(xué)運算填補牛體中的小洞。開運算和閉運算是形態(tài)學(xué)中兩個重要的操作，其中閉運算先對圖像進行膨脹，然后腐蝕其結(jié)果，可以填充圖像中的空洞并對圖像輪廓有平滑作用；開運算現(xiàn)對圖像進行腐蝕，之后再進行膨脹操作，可以消除圖像中的毛刺及細(xì)小連接成分。

觀察可以發(fā)現(xiàn)，背景噪聲均為較小的區(qū)域且與牛體沒有公共部分，牛體作為圖像的主體部分，占據(jù)著圖像的大部分區(qū)域并且內(nèi)部連續(xù)，因此可以根據(jù)區(qū)域面積大小來區(qū)分牛體與噪聲區(qū)域，過濾掉面積較小的被視為噪聲的區(qū)域。得到連續(xù)牛體區(qū)域之后再對牛體進行填充，從而實現(xiàn)去噪和修補。從圖3中可以很明顯的看出，經(jīng)過去噪和修補后，可以較為精確的提取出圖像中的牛體信息。

圖3 牛體二值圖經(jīng)去噪和修補處理所得結(jié)果

（3）特征點提取、匹配及三維點云獲?。河捎谂ｓw體色比較單一，而我們利用SIFT 進行特征匹配的時候需要設(shè)置一個閾值，如果將這個閾值設(shè)置的很小，會有很多的匹配對，但是會產(chǎn)生很多的誤匹配，所以閾值的選取決定了特征匹配的數(shù)目和匹配精度，本文中所選取的閾值為0.4。特征點提取及匹配結(jié)果為：左圖特征點數(shù)共1725個，右圖特征點數(shù)共2170 個，共得到1005 對匹配點，其中誤匹配點對為14 對，粉紅色為正確匹配點對，藍(lán)色為誤匹配點對，如圖4 所示。這樣，我們便獲得了1005 對三維點數(shù)據(jù)。點云圖如圖5所示，從三維點云圖可以大致看出牛體的輪廓。但也存在一些問題，由于獲取的匹配點對較少，加上三維點獲取的不均勻，導(dǎo)致只獲取了牛體的部分信息。

圖4 特征點提取及匹配圖

圖5 牛體三維點云圖

6 結(jié)束語

本文進行了基于雙目立體視覺的復(fù)雜背景下的牛體點云獲取研究，采用兩個普通數(shù)碼相機拍攝圖像，實現(xiàn)了牛體特征點的三維點云獲取，并獲得了較好的效果，此方法簡便，成本低。

然而也存在一些問題，比如特征點匹配對較少，匹配點對獲取不均勻，后期擬采用三目立體視覺進行改進，三目立體視覺能從3個角度獲取牛體，相當(dāng)于3個雙目立體視覺系統(tǒng)，能在一定程度上增加匹配點對的數(shù)量和提高三維點云獲取的精度。

［1］LIU Chaochao，SHEN Mingxia，PENG Zengqi.Current status and perspective of predicting beef yield grades using machine vision ［J］.Food Science，2011，32 （9）：324－327 （in Chinese）.［劉超超，沈明霞，彭增起.機器視覺預(yù)測牛肉產(chǎn)量級研究現(xiàn)狀及展望 ［J］.食品科學(xué)，2011，32 （9）：324－327.］

［2］JIANG Jing，ZHANG Xuesong.Depth estimation method based on computer vision ［J］.Electro－Optic Technology Application，2011，26 （1）：51－55 （in Chinese）. ［江靜，張雪松.基于計算機視覺的深度估計方法 ［J］.光電應(yīng)用技術(shù)，2011，26 （1）：51－55.］

［3］Gary Bradski，Adrian Kaebler.Learning OpenCV （Chinese version）［M］.Beijing：Tsinghua University Press，2009 （in Chinese）.［Gary Bradski，Adrian Kaebler.學(xué)習(xí)OpenCV （中文版）［M］.北京：清華大學(xué)出版社，2009.］

［4］CHEN Shengyong，LIU Sheng.Realization of computer vision based on OpenCV ［M］.Beijing：Science Press，2008 （in Chinese）.［陳勝勇，劉盛.基于OpenCV 的計算機視覺技術(shù)實現(xiàn)［M］.北京：科學(xué)出版社，2008.］

［5］Phung SL，Bouzerdoum A，Chai D.Skin segmentation using color pixel classification：Analysis and comparison ［J］.IEEE Trans Pattern Analysis and Machine Intelligence，2007，27（1）：148－154.

［6］Elgammal A，Muang C，Hu D.Skin detection－a short tutorial［C］//Encyclopedia of Biometrics，2009：1－5.

［7］Dai Yongli，Cai Cheng.Ladybird skin region detection based on Bayesian classifier［J］.ICIC Express Letters，2013，7 （2）：105－110.

［8］WU Hua.Research on 3Dreconstruction based on binocular stereo vision using the ordinary cameras［D］.Nanning：Guangxi University，2012：15－19 （in Chinese）. ［吳華.基于普通攝像機的雙目立體視覺三維重構(gòu)技術(shù)研究 ［D］.南寧：廣西大學(xué)，2012：15－19.］

［9］DANG Le.Study on 3Dreconstruction method based on binocular stereo vision ［D］.Xi’an：Changan University，2009：12－14 （in Chinese）.［黨樂.基于雙目立體視覺的三維重建方法研究 ［D］.西安：長安大學(xué)，2009：12－14.］

［10］LIU Tao，YU Zhongqing，MA Qianli.Target distance caculation based on parallel binocular vision ［J］.Qingdao University （Natural Science），2009，22 （1）：59－62 （in Chinese）.［劉濤，于忠清，馬千里.基于平行雙目視覺的目標(biāo)距離計算［J］.青島大學(xué)學(xué)報 （自然科學(xué)），2009，22 （1）：59－62.］

［11］BAO Wenxia，LIANG Dong，WANG Nian.Image matching algorithm based on graph cut theory and geometric constraints［J］.Computer Engineering，2007，33 （1）：193－197 （in Chinese）.［鮑文霞，梁棟，王年.基于圖割理論和極幾何約束的圖像匹配算法［J］.計算機工程，2007，33 （1）：193－197.］

［12］LI Jian，KONG Lingyan.Research and implementation of stereo match algorithm based on OpenCV ［J］.Computer Engineering and Design，2013，34 （2）：565－568 （in Chinese）.［李健，孔令寅.基于OpenCV 的立體匹配算法的研究與實現(xiàn)［J］.計算機工程與設(shè)計，2013，34 （2）：565－568.］

［13］Lowe W.Distinctive image features from scale－invariant keypoints［J］.International Journal of Computer Vision，2004，60 （2）：91－110.

［14］CHEN Shengyong.The computer vision technology based on OpenCV ［M］.Beijing：Science Press，2008：235－250 （in Chinese） ［陳勝勇.基于OpenCV 的計算機視覺技術(shù)實現(xiàn)［M］.北京：科學(xué)出版社2008：235－250.］