余化鵬， 李 舟， 楊新瑞， 劉 雷(成都大學 信息科學與工程學院， 四川 成都 610106)

0 引 言

隨著深度學習相關(guān)領(lǐng)域的發(fā)展，實時目標檢測相關(guān)技術(shù)也迅速發(fā)展起來.在目標檢測結(jié)果的基礎(chǔ)上，目標的輪廓提取、顏色識別則是進一步完成目標屬性識別的重要環(huán)節(jié).對于復雜場景下的目標輪廓提取，基于深度學習的實時目標檢測系統(tǒng)通常能較好地標出物體的位置矩形框，但目標檢測系統(tǒng)本身就采用了深度學習方法，如輪廓提取再次使用深度學習方法，需要的計算資源過大，對于實時目標檢測系統(tǒng)來說，其代價難以承受.深度學習方法還可能導致識別結(jié)果有誤，學到錯誤的特征.而且，深度學習的方法依賴大量有標定的數(shù)據(jù)集，這部分工作通常只能由人力完成，輪廓識別的準確度依賴于數(shù)據(jù)集標定的準確度，準確的輪廓標定需要消耗大量人力資源和成本.本研究通過手工標定了700幅含有無人機輪廓的圖像，在Mask R-CNN[1]模型上訓練出了無人機檢測和輪廓提取模型，檢測效果和精度合宜，但其輪廓提取需要耗費大量計算資源，其效率無法滿足實時系統(tǒng)的要求.

對于復雜環(huán)境下的目標輪廓提取，本研究嘗試直接通過Canny邊緣檢測算法[2]、Marr-Hildreth[3]邊緣檢測算法對圖像進行檢測，雖能較好地提取圖像中的邊緣，但無法定位哪部分邊緣是屬于感興趣的目標，難以使用底層數(shù)字圖像處理的方法.背景區(qū)域和目標區(qū)域在數(shù)字圖像的層面并沒有本質(zhì)區(qū)別，無法直接用底層方法加以區(qū)分.

實時目標檢測系統(tǒng)能檢測出目標所在位置并標定矩形框，在此矩形框中的圖像主要部分即為物體的主體(即圖像的尺度近似等于目標的尺度)，其圖像范圍已經(jīng)縮小，然而基于深度學習方法的輪廓提取并沒有很好地利用這個先驗知識.為此，本研究在結(jié)合了多種基于數(shù)字圖像處理的算法后，提出了一種基于目標檢測結(jié)果的輪廓提取方法.在已有目標輪廓的情況下，目標的顏色也易于識別.本研究通過對輪廓內(nèi)包圍的像素點在HSI顏色空間下進行統(tǒng)計，識別目標主體顏色.本研究首先將檢測結(jié)果(與目標尺度大致相當)的圖像提取出來，將其灰度化后用Canny邊緣提取算法進行初步輪廓提取.同時，為減少噪聲所帶來的誤差、將目標的主體提取出來，進行多次形態(tài)學閉操作使邊緣主體部分擴大，隨后在形態(tài)學閉操作后的圖像中尋找最大輪廓，將其繪制并傳入顏色識別模塊.

1 Canny邊緣提取原理

首先考慮如何將輸入的圖像轉(zhuǎn)換為灰度圖?目前，常見的三原色RGB圖像轉(zhuǎn)為灰度圖的算法有3種，本研究采用的是較廣泛使用的一種.任何顏色都由紅、綠、藍三原色組成，如某點的顏色為RGB(R，G，B)，其灰度圖像對應的點的灰度值gray為，

gray=R×0.3+G×0.59+B×0.11

(1)

由式(1)計算出灰度值，產(chǎn)生灰度圖像后， 本研究通過Canny邊緣檢測算法來初步提取圖像的輪廓.

Canny邊緣檢測算法基于3個基本原則：同時考慮查準率與召回率，盡可能找到所有真實的邊緣，同時應該盡量降低偽響應；邊緣點的定位誤差應該低，真實邊緣中心與檢測器標記為邊緣的點之間的距離應該最?。粌H檢測出單一邊緣點，對于一個真實邊緣點，檢測器應僅檢測并返回一個點，而在只有一個單一邊緣點的位置，檢測器不應返回多個邊緣點.

Canny邊緣檢測算法在數(shù)學層面表達了此3個基本原則，具體如下：

1)令f(x,y)表示輸入圖像，G(x,y)表示高斯函數(shù)，

(2)

用G和f的卷積形成一幅平滑后的圖像，

(3)

上述過程采用高斯濾波器將輸入圖像平滑.隨后，計算出該點的梯度幅值和方向，

(4)

和

(5)

2)通過計算出的梯度方向矩陣α(x,y)對梯度幅值矩陣M(x,y)進行非極大值抑制.首先將梯度方向離散化為4個方向，即上下、左右、正斜與反斜，以便對應3×3鄰域.在梯度幅值矩陣M(x,y)中以點(i，j)為中心的3×3鄰域內(nèi)沿梯度方向α(i,j)進行比對，若點(i,j)處的梯度幅值M(i,j)大于梯度方向α(i,j)上與其相鄰的2個點，則認為點(i,j)是邊緣點，保持其梯度幅值不變，反之則認為它是非邊緣點，將其梯度幅值設(shè)置為0.

3)用雙閾值處理和連接分析來檢測并連接邊緣.首先選取高閾值TH和低閾值TL，隨后遍歷整個圖像.若某點(i,j)的梯度幅值M(i,j)低于TL，則此點為非邊緣點；若某點(i,j)的梯度幅值M(i,j)高于TH，則此點為強邊緣點；若某點(i,j)的梯度幅值M(i,j)低于TH且高于TL，則此點為弱邊緣點.對于弱邊緣點，對其8鄰域像素進行判斷，若其鄰域內(nèi)存在邊緣點，則將該弱邊緣點視為邊緣點，反之則視為非邊緣點.最后，輸出最終的邊緣圖像.

需注意的是，應用Canny邊緣檢測算法時，如雙閾值設(shè)置過高，會導致本屬于目標主體的輪廓未被檢測出；如雙閾值設(shè)置過低，會導致噪聲和背景產(chǎn)生的干擾輪廓過多，難以與屬于目標主體的輪廓相區(qū)分.故本研究在應用Canny邊緣檢測算法時高低閾值比選取為2∶1，充分考慮了上述兩方面問題，取得了較好的平衡.

2 形態(tài)學閉操作與尋找最大輪廓

在上述得到的圖像中，本研究已經(jīng)初步地通過Canny算法提取了圖像中的輪廓.因目標尺度與圖像大小大致相當，本研究設(shè)想提取其中的最大輪廓即為目標的輪廓.但在大多數(shù)情況下(即有少量背景干擾)，上述操作提取到的輪廓實際上是由多個線段組成的不連通的輪廓，這些線段標出的輪廓有些屬于目標輪廓的一部分，另一些則屬于背景和噪聲.在數(shù)字圖像的層面上，無法較好地將背景、噪聲和目標主體區(qū)分開來，如果直接在此圖像尋找最大輪廓，提取到的輪廓通常僅表示目標主體的一部分，誤差較大.如何連接屬于目標主體的多個輪廓，同時又排除背景與噪聲產(chǎn)生的輪廓，是本研究考慮的重點.由目標主體組成的輪廓線段位置相近，背景輪廓又通常位于圖像邊緣并且離目標主體較遠，這是一個很好的先驗信息，因此本研究通過多次形態(tài)學閉操作[4-7]，將這些互不相連的屬于目標主體的輪廓線段相連接，同時通過控制結(jié)構(gòu)元大小，如此的操作并不會將背景和噪聲產(chǎn)生的輪廓與目標輪廓相連.

閉操作會平滑輪廓的一部分，彌合較窄的間斷和細長的溝壑，消除小的孔洞，填補輪廓線中的斷裂[8].用結(jié)構(gòu)元B對集合A的閉操作，可表示為A°B，其定義如下，

(6)

(7)

(8)

通過多次形態(tài)學閉操作，將目標中互不連接的主體輪廓線段相連，形成了一個由包圍面積較小的背景、噪聲輪廓和包圍面積較大的目標主體輪廓組成的二值圖像.隨后通過調(diào)用OpenCV中的findContours函數(shù)實現(xiàn)尋找圖像中的最大輪廓，其輪廓搜索方法是由Suzuki等[9]提出的一種基于二值圖像外輪廓搜索的方法.此方法會對圖像中所有像素點進行搜索，生成多個輪廓.本研究將提取的多個輪廓按輪廓包圍的面積進行比較，取面積最大的輪廓即是目標主體的輪廓.

由此，本研究應用的取最大面積輪廓算法步驟如下：

輸入：多個輪廓λ1，λ2，…，λn.

輸出：最大面積輪廓λmax.

1)從輸入輪廓中讀取下一個輪廓λnow；

2)如最大面積輪廓標號λmax為空，則λmax=λnow，否則將λmax的輪廓包圍面積與λnow的輪廓包圍面積進行比較，如λnow的輪廓包圍面積更大，則λmax=λnow；

3)如λnow已是最后一個輪廓，結(jié)束流程，輸出λmax；否則跳至步驟1.

本研究提出的輪廓提取算法基于以下原則：算法時間復雜度應相對較低，這是由實時系統(tǒng)的特性決定的；算法要良好地利用“目標大致尺度已經(jīng)由實時目標檢測系統(tǒng)給定”這一先驗知識；輪廓提取精度應遠高于直接應用底層數(shù)字圖像處理的方法.

由此，本研究提出的基于目標檢測結(jié)果的目標輪廓提取算法步驟如下：

輸入：目標檢測結(jié)果圖像(圖像大小與目標尺度大致相當.

輸出：目標輪廓.

1)將輸入圖像轉(zhuǎn)為灰度圖；

2)將此灰度圖應用Canny邊緣提取算法；

3)對步驟2中輸出的圖像進行3次形態(tài)學閉操作；

4)對步驟3中輸出的圖像應用取最大面積輪廓算法搜索最大輪廓；

5)輸出此最大輪廓，即為本算法提取的目標輪廓.

3 顏色識別

RGB系統(tǒng)通常用來描述顏色，其與人眼強烈感知紅、綠、藍三原色的事實能很好地匹配，但不能很好地適應實際解釋的顏色.HSI顏色空間在彩色圖像中從攜帶的彩色信息(色度和飽和度)里消去強度分量的影響,這種顏色空間對人來說是自然且直觀的[10]，因此本研究采用HSI顏色空間來描述圖像.從RGB到HSI的彩色轉(zhuǎn)換公式為，

(9)

式中，

(10)

飽和度分量為，

S=1-(3/(R+G+B))[min(R,G,B)]

(11)

強度分量為，

I=1/3(R+G+B)

(12)

本研究通過下述過程完成顏色識別：首先，將僅含有目標輪廓的圖像通過填充算法將目標區(qū)域填充為白色，將背景區(qū)域填充為黑色，形成一個二值圖像(該二值圖像與原圖像的長寬相同)，以便于下一步的顏色識別操作.通過實驗發(fā)現(xiàn)，目標主體顏色通常取決于中心部分顏色，因為邊緣部分通常與背景有混淆.故本研究在顏色識別過程中將前述步驟得到的填充后圖像應用了形態(tài)學腐蝕操作，進一步縮小輪廓范圍，提高顏色識別準確率.最后，對上述處理后的二值圖像進行遍歷.如果顏色為白色的像素點，則對原圖中相應的點通過上述HSI顏色空間的方法進行顏色判定，并根據(jù)顏色范圍表計入黑、灰、白、紅、橙、黃、綠、青、藍、紫，進行統(tǒng)計.通過實踐發(fā)現(xiàn)，無人機圖像中由于背景等原因，盡管有些無人機并不是黑色或灰色的，但其黑色和灰色的統(tǒng)計量會顯著升高從而影響判定，因此本研究經(jīng)驗性地將黑色和灰色的統(tǒng)計量權(quán)值降低為原來的2/3.通過驗證發(fā)現(xiàn)，這樣做能顯著降低非黑色非灰色圖像誤判為黑色或灰色，同時不會使本是黑色或灰色的圖像誤判為其他顏色.通過統(tǒng)計10種顏色分類的值，其統(tǒng)計值最高的一個顏色，即為目標主體的顏色.

綜上所述，本研究提出的顏色識別算法步驟如下：

輸入：目標圖像，目標圖像類別，目標輪廓圖像.

輸出：目標顏色.

1)將輪廓圖像填充；

2)對步驟1中輸出的圖像應用形態(tài)學腐蝕操作；

3)對于步驟2中輸出圖像的每個像素點m：如果m為白色，則檢測目標圖像中對應點的HSI空間下的顏色，將其納入10種顏色的數(shù)量統(tǒng)計值；否則認為該點是背景，對下一個點繼續(xù)檢測；

4)如目標圖像類別是無人機圖像，則經(jīng)驗性地將黑色和灰色統(tǒng)計量降權(quán)為原來的2/3；

5)分析10種類別顏色的統(tǒng)計值，輸出統(tǒng)計值最高的顏色.

4 結(jié)果、評價與對比

本研究選取了真實場景下的無人機、小汽車和人3類目標進行測試，建立了用于驗證本研究算法的測試集，共有圖像405幅，其中有無人機目標180幅、小汽車目標152幅及人目標101幅.本研究選取2個重要指標進行比較，即提取目標輪廓所需時間和目標輪廓交并比IoU(Intersection over Union)，并將目標輪廓內(nèi)的像素點視為集合，計算手工標定的真實輪廓與算法提取的輪廓之間的IoU.

本研究用C++在Visual Studio 2017平臺上實現(xiàn)了下述3種算法，并進行了對比實驗：用Canny算法提取輪廓；用Mask R-CNN[1]算法提取目標的輪廓；用本研究提出的算法基于目標檢測結(jié)果提取輪廓.

本研究在第1種算法和第3種算法下選取的Canny雙閾值均為40,80；在第2種算法下選取的最小置信度為0.9.實驗中采用的部分圖像及其輪廓提取結(jié)果如圖1所示.圖1中，第1、2排為無人機圖像；第3排為人圖像；第4、5排為小汽車圖像.圖1中，提取到的輪廓已被疊加至原圖，矩形框是YOLO實時目標檢測系統(tǒng)標定的目標范圍矩形框，即本研究進行輪廓提取的圖像區(qū)域.

圖1 本研究算法得出的部分結(jié)果

3種算法的對比如圖2所示.

圖2中，Canny算法得出的結(jié)果沒有矩形框標定，是因為Canny算法無法定位哪部分是待提取輪廓的目標.

本研究采用的計算機配置與環(huán)境是Windows 7操作系統(tǒng)、NVIDIA GeForce GTX 960圖形適配器、IntelXeon E3-1231 CPU及16 GiB內(nèi)存.上述3種算法的對比實驗結(jié)果如表1所示.

圖2 3種算法對比

表1 實驗結(jié)果

需要說明的是，本研究采用的實時目標檢測系統(tǒng)是通過YOLO[11]實現(xiàn)的，在平均速度指標統(tǒng)計中，已經(jīng)包含了通過YOLO獲取目標檢測結(jié)果的時間.

對于本研究提出的算法，無人機和小汽車這2類目標的顏色都有主體顏色，識別其顏色有應用價值；但人這一目標有膚色、服裝顏色等不同顏色特征，通過本研究的算法識別的顏色沒有顯著的應用價值，故沒有納入統(tǒng)計范圍.

由圖1、圖2和表1可見，在3組算法中，直接Canny算法提取輪廓的效率很高，但其輪廓平均交并比與顏色識別正確率很低，其原因是Canny找到的輪廓是整個圖像的輪廓，而不是待檢測目標的輪廓.Mask R-CNN[1]算法提取輪廓的精度很高，輪廓平均交并比與顏色識別正確率都非常高，但其識別平均速度非常慢，難以應用于實時系統(tǒng)上.本研究提出的算法輪廓平均交并比與顏色識別正確率略低于Mask R-CNN[1]算法，但運行速度遠快于Mask R-CNN算法.

5 結(jié) 論

本研究通過基于目標檢測結(jié)果的圖像進行了輪廓提取和顏色識別.對于輪廓提取，本研究采用的結(jié)合實時目標檢測系統(tǒng)的數(shù)字圖像處理方法在速度上數(shù)百倍快于目前廣泛使用的深度學習方法,精度數(shù)倍高于直接應用的底層數(shù)字圖像處理方法，能較好地滿足實時系統(tǒng)中輪廓提取對效率和精度的要求.

由于通過像素統(tǒng)計的方法得出的值是所有局部信息相加的結(jié)果，然而人的視覺系統(tǒng)是一個很復雜的系統(tǒng)，例如一部分人眼認為是白色的無人機，放大后查看每個像素點，確實又有很大一部分是灰色的，這符合本研究的算法結(jié)果，但與人眼直覺有一定的差距，未來的工作需要更深入地研究人類視覺系統(tǒng)對整體信息的理解.