尹震宇,尹 聰1,,張飛青1,,徐光遠1,,徐福龍1,

1(中國科學院大學,北京 100049)

2(中國科學院 沈陽計算技術研究所,沈陽 110168)

3(遼寧省國產基礎軟硬件工控平臺技術研究重點實驗室,沈陽 110168)

0 引 言

車間自主巡檢機器人完成巡檢任務的基本前提是其能夠在車間中規(guī)定區(qū)域內自主移動,這就必須具備自主導航定位的能力.傳統(tǒng)的室內導航定位技術包括磁感應導航、標識碼定位、射頻識別定位以及紅外線定位等[1],這些方法的靈活性較差,一旦車間布局發(fā)生變化,就需要耗費一定的人力和物力對其進行維護.而視覺導航主要通過攝像頭獲取外部環(huán)境信息,并利用車間環(huán)境中某些人工特征進行識別來完成導航任務,具有自主性強、可靠性高、響應速度快等優(yōu)點[2].近年來,隨著視覺傳感器、嵌入式等技術的快速發(fā)展,視覺導航已廣泛應用于工業(yè)生產、倉儲物流和港口碼頭等領域.

在實際的車間中,受室內環(huán)境的限制,一般采用人工特征來輔助機器人完成視覺導航任務.為了盡可能減少對環(huán)境的改造,可以利用現(xiàn)成的通道地標線作為特征進行檢測和識別.車間中的通道地標線通常具有高度結構化和顏色標準化的特點,其中5s現(xiàn)場管理規(guī)范中規(guī)定作業(yè)通道必須采用“黃線綠底”[3]進行標識,這為基于視覺信息的導航方式提供了極大便利.然而在不同的車間中,黃色地標線的磨損程度不同,顏色閾值也千差萬別,即使是在同一個車間中,隨著光照變化、地面積水以及油漬粉塵污染等因素的影響,相鄰幀之間的地標線閾值也會有略微的差異,容易造成地標線分割不完整或分割混亂的情況.因此,本文提出了一種基于自適應顏色閾值分割與動態(tài)感興趣區(qū)域(regionofinterest,ROI)劃分相結合的地標線檢測方法(AdaptiveThresholds-DynamicROI,AT-DROI),用來檢測生產車間中的地標線.本文的主要工作內容總結如下:1)提出了一種基于HSV顏色空間的閾值自適應地標線檢測方法(AdaptiveThresholds,AT),最大限度保證地標線提取的完整性;2)提出了一種動態(tài)感興趣區(qū)域劃分方法(DynamicROI,DROI),盡可能去除圖像中的干擾信息;3)最后在自采集的3組干擾類型不同的實際車間場景視頻序列上進行了大量對比實驗,經實驗驗證,本文提出的算法對存在地面倒影、地面積水、光照不均、障礙物遮擋以及油漬粉塵污染等因素影響的復雜場景仍然具有較高魯棒性.

1 相關工作

目前,主流的車道線檢測算法主要包括3類:基于模型的方法、基于特征的方法以及基于深度學習的方法[4],車道線檢測的一般步驟如圖1所示.

圖1 車道線檢測的一般步驟Fig.1 General steps for lane line detection

基于模型的檢測方法是利用了結構化道路具有幾何特征較為顯著的特點,通過建立相應的車道線模型,確定模型參數,從而識別出車道線[5].樊超等人[6]為了解決惡劣天氣以及光線變化強烈等復雜路況下車道線檢測效果較差的問題,提出了一種采用核Fisher線性判別分析灰度變換以及混沌粒子群的車道線檢測算法;洪偉等人[7]為了提高車道線檢測的實時性和魯棒性,利用基于拋物線模型的隨機采樣一致性擬合方法來完成車道線的提取,并對不同的干擾因素進行相應的優(yōu)化域調整,實現(xiàn)了車道線的魯棒提取;Wang等人[8]在DBSCAN聚類算法以及改進的RANSAC算法的基礎之上提出了一種快速車道線檢測方法,并取得了良好的檢測效果,同樣提高了車道線檢測的實時性和魯棒性.

基于特征的檢測方法利用車道線形狀、紋理以及顏色等方面與背景之間存在較大差異的特點,將車道線從圖像中提取出來[9].李超等人[10]提出了一種幀間關聯(lián)的車道線檢測方法,利用改進的自適應閾值邊緣檢測算法,提取出車道線特征,然而由于實際車間中機械設備眾多,生產現(xiàn)場混亂,用該算法提取出的邊緣特征圖像中包含了大量的干擾信息,導致算法的誤檢率較高;劉雁斌等人[11]提出了一種特征結合的多閾值車道線檢測方法,分別結合車道線邊緣特征和顏色特征進行特征提取,然而由于感興趣區(qū)域的選取是固定的,無法動態(tài)地適應環(huán)境的變化,導致算法檢測效果較差;魚兆偉等人[12]提出了一種基于動態(tài)感興趣區(qū)域的車道線檢測算法,通過消失點檢測來建立動態(tài)感興趣區(qū)域,然后利用顏色特征來提取車道線信息,將該算法用于車間地標線檢測時,由于車間中作業(yè)通道狹窄,在圖像兩側的非車道區(qū)域中仍然有大量的干擾信息堆積.

基于深度學習的檢測方法是通過搭建人工神經網絡,并利用海量數據集訓練網絡的檢測方法,能夠自主學習并獲取特征,對復雜環(huán)境有很好的魯棒性,但往往需要復雜的卷積神經網絡模型和訓練模型標記大量的數據,對運行的硬件設備要求較高,開發(fā)和運行的成本也都偏高[13].Qin等人[14]提出了基于結構感知的車道線檢測算法UFLD,通過對原始圖像進行分塊處理,將車道線檢測轉變成為預測車道線在每一塊上的位置問題,大大降低了計算復雜性,提高了檢測速度.

上述檢測方法通常用于公路車道線檢測,對車間中的地標線檢測效果并不理想.與公路車道線相比,車間中的地標線雖然更具有高度結構化的特點,但是由于機械設備眾多、生產現(xiàn)場混亂以及作業(yè)通道狹窄等原因,圖像的中下部分往往會包含更多的非路面信息;另外由于車間中通常采用環(huán)氧樹脂地板,因此地面倒影和反光也較為嚴重;在老舊車間中通常還存在地面積水、光照不均、油漬粉塵污染以及因年久失修而磨損嚴重的情況,導致地標線檢測的誤檢和漏檢率較高.針對上述問題,本文提出了一種基于自適應閾值分割與動態(tài)ROI劃分的車間地標線檢測方法,該方法以分塊圖像為基礎,按照特定特征對圖像進行搜索,并剔除其中的離群噪聲點.為了最大限度地提取出地標線信息,將環(huán)境因子與采樣點相結合計算出特征顏色的雙門限閾值,從而完成特征區(qū)域的初步分割.然后利用粗細粒度掩膜抑制特征圖像中的干擾信息,最終提取出地標線特征.

2 本文算法研究

針對在地面倒影、地面反光、光照不均、障礙物遮擋以及油漬粉塵污染等復雜車間場景下,車間地標線檢測誤檢率、漏檢率高的問題,本文提出了一種基于自適應閾值分割與動態(tài)ROI劃分的車間地標線檢測方法AT-DROI,首先采用改進的自適應雙閾值分割算法,盡可能完整地提取出地標線特征,然后利用改進的動態(tài)ROI劃分算法來盡可能抑制特征圖像中的干擾信息,以此達到降低誤檢率和漏檢率的效果.

2.1 改進的自適應雙閾值分割

顏色閾值分割作為一種簡單實用圖像分割技術,因其邏輯簡單、易于實現(xiàn)和分割效果良好等特點,而廣泛應用于醫(yī)學圖像分析、自動駕駛以及工件缺陷檢測等領域,但如何確定最佳閾值以達到最優(yōu)分割一直都是其中的難點問題[15].

一些經典的方法包括大津法、最大熵法以及迭代閾值法等在前景和背景之間顏色差異較大的情況下雖然也能取得較好的分割效果,但其大都是在灰度圖像的單通道中進行分割[16],無法充分利用圖像的顏色特征,而且抗干擾能力差,無法在復雜的實際車間中投入使用.針對這一問題,一些學者提出了基于HSV的顏色閾值分割、基于HSV彩色空間與改進OTSU的圖像分割[17]、結合HSV和RGB兩個顏色空間進行圖像分割[18]以及基于HSV色彩模型與區(qū)域生長等圖像分割方法[19],雖然這些算法能夠在特定的研究背景下取得不錯的分割效果,但因為閾值的選取比較固定,在環(huán)境較為復雜的動態(tài)背景下容易出現(xiàn)分割不完整或分割混亂的現(xiàn)象,無法穩(wěn)定地完成分割任務.針對上述存在的問題,本文提出了一種基于HSV顏色空間的閾值自適應地標線檢測方法AT,如表1算法1所示,根據車間地標線的磨損和受污染程度進行動態(tài)的閾值分割,以保證最大限度地提取出地標線信息,減少算法的漏檢率.算法的示意圖如圖2所示.

表1 AT算法偽代碼Table 1 Pseudo code of AT

圖2 自適應雙閾值分割示意圖Fig.2 Adaptive double threshold segmentation

步驟1.由于HSV顏色模式更適合用來從圖像中分割出指定顏色,因此按照公式將原始RGB圖像轉換到HSV顏色空間,同時按照公式(1)將原始RGB圖像轉換為灰度圖像.

Gray(x,y)=0.5R(x,y)+0.5G(x,y)+0B(x,y)

(1)

其中Gray(x,y)為灰度圖像像素值,R(x,y)、G(x,y)和B(x,y)分別是紅、黃和藍三通道中的像素值.

步驟2.由于地標線通常位于圖像的中下部,因此把圖像從中部到底部分割成若干個互不重疊大小為m×n的子塊.其中n取圖像的寬度,m一般取8～16.子塊的數量直接影響特征提取的效果,數量越多,越能描述地標線的細節(jié)信息,所提取出來的地標線特征越明顯,但干擾信息相應地也會增加.

步驟3.為了能夠自適應地提取出圖像中的黃色地標線,需要對地標線的顏色進行采樣,以確定地標線的顏色范圍.在RGB顏色空間中,黃色具有關系:R分量≈G分量>>B分量,因此對每一個圖像子塊采樣其中具有最大η值的像素點HSV分量:

η=(R+G-B)

(2)

步驟4.由于障礙物遮擋、地標線磨損等因素的影響,圖像中的地標線并非是連續(xù)不斷的,因此在某些子塊中就可能不存在地標線,或者是車間中還存在其他黃色非地標線物體,這樣在采樣地標線的HSV分量時就可能會發(fā)生誤采樣,因此采用公式(3)對誤采樣得到的離群點進行剔除:

(3)

其中,Hmean為采樣點的H分量均值,Hvar為采樣點的H分量方差;Smean為采樣點的S分量均值,Svar為采樣點的S分量方差;Vmean為采樣點的V分量均值,Vvar為采樣點的V分量方差.只有同時滿足上面3個條件的像素點才會被保留,其他像素點作為離群值被剔除.

步驟5.經過離群值剔除后,可以認為保留的采樣點是相應子塊中最具代表性的地標線像素點.在實際的車間環(huán)境中,地標線的顏色閾值的區(qū)間大小會隨著地標線的陳舊程度變化,因此引入環(huán)境因子k來描述閾值區(qū)間的大小,k的取值范圍為0.2～0.7,對于比較陳舊的地標線,k取較大值,對于比較整潔的地標線,k取較小值.地標線的閾值范圍見公式(4):

(4)

其中,Hmax為保留的采樣點中H分量的最大值,Hmin、Smin、Vmin分別為保留的采樣點中H分量、S分量、V分量的最小值.因此下門限閾值為[Hlower,Slower,Vlower],上門限閾值為[Hupper,Supper,Vupper].令HSV圖像中在上下門限閾值內的像素值置1,不在上下門限閾值內的像素值置0,得到掩膜圖像.

步驟6.將灰度圖像與掩膜圖像做與運算,最終得到分割出來的地標線特征圖像,分割效果如圖3所示.

圖3 閾值分割實驗效果Fig.3 Threshold segmentation of experimental effects

2.2 改進的動態(tài)ROI區(qū)域劃分

攝像頭所采集的圖像中通常存在著大量與車道線無關的區(qū)域或者有效信息極少的部分,如果直接在原圖上進行數據處理,不僅會降低算法的執(zhí)行效率,還容易對車道線的提取造成干擾,導致誤檢的發(fā)生,所以有必要在原圖之上建立一個ROI區(qū)域.

在對公路車道線進行檢測的相關研究中,一般認為車載攝像頭采集到的圖像中所包含的非路面信息主要有天空、樹木以及建筑物等,而這些干擾信息主要分布于圖像的中部或者上部區(qū)域,圖像下部區(qū)域所含有的干擾信息較少,所以傳統(tǒng)方法一般直接截取圖像的下半部分作為ROI區(qū)域,并在此基礎上進行相關的數據處理[20].這種處理方式在道路寬敞、路面環(huán)境簡單的場景下能夠取得較好的效果.

與公路上的車道線檢測相比,車間中的地標線雖然更具有高度結構化的特點,但是由于機械設備眾多、生產現(xiàn)場混亂以及作業(yè)通道狹窄等原因,圖像的中下部分往往會包含更多的非路面信息.如果只是簡單地選取圖像中下部分作為ROI區(qū)域,會因為過多的干擾信息的存在而導致誤檢的發(fā)生,無法穩(wěn)定地提取出地標線信息.針對上述存在的問題,本文提出了一種動態(tài)ROI區(qū)域劃分方法DROI,如表2算法2所示,通過對行灰度值以及列灰度值進行統(tǒng)計來動態(tài)地建立粗細粒度掩膜,在保留圖像中地標線信息的基礎上,盡可能地去除圖像中的干擾信息.算法的示意圖如圖4所示.

表2 DROI算法偽代碼Table 2 Pseudo code of DROI

圖4 動態(tài)ROI劃分示意圖Fig.4 Dynamic ROI partitioning

步驟1.計算整個地標線特征圖像的灰度均值.

步驟2.觀察地標線特征圖像可以發(fā)現(xiàn),地標線主要集中于圖像的中下部區(qū)域,上部區(qū)域含有的有效信息較少,因此可以在上部區(qū)域建立粗粒度掩膜矩陣.首先提取出各行的灰度均值,然后從第1行每隔3行采樣一次,如果從第G行之后的連續(xù)20個采樣點均滿足公式(5):

(5)

其中,k為環(huán)境因子,Mw為整個地標線特征圖像的灰度均值,Mr為某一行的灰度均值.得到行號G如果在圖像的前1/4區(qū)域內,則從把第G行到圖像底部劃定為ROI區(qū)域,否則規(guī)定圖像后3/4區(qū)域為ROI區(qū)域,這樣就得到了粗粒度掩膜矩陣.

步驟3.經過粗粒度ROI區(qū)域劃分,去除了位于圖像頂部區(qū)域的干擾信息,但觀察發(fā)現(xiàn)在圖像中下部兩側區(qū)域仍然存在大量干擾信息,這就需要建立細粒度ROI區(qū)域來去除.首先對特征圖像矩陣左乘非零元素全為1的上三角矩陣,得到一個自底向上逐層累加矩陣.計算公式如式(6)所示:

(6)

其中,Im×n為含有干擾信息的地標線特征圖像,Am×n為得到的逐層累加矩陣.然后利用公式(7)來計算區(qū)域劃分門限閾值T:

(7)

其中,Mw為整個地標線特征圖像的灰度均值,Irows為特征圖像的行數.令逐層累加矩陣A中小于等于區(qū)域劃分門限閾值T的像素點置為非零值,大于T的像素點置為零值就得到了細粒度掩膜矩陣.

步驟4.將粗粒度掩膜矩陣與細粒度掩膜矩陣合并,并與包含干擾信息的地標線特征圖像做與運算,最終得到所提取的地標線特征圖像,提取效果如圖5所示.

圖5 動態(tài)ROI劃分實驗效果Fig.5 Dynamic ROI division of experimental effects

3 實驗結果與分析

3.1 實驗環(huán)境

為了驗證本文所提出的地標線檢測方法的性能和實際應用價值,選取了采集自實際加工車間的3組干擾類型不同的視頻序列,其中video1視頻序列的采集時間為中午12點左右,此時室內具有較強的環(huán)境光,導致地面倒影、地面反光等問題較為突出;video2和video3視頻序列采集時間為早上9點左右,由于沒有打開燈光照明,所以光線較為昏暗,另外,video2序列中還存在較為嚴重的地標線遮擋、陰影等問題;video3序列中存在嚴重的油漬粉塵污染和地面積水等問題.

在實驗過程中,由于視頻序列相鄰幀之間具有極高的相似性,因此每隔6幀提取一幅圖像,每組共提取出100幀圖像,并將圖像分辨率統(tǒng)一為640×480進行實驗.實驗所用的軟硬件配置如表3所示.

表3 實驗中的軟/硬件配置Table 3 Software/hardware configuration in the experiment

3.2 評價指標

實驗采用準確率(Acc)、假陽性(FP)、假陰性(FN)3種指標來對算法的檢測效果進行定量評估[21].實驗的目標是獲得較高的準確率的同時保證假陽性和假陰性處于較低的水平,較高的假陽性和假陰性會對巡檢機器人的自主導引造成誤導.準確率是指標注圖像中的地標線像素點被擬合圖像正確擬合的占比,用公式(8)表示:

(8)

其中,Ci是指標簽圖像中的地標線中心像素點被擬合圖像正確預測的數量,Si是指標簽圖像中真正的地標線中心像素點數.中心像素點被正確擬合與否是指擬合圖像和標注圖像在同一Y軸高度的地標線中心像素點之間的水平距離是否超過一定閾值,如果在閾值之內可以認為該行地標線中心點擬合正確,否則擬合錯誤,本實驗設定閾值為標簽圖像中相應高度的地標線寬度.假陽性是指擬合圖像中擬合錯誤的地標線中心像素點在擬合圖像中所有地標線中心像素點的占比,用公式(9)表示:

(9)

其中,Fpred是指擬合圖像中擬合錯誤的地標線中心像素點數量,Apred是指擬合圖像中所有地標線中心像素點數量.假陰性是指標注圖像中未被正確擬合的地標線中心像素點在標注圖像中所有地標線中心像素點的占比,用公式(10)表示:

(10)

其中,Tmark是指標注圖像中擬合正確的地標線中心像素點數量,Amark是指標注圖像中所有地標線中心像素點數量.

3.3 實驗結果定量分析

為了定量地分析本文算法對車間中通道地標線檢測的實時性和魯棒性,本文選取了前文介紹的準確率(Acc)、假陽性(FP)和假陰性(FN)3種指標以及算法的處理速度(FPS)來衡量算法的檢測效果.通過在自采集的3組實際車間視頻序列上進行了大量的實驗,實驗結果如表4所示.

表4 基于評價指標的實驗結果Table 4 Experimental results based on evaluation indicators

結果表明,本文算法能夠滿足實際工作中對準確率和實時性的要求,而且在存在地面倒影、地面反光、光照不均、障礙物遮擋以及油漬粉塵污染等復雜場景下均能取得較好的檢測效果,說明算法具有較好的泛化能力.如圖6所示為本文算法在不同干擾因素下的地標線檢測效果.

圖6 在不同干擾因素下的地標線檢測實驗效果Fig.6 Effect of landmark lines under different interference factors is detected

為了對比本文算法的檢測效果和性能,將本文算法與文獻[10]、文獻[11]和文獻[12]在video3序列上進行對比試驗,實驗結果如表5所示.

表5 不同算法在video3序列上的對比結果Table 5 Results of different algorithms on video3 sequences

由對比試驗可知,本文算法不僅能夠降低算法的誤檢率和漏檢率,在算法的處理速度上也具有一定的優(yōu)勢,對車間中的地標線具有較好的檢測效果.

4 總 結

本文針對車間中常見的地面倒影、地面積水、光照不均、障礙物遮擋以及油漬粉塵污染等環(huán)境因素的影響導致對地標線進行檢測時的誤檢和漏檢率高的問題,提出了一種基于自適應閾值分割與動態(tài)ROI劃分的車間地標線檢測方法AT-DROI,并重點介紹了改進的自適應閾值分割以及改進的動態(tài)ROI劃分算法的實現(xiàn)過程.通過對比試驗,相比于文獻[10]、文獻[11]以及文獻[12],本文算法的準確率平均提高了4.7%,FP值降低了53.3%,FN值降低了44.5%,算法的運行速度平均提升了8.7%.另外本文算法在地面倒影、地面反光、光照不均、障礙物遮擋以及油漬粉塵污染等復雜車間場景下仍然具有較好的實時性和魯棒性,可應用于生產車間中的無軌巡檢機器人自主導航系統(tǒng),具有一定的實際應用價值.