李昕蔚 丁正彥 尚巖峰 祝永新 汪 輝 鐘雪霞 田 犁 黃尊愷 封松林

1(中國(guó)科學(xué)院上海高等研究院 上海 201210)2(上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院 上海 201210)3(中國(guó)科學(xué)院大學(xué) 北京 101408)4(公安部第三研究所 上海 201204)

0 引 言

近年來(lái)，中國(guó)的城市智能交通系統(tǒng)(ITS)得到快速發(fā)展，北京、上海、廣州等一線城市已經(jīng)建立了道路交通控制、公共交通指揮與調(diào)度、高速公路管理、緊急事件管理、靜態(tài)交通管理等多個(gè)ITS協(xié)同系統(tǒng)。在智能交通系統(tǒng)中，城市道路交通控制是非常重要的組成部分。其中，對(duì)交通路口狀態(tài)的監(jiān)控尤為重要，因?yàn)榻煌房谑墙煌〒矶潞徒煌ㄊ鹿实亩喟l(fā)區(qū)，主要原因是交通路口的交通規(guī)則復(fù)雜、車輛行駛路線多樣等，往往一些微小交通事故(如車輛逆行、撞車等)都會(huì)引發(fā)其關(guān)聯(lián)路段(交匯于此路口的兩條及以上交通線路)的一系列的交通擁堵。在城市智能交通系統(tǒng)中，智能化算法及時(shí)檢測(cè)路口交通情況發(fā)現(xiàn)交通事故源發(fā)地點(diǎn)、迅速通知交警路況信息并協(xié)調(diào)車輛通行是亟需實(shí)現(xiàn)的功能。自動(dòng)化檢測(cè)交通情況、分析路口車輛行駛狀態(tài)、分析人與馬路的關(guān)系、判定事故責(zé)任方等任務(wù)都建立在對(duì)路口環(huán)境精確理解的基礎(chǔ)上。為了使系統(tǒng)理解路口場(chǎng)景，首先需要對(duì)場(chǎng)景的內(nèi)容進(jìn)行分割，并對(duì)車輛行人進(jìn)行檢測(cè)。在現(xiàn)有的交通監(jiān)控系統(tǒng)中，為了獲取路口車輛通行時(shí)間等信息，會(huì)人為對(duì)路口區(qū)域進(jìn)行標(biāo)注，然而支持任意角度旋轉(zhuǎn)的球機(jī)攝像頭的存在，一方面擴(kuò)大了監(jiān)控視角、提升了監(jiān)控靈活程度，另一方面也增加了人工標(biāo)注路口信息的難度。所以，本文旨在針對(duì)視角可動(dòng)態(tài)改變的交通路口監(jiān)控任務(wù)，設(shè)計(jì)一種智能的區(qū)域分割算法。

1 相關(guān)研究

1.1 道路標(biāo)識(shí)檢測(cè)

斑馬線是路口場(chǎng)景道路標(biāo)識(shí)的最重要的組成部分之一。以往的斑馬線檢測(cè)算法多應(yīng)用于行人和車輛視角圖像的盲人輔助和自動(dòng)駕駛等系統(tǒng)中。這樣場(chǎng)景下的斑馬線具有物體尺度大、局部線特征明顯的特點(diǎn)。目前自動(dòng)駕駛的研究主要側(cè)重于對(duì)道路、行人以及路標(biāo)的識(shí)別檢測(cè)。

在這種情況下，過去道路標(biāo)識(shí)檢測(cè)多應(yīng)用傳統(tǒng)的模式識(shí)別算法，依賴于人工特征。文獻(xiàn)[11]通過提取多種感興趣區(qū)域的最大穩(wěn)定極值區(qū)域，利用FAST和HOG特征建立每種道路標(biāo)識(shí)的模板。相似地，文獻(xiàn)[16]使用HOG特征并訓(xùn)練支持向量機(jī)來(lái)生成類別標(biāo)簽。另外有一些專門針對(duì)斑馬線檢測(cè)的方法，利用斑馬線條紋狀、黑白兩極的特點(diǎn)進(jìn)行邊緣檢測(cè)，如文獻(xiàn)[1]。文獻(xiàn)[5]運(yùn)用霍夫直線檢測(cè)改進(jìn)雙極系數(shù)的方法，對(duì)全景圖像進(jìn)行俯視投影，再運(yùn)用形態(tài)學(xué)開閉運(yùn)算處理來(lái)獲得比較好的檢測(cè)效果。文獻(xiàn)[19]在雙極系數(shù)的基礎(chǔ)上進(jìn)行改良，應(yīng)用綜合線性判別公式LDA和直線檢測(cè)來(lái)進(jìn)行導(dǎo)盲系統(tǒng)的斑馬線識(shí)別。為了解決遮擋問題，文獻(xiàn)[2]依賴于交通視頻進(jìn)行背景提取以減少在斑馬線識(shí)別中的前景干擾，利用最大穩(wěn)定極值區(qū)域(MSER)提取圖像特征，然后利用ERANSAC算法對(duì)提取的特征進(jìn)行挑選。

近年來(lái)，在計(jì)算機(jī)視覺領(lǐng)域，深度學(xué)習(xí)的方法獲得巨大的成功。在路面標(biāo)識(shí)檢測(cè)方面，一些工作使用神經(jīng)網(wǎng)絡(luò)作為特征提取的工具。文獻(xiàn)[14]提出了一種提取MSERs并融合同一類別區(qū)域最后使用PCANet和神經(jīng)網(wǎng)絡(luò)進(jìn)行分類的方法。VPGNet[15]構(gòu)建了一個(gè)包含20 000幅標(biāo)注了車道線、道路標(biāo)識(shí)圖像的數(shù)據(jù)集，實(shí)現(xiàn)了對(duì)路面標(biāo)識(shí)以及斑馬線的檢測(cè)，他們將圖像的像素級(jí)標(biāo)注轉(zhuǎn)換為網(wǎng)格標(biāo)注，使分割問題轉(zhuǎn)變?yōu)闄z測(cè)問題，并在多種天氣環(huán)境下能夠?qū)嚯x較近的斑馬線進(jìn)行定位。然而，該算法對(duì)實(shí)時(shí)性要求較高，所以使用輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)，存在近距離斑馬線分割不準(zhǔn)確、很難檢測(cè)到遠(yuǎn)距離斑馬線的問題。

現(xiàn)有的道路標(biāo)識(shí)檢測(cè)算法對(duì)于斑馬線的研究主要針對(duì)斑馬線的識(shí)別和檢測(cè)，而很少針對(duì)斑馬線的區(qū)域分割。同時(shí)現(xiàn)有的自動(dòng)駕駛交通數(shù)據(jù)集中，通常不對(duì)斑馬線等標(biāo)識(shí)進(jìn)行單獨(dú)標(biāo)注，并且與自動(dòng)駕駛等低視角拍攝下的道路圖片相對(duì)比，路口監(jiān)控圖像具有對(duì)比度和分辨率低，光照、遮擋情況復(fù)雜，目標(biāo)區(qū)域尺度小或磨損嚴(yán)重等特點(diǎn)，這些目標(biāo)圖片特點(diǎn)導(dǎo)致了在本文任務(wù)中直接使用已有算法進(jìn)行斑馬線分割的難度以及不適用性。

1.2 實(shí)例分割方法

實(shí)例分割(Instance Segmentation)和超像素(Super Pixel)語(yǔ)義分割同為像素級(jí)的精確的物體輪廓識(shí)別任務(wù)，而它相比語(yǔ)義分割更加困難，因?yàn)樗枰谧R(shí)別出物體所屬類別的同時(shí)將同一類別的不同個(gè)體區(qū)分開來(lái)。

Mask R-CNN[4]是在物體檢測(cè)深度學(xué)習(xí)框架Faster R-CNN[7]基礎(chǔ)上的擴(kuò)展，采用了同F(xiàn)aster R-CNN相似的兩階段處理結(jié)構(gòu)，其中第一階段RPN完全相同。在第二階段， Mask R-CNN在分類和檢測(cè)的基礎(chǔ)上加入了分割分支，為每個(gè)感興趣區(qū)域(RoI)輸出一個(gè)二值掩膜，最后的損失函數(shù)是分類、檢測(cè)框補(bǔ)償和實(shí)例分割三個(gè)平行任務(wù)損失函數(shù)的和。同時(shí)，Mask R-CNN還引入了RoIAlign方法，提高了對(duì)小目標(biāo)的分割和檢測(cè)準(zhǔn)確率。Mask R-CNN相較于其他的實(shí)例分割算法，如MNC、FCIS等，在分割精確度上有較大的提升。值得一提的是，何凱明等[6]利用Mask R-CNN算法進(jìn)行3 000個(gè)類別的檢測(cè)框標(biāo)注和80個(gè)類別的分割標(biāo)注，實(shí)現(xiàn)了遠(yuǎn)超于分割標(biāo)注類別數(shù)量的物體分割。

2 算法描述

本文設(shè)計(jì)了一種基于深度學(xué)習(xí)的路口場(chǎng)景分割算法。首先我們采集并標(biāo)注了交通監(jiān)控路口圖片，然后利用神經(jīng)網(wǎng)絡(luò)有監(jiān)督地學(xué)習(xí)一個(gè)從路口圖片到目標(biāo)區(qū)域掩膜的映射。然而實(shí)驗(yàn)結(jié)果顯示，路面狀況、天氣、距離等原因會(huì)導(dǎo)致分割目標(biāo)模糊、尺寸過小，深度神經(jīng)網(wǎng)絡(luò)經(jīng)常出現(xiàn)誤檢、漏檢等現(xiàn)象。此外，路口監(jiān)控?cái)z像數(shù)據(jù)涉及公共信息安全，屬于敏感文件，很難大量獲取。通過與公安部第三研究所合作，采集了400個(gè)路口攝像頭圖像。然而，Mask R-CNN應(yīng)用的復(fù)雜骨干架構(gòu)在小數(shù)據(jù)集上的訓(xùn)練存在精度不高的問題。為了提高精度，Mask R-CNN在訓(xùn)練規(guī)模為3 000幅左右精確標(biāo)注的Cityscapes數(shù)據(jù)集時(shí)采用了COCO的預(yù)訓(xùn)練模型初始化權(quán)重。然而，現(xiàn)有規(guī)模龐大的公開數(shù)據(jù)集中沒有與本文任務(wù)場(chǎng)景相似的斑馬線和路口區(qū)域類別，所以本文旨在不使用預(yù)訓(xùn)練模型初始化參數(shù)的情況下對(duì)交通路口場(chǎng)景的Mask R-CNN訓(xùn)練效果進(jìn)行提升，提出了一種加入線先驗(yàn)的凸包Mask R-CNN方法，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 路口區(qū)域分割網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2.1 線先驗(yàn)

為了能讓網(wǎng)絡(luò)更容易且更有效地學(xué)習(xí)到圖像中的重要特征，一種方法是將我們已有的先驗(yàn)知識(shí)整合到數(shù)據(jù)和網(wǎng)絡(luò)中去。人類接受和處理外界光線信息的人眼，具有非常強(qiáng)的物體分割和區(qū)域檢測(cè)的能力。有研究表明，在人眼視網(wǎng)膜中有一層名為雙極細(xì)胞的結(jié)構(gòu)，它不通過直接感知光照強(qiáng)度，而是通過感知光線分布的階梯變化來(lái)處理接收到的光照信息，所以雙極細(xì)胞對(duì)物體的邊緣信息非常敏感。本文將人眼功能與神經(jīng)網(wǎng)絡(luò)相結(jié)合，對(duì)數(shù)據(jù)集圖片的邊緣信息進(jìn)行提取，與原圖一起，構(gòu)建增加了線特征通道的圖像作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，以加強(qiáng)網(wǎng)絡(luò)對(duì)圖像特定特征的學(xué)習(xí)，進(jìn)而提高檢測(cè)和分割的精確度。

LSD(Line Segment Detector)[3]是一個(gè)亞像素精度的、線性時(shí)間且非常魯棒的線分割檢測(cè)器。算法的主要思路可以分解為如下幾步：

1) 通過Gaussian亞采樣將輸入圖像橫縱坐標(biāo)縮短為80%。

2) 計(jì)算水平和豎直方向梯度并對(duì)梯度進(jìn)行偽排序。

3) 設(shè)置梯度臨界值排除梯度較小的像素點(diǎn)，用區(qū)域生長(zhǎng)方法生成線支持區(qū)域。

4) 將線支持區(qū)域矩形化，并計(jì)算它的錯(cuò)誤警報(bào)數(shù)(NFA)，將不符合要求的矩形區(qū)域放入步驟5)中繼續(xù)處理。驗(yàn)證矩形區(qū)域的方法基于Helmholtz principle和a-contrario approach。錯(cuò)誤警報(bào)數(shù)的計(jì)算公式為：

NFA=NtestPH0[k(r,I)≥k(r,i)]

(1)

式中：Ntest為當(dāng)前圖像中矩形框的數(shù)量；PH0是對(duì)應(yīng)contrario modelH0的概率；I是modelH0下的隨機(jī)圖像；k(r,I)是contrario modelI中r矩形里的aligned point數(shù)量；k(r,i)觀測(cè)圖像i中r矩形里的aligned point數(shù)量。

5) 針對(duì)被劃分在一個(gè)矩形區(qū)域內(nèi)的曲線進(jìn)行處理；對(duì)NFA不符合要求的矩形區(qū)域進(jìn)行進(jìn)一步精度提高處理，使其符合要求。

整個(gè)LSD算法復(fù)雜度與圖像的像素點(diǎn)數(shù)量成正比，可以在線性時(shí)間內(nèi)完成。

由于本文待分割目標(biāo)之一為斑馬線，它的形態(tài)特征非常典型，即由多條相對(duì)平行但存在透視變化的白色長(zhǎng)條矩形構(gòu)成，線檢測(cè)算法應(yīng)用于斑馬線可以比較完整地保留它的條紋狀特征。然而由于數(shù)據(jù)集原圖中斑馬線存在對(duì)比度低邊緣模糊的情況，我們加入一個(gè)圖像增強(qiáng)步驟去優(yōu)化對(duì)比度并且減小陰影和白噪聲的干擾，使用的Wallis filter[17]是局部圖像變換。通過估算不同部分的灰度均值與方差對(duì)灰度對(duì)比度過大或過小的地方進(jìn)行平均，公式如下：

(2)

式中：mf為局部平均值；sf為f的方差值；mg為原始圖像均值；sg為原始方差；b和c為亮度系數(shù)和對(duì)比度提取常數(shù)。

同時(shí)，輸入圖片也通常具有非常多的噪聲，使得直線檢測(cè)對(duì)噪聲過于敏感，故采用bilateral filter的改進(jìn)版本rolling guidance filter[18]減少圖像中過多的噪聲并依然較好地保留邊緣信息，方便輪廓的獲取和圖像分割。本文采用LSD線檢測(cè)算法對(duì)預(yù)處理后圖像進(jìn)行線檢測(cè)處理，將線檢測(cè)處理后的圖片作為輸入圖像的線先驗(yàn)通道。如圖2所示，網(wǎng)絡(luò)輸入為RGBL(RGB+Line)四通道信息。

2.2 空間分割網(wǎng)絡(luò)

在監(jiān)控圖像中，斑馬線與路面對(duì)比度低甚至部分磨損不清晰的狀況較為多見。在一個(gè)面積較大的斑馬線區(qū)域中，斑馬線局部的顏色和邊緣特征多變，分布不均勻，還有斑馬線被車輛等障礙物遮擋中斷，這些特征都會(huì)導(dǎo)致在進(jìn)行斑馬線區(qū)域分割時(shí)出現(xiàn)分割不完整的情況。所以，我們針對(duì)斑馬線局部特征不均勻、特征間斷這種空間特性，提出了一種空間分割網(wǎng)絡(luò)。

本文采用Mask R-CNN作為斑馬線和路口區(qū)域分割任務(wù)的基礎(chǔ)深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)。Mask R-CNN在Faster R-CNN上的結(jié)構(gòu)改進(jìn)使它在檢測(cè)分割小物體時(shí)具有更高的精確度，具體體現(xiàn)在Mask R-CNN網(wǎng)絡(luò)中的RoIAlign在將RoI映射到特征圖和將不同尺寸特征圖采樣到統(tǒng)一尺寸的過程中均放棄取整操作。采樣過程將特征圖劃分為7×7個(gè)同等大小的區(qū)域，每個(gè)區(qū)域平分為n份(例如，2×2份)，每份取中心點(diǎn)像素值，采用雙線性插值法進(jìn)行計(jì)算。雙線性插值公式如下：

(3)

接著再將n個(gè)雙線性插值結(jié)果進(jìn)行最大值采樣或平均值采樣。改進(jìn)的RoIAlign通過插值等方法顯著地提升了對(duì)小目標(biāo)的檢測(cè)分割精確度。

Mask R-CNN在進(jìn)行RoIAlign操作后，得到所有目標(biāo)檢測(cè)框的固定尺寸特征圖。在識(shí)別和檢測(cè)框回歸分支中，特征圖將通過全連接網(wǎng)絡(luò)，而分割分支會(huì)對(duì)特征圖進(jìn)行卷積和反卷積操作得到固定尺寸的掩膜。接著進(jìn)行二值化，使用二值交叉熵?fù)p失函數(shù)計(jì)算損失值。

我們的空間分割網(wǎng)絡(luò)是在Mask R-CNN第二階段的分割分支基礎(chǔ)上進(jìn)行改進(jìn)。卷積神經(jīng)網(wǎng)絡(luò)具有公認(rèn)的強(qiáng)大特征提取能力，然而，對(duì)于圖像中行和列之間空間關(guān)系的特征探索卻尚為欠缺。文獻(xiàn)[12]提出了一種Spatial CNN網(wǎng)絡(luò)，這種網(wǎng)絡(luò)對(duì)于具有強(qiáng)先驗(yàn)形狀和圖像像素連續(xù)性很弱的目標(biāo)具有更強(qiáng)的空間關(guān)系提取能力。這一網(wǎng)絡(luò)結(jié)構(gòu)首先被應(yīng)用于自動(dòng)駕駛的道路線檢測(cè)當(dāng)中，對(duì)間斷的沒有外觀連續(xù)性的道路線有非常好的推理檢測(cè)能力，同樣地，本文的分割目標(biāo)斑馬線和路口區(qū)域也具有相似的被車輛大面積遮擋、大面積間斷的特點(diǎn)。Spatial CNN突破了傳統(tǒng)的基于馬爾可夫隨機(jī)場(chǎng)或條件隨機(jī)場(chǎng)來(lái)進(jìn)行空間關(guān)系建模的思路，使CNN能通過精心設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)融合空間信息，更有效地學(xué)習(xí)空間關(guān)系，達(dá)到識(shí)別有潛在連續(xù)性和強(qiáng)先驗(yàn)的目標(biāo)的目的。SCNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 SCNN結(jié)構(gòu)示意圖[12]

以SCNN_D層為例，為了實(shí)現(xiàn)空間關(guān)系的學(xué)習(xí)，網(wǎng)絡(luò)將C×H×W的三維向量以C×W為截面進(jìn)行切片處理，接著使用C×w的卷積核進(jìn)行分片卷積，將每個(gè)切片的處理結(jié)果輸入到下面一個(gè)切片。通過這種方式，信息可以在同一層的不同神經(jīng)元之間傳遞。相比于條件隨機(jī)場(chǎng)等方法，SCNN可以用較少的計(jì)算量達(dá)到快速的信息傳遞效果，它的向前傳播計(jì)算公式為：

(4)

式中：X為一個(gè)三維張量；Xi,j,k為最后一片通道i元素和當(dāng)前片通道j元素之間的權(quán)重，偏移量為k列；Xi,j,k為張量X的元素，i、j、k代表通道、行和列。

SCNN網(wǎng)絡(luò)結(jié)構(gòu)的另一個(gè)優(yōu)勢(shì)是它可以應(yīng)用于卷積層的任何部位而不僅僅在輸出，來(lái)實(shí)現(xiàn)對(duì)空間信息的學(xué)習(xí)。在我們的實(shí)驗(yàn)數(shù)據(jù)集中，存在大量顏色特征不連續(xù)、外觀線索不連貫的難以完整分割的斑馬線。所以為了使Mask R-CNN能夠更加充分學(xué)習(xí)空間特征，在分割分支中，我們?cè)谔卣鲌D的卷積操作后加入SCNN結(jié)構(gòu)，對(duì)卷積后的特征圖的行和列進(jìn)行向下、向上、向右、向左的切片卷積，做行與列間的信息交流傳遞，最后再進(jìn)行反卷積的操作。通過引入局部信息的傳播，實(shí)現(xiàn)分割網(wǎng)絡(luò)對(duì)斑馬線空間關(guān)系以及連續(xù)性的學(xué)習(xí)，使范圍過大、中間被遮擋或局部磨損嚴(yán)重的斑馬線可以更為精確和完整地被分割出來(lái)。圖4為我們的空間分割網(wǎng)絡(luò)示意圖。

圖4 空間分割網(wǎng)絡(luò)結(jié)構(gòu)

2.3 凸包損失函數(shù)和基于幾何形狀的實(shí)例分割

由于Mask R-CNN使用自動(dòng)編碼解碼的網(wǎng)絡(luò)結(jié)構(gòu)，其反卷積層很容易導(dǎo)致輸出的斑馬線分割結(jié)果邊界信息模糊甚至丟失，因而導(dǎo)致在后續(xù)的路口分割任務(wù)中引入噪聲。所以我們希望能對(duì)分割任務(wù)進(jìn)行幾何上的約束。在對(duì)數(shù)據(jù)集進(jìn)行分析時(shí)發(fā)現(xiàn)，目標(biāo)斑馬線與路口區(qū)域?yàn)椴灰?guī)則的凸多邊形。我們希望對(duì)網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行形態(tài)結(jié)構(gòu)上的優(yōu)化，因此選擇采用凸包算法對(duì)分割目標(biāo)的幾何形狀進(jìn)行約束。

為了切實(shí)保障鋼混凝土疊合梁模板支架施工的質(zhì)量和安全，除了上述基本的施工要求外，施工現(xiàn)場(chǎng)還要力求做好以下幾點(diǎn)。

Mask R-CNN中的分割分支為每一個(gè)RoI生成二值掩膜，然后用目標(biāo)區(qū)域標(biāo)簽類別所對(duì)應(yīng)的掩膜計(jì)算損失函數(shù)。采用的二值交叉熵?fù)p失函數(shù)表達(dá)式為：

(5)

在實(shí)驗(yàn)中我們發(fā)現(xiàn)Mask R-CNN分割存在邊緣不規(guī)則的問題。為了解決這個(gè)問題，最直接的方案是對(duì)網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行后續(xù)凸包處理，然而直接對(duì)結(jié)果使用凸包算法會(huì)將網(wǎng)絡(luò)的輸出膨脹為凸多邊形，從而導(dǎo)致最終的輸出結(jié)果比真實(shí)的目標(biāo)區(qū)域范圍大，進(jìn)而降低了分割的精確程度。

因此我們將凸包計(jì)算融合到網(wǎng)絡(luò)訓(xùn)練中，聯(lián)合優(yōu)化網(wǎng)絡(luò)的權(quán)重而不是將凸包算法和網(wǎng)絡(luò)訓(xùn)練分離。為了使深度學(xué)習(xí)網(wǎng)絡(luò)能夠輸出規(guī)整的凸多邊形形態(tài)，本文改進(jìn)了分割損失函數(shù)，在原有損失函數(shù)的基礎(chǔ)上引入凸包二值交叉熵?fù)p失項(xiàng)。我們將網(wǎng)絡(luò)生成的掩膜進(jìn)行凸包計(jì)算，然后將網(wǎng)絡(luò)輸出的原始掩膜和真實(shí)掩膜、凸包掩膜進(jìn)行二值交叉熵?fù)p失函數(shù)的計(jì)算。引入了凸包二值交叉熵后的損失函數(shù)表達(dá)式為：

(6)

改進(jìn)的損失函數(shù)使訓(xùn)練網(wǎng)絡(luò)在擬合目標(biāo)分割區(qū)域的同時(shí)不斷對(duì)生成的分割區(qū)域強(qiáng)化幾何形態(tài)凸包約束，使訓(xùn)練結(jié)果可以更好地適應(yīng)斑馬線的分割任務(wù)。在應(yīng)用改進(jìn)后的網(wǎng)絡(luò)生成掩膜時(shí)也加入了凸包函數(shù)，在不犧牲斑馬線分割精確度的前提下得到形狀規(guī)則、邊緣清晰的斑馬線及路口區(qū)域分割結(jié)果。

3 實(shí) 驗(yàn)

3.1 交通路口圖像區(qū)域分割數(shù)據(jù)集

2012年，著名的GoogleBrain項(xiàng)目觸發(fā)了深度學(xué)習(xí)新一輪的高速發(fā)展，深度學(xué)習(xí)的快速發(fā)展得益于GPU并行計(jì)算能力的提升和多年來(lái)互聯(lián)網(wǎng)數(shù)據(jù)的積累。對(duì)于自動(dòng)駕駛?cè)蝿?wù)，目前已經(jīng)存在非常豐富的公開數(shù)據(jù)集資源，如KITTI[8]、cityscapes[9]等。另外，SYNTHIA[10]數(shù)據(jù)集由圖像模擬器生成，數(shù)據(jù)集中存在一部分類似交通攝像頭視角圖片，但是它的主要功能是輔助真實(shí)數(shù)據(jù)集的訓(xùn)練以提高分割精確度。這些數(shù)據(jù)集中圖像采集自歐美，道路特征與國(guó)內(nèi)道路區(qū)別較大，不滿足我們對(duì)交通路口監(jiān)控視角真實(shí)場(chǎng)景的分析需求，并且這些數(shù)據(jù)集的標(biāo)注類別集中在行人、車輛、周邊環(huán)境等，缺少對(duì)路面具體區(qū)域如斑馬線、路口的標(biāo)注。考慮到在現(xiàn)實(shí)生活中交通路口在整個(gè)交通系統(tǒng)中突出的重要性，針對(duì)交通路口的算法研究和實(shí)際應(yīng)用會(huì)有長(zhǎng)遠(yuǎn)的發(fā)展，專門針對(duì)交通路口的監(jiān)控視角圖像數(shù)據(jù)集是現(xiàn)在非常稀缺的資源。

如表1所示，本文為進(jìn)行實(shí)驗(yàn)構(gòu)建了規(guī)模為400幅的交通路口數(shù)據(jù)集，圖像采集自中國(guó)某市區(qū)公安交通管理系統(tǒng)平臺(tái)。數(shù)據(jù)集內(nèi)標(biāo)注物體類別兩類，分別為斑馬線區(qū)域和路口區(qū)域(十字路口、三岔路口等路口類型)，每幅圖片含有路口區(qū)域一個(gè)(大部分圖片)或零個(gè)(少數(shù)圖片)，斑馬線一條及以上，數(shù)據(jù)集中共標(biāo)注斑馬線條數(shù)1 221條，路口區(qū)域380個(gè)。數(shù)據(jù)集包含有日出、正午、日落等不同時(shí)刻的采集圖片，圖像的光照強(qiáng)度以及光照角度多樣，也有大量攝像頭模糊、斑馬線不清晰的圖像。此外，數(shù)據(jù)集內(nèi)圖像中的路口場(chǎng)景復(fù)雜、斑馬線和十字路口被車輛遮擋、路口周圍環(huán)境多樣、陽(yáng)光照射在十字路口中而形成大片陰影區(qū)域等，這些特征能很好地適應(yīng)實(shí)際應(yīng)用場(chǎng)景，但同時(shí)也極大地影響了斑馬線和路口區(qū)域的檢測(cè)。

表1 實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)

圖5 三種類型路口原圖及標(biāo)注示意圖

數(shù)據(jù)集實(shí)用性強(qiáng)，與國(guó)內(nèi)交通環(huán)境相適應(yīng)。本數(shù)據(jù)集暫未公開，但本文涉及的線增強(qiáng)凸包Mask R-CNN算法，對(duì)于與本數(shù)據(jù)集類似場(chǎng)景的斑馬線檢測(cè)和分割任務(wù)同樣適用，尤其適用于交通攝像圖像中視角較遠(yuǎn)、畫質(zhì)不清，畫面內(nèi)容較豐富的情況。

數(shù)據(jù)集標(biāo)注采用Labelme工具進(jìn)行像素級(jí)標(biāo)注。本數(shù)據(jù)集定義斑馬線區(qū)域?yàn)楹型环较虬咨珬l紋的一條完整的斑馬線區(qū)域，每一條完整斑馬線為一個(gè)實(shí)例。定義路口區(qū)域?yàn)橛砂唏R線和路邊石或其他物體(如減速帶)等所圍成的路面區(qū)域。標(biāo)注工具生成的標(biāo)注文件為VOC數(shù)據(jù)集類型標(biāo)注文件，本文將其轉(zhuǎn)換為coco類型標(biāo)注文件以方便數(shù)據(jù)訓(xùn)練。

3.2 實(shí)驗(yàn)結(jié)果

本文用Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)和凸包Mask R-CNN網(wǎng)絡(luò)分別對(duì)數(shù)據(jù)集中的原圖、RGBL類型圖像進(jìn)行訓(xùn)練。本文將數(shù)據(jù)集中圖片按路口類型比例構(gòu)建由40幅圖片組成的測(cè)試集，其余圖像為訓(xùn)練集，其中訓(xùn)練集中包含斑馬線1 095條，路口區(qū)域287個(gè)，測(cè)試集中包含斑馬線126條，路口區(qū)域37個(gè)。實(shí)驗(yàn)采用ResNet-101-FPN_3x為基本卷積架構(gòu)，在兩個(gè)GPU上訓(xùn)練，迭代50 000次。訓(xùn)練中使用初始學(xué)習(xí)速率為0.013，在迭代40 000次和45 000次時(shí)分別削減十分之一，權(quán)重衰減為0.000 1，動(dòng)量為0.9。另外，在訓(xùn)練模型時(shí)采用了數(shù)據(jù)增強(qiáng)處理，在輸入數(shù)據(jù)上添加零均值、隨機(jī)數(shù)γ和增益ρ，這種方法可以有效地增強(qiáng)網(wǎng)絡(luò)在不同光照下的性能。公式為：

(7)

3.2.1線先驗(yàn)空間分割網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

通過使用測(cè)試圖像驗(yàn)證，我們發(fā)現(xiàn)加入線特征先驗(yàn)空間分割網(wǎng)絡(luò)提高了分割任務(wù)的精確度。如圖6所示，在(b)、(c)、(d)、(e)中，從左到右三幅圖片分別為原圖、Mask R-CNN模型和線先驗(yàn)空間分割模型測(cè)試結(jié)果細(xì)節(jié)放大圖。如圖6(b)所示，在原圖中，深色矩形所框出的斑馬線在圖片邊緣只露出狹窄的一部分且特征不突出，Mask R-CNN網(wǎng)絡(luò)只將半條斑馬線檢測(cè)和分割出來(lái)，而線先驗(yàn)空間分割網(wǎng)絡(luò)將整條斑馬線檢測(cè)出來(lái)并分割得相對(duì)準(zhǔn)確，提升了分割的精確度。但是，通過觀察細(xì)節(jié)圖可以發(fā)現(xiàn)，它對(duì)分割邊緣的處理非常粗糙，不能非常細(xì)致和規(guī)整地對(duì)斑馬線和路口進(jìn)行分割。如圖6(c)所示，在淺色矩形框出的圖片右下角是原始圖像中的文字部分，Mask R-CNN將其誤檢為斑馬線并進(jìn)行錯(cuò)誤分割，而加入線先驗(yàn)后糾正了這一錯(cuò)誤。另外，加入線先驗(yàn)空間分割網(wǎng)絡(luò)也提高了網(wǎng)絡(luò)的檢測(cè)正確率。如圖6(d)所示，Mask R-CNN分割結(jié)果細(xì)節(jié)放大圖中，深色矩形框出了網(wǎng)絡(luò)對(duì)較遠(yuǎn)路面區(qū)域的誤檢，將斑馬線外的路面區(qū)域檢測(cè)為路口區(qū)域；如圖6(e)所示，網(wǎng)絡(luò)漏檢了遠(yuǎn)處不清晰的斑馬線，使路面區(qū)域與斑馬線連結(jié)成一片。而線先驗(yàn)空間分割網(wǎng)絡(luò)糾正了這兩個(gè)錯(cuò)誤，提高了檢測(cè)的正確率。實(shí)例分割結(jié)果見表2。

圖6 線先驗(yàn)空間分割網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

表2 實(shí)例分割結(jié)果數(shù)據(jù)對(duì)比

Mask R-CNN線先驗(yàn)+空間分割網(wǎng)絡(luò)AP0.491 80.516 6AP500.815 00.769 0AP750.533 30.572 0APS0.235 60.265 0APM0.281 00.318 0APL0.517 00.533 0APL0.517 00.533 0

圖7列出了三組原圖、Mask R-CNN測(cè)試結(jié)果圖、線先驗(yàn)空間分割測(cè)試結(jié)果圖，分別為數(shù)據(jù)集中三種類型路口圖像的測(cè)試效果，即常規(guī)、不規(guī)則和遠(yuǎn)景。同時(shí)我們與VPGNet中的道路線檢測(cè)結(jié)果進(jìn)行分割結(jié)果對(duì)比(VPGNet沒有公布預(yù)先訓(xùn)練好的模型和數(shù)據(jù)集，所以我們從它的結(jié)果視頻里選取了包含斑馬線的圖幀進(jìn)行對(duì)比)。VPGNet使用的數(shù)據(jù)集中標(biāo)注有10 000多條斑馬線，可以看到自動(dòng)駕駛數(shù)據(jù)集在分辨率、清晰度和對(duì)比度質(zhì)量比較高，而本文所針對(duì)的交通路口畫質(zhì)更模糊、斑馬線清晰度低，具有更大的分割難度。但是在斑馬線分割這一任務(wù)對(duì)比下，本文算法能夠在不規(guī)則和遠(yuǎn)景斑馬線具有更好的分割完整度和精確度。而且對(duì)于這三種類型的路口圖像，本文提出的線先驗(yàn)空間分割網(wǎng)絡(luò)相比于Mask R-CNN網(wǎng)絡(luò)分別都很大程度提升了分割和檢測(cè)的精確度。

圖7 不同類型圖像分割結(jié)果

3.2.2凸包損失函數(shù)實(shí)驗(yàn)結(jié)果

線先驗(yàn)空間分割網(wǎng)絡(luò)雖然提升了分割和檢測(cè)精確度，但是依然保留著Mask R-CNN的缺點(diǎn)。如在分析圖6分割結(jié)果時(shí)所述，訓(xùn)練模型對(duì)分割邊緣的處理不規(guī)整。另外，在圖8中，如第一行圖片所示，當(dāng)斑馬線分割邊界的傾斜角度較大時(shí)，分割邊界呈現(xiàn)非常不規(guī)則的鋸齒狀。經(jīng)過分析得出原因，斑馬線的外觀特性是許多條平行白色線條，沒有清晰的邊界，在人眼識(shí)別或者標(biāo)注數(shù)據(jù)集時(shí)，通常按照日常生活經(jīng)驗(yàn)將斑馬線的整個(gè)區(qū)域用一個(gè)凸多邊形進(jìn)行擬合。然而深度學(xué)習(xí)模型沒有人類的生活常識(shí)，由于模型學(xué)習(xí)到的是斑馬線的黑白相間條紋狀特征，當(dāng)對(duì)斑馬線和路口區(qū)域邊界進(jìn)行劃分時(shí)，模型產(chǎn)生了混淆，從而形成了不規(guī)則的鋸齒狀邊緣。

圖8 凸包損失函數(shù)實(shí)驗(yàn)結(jié)果

為了解決邊緣不規(guī)則這一問題，本文在Mask R-CNN框架中引入了凸包算法，在損失函數(shù)中加入了凸包二值交叉熵?fù)p失項(xiàng)。這一方法使模型在訓(xùn)練過程中逐步學(xué)習(xí)用凸多邊形進(jìn)行分割的方法，改善了Mask R-CNN算法對(duì)于斑馬線虛線類型的邊界識(shí)別不清、邊界劃分不規(guī)則的問題。圖8中，(b)、(c)分別為兩組測(cè)試圖片的細(xì)節(jié)放大對(duì)比圖，展示了線先驗(yàn)空間分割網(wǎng)絡(luò)和加入凸包損失函數(shù)后網(wǎng)絡(luò)對(duì)分割邊緣的處理效果。如圖8(b)所示，加入凸包損失函數(shù)后，網(wǎng)絡(luò)在不犧牲分割精確度的情況下將鋸齒狀邊緣規(guī)范化，形成易于表達(dá)和適用于后期路口車輛分析的分割邊緣。如圖8(c)所示，模型將原來(lái)因模糊而分割不清的路口邊界劃分整齊，不僅達(dá)到了規(guī)整的分割效果也提升了分割精確度。

4 結(jié) 語(yǔ)

本文構(gòu)建的包含1 221條斑馬線和138塊路口區(qū)域的交通路口監(jiān)控圖像區(qū)域分割數(shù)據(jù)集具有視角多樣、識(shí)別困難等特點(diǎn)。針對(duì)斑馬線和路口區(qū)域分割這一特定任務(wù)，線先驗(yàn)特征的加入為網(wǎng)絡(luò)學(xué)習(xí)提供了明確的線特征。將SCNN網(wǎng)絡(luò)結(jié)構(gòu)與Mask R-CNN分割分支進(jìn)行融合的空間分割網(wǎng)絡(luò)讓網(wǎng)絡(luò)具有更好的空間學(xué)習(xí)能力，相較于其他的斑馬線檢測(cè)方法具有更高的準(zhǔn)確度和魯棒性。引入凸包二值交叉熵?fù)p失函數(shù)，使網(wǎng)絡(luò)學(xué)習(xí)到使用凸多邊形進(jìn)行幾何分割的方法。通過以上實(shí)驗(yàn)及分析可以發(fā)現(xiàn)，結(jié)合了線先驗(yàn)和凸包損失函數(shù)的空間分割網(wǎng)絡(luò)與其他斑馬線檢測(cè)算法相比，在更困難的數(shù)據(jù)集中獲得了更精確的斑馬線分割結(jié)果，因而更適用于智能交通監(jiān)管系統(tǒng)。然而監(jiān)控視角的場(chǎng)景分割除了斑馬線和路口區(qū)域外還有許多內(nèi)容可以進(jìn)行進(jìn)一步細(xì)致研究，最終才能達(dá)到對(duì)于路口場(chǎng)景全面智能化理解。