羅耀俊,向 海,胡曉兵,牛洪超,魏上云

1(四川大學 機械工程學院,成都 610065)

2(四川大學宜賓園區(qū),宜賓 644000)

現(xiàn)如今,隨著微電子、機器視覺、5G 通訊、人工智能技術(shù)的快速發(fā)展,市場對門式起重機的自動化、信息化和智能化水平要求越來越高[1].對于開放式工作的門式起重機來講,安全是其面臨的一個重大的挑戰(zhàn),尤其是門機軌道運行區(qū)域,直接影響其能否暢通運行.所以,對于研究一套安全、可靠、智能的防侵入系統(tǒng),是具有十分重要的工業(yè)實用意義的[2–5].

對于門式起重機的防侵入監(jiān)測任務而言,研究的重點在于如何在運行過程中對監(jiān)測區(qū)域中的障礙目標以及可能進入特定區(qū)域的目標進行檢測、跟蹤和預警.障礙物檢測研究主要集中在機器視覺,向榮等人[6]使用幀差法進行障礙物檢測,但容易受環(huán)境光線的影響;戰(zhàn)強等人[7]采用HIS 顏色空間對障礙物進行檢測分割,通過建立空間位置坐標關(guān)系,使用柵格搜索算法對障礙物進行定位;王榮本等人[8]對智能車輛的障礙物檢測進行了綜合性分析,并提出多傳感器榮融合方法進行車輛前方障礙物檢測;辛煜[9]采用激光雷達實時對無人車周圍環(huán)境進行三維重建,并提出了時空障礙物柵格圖的障礙物檢測方法;劉聰美等人[10]采用Hough 直線檢測對煤礦鐵軌進行識別,并采用支持向量機算法對行人進行監(jiān)測,根據(jù)行人與鐵軌的相對位置關(guān)系,發(fā)出不同的預警信號.

本文針對實際工作環(huán)境和工業(yè)需要,結(jié)合語義分割在各方向的應用[11–17],對門式起重機防侵入問題進行分析,將其轉(zhuǎn)換為語義分割問題.標定用于防侵入研究的語義分割數(shù)據(jù)集GCAID,并利用多個語義分割網(wǎng)絡進行訓練對比,最后決定選用ICNet 網(wǎng)絡運用于門式起重機的防侵入監(jiān)測任務.門式起重機防侵入監(jiān)測模型首先對圖像進行語義分割,得到軌道和入侵目標的分割結(jié)果.然后根據(jù)軌道的分割結(jié)果,將監(jiān)測視場劃分為三個互不重疊的區(qū)域,分別是禁止區(qū)域、過渡區(qū)域和安全區(qū)域.接著計算檢測的入侵目標所處的入侵區(qū)域,并根據(jù)入侵目標所處的區(qū)域,向控制系統(tǒng)發(fā)送不同的預警信號.

1 問題建模

如圖1所示,將環(huán)境數(shù)據(jù)劃分為4 部分,分別是禁止區(qū)域、過渡區(qū)域、安全區(qū)域以及障礙目標.禁止區(qū)域?qū)儆谲壍绤^(qū)域,禁止出現(xiàn)行人等危險源,當出現(xiàn)行人等危險源時應及時對門機進行減速和制動;過渡區(qū)域是沿軌道區(qū)域外擴0.5 m的區(qū)域,分布在禁止區(qū)域兩側(cè),當出現(xiàn)行人等危險源時應發(fā)出警報信息并減速;安全區(qū)域是指除禁止區(qū)域和過渡區(qū)域的其他區(qū)域,對于這些區(qū)域存在的潛在危險目標可以按照正常速度運行;障礙目標是指可能影響門機安全運行的目標,結(jié)合本文的實際研究情況,暫定只考慮行人目標.在門機的防侵入檢測問題中,只需重點檢測禁止區(qū)域和過渡區(qū)域即可,過渡區(qū)域的劃分是基于禁止區(qū)域的劃分,因此需要首先檢測出禁止區(qū)域.如圖1左圖所示,禁止區(qū)域包括軌道以及固定螺栓等目標,整個禁止區(qū)域與過渡區(qū)域存在明顯的邊緣、顏色等特征的差異,因此可以將整個禁止區(qū)域作為其中的一個檢測對象.過渡區(qū)域的劃分是在禁止區(qū)域的基礎上進行的,且過渡區(qū)域與安全區(qū)域的特征基本是一致的,因此不做單獨檢測.障礙目標以行人檢測為主,其可以在任何位置出現(xiàn),針對不同位置對門機的運行狀態(tài)進行不同的控制,分別是禁止區(qū)域減速停車、過渡區(qū)域警報減速、安全區(qū)域正常行駛.如前所述,如果采用目標檢測算法來對問題進行建模,存在的問題是采用邊界框來劃分區(qū)域容易使得處于安全區(qū)域的行人被劃入禁止區(qū)域,從而使得門機總處于預警和停車狀態(tài).此外,對于處于禁止區(qū)域、但距離門機較遠位置的障礙目標,在提前預警的情況下,如果在門機到達前障礙目標能夠提前移除過渡區(qū)域,那么仍然可以不用停車.對此,可以該問題轉(zhuǎn)換為語義分割問題,前景分別是軌道區(qū)域(即禁止區(qū)域)和障礙目標(即行人),背景為過渡區(qū)域和安全區(qū)域.通過軌道區(qū)域來確定禁止區(qū)域、過渡區(qū)域和安全區(qū)域,根據(jù)行人的位置所屬區(qū)域來判斷門機的執(zhí)行命令.

圖1 門機防侵入建模示意圖

基于以上分析,門機的防侵入檢測系統(tǒng)的關(guān)鍵是對軌道區(qū)域和行人進行準確地檢測和分割.經(jīng)典的語義分割算法,如灰度分割、條件隨機場等,均難以滿足復雜自然環(huán)境下的在線檢測;基于深度學習的語義分割算法近年來取得大量研究成果,在醫(yī)學圖像分割、缺陷檢測與分割、街景分割、自動駕駛、衛(wèi)星圖像分割等領(lǐng)域已經(jīng)成功應用.因此,本文采用基于深度學習的語義分割模型,以實現(xiàn)對軌道區(qū)域和行人的精確分割.

2 ICNet 網(wǎng)絡網(wǎng)絡架構(gòu)

ICNet (image cascade network)網(wǎng)絡[18]是由香港中文大學聯(lián)合騰訊優(yōu)圖、商湯科技于2018年在歐洲計算機視覺國際會議(European conference on computer vision,ECCV)上首次公開,相比于與UNet、SegNet、FCN 等網(wǎng)絡,ICNet 綜合利用了不同分辨率的圖像來提高網(wǎng)絡的檢測精度和速度,其核心思想是采用圖像級聯(lián)框架來逐步細化分段預測,首先使用低分辨率圖像來獲取粗略的預測掩膜,然后通過級聯(lián)融合來源以引入高分辨率圖像特征,并逐步改進已獲得的粗略預測.ICNet 通過將圖像語義分割任務劃分為粗預測和精調(diào)整,在單塊英偉達1080Ti 圖像處理器的情況下,可以以30.3 幀/s的速度處理1024×2048 分辨率的圖像,并且平均IOU 精度可以達到71%.

降采樣輸入圖像、減少特征圖數(shù)量以及模型壓縮是最常用的檢測加速策略,但是無論哪一種策略,都難以平衡網(wǎng)絡推斷速度和精度.盡管這3 種策略可以顯著地減少運行時間,但同時也只能得到比較粗糙的預測結(jié)果.而如果直接使用高分辨率圖像進行檢測,計算量通常是難以接受的.如圖2所示,ICNet 并不是簡單地選擇任何一種策略來加快推斷速度,相反,它是通過采用不同分辨率大小的輸入,并采用級聯(lián)特征融合單元來進行快速的語義分割.訓練時采用級聯(lián)標簽進行引導,而在測試階段直接輸出最終預測結(jié)果.輸入圖像尺寸為全尺寸,如1024×2048 分辨率的Cityscape 數(shù)據(jù)集圖像,并將輸入圖像進行下采樣至輸入的1/2和1/4,從而得到低、中、高3 種不同分辨率的圖像,并將它們分別輸入到3 個不同的網(wǎng)絡分支中.將1/4 輸入圖像送入PSPNet 進行8 倍下采樣至輸入分辨率的1/32,以進行粗分割;將1/2 輸入圖像和原圖像分別送入兩個更淺的卷積網(wǎng)絡進行特征提取和下采樣;將最上分支的1/32 特征圖進行上采樣并與第2 分支的1/16 特征圖通過級聯(lián)特征融合(cascade feature fusion,CFF)單元進行求和,經(jīng)過激活后再進行上采樣,并與第3 分支的1/8 特征圖通過CFF 模塊進行融合,并通過兩次上采樣以及卷積操作后得到與原圖相同分辨率的預測圖.

圖2 ICNet 網(wǎng)絡架構(gòu)圖

雖然第1 分支的卷積層數(shù)量比較多,采用的是完整的PSPNet 分割網(wǎng)絡,但由于輸入圖像的分辨率非常低,因此其計算量依然比較有限,推斷時間僅需18 ms,內(nèi)存占用也只有0.6 GB.由于第2 層的卷積核共享了第1 層的卷積核參數(shù),因此第2 層的級聯(lián)特征融合也僅僅只耗費了6 ms.第3 層雖然輸入圖像的分辨率非常高,但是由于卷積層數(shù)量比較少,網(wǎng)絡深度比較淺,整個推斷過程也僅需9 ms.因此,ICNet 通過不同分支進行不同分辨率輸入的計算以及特征圖的級聯(lián)融合,在保證分割精度的前提下,可以有效地提高檢測速度和減少內(nèi)存占用.

圖3為CFF 單元示意圖,該單元地輸入包括3 個部分:兩個特征圖F1、F2以及真實標簽,尺寸分別為C1×H1×W1、C2×H2×W2和1×H2×W2,其中F2的尺寸為F1的兩倍.在特征融合前,先對F1使用雙線性插值進行上采樣2 倍,從而得到與F2具有相同高度和寬度的特征圖F1'.然后再使用卷積核為C3×3×3、空洞率為2的空洞卷積,對F1'進行調(diào)整,得到尺寸為C3×H2×W2的特征圖F1''.空洞卷積可以融合相鄰像素的特征信息,相比于反卷積而言,使用空洞卷積只需要更小的卷積核,就可以獲得與較大卷積核的反卷積一樣大的感受野.在保持感受野不變的條件下,反卷積操作比空洞卷積需要更大的卷積核,如反卷積的卷積核為7×7,而空洞卷積可以使用3×3、空洞率為2的卷積核實現(xiàn),因此空洞卷積需要的計算量更少.

為了使得F2的通道數(shù)與F1''的通道數(shù)保持一致,使用尺寸為C3×1×1 卷積核對F2進行卷積操作,得到F2',其尺寸為C3×H2×W2.然后分別對F1''和F2'進行批歸一化操作,使得兩個特征圖可以保持在同一尺度空間.最后對歸一化后的F1''和F2'進行逐元素求和以及ReLU 激活操作,從而得到融合后的特征圖F2'',其尺寸為C3×H2×W2.為了增強網(wǎng)絡對F1的學習,使用降采樣后的真實標簽來引導學習.如圖3所示,在第1 層與第2 層融合后,使用1/16 真實標簽進行學習,從而得到融合后的損失值;同理,使用1/8 真實標簽學習第2 層與第3 層的融合特征.對第3 層融合后的特征進行上采樣后,計算與1/4 真實標簽的損失值.因此在訓練期間,損失值包括3 部分,第1 層和第2 層融合后的特征與1/16 真實標簽間的損失L1/16、第2 層和第3 層融合后的特征與1/8 真實標簽間的損失L1/8、第3 層融合后的特征上采樣后與1/4 真實標簽間的損失L1/4.

圖3 級聯(lián)特征融合圖

訓練時,為了增加每個分支的學習率,采用級聯(lián)標簽引導策略,利用1/16、1/8和1/4 真實標簽來引導學習低、中、高3 種不同分辨率的學習,對于T個分支和N個類別,在分支t(t=1,2,…,T),預測特征圖Ft的空間尺寸為Yt×Xt,在位置(n,y,x)(n表示特征圖Ft的第n通道)的值為Fn,y,xt,真實標簽在二維坐標中(y,x)對應的值為.對于分支使用權(quán)值為λt的帶權(quán)Softmax 交叉熵損失函數(shù),其數(shù)學表達式為:

測試時,僅保留高分辨率的引導操作,這樣既可以保持訓練過程中的穩(wěn)定性,同時又能夠防止網(wǎng)絡受單個分支支配.

3 數(shù)據(jù)集的處理

由于目前尚無公開的門機軌道數(shù)據(jù),為了更好地匹配實際問題,通過攝像頭采集不同光線和天氣條件下的現(xiàn)場視頻.采集視頻的分辨率為1024×720,幀率為30 幀/s,顏色通道為RGB 三通道.對所采集的視頻間隔15 幀取一張圖片,共計1680 張圖片,其中晴天為1420 張、陰天為140 張、傍晚為120 張.

考慮到只檢測軌道和人,因此標記類別有3 類,分別是軌道、人和背景.由于行人的數(shù)據(jù)在現(xiàn)場非常有限,本系統(tǒng)在網(wǎng)絡上下載了12 個包含人的視頻,并按照45 幀的間隔進行數(shù)據(jù)提取,然后篩除不包含人的圖片,共得到540 張分辨率為1024×720的數(shù)據(jù)集.最后選擇將兩個子數(shù)據(jù)集合并為最終的GCAID 數(shù)據(jù)集.

Labelme是一個開源的可視化圖像標注工具,它采用Python+Qt 進行開發(fā).Labelme是目前常用的標注工具之一,它可以標注用于語義分割、實例分割、場景分割等視覺任務的數(shù)據(jù).Labelme 可以根據(jù)任務的需要對圖像進行多邊形、矩形、圓形、多線段、線段、點等形狀的標注,也可以對圖像直接進行類別標注用于圖像分類.此外,Labelme 還可以對視頻進行標注.Labelme 標注的數(shù)據(jù)格式包括.xml和.json 格式,分別對應VOC 類型和COCO 類型的數(shù)據(jù)集.Labelme 兼容所有操作系統(tǒng),其操作界面如圖4所示.

圖4 Labelme 標記工具操作界面

ICNet 對于圖像的識別精度、數(shù)據(jù)集的標注精度及面積計算精度,都會影響分割精度.由于數(shù)據(jù)集的標注精度會影響到網(wǎng)絡對圖像的識別精度,網(wǎng)絡對圖像的識別精度通過直接影響最后的類別預測,從而影響面積計算精度,最后影響分割.所以,本系統(tǒng)首先采用通過只標定軌道(包括整個軌道安裝區(qū)域)與人,背景區(qū)域自動生成的策略,通過減少分割數(shù)量來減少ICNet對于圖像識別精度的影響.然后,由于系統(tǒng)是對于門式起重機軌道的防侵入監(jiān)測,只需軌道與人處在分割區(qū)域內(nèi).所以在數(shù)據(jù)集標記過程中,對于軌道和人,采用了不影響整體識別的前提下,擴大標注區(qū)域,來減小標注精度和圖像識別精度對面積計算、類別分割的影響.

基于Labelme 工具箱,對包含2220 張圖片的GCAID數(shù)據(jù)集按json 格式進行標注.如圖4所示,標簽包含2 類,分別是track和human,代表圖片中的軌道區(qū)域和人.本文所標記的track 并非僅僅表示軌道,而是包含整個軌道安裝區(qū)域,因此其特征更加復雜,難以通過經(jīng)典的圖像處理算法進行檢測.實際的語義標簽包含3 個類,分別是背景、軌道和人,背景類在標定的時候自動生成.如圖5所示,圖5(a)列表示原始數(shù)據(jù),包含了軌道、人以及各種復雜的背景,其中74%的數(shù)據(jù)只包含軌道或人中的一種,26%的數(shù)據(jù)同時包含軌道和人;圖5(b)列表示真實語義分割圖,這部分數(shù)據(jù)是由人工標定,作為訓練時的監(jiān)督數(shù)據(jù);圖5(c)列表示掩膜可視化的結(jié)果,通過圖5可以清晰地看出,數(shù)據(jù)集包含3 個類別,分別為_background_、track和human,對應地標簽分別為0、1和2.在模型訓練過程時,通常只需要原始圖片和真實語義分割圖即可,通常記為(x,y),分別表示模型輸入數(shù)據(jù)和訓練目標.

圖5 GCAID 數(shù)據(jù)集部分樣本

4 實驗分析

4.1 訓練參數(shù)設置

采用Keras 來實現(xiàn)ICNet 網(wǎng)絡,訓練時采用4 塊技嘉2080Ti 圖形處理顯卡,并使用CUDA10.0和CUDNN v7.5 來加速訓練過程.將GCAID 數(shù)據(jù)集劃分為訓練集、驗證集和測試集共3 個互不重疊的子集,各子集包含的樣本數(shù)分別為1698、189和333.

在訓練超參數(shù)設置方面,每個批次的樣本數(shù)為2,訓練輪數(shù)為50,每一輪迭代375 次,共迭代37 500 次.初始學習率為0.01,在第30 輪、40 輪將學習率分別降低10 倍.訓練過程中采用早停技術(shù),以防止出現(xiàn)過擬合.在訓練過程中,每迭代1 輪就進行1 次驗證.為了增加樣本的多樣性,采用包括隨機縮放(比例在0.5～2)、隨機鏡像等數(shù)據(jù)增強策略.訓練時,L1/16與L1/8的權(quán)值λ1、λ2均為0.4,L1/4的權(quán)值λ3設置為1.網(wǎng)絡的分割精度評估采用逐類交并比平均值(mean of class-wise intersection over union,mIoU).mIoU是通過計算每一類的IoU 值后再求平均值,計算公式為:

其中,k表示類別數(shù),pii表示像素預測類別i與真實標定類別i一致的像素點總數(shù),表示實際標定類別為i卻預測類別為j的其他類的像素點數(shù)(包含pii),表示實際標定類別為j卻預測為類別i的像素點數(shù)(包含pii).由于分母重復計算了pii,因此需要減去一個pii.

4.2 數(shù)據(jù)分析

如圖6(a)所示,經(jīng)過50 輪的訓練,訓練精度均達到穩(wěn)定狀態(tài),盡管ICNet的初始精度較低,但是經(jīng)過快速的上升后,獲得最高訓練精度;而SegNet 模型的訓練精度則明顯低于其他模型.如圖6(b)所示,所有模型的訓練損失值都處于向下收斂,其中,ICNet的損失值下降速度最快.

圖6 常用模型訓練精度曲線圖與損失曲線圖

圖7(a)為常用語義分割模型驗證精度曲線圖,從圖中可以看出,SegNet 在前20 輪訓練中,驗證損失的波動幅度較大,然后就趨于平緩;FCN-8的驗證精度持續(xù)上升,在第10 輪后一致保持最高的驗證精度;UNet的驗證精度值最低,始終處于80%以下.如圖7(b)所示,除了SegNet的損失值前20 輪波動幅度較大以外,其他的模型的下降過程較為平穩(wěn).

圖7 常用模型訓練精度曲線圖與損失曲線圖

如表1所示,ICNet的訓練精度和訓練損失均優(yōu)于其他模型,而在驗證精度與損失方面,FCN-8 則取得了最好的成績,且ENet 也優(yōu)于ICNet.通過對333 張測試集進行測試分析,并選用每個網(wǎng)絡保存的最佳模型,得到測試mIoU 如表2所示,ICNet 取得63.72%的測試精度,而SegNet的測試mIoU 最低,僅為30.25%.

表1 實驗中相關(guān)參數(shù)設置對照

其次,對各模型在測試集上的表現(xiàn)進行了分析,評估指標包括mIoU和各類的IoU.測試結(jié)果如表2所示.從表中可以看出,ICNet 對于GCAID 數(shù)據(jù)集的平均分割精度最高,為63.72%.

表2 實驗中相關(guān)數(shù)據(jù)對照

其他多數(shù)框架針對高分辨率輸入都具有相對密集的計算過程,而ICNet 由于采用了獨特的級聯(lián)特征融合網(wǎng)絡,通過在訓練時使用了級聯(lián)的標簽監(jiān)督,有效地利用了低分辨率圖和高分辨率圖信息結(jié)合.其中低分辨率分支被送入了Heavy CNN中,得到了粗糙的語義預測.中分辨率和高分辨率的分支只被輕量級的CNN處理,進行恢復和完善模糊邊界和丟失的細節(jié),可以減少中部分支和下部分支的參數(shù)數(shù)目.雖然低分辨率分支導致了細節(jié)缺失和邊界模糊,但它已經(jīng)獲得了大部分語義信息,細節(jié)再由其他分支補全.正是這種獨特的級聯(lián)網(wǎng)絡使得測試結(jié)果中ICNet 在所選網(wǎng)絡中都呈現(xiàn)出較好的精度.

最后,本文對ICNet 網(wǎng)絡的訓練輪數(shù)進行了對比分析,如表3所示,隨著迭代次數(shù)的增加,測試mIoU先出現(xiàn)上升,然后呈現(xiàn)下降,在70 輪取得最佳mIoU值.可以看出,隨著訓練輪數(shù)增加,模型出現(xiàn)了過擬合情況.此外,本文展示了部分ICNet 分割結(jié)果,如圖8所示,可以看出,ICNet 對軌道的分割比較準確,但是對于人的分割精度并不是很理想,且容易將部分背景錯誤分類為人.針對人的分割精度較差的原因主要有兩點:第一是人的姿態(tài)更加復雜,且在整個圖像中的占比并不是很高,因此在訓練過程中即使錯誤分類,依然可以得到較高的精度;第二是因為數(shù)據(jù)集中人的數(shù)量并不是很多,從而導致樣本失衡.

表3 ICNet 在不同迭代輪數(shù)下的測試結(jié)果

圖8 部分測試結(jié)果圖

4.3 防侵入測試

在對防侵入進行測試中,本文基于軌道的分割結(jié)果將圖片分為禁止區(qū)、過渡區(qū)和安全區(qū),然后根據(jù)人的分割結(jié)果及其所處的區(qū)域發(fā)出不同的預警信號.測試時,將幀率設置為20 幀/s,測試結(jié)果如表4所示,正確預警樣本包含48 張不包含人的樣本和5 張包含人但處于警告區(qū)的樣本,錯誤預警的3 張樣本是將人劃入到禁止區(qū).

表4 防侵入系統(tǒng)測試結(jié)果

圖9是部分防侵入測試結(jié)果,從圖中可以看出,模型能夠很好的對軌道各區(qū)域進行正確劃分,效果良好.

圖9 防侵入分割測試結(jié)果

5 結(jié)論

本文針對門式起重機實際工作環(huán)境和工業(yè)需要,結(jié)合深度學習技術(shù),對門式起重機防侵入問題進行了分析,并對門機的防侵入監(jiān)測任務進行了詳細的建模,確定了門式起重機智能防侵入系統(tǒng)的方案.采用了語義分割算法(ICNet 網(wǎng)絡)對視場中的特定目標進行了檢測和分割,并對選用的ICNet的網(wǎng)絡結(jié)構(gòu)做了詳細的介紹.針對門機的防侵入監(jiān)測需求,使用Labelme 圖片標注工具制作了GCAID 數(shù)據(jù)集,用于訓練ICNet和其他語義分割模型,也對訓練網(wǎng)絡參數(shù)設置進行了詳細說明,并基于Keras 測試了包括ICNet、UNet、SegNet等語義分割模型.對比其他網(wǎng)絡,ICNet 網(wǎng)絡具有99.37%的訓練精度和1.81%的訓練損失,都展現(xiàn)出了最優(yōu)的精度,并且在對實際防侵入測試中,也證明了基于語義分割的防侵入系統(tǒng)的智能性、可行性,為門式起重機或類似場景,提供了智能防侵入系統(tǒng)方案.