吳昆鵬,石 杰,楊朝霖,鄧能輝

(北京科技大學(xué) a.國家板帶生產(chǎn)先進(jìn)裝備工程技術(shù)研究中心;b.設(shè)計(jì)研究院有限公司,北京 100083)

0 引言

中厚板熱處理線[1]冷床區(qū)鋼板狀態(tài)的跟蹤一直是企業(yè)智能生產(chǎn)集控面臨的難題,生產(chǎn)自動(dòng)化二級(jí)系統(tǒng)一般是根據(jù)金屬探測儀反饋及輥道速度共同推理下一時(shí)刻鋼板位置進(jìn)行信息跟蹤[2-3]。冷床區(qū)域范圍較大,設(shè)備龐雜,與正常輥道跟蹤有很大差異,金屬探測儀無法進(jìn)行分布式安裝,致使常規(guī)跟蹤方法在跟蹤過程中存在檢測盲區(qū),無法及時(shí)反饋鋼板的行進(jìn)位置,只能依賴?yán)碚摰挠?jì)算得到虛擬的鋼板坯影,存在很大的不確定性。并且冷床區(qū)域時(shí)常會(huì)有行車進(jìn)行鋼板下料的情況,這種情況在理論計(jì)算中無法捕捉到,容易造成二級(jí)跟蹤的癱瘓,只能依賴人工進(jìn)行手動(dòng)剔除,大大降低了冷床區(qū)的生產(chǎn)節(jié)奏,限制了生產(chǎn)線的集控化管理,所以在冷床鋼板跟蹤上目前還沒有成熟有效的解決方案。

伴隨著智能制造“十四五”規(guī)劃的步伐,鋼鐵企業(yè)中正在將大量重復(fù)、規(guī)則化的工藝流程進(jìn)行精簡、智控,實(shí)現(xiàn)自動(dòng)化智能化生產(chǎn)[4-5],而其中被廣泛利用的支撐技術(shù)以視覺識(shí)別為最。基于機(jī)器視覺的智能檢測設(shè)備具有檢測實(shí)時(shí)性高、檢測全面、全天候、成本低等技術(shù)優(yōu)勢,并且安裝方便、維護(hù)簡單,逐漸成為了智能化生產(chǎn)過程中不可或缺的重要設(shè)備。如表面缺陷檢測系統(tǒng)[6-7]、噴碼字符識(shí)別系統(tǒng)[8-9]等,都是此方面較有代表性的應(yīng)用案例。

為了進(jìn)一步促進(jìn)冷床區(qū)域生產(chǎn)流程的智能化,改善人工操作難度,降低人工成本,增加生產(chǎn)線的集控能力。本文針對中厚板熱處理線冷床區(qū)鋼板跟蹤策略進(jìn)行探索,提出了基于融合策略的冷床鋼板自動(dòng)下料跟蹤解決方案,一方面利用實(shí)例分割算法得到冷床區(qū)鋼板位置分布狀態(tài),另一方面結(jié)合邏輯跟蹤模型輸出結(jié)果進(jìn)行數(shù)據(jù)關(guān)聯(lián)匹配實(shí)現(xiàn)異常情況報(bào)警。

1 視覺檢測模型

1.1 工藝及檢測流程

以國內(nèi)某鋼廠熱處理生產(chǎn)線為例,如圖1所示,冷床區(qū)域范圍為30×18 m,兩側(cè)分別各有一組輥道,分別為1#加熱爐出爐輥道和2#回火爐出爐輥道,其中2#回火爐輥道鋼板直接經(jīng)輥道進(jìn)入到標(biāo)識(shí)入庫流程,1#加熱爐輥道的鋼板進(jìn)入冷床區(qū),一部分鋼板由行車吊走另進(jìn)行回火,另一部分鋼板需要通過2#出爐輥道下料標(biāo)識(shí)入庫。

圖1 冷床區(qū)工藝流程

圖像采集設(shè)備選用紅外視頻監(jiān)控相機(jī),能夠同時(shí)兼顧白天、夜間的冷床狀態(tài),無需任何外部輔助光源。相機(jī)安裝在行車運(yùn)行橫梁上方2 m位置,相機(jī)視野可覆蓋整個(gè)冷床區(qū)域。相機(jī)采集到的圖像通過以太網(wǎng)傳輸至圖形工作站進(jìn)行識(shí)別檢測,處理得到的冷床區(qū)鋼板狀態(tài)信息(位置坐標(biāo)、長寬)和異常信息(行車下料、冷床卡鋼)發(fā)送給自動(dòng)化二級(jí)系統(tǒng)畫面進(jìn)行顯示。

受相機(jī)自身畸變以及其安裝高度、位置、角度的影響,拍攝得到的冷床區(qū)域并非規(guī)則矩形,而是不規(guī)則的四邊形,增加了后續(xù)模型檢測的難度。如圖2所示,在預(yù)處理過程利用透視變換矩陣將畸變圖像進(jìn)行矯正,得到標(biāo)準(zhǔn)的冷床區(qū)監(jiān)控畫面,該畫面圖像作為分割網(wǎng)絡(luò)模型的輸入,經(jīng)過模型的識(shí)別可以得到冷床區(qū)鋼板的分割對象圖,通過坐標(biāo)映射可以計(jì)算出鋼板在冷床區(qū)的位置坐標(biāo)以及長寬尺寸。

圖2 冷床區(qū)鋼板狀態(tài)檢測流程

1.2 樣本數(shù)據(jù)集構(gòu)建

鋼板對象提取的分割網(wǎng)絡(luò)模型需要大量的實(shí)際樣本數(shù)據(jù)進(jìn)行參數(shù)學(xué)習(xí),為了更加全面的訓(xùn)練和評(píng)估模型的性能。在充分考慮了實(shí)際的現(xiàn)場情況下,如圖3所示,分別采集了白天場景、夜間場景、燈光干擾、緊密連接、行車干擾、冷床卡鋼共6個(gè)場景下的數(shù)據(jù)。

(a) 白天場景 (b) 夜間場景 (c) 燈光干擾

(d) 緊密連接 (e) 行車干擾 (f) 冷床卡鋼圖3 典型樣本圖像

整個(gè)數(shù)據(jù)集中各場景下收集的樣本圖像數(shù)量如表1所示,數(shù)據(jù)集分為訓(xùn)練集和測試集,訓(xùn)練集主要用來訓(xùn)練實(shí)例分割網(wǎng)絡(luò)模型,得到最優(yōu)的模型參數(shù),測試集用于評(píng)估分割模型的性能指標(biāo)及泛化能力。樣本圖像采用逐像素的實(shí)例標(biāo)定方式,利用LabelMe軟件標(biāo)定得到,標(biāo)注的數(shù)據(jù)點(diǎn)為鋼板對象的外輪廓。

表1 各場景樣本圖像數(shù)量統(tǒng)計(jì)

1.3 分割網(wǎng)絡(luò)設(shè)計(jì)

為了分析出冷床區(qū)域各鋼板的狀態(tài),不僅需要提取出隸屬鋼板的像素,還需要進(jìn)行實(shí)例對象識(shí)別,因此其本質(zhì)為實(shí)例分割[10]問題?，F(xiàn)階段較為代表性的實(shí)例分割方法有Mask R-CNN[11]、YOLACT[12-13]、SOLO[14]等,其中SOLO方法屬于單階段檢測方法,可以進(jìn)行端到端的訓(xùn)練,在檢測速率上有較大優(yōu)勢,是其中較少的可以應(yīng)用在實(shí)際應(yīng)用下的基線算法;此外由于其不依賴目標(biāo)檢測框,在檢測效果上也不弱于其他二階段的檢測方法。

SOLO網(wǎng)絡(luò)模型是利用實(shí)例對象對應(yīng)的位置和尺寸來區(qū)分不同的語義對象,如圖4所示,實(shí)例分割被分為語義標(biāo)簽預(yù)測和實(shí)例掩碼生成兩個(gè)任務(wù),輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)和FPN(feature pyramid networks)[15],得到P2～P6共5個(gè)中間特征用于后續(xù)檢測;每個(gè)特征上等分為S×S個(gè)方格,經(jīng)過多次卷積后,得到語義分支輸出為S×S×C,其中C為語義類別數(shù)量;每個(gè)特征通過長采樣和卷積操作,輸出實(shí)例掩碼分支大小為H×W×S2;語義輸出中的每個(gè)方格對應(yīng)實(shí)例掩碼中的1個(gè)通道,兩分支結(jié)合后得到實(shí)例對象分割結(jié)果。

圖4 SOLO網(wǎng)絡(luò)模型原理

SOLO模型的目標(biāo)損失函數(shù)定義為:

Loss=Lossc+γLossm

(1)

式中:γ為損失權(quán)重值,本文中設(shè)置為3,Lossc為分類常用的Focal loss損失函數(shù),Lossm為實(shí)例mask分支用到的損失函數(shù),如式(2)～式(3)所示。

(2)

(3)

SOLO模型作為單階段實(shí)例分割網(wǎng)絡(luò),檢測速度相較于二階段實(shí)例分割模型有很大提高,其中基于ResNet50的SOLO模型在GeForce RTX 2060 GPU上能達(dá)到8～10 fps的檢測速率,然而這遠(yuǎn)不能滿足實(shí)時(shí)檢測的需求。本文中替換了更加輕量的骨架結(jié)構(gòu)ResNet18[16],以提升模型的檢測速率,如表2所示,替換骨架后的SOLO模型檢測速率超過25 fps,能夠應(yīng)對實(shí)時(shí)條件下的檢測任務(wù)。

表2 不同特征提取骨架性能對比

SOLO模型中通過FPN后輸出P2、P3、P4、P5、P6共5個(gè)不同感受野的特征用來檢測不同尺寸的目標(biāo)對象,其中較大的特征圖用于檢測較小的目標(biāo),較小的特征圖用于檢測較大的目標(biāo)。以輸入圖像尺寸為W×H計(jì)算,FPN輸出的特征尺寸及感受野大小如表3所示。原始的SOLO模型被設(shè)計(jì)應(yīng)用于常規(guī)物體對象分割上,涵蓋了不同范圍尺寸的目標(biāo)檢測,雖然具備有魯棒、寬泛的分割能力,但目標(biāo)針對性不強(qiáng),容易造成資源的浪費(fèi)和準(zhǔn)確率不足等問題。本文中模型檢測的目標(biāo)長寬尺寸局限在固定有限范圍內(nèi),通過對實(shí)際的鋼板尺寸范圍進(jìn)行統(tǒng)計(jì),最終確定鋼板的寬度尺寸在圖像中的像素范圍在54～72像素,長度尺寸像素范圍為160～320像素。為了簡化模型的復(fù)雜度,提升模型的處理速率,并更加有效的利用相關(guān)特征,對特征選取原則進(jìn)行探索。

表3 FPN各層特征信息

在基于ResNet18骨架的SOLO模型中單獨(dú)保留P2～P6特征層進(jìn)行目標(biāo)實(shí)例分割,得到數(shù)據(jù)指標(biāo)如表4所示,通過分析發(fā)現(xiàn),在單獨(dú)選擇P3或P4特征層進(jìn)行檢測時(shí),所得到的性能指標(biāo)要比使用P2～P6全部特征更好,證明在固定的檢測目標(biāo)尺寸下,選擇合適的特征層能帶來更好的表現(xiàn)。因此在后續(xù)實(shí)驗(yàn)過程僅利用P3、P4特征層進(jìn)行檢測,以獲得最佳結(jié)果。

表4 不同特征層對應(yīng)的模型檢測指標(biāo)

通過采用輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu),并選擇合適的特征層進(jìn)行實(shí)例的檢測,能夠充分地降低模型的復(fù)雜度,加快模型的檢測速率,但同時(shí)也造成了準(zhǔn)確率指標(biāo)的損失。為此本文在SOLO原有語義分支模塊基礎(chǔ)上添加了對象計(jì)數(shù)模塊,如圖5所示,計(jì)數(shù)模塊通過將中間特征進(jìn)行卷積、通道注意力(channel attention)和求和池化(sum pooling)分別得到橫向和縱向的鋼板統(tǒng)計(jì)計(jì)數(shù),并將計(jì)數(shù)向量重組為S×S的權(quán)重向量指導(dǎo)語義分支,進(jìn)而增強(qiáng)語義分支的識(shí)別能力。

圖5 對象計(jì)數(shù)模塊結(jié)構(gòu)

2 多模型匹配跟蹤策略

2.1 邏輯跟蹤模型

常規(guī)的自動(dòng)化二級(jí)跟蹤策略雖然存在較大的誤差,但由于策略中利用了輥道行進(jìn)速度這一控制源,仍然具備一定的信息度,這對于冷床卡鋼等異常情況的分析也是必不可少的。

卡爾曼濾波算法可以基于之前的運(yùn)動(dòng)狀態(tài)x來預(yù)測當(dāng)前時(shí)刻的狀態(tài)x′:

x′=F*x

(4)

(1)鋼板進(jìn)入冷床過程中,邏輯跟蹤模型:

(5)

(2)鋼板在冷床區(qū)運(yùn)行時(shí),邏輯跟蹤模型:

(6)

(3)鋼板離開冷床過程中,邏輯跟蹤模型:

(7)

2.2 數(shù)據(jù)關(guān)聯(lián)與匹配跟蹤

冷床區(qū)鋼板跟蹤策略集合了邏輯跟蹤模型數(shù)據(jù)和視覺檢測模型數(shù)據(jù),通過兩模型數(shù)據(jù)的匹配程度判定鋼板運(yùn)行流程。

正常情況下以視覺檢測跟蹤為主,實(shí)時(shí)監(jiān)控冷床區(qū)域鋼板的狀態(tài)、數(shù)量、位置等信息。對于特殊的處理狀態(tài)下,通過邏輯跟蹤模型和視覺跟蹤模型結(jié)合判斷鋼板狀態(tài)。具體步驟如下:

步驟1:利用視覺檢測模型識(shí)別得到T0時(shí)刻冷床區(qū)鋼板狀態(tài)信息,并利用此信息初始化邏輯跟蹤模型的狀態(tài);

步驟2:邏輯跟蹤模型依賴T-1時(shí)刻冷床區(qū)鋼板狀態(tài)并結(jié)合冷床速度通過卡爾曼濾波預(yù)測出T時(shí)刻冷床區(qū)鋼板狀態(tài)信息S1;

步驟3:視覺檢測模型利用改進(jìn)SOLO模型從圖像中分析出T時(shí)刻冷床區(qū)鋼板狀態(tài)信息S2;

步驟4:T時(shí)刻下,如圖6所示,計(jì)算冷床區(qū)鋼板狀態(tài)信息S1與冷床區(qū)鋼板狀態(tài)信息S2的匹配情況,分析異常跟蹤狀態(tài),然后將冷床區(qū)鋼板狀態(tài)信息S2進(jìn)行保存并更新到邏輯跟蹤模型用于下一循環(huán)中步驟2的計(jì)算;

圖6 多模型匹配狀態(tài)跟蹤

步驟5:進(jìn)入下一時(shí)刻,重復(fù)步驟2～步驟4,實(shí)時(shí)跟蹤冷床區(qū)鋼板狀態(tài)。

3 結(jié)果分析

本文提出的方法應(yīng)用在國內(nèi)某鋼鐵企業(yè)熱處理線,用于冷床區(qū)的鋼板跟蹤及自動(dòng)下料,下面分別以改進(jìn)SOLO模型分割效果和位置跟蹤效果兩方面進(jìn)行分析。

3.1 實(shí)例分割效果分析

模型在GeForce RTX 3080Ti GPU上進(jìn)行訓(xùn)練,應(yīng)用Pytorch深度學(xué)習(xí)框架,共計(jì)訓(xùn)練500輪,采用隨機(jī)梯度下降(SGD)進(jìn)行訓(xùn)練,初始學(xué)習(xí)率為0.01,在第100輪、第200輪、第400輪時(shí)將學(xué)習(xí)率下降10%,設(shè)置特征層P2～P6上的S分別為{40,32,24,16,12},語義類別數(shù)量C為2,圖像寬度W和圖像高度H歸一化為512。

在GeForce RTX 2060 GPU上進(jìn)行測試,對測試集進(jìn)行評(píng)估,鋼板識(shí)別的效果如圖7所示,模型不僅能夠輸出鋼板的前景,同時(shí)也能夠區(qū)分出不同的鋼板對象。

(a) 行車干擾 (b) 雙排布料 (c) 白天場景 (d) 夜晚場景圖7 實(shí)例分割模型輸出效果圖

如表5所示,對比了不同方法的實(shí)例分割指標(biāo),表中“-A”表示使用P2～P6全部特征進(jìn)行檢測,“-B”表示僅使用P3和P4這兩個(gè)特征,“-CM”表示添加了計(jì)數(shù)模塊。

表5 不同實(shí)例分割方法輸出指標(biāo)分析

mAP(mean average precision)是目標(biāo)檢測常用的評(píng)價(jià)指標(biāo),mIoU(mean intersection over union)是像素分割常用的評(píng)價(jià)指標(biāo),fps為處理速度評(píng)價(jià)指標(biāo)。通過選取輕量級(jí)特征骨架在檢測速率上帶來18.2 fps的提升,設(shè)置合理的特征作為后續(xù)處理層取得了2.19的mAP提升和0.72的mIoU提升,增加CM結(jié)構(gòu)后獲得2.43的mAP提升和3.07的mIoU提升。

針對6種不同場景下的評(píng)價(jià)指標(biāo)進(jìn)行了統(tǒng)計(jì)分析,詳細(xì)的數(shù)據(jù)如圖8所示,模型在白天場景、夜間場景、燈光干擾等場景下具備較高的準(zhǔn)確率,而在緊密連接、行車干擾、冷床卡鋼等情況下準(zhǔn)確率略低,分析主要原因在于鋼板緊密排列的情況下,給單位對象的區(qū)分增加了難度,同時(shí)外界的干擾也會(huì)對物體的分割有一定程度的影響。

(a) mAP (b) mIoU圖8 不同場景下模型指標(biāo)對比

3.2 位置跟蹤效果分析

本文多模型跟蹤策略應(yīng)用于實(shí)際生產(chǎn)現(xiàn)場,有效的解決了冷床區(qū)鋼板行車下料無法跟蹤的問題。應(yīng)用后生產(chǎn)線已采用集控自動(dòng)冷床下料,完全取代了人工吊銷方式,現(xiàn)場統(tǒng)計(jì)1個(gè)月內(nèi)的鋼板跟蹤情況,實(shí)現(xiàn)自動(dòng)吊銷鋼板的準(zhǔn)確率為99.2%,卡鋼報(bào)警3次,報(bào)警準(zhǔn)確率為100%。

圖9中實(shí)線框表示邏輯跟蹤模型輸出的冷床鋼板狀態(tài)S1,虛線框表示視覺檢測模型識(shí)別的冷床鋼板狀態(tài)S2,關(guān)聯(lián)匹配情況與冷床區(qū)鋼板跟蹤的關(guān)系為:

(a) 輥道上料 (b) 輥道下料

(c) 行車下料 (d) 冷床卡鋼圖9 多模型匹配跟蹤結(jié)果

(1)S1中鋼板數(shù)量小于S2中鋼板數(shù)量,S2中鋼板無法在S1中匹配到,未匹配的鋼板為剛剛進(jìn)入冷床區(qū)域的鋼板,進(jìn)行信息添加,如圖9a所示。

(2)S1中鋼板數(shù)量大于S2中鋼板數(shù)量,S1中鋼板無法在S2中匹配到,未匹配的鋼板為行車吊走的鋼板,進(jìn)行信息吊銷,如圖9c所示。

(3)S1中鋼板數(shù)量等于S2中鋼板數(shù)量,S1和S2中鋼板完全匹配,為正常的鋼板跟蹤狀態(tài),進(jìn)行及時(shí)的信息更新,如圖9b所示。

(4)S1中鋼板數(shù)量等于S2中鋼板數(shù)量,S1或S2中存在鋼板未匹配,判定為出現(xiàn)冷床卡鋼,并進(jìn)行報(bào)警,如圖9d所示。

4 結(jié)論

(1)針對現(xiàn)階段冷床區(qū)跟蹤手段匱乏的情況,提出基于融合策略的冷床鋼板自動(dòng)下料跟蹤方案,實(shí)現(xiàn)了冷床區(qū)的智能集中控制。

(2)改進(jìn)的SOLO實(shí)例分割方法利用新增的目標(biāo)計(jì)數(shù)模塊改善了單個(gè)類別對象實(shí)例分割過程中數(shù)量錯(cuò)誤、分割粘連無法區(qū)分的問題,提升了目標(biāo)實(shí)例檢測的準(zhǔn)確率。

(3)通過邏輯跟蹤模型和視覺檢測模型的數(shù)據(jù)關(guān)聯(lián)進(jìn)行匹配跟蹤,可以對行車下料、冷床卡鋼等特殊情況進(jìn)行及時(shí)跟蹤與報(bào)警,降低了人工成本,提升了熱處理線生產(chǎn)節(jié)奏。