趙厚信,陳志榮

(寶山鋼鐵股份有限公司熱軋廠,上海 201900)

在鋼廠,為便于物流跟蹤特別是中間工序的物流跟蹤,需要給待加工材料標(biāo)識(shí)。在前工序給待加工材料噴印號(hào)碼,后工序通過這一噴印號(hào)碼進(jìn)行材料跟蹤是通用的做法。目前,在熱軋卷取區(qū)域要為每一鋼卷噴上鋼卷號(hào),鋼卷號(hào)是由機(jī)械手自動(dòng)打印,但現(xiàn)有的打印機(jī)械手沒有視覺感知功能,無法判斷打印是否存在缺陷。鋼卷號(hào)打印缺陷將給入庫(kù)及后工序管理造成較大影響。因此,有必要研究一套能適應(yīng)熱軋卷取現(xiàn)場(chǎng)環(huán)境的鋼卷號(hào)自動(dòng)識(shí)別系統(tǒng),該系統(tǒng)可以實(shí)時(shí)檢測(cè)打印機(jī)械手打印鋼卷號(hào)的結(jié)果,一旦發(fā)現(xiàn)缺陷,立即做出報(bào)警或提示。

寶鋼熱軋廠某產(chǎn)線有針對(duì)性地利用智能圖像分割方法、圖像增強(qiáng)和模板匹配算法等技術(shù),對(duì)熱軋鋼板鋼卷號(hào)進(jìn)行高精度識(shí)別,實(shí)現(xiàn)了鋼卷號(hào)自動(dòng)識(shí)別并達(dá)到較好的應(yīng)用效果。

1 熱軋鋼卷號(hào)自動(dòng)設(shè)別系統(tǒng)架構(gòu)

熱軋鋼卷號(hào)識(shí)別系統(tǒng)主要由現(xiàn)場(chǎng)圖像獲取相機(jī)、圖像處理及識(shí)別計(jì)算機(jī)、上位信息設(shè)定PLC及網(wǎng)絡(luò)構(gòu)成,如圖1 所示。在鋼卷號(hào)自動(dòng)識(shí)別系統(tǒng)中,首先工業(yè)相機(jī)將打印機(jī)械手打印的字拍攝成圖像。在拍攝的圖像上進(jìn)行鋼卷號(hào)定位、分割、字符切分等處理,形成規(guī)整化的單個(gè)字符;此后采用模式識(shí)別的相關(guān)技術(shù)對(duì)切割的字符進(jìn)行自動(dòng)識(shí)別。識(shí)別結(jié)果與上位信息設(shè)定PLC跟蹤下發(fā)的鋼卷號(hào)進(jìn)行相應(yīng)核對(duì),核對(duì)結(jié)果發(fā)基礎(chǔ)自動(dòng)化L1系統(tǒng)進(jìn)行后續(xù)控制,如核對(duì)結(jié)果正確,則自動(dòng)放行鋼卷;如果核對(duì)不正確(含噴印字符有缺陷),則L1發(fā)指令讓噴印機(jī)重新噴印及人機(jī)畫面報(bào)警等。

2 熱軋鋼卷號(hào)自動(dòng)設(shè)別系統(tǒng)的關(guān)鍵技術(shù)

2.1 相機(jī)曝光時(shí)間自動(dòng)校正算法及自動(dòng)增益調(diào)節(jié)實(shí)現(xiàn)

正確識(shí)別鋼卷噴印字符需要有較為清晰的圖像作前提保證。由實(shí)際取得的鋼卷噴印圖像分析可知,實(shí)際鋼卷噴印字符圖像的質(zhì)量(灰度層次)不僅與鋼卷噴印位置的環(huán)境亮度有關(guān),還與鋼卷溫度有關(guān)。由于生產(chǎn)現(xiàn)場(chǎng)環(huán)境比較惡劣,識(shí)別目標(biāo)處在高溫輻射中,目標(biāo)背景十分復(fù)雜,且當(dāng)鋼卷表面溫度達(dá)到700 ℃時(shí),其成像的背景與目標(biāo)顏色幾乎相近且伴有大量的噪聲。如何獲取具有一定質(zhì)量的圖像將影響字符的切割和識(shí)別的正確度。

為獲得較好的圖像質(zhì)量,必須根據(jù)環(huán)境亮度和鋼卷的溫度自動(dòng)調(diào)節(jié)相機(jī)的感光量。相機(jī)的感光量是由相機(jī)的曝光時(shí)間(快門速度)、光圈和感光增益(ISO)組成。本方案中采用定焦鏡頭,將光圈開最大,以便獲得足夠的進(jìn)光量,曝光時(shí)間設(shè)置在33 ms(1/30)。通過調(diào)節(jié)感光增益來獲取質(zhì)量較好的圖像。通過對(duì)數(shù)百?gòu)堅(jiān)诓煌瑮l件下獲取的圖像進(jìn)行對(duì)比,選定圖像質(zhì)量(灰度層次)較為理想的圖像進(jìn)行灰度等級(jí)測(cè)定、灰度密度統(tǒng)計(jì),找出灰度密度最大的值作為感光增益調(diào)節(jié)的目標(biāo)值,為設(shè)定灰度。自動(dòng)調(diào)節(jié)感光增益工作過程:獲取圖像、對(duì)圖像進(jìn)行灰度密度測(cè)定和統(tǒng)計(jì)、獲得密度最高的灰度實(shí)際值,并將此值與設(shè)定灰度值比較,偏差在±5%內(nèi),認(rèn)為是理想圖像,不做調(diào)節(jié),否則就認(rèn)為不理想圖像需進(jìn)行調(diào)節(jié),調(diào)節(jié)后立即進(jìn)行重拍,再進(jìn)行上述過程,以獲取理想圖像。為了能快速調(diào)節(jié)感光增益,采用增量式數(shù)字比例調(diào)節(jié)器P。通過增量式數(shù)字P調(diào)節(jié),可以實(shí)現(xiàn)在3次內(nèi)完成相機(jī)感光量調(diào)節(jié),獲得較為理想的圖像,原理如式(1)、(2):

e(k)=Gtarget-GReal(k)

(1)

G(k)=Kp.e(k)+G(k-1)

歐陽(yáng)鋒雙腿發(fā)軟，就差沒跪在地上：“對(duì)不起，大哥，大姐，都怪我，我喝醉了酒，做了不該做的事，可我真的不是故意的，請(qǐng)?jiān)彛　?/p>

(2)

式中:Gtarget為目標(biāo)灰度值;GReal(k)為k次采樣的實(shí)際灰度值;e(k)為k次采樣的測(cè)量灰度偏差;Kp為灰度增益比例調(diào)節(jié)器比例系數(shù);G(k)為k次采樣的感光增益輸出值;G(k-1)為(k-1)次采樣的感光增益輸出值。

在方案中采用了對(duì)相機(jī)進(jìn)行自動(dòng)增益控制。自動(dòng)增益控制的實(shí)現(xiàn)是取被拍攝鋼卷圖像中部850～1 050列的連續(xù)200個(gè)像數(shù)列,自上而下等分為10個(gè)區(qū)間的灰度進(jìn)行統(tǒng)計(jì),再對(duì)10個(gè)區(qū)間的灰度最大值進(jìn)行平均和排序。找出灰度的最大區(qū)間和最小區(qū)間。把灰度最大區(qū)間作為前景灰度,最小區(qū)間作為背景灰度。當(dāng)背景灰度大于90時(shí),說明鋼卷表面溫度超過700 ℃。如不做增益調(diào)節(jié),產(chǎn)生的圖像如圖2。從圖2可以看到,圖像背景灰度與前景灰度相差無幾,圖像對(duì)比度很小,灰度層次差。此時(shí),要自動(dòng)減小相機(jī)增益,以降低背景灰度;當(dāng)背景色小于90時(shí),以調(diào)節(jié)圖像前景灰度,使得圖像的前景灰度達(dá)到設(shè)定的前景灰度范圍,提高圖像灰度層次。從圖3可以看出,經(jīng)對(duì)相機(jī)進(jìn)行自動(dòng)增益調(diào)節(jié)后,高溫鋼卷(溫度大于700 ℃)圖像質(zhì)量得到了改善。

2.2 圖像灰度增強(qiáng)的方法

在經(jīng)過相機(jī)曝光時(shí)間自動(dòng)校正及自動(dòng)增益調(diào)節(jié)后獲取的圖像送后續(xù)處理前,還需要進(jìn)一步預(yù)處理以提高圖像質(zhì)量。系統(tǒng)進(jìn)一步檢測(cè)圖像質(zhì)量,當(dāng)檢測(cè)到圖像最大灰度平均值(前景灰度值)大于105時(shí),系統(tǒng)便對(duì)圖像進(jìn)行增強(qiáng)處理。圖像增強(qiáng)就是把對(duì)比度弱的圖像變成對(duì)比度強(qiáng)的圖像。對(duì)圖像灰度進(jìn)行變換可以使圖像動(dòng)態(tài)范圍增大,對(duì)比度得到擴(kuò)展,使圖像清晰特征明顯[2]。

圖像增強(qiáng)方法有線性和非線性變換。

圖像灰度線性變換:假如原圖像f(x,y)的灰度變換為[a,b],變換后的圖像g(x,y)的灰度范圍線性的擴(kuò)展至[c,d],其數(shù)學(xué)表達(dá)式如式(3):

g(x,y)=(d-c)/(b-a)[f(x,y)-a]+c

(3)

式中:a,b為原圖像灰度區(qū)間;c,d為期望將原圖像變換到目標(biāo)圖像的灰度區(qū)間。

圖像灰度非線性變換:采用非線性變換函數(shù)對(duì)圖像進(jìn)行灰度變換,常用的是指數(shù)變換、對(duì)數(shù)變換,指數(shù)變換表達(dá)式如式(4):

g(x,y)=bc[f(x,y)-a]-1

(4)

式中:a,b,c為可調(diào)整參數(shù),用于調(diào)整曲線的形狀和位置;參數(shù)a決定了指數(shù)函數(shù)曲線的起始位置,參數(shù)c確定了變換曲線的徒度。高灰度區(qū)擴(kuò)展,低灰度區(qū)壓縮。指數(shù)變換用于擴(kuò)展圖像的高灰度區(qū),可用于過亮的圖像。

對(duì)數(shù)變換其表達(dá)式如式(5):

g(x,y)=a1+{ln[f(x,y)+1]}/(b1lnc1)

(5)

式中:a1,b1,c1為可調(diào)整參數(shù),用于調(diào)整曲線的形狀和位置;參數(shù)a1為變換曲線的起始位置,參數(shù)b1,c1為確定變換曲線的變化速率。低灰度區(qū)擴(kuò)展,高灰度區(qū)壓縮。對(duì)數(shù)變換用于擴(kuò)展低灰度區(qū),適用于過暗的圖像。

2.3 噴印字體的位置確定和切割方法的研究和實(shí)現(xiàn)

由于待處理的數(shù)字字符圖像一般會(huì)含一些無關(guān)物體影像,為了從圖形中找到待識(shí)別的數(shù)字字符,需要對(duì)二值化后的圖像進(jìn)行分割來定位和分離出純數(shù)字字符?，F(xiàn)有的單字符分割方法有基于連通域的分割、基于投影的分割、基于區(qū)域聚類的分割等[3]。在經(jīng)過仿真后,采用了基于連通域的分割方法對(duì)數(shù)字圖像進(jìn)行分割,該方法通過檢查數(shù)字區(qū)域像素點(diǎn)與其相鄰域像素點(diǎn)的連通性,將不同的連通區(qū)域的位置進(jìn)行標(biāo)記,然后通過這些位置標(biāo)記提取出相應(yīng)的連通域,便可實(shí)現(xiàn)對(duì)數(shù)字字符的分割。

由于二值化后的圖像很大一片區(qū)域是空白的,為了后續(xù)特征提取效果,加快圖像處理速度,需對(duì)字符進(jìn)行邊緣裁剪,盡量將純數(shù)字字符從圖片中剝離出來。通過對(duì)1 000多卷直徑和寬度不一的鋼卷噴印數(shù)字圖像的觀察、分析、歸納和統(tǒng)計(jì),得到噴印數(shù)字的起始位置離卷徑向頂部距離和鋼卷左邊邊沿距離基本不變。通過上述鋼卷形體識(shí)別研究和實(shí)現(xiàn)獲得的鋼卷徑向邊沿和左側(cè)邊沿來初步定位數(shù)字的起始位置,然后采用逐行逐列掃描像素方法實(shí)現(xiàn)。

由于噴印機(jī)根據(jù)鋼卷的直徑和板寬來定位被噴印字體大小和噴印位置,所以得到圖像中字符位置和字體大小是在變化的,如圖4。

通過對(duì)大量圖像分析得到:大號(hào)字長(zhǎng)度約1 720個(gè)像數(shù),高約170個(gè)像數(shù);中號(hào)字長(zhǎng)度約1 300個(gè)像數(shù),高約130個(gè)像數(shù);小號(hào)字長(zhǎng)度約1 000個(gè)像數(shù),高約100個(gè)像數(shù)。采用了圖像分割和縱橫掃描來尋找字符在鋼卷上的位置和字符的大小,如圖5。

具體做法是首先搜尋字符在鋼卷上的垂直位置,然后以此高度位置作為垂直中心,高度為500像數(shù),水平位置為1 450像素,寬度470個(gè)像素,在字符尾部截去一個(gè)470×500像數(shù)的圖像,確定字符X方向結(jié)束位置,對(duì)二值圖從右至左進(jìn)行列掃描,當(dāng)連續(xù)兩列“1”的像素點(diǎn)總和>10,認(rèn)為此列為字符結(jié)束列,此列的橫坐標(biāo)就是字符X方向結(jié)束的位置。

通過上述方法確定了字符X方向結(jié)束位置后,接下來便確定字符的高度。首先,搜索最后一個(gè)字符的底位置,方法在靠近X軸底處Y方向上從第400行開始遂步向上進(jìn)行搜尋,當(dāng)搜索到靠近X軸底處連續(xù)兩行的“1”的像素點(diǎn)總和>10,認(rèn)為此行為字符下沿y2。字符下沿搜索程序如下:在搜索到字符下沿位置后,便繼續(xù)搜索字符上沿,方法是在字符下沿位置減去200(y2>200),作為字符上沿的搜索起始位置。通過上述步驟,可以確定字符的結(jié)束位置和高度,把字符從整個(gè)圖像中截出。

2.4 噴印字體識(shí)別

由單一字符邊緣裁剪后得到每個(gè)字符大小和位置不一樣,為了給特征體提供方便,需對(duì)數(shù)字字符進(jìn)行歸一化處理。對(duì)頂噴字符只要做大小歸一化處理,而側(cè)噴字符是圓弧排列,故先要對(duì)每個(gè)字符進(jìn)行旋轉(zhuǎn)處理后再做大小歸一化處理。為了提高字體識(shí)別的準(zhǔn)確率,本系統(tǒng)采用了字體模板匹配和字符形體特征比對(duì)技術(shù),并采用在線自學(xué)習(xí)方法來自動(dòng)豐富字體模板匹配庫(kù)技術(shù),見圖6。

字體模板匹配就是將上述經(jīng)分割歸一后的單個(gè)字符與字體模板匹配庫(kù)中保存的字體樣本逐一進(jìn)行像素?cái)?shù)字減影,然后統(tǒng)計(jì)兩者圖像的重合度。數(shù)字形態(tài)比對(duì)就是每個(gè)數(shù)字字符提取35特征點(diǎn),行向取8條,分別為5、20、40、60、80、100 、20、145;列向取五條,分別為5、25、50、75、95。行與列焦點(diǎn)為數(shù)字的特征點(diǎn)即分別為:

(5,5)、(5,25)、(5,50)、(5,75),(5,95)

(20,5)、(20,25)、(20,50)、(20,75),(20,95)

……

(120,5)、(120,25)、(120,50)、(120,75),(120,95)

(145,5)、(145,25)、(145,50)、(145,75),(145,95)

噴印字體識(shí)別:先進(jìn)行字符模板匹配,將字符和樣本庫(kù)內(nèi)的對(duì)應(yīng)字符進(jìn)行點(diǎn)對(duì)點(diǎn)逐一減影并統(tǒng)計(jì)減影重合數(shù)。當(dāng)重合數(shù)>90%時(shí),比對(duì)通過,噴印正確;當(dāng)重合數(shù)為80%～90%時(shí),需進(jìn)一步做字符形態(tài)比對(duì)。提取的數(shù)字字符特征信息與樣本特征庫(kù)內(nèi)信息比對(duì),比對(duì)次序是根據(jù)鋼卷信息中鋼卷編號(hào),如第一位是2則提取的數(shù)字字符特征信息與樣本庫(kù)內(nèi)與2相關(guān)的11條信息比對(duì),如果與其中某條信息吻合度>90%,則比對(duì)成功,同時(shí)將此字符自動(dòng)添加到字符樣本庫(kù)內(nèi),反之比對(duì)不成功。當(dāng)重合數(shù)<80%及字體形態(tài)特征信息比對(duì)吻合度<80%時(shí),比對(duì)不通過。噴印的所有字符比對(duì)結(jié)果正確,通過TCP將原字符傳送到PLC,噴印字符比對(duì)結(jié)果不正確的字符,通過TCP以“#”字符傳送到PLC進(jìn)行后續(xù)處理。

3 應(yīng)用案例

圖7、8為2020年1月16日自動(dòng)鋼卷識(shí)別系統(tǒng)報(bào)警的一次案例:過程控制計(jì)算機(jī)L2下發(fā)給噴印機(jī)器人應(yīng)該噴印的鋼卷號(hào)為122417552800,而實(shí)際噴印機(jī)器人噴印的鋼卷號(hào)為122417252800,自動(dòng)鋼卷號(hào)識(shí)別系統(tǒng)自動(dòng)識(shí)別了噴印異常。

4 結(jié)論

由于存在強(qiáng)烈反光,在高溫狀態(tài)下識(shí)別鋼卷噴印字符,長(zhǎng)期以來一直沒有得到很好的解決。本文提出的通過動(dòng)態(tài)相機(jī)感光自動(dòng)校正算法、在線自動(dòng)圖像增強(qiáng)、數(shù)字圖像減影技術(shù)和模板匹配、在線自學(xué)習(xí)模板庫(kù)等技術(shù),系統(tǒng)投入運(yùn)行后實(shí)現(xiàn)了預(yù)期的結(jié)果,為高溫狀態(tài)下不能準(zhǔn)確識(shí)別鋼卷噴印字符難題提供了一種解決思路。