彭 祺，屠禮芬，宋 偉，唐戈銳，余振宇

(湖北工程學(xué)院物理與電子信息工程學(xué)院，湖北孝感 432000)

0 引言

鋼廠里有許多鋼板板坯需要被放進(jìn)加熱爐再次加熱，按照當(dāng)前工業(yè)生產(chǎn)流程，操作人員需站在板坯前方讀取和記錄鋼板板坯的噴標(biāo)字符，控制行車的抓鉤來抓取相應(yīng)板坯，然后將板坯按生產(chǎn)排序放進(jìn)加熱爐中[1]。鋼板板坯的溫度高達(dá)200～400 ℃，長(zhǎng)時(shí)間站在板坯前方，嚴(yán)重?fù)p害操作人員身體健康。另外，生產(chǎn)線上的鋼板處于運(yùn)動(dòng)狀態(tài)，人工長(zhǎng)期注視容易產(chǎn)生視覺疲勞，從而引入識(shí)別誤差。

為了解決該問題，本文采用圖像傳感器[2]實(shí)時(shí)采集板坯序列圖像，并結(jié)合傳統(tǒng)圖像分析[3]和深度學(xué)習(xí)[4]方法來自動(dòng)識(shí)別板坯的噴標(biāo)字符。該系統(tǒng)在硬件和軟件上都做了優(yōu)化設(shè)計(jì)，硬件上，保證圖像傳感器能在高溫、光照變化、震動(dòng)等環(huán)境下高速采集圖像；軟件上，要保證整個(gè)系統(tǒng)能以30幀/s的速度采集數(shù)據(jù)，并能對(duì)字符實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)識(shí)別，識(shí)別的正確率不低于98%。

1 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)

板坯噴標(biāo)字符自動(dòng)識(shí)別系統(tǒng)總體結(jié)構(gòu)如圖1所示：在距離板坯側(cè)面約2 m左右處安裝設(shè)備，設(shè)備離地面高度約1.1 m左右。系統(tǒng)硬件主體由高速高感光工業(yè)數(shù)字相機(jī)和深度學(xué)習(xí)推理服務(wù)器組成。相機(jī)安裝在溫控防塵防護(hù)箱內(nèi)，防護(hù)箱尺寸大約為625 mm×325 mm×285 mm，整個(gè)防護(hù)箱由一個(gè)大約高1 m的立柱，固定在地面上。推理服務(wù)器放置在操作室內(nèi)，操作室距離設(shè)備10 m左右，由工業(yè)雙屏蔽千兆網(wǎng)線連接防護(hù)箱內(nèi)的相機(jī)。

圖1 系統(tǒng)總體架構(gòu)

2 硬件設(shè)計(jì)

本識(shí)別系統(tǒng)核心硬件為圖像傳感器，圖像質(zhì)量是保證正確識(shí)別字符的關(guān)鍵因素。然而，鋼廠需要24 h不間斷生產(chǎn)，環(huán)境光變化很大，廠房?jī)?nèi)還有天車運(yùn)行，容易產(chǎn)生陰影，200～400 ℃的鋼板板坯紅外輻射能量極大，會(huì)造成圖像傳感器飽和；另外，高溫板坯會(huì)導(dǎo)致周圍環(huán)境溫度過高，導(dǎo)致圖像傳感器無法正常工作。鑒于鋼廠的特殊環(huán)境，本系統(tǒng)的硬件設(shè)計(jì)關(guān)鍵技術(shù)主要分為2個(gè)方面：圖像采集系統(tǒng)和相機(jī)溫控防護(hù)系統(tǒng)。

2.1 圖像采集系統(tǒng)

鋼板板坯呈黑褐色，為了看清上面的字符，需增加照明系統(tǒng)。但該方式增加硬件的復(fù)雜度，且燈本身發(fā)熱，在高溫環(huán)境下容易損壞；另外，復(fù)雜的光照條件會(huì)降低識(shí)別算法的魯棒性。

本文不使用燈光照明，而在鏡頭前加裝減光鏡[5]，相機(jī)通過鏡頭采集到的圖像亮度極低，這樣就能解決環(huán)境光照復(fù)雜多變的問題。為了適應(yīng)低亮度圖像，選用微視高感光工業(yè)相機(jī)HK-A5100-GM60-NIR采集圖像。

現(xiàn)場(chǎng)實(shí)驗(yàn)發(fā)現(xiàn)：鋼板板坯實(shí)際溫度為200～400 ℃，因外部被氧化皮覆蓋，觀察到的外觀為黑褐色，但HK-A5100-GM60-NIR采集到的圖像是一片白。因?yàn)樵撓鄼C(jī)在昏暗環(huán)境中感光，近紅外光譜波段量子效率(quantum efficiency，QE)較強(qiáng)[6]，而200～400 ℃的鋼板板坯紅外輻射能量極大，造成相機(jī)傳感器飽和。為解決該問題，在鏡頭前端增加波段為400～800 nm的濾光鏡[7]，峰值響應(yīng)在730 nm處，量子效率QE為 80%，圖像采集系統(tǒng)結(jié)構(gòu)如圖2所示。經(jīng)過現(xiàn)場(chǎng)實(shí)驗(yàn)，該設(shè)計(jì)既能使高感光相機(jī)采集到清晰的板坯表面字符圖像，又能隔絕紅外輻射，并且對(duì)環(huán)境光照的變化不敏感。

圖2 圖像采集系統(tǒng)結(jié)構(gòu)

2.2 相機(jī)溫控防護(hù)系統(tǒng)

高溫板坯能將距離1～2 m處的空氣溫度加熱到80 ℃以上，在這種環(huán)境下，相機(jī)即使安裝散熱片，也無法保證正常運(yùn)行。因此制作了相機(jī)溫控防護(hù)系統(tǒng)，如圖3所示，其中圖3(a)～圖3(c)為設(shè)計(jì)圖，圖3(d)為實(shí)物圖。

(a)相機(jī)固定架

(b)內(nèi)箱體

(c)外箱體

(d)實(shí)物圖圖3 相機(jī)溫控防護(hù)系統(tǒng)

相機(jī)固定在內(nèi)箱體中，內(nèi)箱體設(shè)計(jì)制冷裝置降溫，將箱體內(nèi)溫度控制在不高于35 ℃，外箱體設(shè)計(jì)不銹鋼外殼防塵防撞。設(shè)計(jì)要點(diǎn)如下：

(1)如圖3(a)所示，相機(jī)系統(tǒng)固定在轉(zhuǎn)接板上，轉(zhuǎn)接板通過M3型螺絲孔再與橋型滑軌相連，使相機(jī)能前后移動(dòng)適應(yīng)現(xiàn)場(chǎng)環(huán)境，橋型滑軌固定在內(nèi)箱底部；轉(zhuǎn)接板使用3D打印機(jī)打印，高分子材料抗震隔熱，能減小因震動(dòng)造成圖像模糊，降低外部環(huán)境對(duì)相機(jī)系統(tǒng)的影響。

(2)如圖3(b)所示，內(nèi)箱側(cè)面安裝相機(jī)的電源以及制冷器的電源，頂部鏤空用于安裝亞克力板，亞克力板下面是半導(dǎo)體制冷器的冷端，上面是半導(dǎo)體制冷器的熱端。頂部還要挖孔，靠近尾部的孔用于引出相機(jī)電源線和數(shù)據(jù)線(網(wǎng)口相機(jī)，此處用網(wǎng)線)，靠近中間部分亞克力板旁邊引出的是半導(dǎo)體制冷器的電源線，該電源線有2組，分別是驅(qū)動(dòng)半導(dǎo)體制冷芯片和驅(qū)動(dòng)冷端的風(fēng)扇，將冷端的冷空氣吹向處于正下方的相機(jī)。為防止制冷器結(jié)冰降低制冷效果，在其底部加了3個(gè)風(fēng)扇，防止結(jié)冰的同時(shí)，又能把冷氣吹入箱內(nèi)(正下方是相機(jī))，達(dá)到強(qiáng)力降溫效果。

(3)如圖3(c)所示，外箱是一個(gè)U型結(jié)構(gòu)，其鏤空與內(nèi)箱鏤空形成2個(gè)同心圓，2個(gè)同心圓都會(huì)在外側(cè)加裝玻璃。外箱左右兩側(cè)都有散熱孔，用于將制冷器上部熱端的熱量通過風(fēng)扇排出去。

(4)圖3(d)為制作的成品，為了便于查看，將內(nèi)箱放置在外箱上方，實(shí)際使用時(shí)，首先將相機(jī)系統(tǒng)固定在內(nèi)箱，再將內(nèi)箱固定到外箱中，形成一個(gè)隔熱、防塵、抗震的整體防護(hù)系統(tǒng)。

3 軟件設(shè)計(jì)

軟件結(jié)構(gòu)由3部分組成，前端部分負(fù)責(zé)采集清晰的噴標(biāo)字符，后端部分通過深度學(xué)習(xí)識(shí)別破損的噴標(biāo)字符，學(xué)習(xí)部分進(jìn)行破損字符學(xué)習(xí)。軟件整體架構(gòu)圖如圖4所示。

圖4 軟件整體架構(gòu)

3.1 采集部分

采集部分的難點(diǎn)在于現(xiàn)場(chǎng)光照環(huán)境和盡量不改變生產(chǎn)流程。首先，為了減小外部不可預(yù)知的光源變化情況；然后，光源自身熱量較高，而現(xiàn)場(chǎng)環(huán)境溫度也較高，受現(xiàn)場(chǎng)高溫影響難以散熱，影響壽命；最后，噴標(biāo)字符為白色，在較強(qiáng)光照下容易反光，而現(xiàn)場(chǎng)環(huán)境光照變化復(fù)雜，當(dāng)過亮反光或者過暗模糊時(shí)，難以實(shí)時(shí)調(diào)節(jié)光照。因此本方案不使用外部光源，而是用高感光工業(yè)相機(jī)，從軟件算法角度對(duì)光照變化進(jìn)行自適應(yīng)調(diào)節(jié)。

對(duì)于生產(chǎn)流程來說，鋼板雖然會(huì)有短暫停留，但經(jīng)過現(xiàn)場(chǎng)勘查，發(fā)現(xiàn)停留的位置并不固定在某個(gè)點(diǎn)，有時(shí)部分字符未進(jìn)入視場(chǎng)，有時(shí)部分字符已出視場(chǎng)(如被輥道側(cè)護(hù)板遮擋)。若采用靜止采集方式，則要求輥道操作員將板坯?？吭谀硞€(gè)固定位置，使所有字符完整進(jìn)入視場(chǎng)。為盡量不改變生產(chǎn)流程，為輥道操作員提供便利，本方案采用動(dòng)態(tài)采集方式，即使用高速相機(jī)，配合高速圖像處理算法，在板坯運(yùn)動(dòng)時(shí)依然能采集到清晰的字符圖像。

光照自適應(yīng)算法在“圖像預(yù)處理”模塊內(nèi)，動(dòng)態(tài)采集算法在“字符圖像增強(qiáng)”模塊內(nèi)。相機(jī)采用高速高感光工業(yè)數(shù)字相機(jī)HK-A5100-GM60-NIR，分辨率為1 280像素×1 024像素，幀率17～55幀/s，動(dòng)態(tài)范圍大于83.5 dB，在600 nm波長(zhǎng)的光電轉(zhuǎn)換效率不小于55%。

采集部分核心目標(biāo)是在鋼板運(yùn)動(dòng)過程中定位并采集到完整的板坯字符區(qū)域圖像，作為識(shí)別算法的輸入。因此，“圖像預(yù)處理”模塊內(nèi)，采用自適應(yīng)閾值分割[8]和圖像幀間差分[9]相結(jié)合，獲取圖像內(nèi)白色條狀區(qū)域，即板坯字符所在的區(qū)域用于識(shí)別算法，其他部分截?cái)啵梢暂^大地提升識(shí)別速率，采集部分的結(jié)果如圖5所示。

(a)原始圖像

(b)板坯字符區(qū)域圖像圖5 圖像分析算法確定的板坯字符區(qū)域

3.2 識(shí)別部分

識(shí)別部分分為主支路和輔助支路。輔助支路進(jìn)行字符圖像的存儲(chǔ)，運(yùn)用算法將其進(jìn)行圖像分割后，存儲(chǔ)到字符圖像數(shù)據(jù)庫(kù)中進(jìn)行管理，該字符圖像數(shù)據(jù)庫(kù)為“學(xué)習(xí)部分”提供樣本數(shù)據(jù)。

主支路進(jìn)行字符識(shí)別推理，采用Paddle-OCR字符識(shí)別算法[10]實(shí)現(xiàn)，對(duì)上一步采集到的清晰字符進(jìn)行識(shí)別。對(duì)現(xiàn)場(chǎng)采集的鋼板圖像進(jìn)行了板坯字符識(shí)別測(cè)試，結(jié)果如圖6所示。改變現(xiàn)場(chǎng)環(huán)境光照，產(chǎn)生高亮或者較暗的字符圖像，字符識(shí)別算法均能給出精度較高的識(shí)別結(jié)果。

圖6 字符識(shí)別效果測(cè)試

識(shí)別結(jié)果要進(jìn)行判定，判定依據(jù)來自2個(gè)方面，一個(gè)是算法自身的概率統(tǒng)計(jì)評(píng)價(jià)，評(píng)價(jià)其識(shí)別準(zhǔn)確度；另一個(gè)是上下文邏輯，因板坯號(hào)只有純數(shù)字，即0～9共10個(gè)，不會(huì)出現(xiàn)其他字符，且字符長(zhǎng)度為10，另外大多數(shù)情況下，前后板坯號(hào)有一定的關(guān)聯(lián)，因此可以通過此類邏輯進(jìn)行錯(cuò)誤判定。如果識(shí)別概率評(píng)價(jià)和上下文邏輯均能通過，則輸出結(jié)果，在軟件界面顯示。

3.3 學(xué)習(xí)部分

深度學(xué)習(xí)軟件與傳統(tǒng)軟件的最大區(qū)別是：隨著使用的時(shí)間增加，采集到的字符圖像樣本增加，通過數(shù)據(jù)學(xué)習(xí)，可使系統(tǒng)性能更好，即識(shí)別精度更高。

使用一段時(shí)間后，收集了一定量的字符圖像樣本，通過人工標(biāo)注，啟動(dòng)深度學(xué)習(xí)訓(xùn)練，進(jìn)行數(shù)據(jù)學(xué)習(xí)，會(huì)使識(shí)別率增高。根據(jù)現(xiàn)場(chǎng)測(cè)試經(jīng)驗(yàn)，第1次學(xué)習(xí)訓(xùn)練提高較大，第2次學(xué)習(xí)訓(xùn)練，有較小幅度的提高，例如第1次學(xué)習(xí)準(zhǔn)確率從70%～80%提高到90%，第2次學(xué)習(xí)準(zhǔn)確率從90%提高到92%～94%，所以一般來說，第2次學(xué)習(xí)也是必要的。而第3次學(xué)習(xí)，提高較小，可能從94%提高到94.5%，也可能提高較大，從94%提高到96%。具體提高率，與采集到圖像樣本的特殊性、標(biāo)注的質(zhì)量、算法的調(diào)整有關(guān)；現(xiàn)場(chǎng)使用環(huán)境是否改變也很重要，極端情況下會(huì)出現(xiàn)負(fù)優(yōu)化，即識(shí)別率反而降低。具體效果，需要結(jié)合實(shí)際環(huán)境特征進(jìn)行驗(yàn)證。

通常情況下，前2次學(xué)習(xí)都是必要的，第3次及進(jìn)一步學(xué)習(xí)訓(xùn)練按客戶要求來進(jìn)行。通過多次學(xué)習(xí)更新識(shí)別模型，生成新的識(shí)別神經(jīng)網(wǎng)絡(luò)，該模型網(wǎng)絡(luò)用于上一步的“字符識(shí)別推理”。

4 系統(tǒng)測(cè)試結(jié)果

系統(tǒng)首先在實(shí)驗(yàn)室內(nèi)進(jìn)行了多組模擬測(cè)試，較典型的2組如圖7(a)和圖7(b)所示。

(a)正常運(yùn)動(dòng)速度時(shí)捕獲的實(shí)驗(yàn)字符圖像

(b)快速運(yùn)動(dòng)速度時(shí)捕獲的實(shí)驗(yàn)字符圖像

(c)現(xiàn)場(chǎng)測(cè)試鋼板板坯字符圖像圖7 系統(tǒng)測(cè)試結(jié)果

圖7(a)中的實(shí)驗(yàn)字符圖像運(yùn)動(dòng)過程中，速度正常時(shí)，捕獲的圖像較為清晰，識(shí)別精確率可達(dá)99%以上；如果捕獲的圖像較為模糊，雖然識(shí)別精確率下降到89.547 4%，但經(jīng)過人工比對(duì)，發(fā)現(xiàn)只有第6位的8被識(shí)別為3，其他字符識(shí)別正確；最終程序會(huì)取精確率最高的結(jié)果輸出，不影響最終識(shí)別結(jié)果。如果運(yùn)動(dòng)速度過快，如圖7(b)所示，造成捕獲的圖像過于模糊，達(dá)到人工都無法識(shí)別的程度，本系統(tǒng)依然能給出正確的字符識(shí)別結(jié)果。圖7(c)為系統(tǒng)現(xiàn)場(chǎng)在線測(cè)試效果，每塊鋼坯板坯在運(yùn)行過程中，系統(tǒng)分3段選取完整的板坯字符圖像識(shí)別，保留識(shí)別率最高的檢測(cè)結(jié)果作為最終結(jié)果?，F(xiàn)場(chǎng)環(huán)境比實(shí)驗(yàn)室更復(fù)雜，鋼板板坯字符有部分高亮區(qū)域，還存在部分缺失問題，但本系統(tǒng)表現(xiàn)良好，系統(tǒng)已穩(wěn)定運(yùn)行超過1 a，平均識(shí)別率為98.64%，滿足應(yīng)用要求。識(shí)別效率方面，圖像采集和處理流程的識(shí)別效率能達(dá)到33幀/s，字符識(shí)別算法并行實(shí)現(xiàn)，每3幀識(shí)別平均用時(shí)在0.2 s左右，達(dá)到了準(zhǔn)實(shí)時(shí)要求。

5 結(jié)束語

通過圖像傳感器實(shí)時(shí)采集并存儲(chǔ)鋼板板坯噴標(biāo)字符圖像，采用百度飛漿Paddle-OCR字符識(shí)別算法實(shí)現(xiàn)了板坯字符在線自動(dòng)識(shí)別。目前，該系統(tǒng)已試運(yùn)行成功，整個(gè)系統(tǒng)操作和維護(hù)都較簡(jiǎn)單。

實(shí)踐證明，該系統(tǒng)平均識(shí)別率為98.64%，滿足廠方不低于98%的要求；圖像采集和處理流程能夠達(dá)到33幀/s，滿足廠方不低于30幀/s的要求，識(shí)別算法達(dá)到了準(zhǔn)實(shí)時(shí)要求。該系統(tǒng)有效解決了人工識(shí)別板坯字符的影響，提高了生產(chǎn)效率。