亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于圖像傳感器的鋼板板坯噴標(biāo)字符在線識(shí)別系統(tǒng)

        2022-02-06 02:17:30屠禮芬唐戈銳余振宇
        儀表技術(shù)與傳感器 2022年12期
        關(guān)鍵詞:系統(tǒng)

        彭 祺,屠禮芬,宋 偉,唐戈銳,余振宇

        (湖北工程學(xué)院物理與電子信息工程學(xué)院,湖北孝感 432000)

        0 引言

        鋼廠里有許多鋼板板坯需要被放進(jìn)加熱爐再次加熱,按照當(dāng)前工業(yè)生產(chǎn)流程,操作人員需站在板坯前方讀取和記錄鋼板板坯的噴標(biāo)字符,控制行車的抓鉤來抓取相應(yīng)板坯,然后將板坯按生產(chǎn)排序放進(jìn)加熱爐中[1]。鋼板板坯的溫度高達(dá)200~400 ℃,長(zhǎng)時(shí)間站在板坯前方,嚴(yán)重?fù)p害操作人員身體健康。另外,生產(chǎn)線上的鋼板處于運(yùn)動(dòng)狀態(tài),人工長(zhǎng)期注視容易產(chǎn)生視覺疲勞,從而引入識(shí)別誤差。

        為了解決該問題,本文采用圖像傳感器[2]實(shí)時(shí)采集板坯序列圖像,并結(jié)合傳統(tǒng)圖像分析[3]和深度學(xué)習(xí)[4]方法來自動(dòng)識(shí)別板坯的噴標(biāo)字符。該系統(tǒng)在硬件和軟件上都做了優(yōu)化設(shè)計(jì),硬件上,保證圖像傳感器能在高溫、光照變化、震動(dòng)等環(huán)境下高速采集圖像;軟件上,要保證整個(gè)系統(tǒng)能以30幀/s的速度采集數(shù)據(jù),并能對(duì)字符實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)識(shí)別,識(shí)別的正確率不低于98%。

        1 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)

        板坯噴標(biāo)字符自動(dòng)識(shí)別系統(tǒng)總體結(jié)構(gòu)如圖1所示:在距離板坯側(cè)面約2 m左右處安裝設(shè)備,設(shè)備離地面高度約1.1 m左右。系統(tǒng)硬件主體由高速高感光工業(yè)數(shù)字相機(jī)和深度學(xué)習(xí)推理服務(wù)器組成。相機(jī)安裝在溫控防塵防護(hù)箱內(nèi),防護(hù)箱尺寸大約為625 mm×325 mm×285 mm,整個(gè)防護(hù)箱由一個(gè)大約高1 m的立柱,固定在地面上。推理服務(wù)器放置在操作室內(nèi),操作室距離設(shè)備10 m左右,由工業(yè)雙屏蔽千兆網(wǎng)線連接防護(hù)箱內(nèi)的相機(jī)。

        圖1 系統(tǒng)總體架構(gòu)

        2 硬件設(shè)計(jì)

        本識(shí)別系統(tǒng)核心硬件為圖像傳感器,圖像質(zhì)量是保證正確識(shí)別字符的關(guān)鍵因素。然而,鋼廠需要24 h不間斷生產(chǎn),環(huán)境光變化很大,廠房?jī)?nèi)還有天車運(yùn)行,容易產(chǎn)生陰影,200~400 ℃的鋼板板坯紅外輻射能量極大,會(huì)造成圖像傳感器飽和;另外,高溫板坯會(huì)導(dǎo)致周圍環(huán)境溫度過高,導(dǎo)致圖像傳感器無法正常工作。鑒于鋼廠的特殊環(huán)境,本系統(tǒng)的硬件設(shè)計(jì)關(guān)鍵技術(shù)主要分為2個(gè)方面:圖像采集系統(tǒng)和相機(jī)溫控防護(hù)系統(tǒng)。

        2.1 圖像采集系統(tǒng)

        鋼板板坯呈黑褐色,為了看清上面的字符,需增加照明系統(tǒng)。但該方式增加硬件的復(fù)雜度,且燈本身發(fā)熱,在高溫環(huán)境下容易損壞;另外,復(fù)雜的光照條件會(huì)降低識(shí)別算法的魯棒性。

        本文不使用燈光照明,而在鏡頭前加裝減光鏡[5],相機(jī)通過鏡頭采集到的圖像亮度極低,這樣就能解決環(huán)境光照復(fù)雜多變的問題。為了適應(yīng)低亮度圖像,選用微視高感光工業(yè)相機(jī)HK-A5100-GM60-NIR采集圖像。

        現(xiàn)場(chǎng)實(shí)驗(yàn)發(fā)現(xiàn):鋼板板坯實(shí)際溫度為200~400 ℃,因外部被氧化皮覆蓋,觀察到的外觀為黑褐色,但HK-A5100-GM60-NIR采集到的圖像是一片白。因?yàn)樵撓鄼C(jī)在昏暗環(huán)境中感光,近紅外光譜波段量子效率(quantum efficiency,QE)較強(qiáng)[6],而200~400 ℃的鋼板板坯紅外輻射能量極大,造成相機(jī)傳感器飽和。為解決該問題,在鏡頭前端增加波段為400~800 nm的濾光鏡[7],峰值響應(yīng)在730 nm處,量子效率QE為 80%,圖像采集系統(tǒng)結(jié)構(gòu)如圖2所示。經(jīng)過現(xiàn)場(chǎng)實(shí)驗(yàn),該設(shè)計(jì)既能使高感光相機(jī)采集到清晰的板坯表面字符圖像,又能隔絕紅外輻射,并且對(duì)環(huán)境光照的變化不敏感。

        圖2 圖像采集系統(tǒng)結(jié)構(gòu)

        2.2 相機(jī)溫控防護(hù)系統(tǒng)

        高溫板坯能將距離1~2 m處的空氣溫度加熱到80 ℃以上,在這種環(huán)境下,相機(jī)即使安裝散熱片,也無法保證正常運(yùn)行。因此制作了相機(jī)溫控防護(hù)系統(tǒng),如圖3所示,其中圖3(a)~圖3(c)為設(shè)計(jì)圖,圖3(d)為實(shí)物圖。

        (a)相機(jī)固定架

        (b)內(nèi)箱體

        (c)外箱體

        (d)實(shí)物圖圖3 相機(jī)溫控防護(hù)系統(tǒng)

        相機(jī)固定在內(nèi)箱體中,內(nèi)箱體設(shè)計(jì)制冷裝置降溫,將箱體內(nèi)溫度控制在不高于35 ℃,外箱體設(shè)計(jì)不銹鋼外殼防塵防撞。設(shè)計(jì)要點(diǎn)如下:

        (1)如圖3(a)所示,相機(jī)系統(tǒng)固定在轉(zhuǎn)接板上,轉(zhuǎn)接板通過M3型螺絲孔再與橋型滑軌相連,使相機(jī)能前后移動(dòng)適應(yīng)現(xiàn)場(chǎng)環(huán)境,橋型滑軌固定在內(nèi)箱底部;轉(zhuǎn)接板使用3D打印機(jī)打印,高分子材料抗震隔熱,能減小因震動(dòng)造成圖像模糊,降低外部環(huán)境對(duì)相機(jī)系統(tǒng)的影響。

        (2)如圖3(b)所示,內(nèi)箱側(cè)面安裝相機(jī)的電源以及制冷器的電源,頂部鏤空用于安裝亞克力板,亞克力板下面是半導(dǎo)體制冷器的冷端,上面是半導(dǎo)體制冷器的熱端。頂部還要挖孔,靠近尾部的孔用于引出相機(jī)電源線和數(shù)據(jù)線(網(wǎng)口相機(jī),此處用網(wǎng)線),靠近中間部分亞克力板旁邊引出的是半導(dǎo)體制冷器的電源線,該電源線有2組,分別是驅(qū)動(dòng)半導(dǎo)體制冷芯片和驅(qū)動(dòng)冷端的風(fēng)扇,將冷端的冷空氣吹向處于正下方的相機(jī)。為防止制冷器結(jié)冰降低制冷效果,在其底部加了3個(gè)風(fēng)扇,防止結(jié)冰的同時(shí),又能把冷氣吹入箱內(nèi)(正下方是相機(jī)),達(dá)到強(qiáng)力降溫效果。

        (3)如圖3(c)所示,外箱是一個(gè)U型結(jié)構(gòu),其鏤空與內(nèi)箱鏤空形成2個(gè)同心圓,2個(gè)同心圓都會(huì)在外側(cè)加裝玻璃。外箱左右兩側(cè)都有散熱孔,用于將制冷器上部熱端的熱量通過風(fēng)扇排出去。

        (4)圖3(d)為制作的成品,為了便于查看,將內(nèi)箱放置在外箱上方,實(shí)際使用時(shí),首先將相機(jī)系統(tǒng)固定在內(nèi)箱,再將內(nèi)箱固定到外箱中,形成一個(gè)隔熱、防塵、抗震的整體防護(hù)系統(tǒng)。

        3 軟件設(shè)計(jì)

        軟件結(jié)構(gòu)由3部分組成,前端部分負(fù)責(zé)采集清晰的噴標(biāo)字符,后端部分通過深度學(xué)習(xí)識(shí)別破損的噴標(biāo)字符,學(xué)習(xí)部分進(jìn)行破損字符學(xué)習(xí)。軟件整體架構(gòu)圖如圖4所示。

        圖4 軟件整體架構(gòu)

        3.1 采集部分

        采集部分的難點(diǎn)在于現(xiàn)場(chǎng)光照環(huán)境和盡量不改變生產(chǎn)流程。首先,為了減小外部不可預(yù)知的光源變化情況;然后,光源自身熱量較高,而現(xiàn)場(chǎng)環(huán)境溫度也較高,受現(xiàn)場(chǎng)高溫影響難以散熱,影響壽命;最后,噴標(biāo)字符為白色,在較強(qiáng)光照下容易反光,而現(xiàn)場(chǎng)環(huán)境光照變化復(fù)雜,當(dāng)過亮反光或者過暗模糊時(shí),難以實(shí)時(shí)調(diào)節(jié)光照。因此本方案不使用外部光源,而是用高感光工業(yè)相機(jī),從軟件算法角度對(duì)光照變化進(jìn)行自適應(yīng)調(diào)節(jié)。

        對(duì)于生產(chǎn)流程來說,鋼板雖然會(huì)有短暫停留,但經(jīng)過現(xiàn)場(chǎng)勘查,發(fā)現(xiàn)停留的位置并不固定在某個(gè)點(diǎn),有時(shí)部分字符未進(jìn)入視場(chǎng),有時(shí)部分字符已出視場(chǎng)(如被輥道側(cè)護(hù)板遮擋)。若采用靜止采集方式,則要求輥道操作員將板坯??吭谀硞€(gè)固定位置,使所有字符完整進(jìn)入視場(chǎng)。為盡量不改變生產(chǎn)流程,為輥道操作員提供便利,本方案采用動(dòng)態(tài)采集方式,即使用高速相機(jī),配合高速圖像處理算法,在板坯運(yùn)動(dòng)時(shí)依然能采集到清晰的字符圖像。

        光照自適應(yīng)算法在“圖像預(yù)處理”模塊內(nèi),動(dòng)態(tài)采集算法在“字符圖像增強(qiáng)”模塊內(nèi)。相機(jī)采用高速高感光工業(yè)數(shù)字相機(jī)HK-A5100-GM60-NIR,分辨率為1 280像素×1 024像素,幀率17~55幀/s,動(dòng)態(tài)范圍大于83.5 dB,在600 nm波長(zhǎng)的光電轉(zhuǎn)換效率不小于55%。

        采集部分核心目標(biāo)是在鋼板運(yùn)動(dòng)過程中定位并采集到完整的板坯字符區(qū)域圖像,作為識(shí)別算法的輸入。因此,“圖像預(yù)處理”模塊內(nèi),采用自適應(yīng)閾值分割[8]和圖像幀間差分[9]相結(jié)合,獲取圖像內(nèi)白色條狀區(qū)域,即板坯字符所在的區(qū)域用于識(shí)別算法,其他部分截?cái)啵梢暂^大地提升識(shí)別速率,采集部分的結(jié)果如圖5所示。

        (a)原始圖像

        (b)板坯字符區(qū)域圖像圖5 圖像分析算法確定的板坯字符區(qū)域

        3.2 識(shí)別部分

        識(shí)別部分分為主支路和輔助支路。輔助支路進(jìn)行字符圖像的存儲(chǔ),運(yùn)用算法將其進(jìn)行圖像分割后,存儲(chǔ)到字符圖像數(shù)據(jù)庫(kù)中進(jìn)行管理,該字符圖像數(shù)據(jù)庫(kù)為“學(xué)習(xí)部分”提供樣本數(shù)據(jù)。

        主支路進(jìn)行字符識(shí)別推理,采用Paddle-OCR字符識(shí)別算法[10]實(shí)現(xiàn),對(duì)上一步采集到的清晰字符進(jìn)行識(shí)別。對(duì)現(xiàn)場(chǎng)采集的鋼板圖像進(jìn)行了板坯字符識(shí)別測(cè)試,結(jié)果如圖6所示。改變現(xiàn)場(chǎng)環(huán)境光照,產(chǎn)生高亮或者較暗的字符圖像,字符識(shí)別算法均能給出精度較高的識(shí)別結(jié)果。

        圖6 字符識(shí)別效果測(cè)試

        識(shí)別結(jié)果要進(jìn)行判定,判定依據(jù)來自2個(gè)方面,一個(gè)是算法自身的概率統(tǒng)計(jì)評(píng)價(jià),評(píng)價(jià)其識(shí)別準(zhǔn)確度;另一個(gè)是上下文邏輯,因板坯號(hào)只有純數(shù)字,即0~9共10個(gè),不會(huì)出現(xiàn)其他字符,且字符長(zhǎng)度為10,另外大多數(shù)情況下,前后板坯號(hào)有一定的關(guān)聯(lián),因此可以通過此類邏輯進(jìn)行錯(cuò)誤判定。如果識(shí)別概率評(píng)價(jià)和上下文邏輯均能通過,則輸出結(jié)果,在軟件界面顯示。

        3.3 學(xué)習(xí)部分

        深度學(xué)習(xí)軟件與傳統(tǒng)軟件的最大區(qū)別是:隨著使用的時(shí)間增加,采集到的字符圖像樣本增加,通過數(shù)據(jù)學(xué)習(xí),可使系統(tǒng)性能更好,即識(shí)別精度更高。

        使用一段時(shí)間后,收集了一定量的字符圖像樣本,通過人工標(biāo)注,啟動(dòng)深度學(xué)習(xí)訓(xùn)練,進(jìn)行數(shù)據(jù)學(xué)習(xí),會(huì)使識(shí)別率增高。根據(jù)現(xiàn)場(chǎng)測(cè)試經(jīng)驗(yàn),第1次學(xué)習(xí)訓(xùn)練提高較大,第2次學(xué)習(xí)訓(xùn)練,有較小幅度的提高,例如第1次學(xué)習(xí)準(zhǔn)確率從70%~80%提高到90%,第2次學(xué)習(xí)準(zhǔn)確率從90%提高到92%~94%,所以一般來說,第2次學(xué)習(xí)也是必要的。而第3次學(xué)習(xí),提高較小,可能從94%提高到94.5%,也可能提高較大,從94%提高到96%。具體提高率,與采集到圖像樣本的特殊性、標(biāo)注的質(zhì)量、算法的調(diào)整有關(guān);現(xiàn)場(chǎng)使用環(huán)境是否改變也很重要,極端情況下會(huì)出現(xiàn)負(fù)優(yōu)化,即識(shí)別率反而降低。具體效果,需要結(jié)合實(shí)際環(huán)境特征進(jìn)行驗(yàn)證。

        通常情況下,前2次學(xué)習(xí)都是必要的,第3次及進(jìn)一步學(xué)習(xí)訓(xùn)練按客戶要求來進(jìn)行。通過多次學(xué)習(xí)更新識(shí)別模型,生成新的識(shí)別神經(jīng)網(wǎng)絡(luò),該模型網(wǎng)絡(luò)用于上一步的“字符識(shí)別推理”。

        4 系統(tǒng)測(cè)試結(jié)果

        系統(tǒng)首先在實(shí)驗(yàn)室內(nèi)進(jìn)行了多組模擬測(cè)試,較典型的2組如圖7(a)和圖7(b)所示。

        (a)正常運(yùn)動(dòng)速度時(shí)捕獲的實(shí)驗(yàn)字符圖像

        (b)快速運(yùn)動(dòng)速度時(shí)捕獲的實(shí)驗(yàn)字符圖像

        (c)現(xiàn)場(chǎng)測(cè)試鋼板板坯字符圖像圖7 系統(tǒng)測(cè)試結(jié)果

        圖7(a)中的實(shí)驗(yàn)字符圖像運(yùn)動(dòng)過程中,速度正常時(shí),捕獲的圖像較為清晰,識(shí)別精確率可達(dá)99%以上;如果捕獲的圖像較為模糊,雖然識(shí)別精確率下降到89.547 4%,但經(jīng)過人工比對(duì),發(fā)現(xiàn)只有第6位的8被識(shí)別為3,其他字符識(shí)別正確;最終程序會(huì)取精確率最高的結(jié)果輸出,不影響最終識(shí)別結(jié)果。如果運(yùn)動(dòng)速度過快,如圖7(b)所示,造成捕獲的圖像過于模糊,達(dá)到人工都無法識(shí)別的程度,本系統(tǒng)依然能給出正確的字符識(shí)別結(jié)果。圖7(c)為系統(tǒng)現(xiàn)場(chǎng)在線測(cè)試效果,每塊鋼坯板坯在運(yùn)行過程中,系統(tǒng)分3段選取完整的板坯字符圖像識(shí)別,保留識(shí)別率最高的檢測(cè)結(jié)果作為最終結(jié)果?,F(xiàn)場(chǎng)環(huán)境比實(shí)驗(yàn)室更復(fù)雜,鋼板板坯字符有部分高亮區(qū)域,還存在部分缺失問題,但本系統(tǒng)表現(xiàn)良好,系統(tǒng)已穩(wěn)定運(yùn)行超過1 a,平均識(shí)別率為98.64%,滿足應(yīng)用要求。識(shí)別效率方面,圖像采集和處理流程的識(shí)別效率能達(dá)到33幀/s,字符識(shí)別算法并行實(shí)現(xiàn),每3幀識(shí)別平均用時(shí)在0.2 s左右,達(dá)到了準(zhǔn)實(shí)時(shí)要求。

        5 結(jié)束語

        通過圖像傳感器實(shí)時(shí)采集并存儲(chǔ)鋼板板坯噴標(biāo)字符圖像,采用百度飛漿Paddle-OCR字符識(shí)別算法實(shí)現(xiàn)了板坯字符在線自動(dòng)識(shí)別。目前,該系統(tǒng)已試運(yùn)行成功,整個(gè)系統(tǒng)操作和維護(hù)都較簡(jiǎn)單。

        實(shí)踐證明,該系統(tǒng)平均識(shí)別率為98.64%,滿足廠方不低于98%的要求;圖像采集和處理流程能夠達(dá)到33幀/s,滿足廠方不低于30幀/s的要求,識(shí)別算法達(dá)到了準(zhǔn)實(shí)時(shí)要求。該系統(tǒng)有效解決了人工識(shí)別板坯字符的影響,提高了生產(chǎn)效率。

        猜你喜歡
        系統(tǒng)
        Smartflower POP 一體式光伏系統(tǒng)
        WJ-700無人機(jī)系統(tǒng)
        ZC系列無人機(jī)遙感系統(tǒng)
        基于PowerPC+FPGA顯示系統(tǒng)
        基于UG的發(fā)射箱自動(dòng)化虛擬裝配系統(tǒng)開發(fā)
        半沸制皂系統(tǒng)(下)
        FAO系統(tǒng)特有功能分析及互聯(lián)互通探討
        連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
        一德系統(tǒng) 德行天下
        PLC在多段調(diào)速系統(tǒng)中的應(yīng)用
        亚洲一区二区三区视频免费| 亚洲av综合av国一区二区三区| 精品女同一区二区三区| 五月天中文字幕mv在线| 欧美最猛黑人xxxxx猛交| 亚洲成人av一区二区三区| 手机免费在线观看日韩av| 少妇性俱乐部纵欲狂欢少妇| 天堂aⅴ无码一区二区三区| 加勒比无码专区中文字幕| 久久熟女精品—区二区蜜臀| 日韩精品人妻久久久一二三| 精品成人av一区二区三区| 亚州精品无码人妻久久| 国产免费一区二区三区在线视频| 久久久久人妻精品一区二区三区| 精品无码中文字幕在线| 国产综合久久久久影院| 国产自拍三级黄片视频| 国产精品天干天干综合网 | 国产剧情国产精品一区| 水蜜桃在线视频在线观看| 亚洲一区二区日韩专区| 人妻有码中文字幕| 亚洲日韩精品欧美一区二区三区不卡| 精品在线视频免费在线观看视频| 国产av在线观看久久| 日本japanese少妇高清| 国产国拍亚洲精品福利| 久久精品国产亚洲av久五月天| 色诱视频在线观看| 97se在线观看| 国产三级av在线播放| 午夜dv内射一区二区| 久久精品一区二区三区av| 久久精品久久精品中文字幕| 亚洲精品中文字幕乱码二区 | 国产做无码视频在线观看| 国产成人无码区免费网站| 国产一区二区在线观看视频免费| 中文字幕国产精品一二三四五区|