邱玥灝，王子佳，牛丹，劉銘?zhàn)?，劉進波，丁軍軍

（1.江蘇省產(chǎn)業(yè)技術(shù)研究院，江蘇南京，210000；2.東南大學(xué) 自動化學(xué)院，江蘇南京，210096；3.南京科遠智慧科技集團股份有限公司，江蘇南京，211102；4.東南大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院，江蘇南京，211189）

0 引言

在全球范圍內(nèi)推動工業(yè)4.0 戰(zhàn)略的浪潮下，“中國制造2025”提出了以推進智能制造為主攻方向的重要舉措，旨在提升中國制造業(yè)的信息技術(shù)水平[1]。然而，與其他國家相比，中國制造業(yè)整體基礎(chǔ)相對薄弱，缺乏足夠的競爭力。因此，針對中國制造業(yè)當(dāng)前的實際情況，逐步進行智能化改造成為提升制造業(yè)水平的首選方案。在鋼鐵企業(yè)從個體裝置的自動化到整個系統(tǒng)的自動化，再到整個流程的智能化的逐步升級的過程中，存在許多難點。比如，鋼坯生產(chǎn)線的鋼坯物料跟蹤。通過實現(xiàn)鋼坯編號的自動化識別和跟蹤，提高生產(chǎn)效率和質(zhì)量控制水平，為鋼鐵行業(yè)的發(fā)展和運營提供了重要支持。在傳統(tǒng)方式下，只能依靠人眼獲取鋼坯的編號信息。鋼坯編號在智能化改造研究中具有重要意義，通過對鋼坯進行編號，可以實現(xiàn)對每根鋼坯的唯一標識和追蹤，對于后續(xù)生產(chǎn)跟蹤和出廠管理至關(guān)重要。

雖然人工記錄仍然是主要的編號檢測方式之一，但它已經(jīng)無法滿足新時代復(fù)雜任務(wù)的需求。因此，人們期望找到一種既能確保技術(shù)人員安全，降低成本，又能高效精確地進行鋼坯編號檢測的方法。

本文主要對鋼坯編號的檢測問題進行了研究分析，針對鋼坯編號檢測圖像破損以及檢測速度和精度的要求，提出了兩點優(yōu)化。首先，提出了融合邊緣預(yù)測和生成對抗網(wǎng)絡(luò)的編號圖像修復(fù)算法，對鋼坯編號圖片中破損部位進行修復(fù)處理，使得檢測目標更加明確。然后，提出了改進的YOLOv5網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用MobileNetv3 取代了YOLOv5 特征提取網(wǎng)絡(luò)Backbone，減少了網(wǎng)絡(luò)的參數(shù)量和計算量，提高鋼坯編號檢測的速度。同時為了彌補MobileNetv3 帶來的小精度降低，使用空間和通道注意機制替換MobileNetv3 的SE注意力模塊，并使用SiLU 激活函數(shù)替代ReLU 激活函數(shù)。這彌補了鋼坯編號檢測精度的損失，增強了算法的鋼坯編號的特征的提取能力。最后，利用改進后的YOLOv5 網(wǎng)絡(luò)對修復(fù)后的鋼坯編號圖片進行檢測。

1 融合邊緣預(yù)測和生成對抗網(wǎng)絡(luò)的編號圖像修復(fù)算法

■1.1 模型結(jié)構(gòu)

本文的圖像修復(fù)網(wǎng)絡(luò)如圖1 所示。網(wǎng)絡(luò)采用對抗模型結(jié)構(gòu)，包括邊緣生成器和平滑結(jié)構(gòu)重構(gòu)器。邊緣生成器Ge預(yù)測圖像的邊緣結(jié)構(gòu)Epred，并為下一階段提供指導(dǎo)。平滑結(jié)構(gòu)生成器Gs 根據(jù)Ge 生成的邊緣結(jié)構(gòu)Epred 預(yù)測圖像的平滑結(jié)構(gòu)，生成整體結(jié)構(gòu)圖像Spred。生成器通過編碼器和解碼器實現(xiàn)，利用擴張卷積在解碼器的殘差層進行特征圖的上采樣，擴大感受野（擴張因子為8）。判別器在本模型中采用了70×70 PatchGAN 結(jié)構(gòu)設(shè)計，這一獨特架構(gòu)使其具備精細的局部判別能力。通過這種方式，PatchGAN 能夠聚焦于圖像的局部紋理和細節(jié)，實現(xiàn)對生成圖像與真實圖像間細微差別的敏銳捕捉。此外，為了增強模型的泛化能力和訓(xùn)練穩(wěn)定性，判別器還運用了實例歸一化技術(shù)（Instance Normalization）。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

■1.2 頻譜歸一化馬爾科夫鑒別器

Jiahui Yu[2]及其團隊提出了一種頻譜歸一化馬爾科夫鑒別器（SN-PatchGAN）模型，專用于處理具有復(fù)雜形狀破損情況的圖像修復(fù)問題。該模型具體結(jié)構(gòu)細節(jié)如圖2 所示，通過引入頻譜歸一化等技術(shù)強化了對圖像局部特征的學(xué)習(xí)與重建能力，有效提升了圖像修復(fù)的質(zhì)量和真實度。

圖2 頻譜歸一化馬爾科夫鑒別器

鑒別器的輸入包括圖像、掩膜和引導(dǎo)通道，輸出一個形狀為Rh×w×c的3D 特征圖。鑒別器由6 層卷積層組成，每層使用大小為5、步長為2 的卷積核，以捕捉Markovian 塊的特征信息。通過對生成的特征圖應(yīng)用對抗損失，得到與特征圖中元素數(shù)量相等的損失，每個損失對應(yīng)圖像中不同區(qū)域和語義表示。使用SN-PatchGAN 提高了圖像修復(fù)網(wǎng)絡(luò)的訓(xùn)練速度和穩(wěn)定性。

■1.3 邊緣生成器

（1）圖像邊緣預(yù)測

邊緣檢測是圖像處理與計算機視覺領(lǐng)域中的核心基礎(chǔ)問題之一，其主要任務(wù)在于精準識別并定位圖像中因亮度突變而形成的邊界點。這一過程旨在通過敏銳地捕捉到這些顯著的強度變化來提取圖像的關(guān)鍵結(jié)構(gòu)特征，從而在保留圖像本質(zhì)信息的同時，有效地壓縮數(shù)據(jù)量，剔除冗余及無關(guān)細節(jié)內(nèi)容，實現(xiàn)對圖像結(jié)構(gòu)的精煉表達和高效理解。目前有多種邊緣檢測方法，在本文中采用Canny[9]算子計算的邊緣圖來訓(xùn)練改進模型，這充分考慮了Canny 和HED[10]各自的優(yōu)缺點。

（2）邊緣結(jié)構(gòu)生成器

邊緣保留平滑方法旨在去除圖像中的高頻紋理，同時保留不同對象的尖銳邊緣和結(jié)構(gòu)信息，以獲取整體結(jié)構(gòu)。設(shè)真實圖像為Igt，真實圖像的邊緣保留平滑結(jié)構(gòu)圖像為Sgt，其中Sgt的邊緣圖為Egt，灰度圖像為Sgray。在邊緣生成器中，輸入包括帶孔的平滑結(jié)構(gòu)圖像的灰度圖，邊緣圖和圖像掩膜M（其中1 表示源區(qū)域，0表示缺失區(qū)域）。這里，⊙表示逐元素乘積操作。邊緣生成器預(yù)測掩膜區(qū)域的邊緣圖Epred：

在這個階段，我們使用真實邊緣圖Egt和預(yù)測邊緣圖Epred作為鑒別器的輸入，并通過鑒別器來判斷輸入邊緣圖的真實性。該網(wǎng)絡(luò)采用聯(lián)合損失函數(shù)Le，它是對抗損失和特征匹配損失LFM的相加。該損失函數(shù)的計算公式如下：

判別器的特征表示為De。特征匹配損失LFM。雖然感知損失與特征匹配損失類似，都比較了選定層的激活圖，但二者有所區(qū)別。感知損失是基于VGG 網(wǎng)絡(luò)的選定層來比較，但由于VGG 網(wǎng)絡(luò)未經(jīng)過邊緣生成訓(xùn)練，無法準確捕捉早期階段的邊緣信息。因此，感知損失無法滿足準確預(yù)測邊緣信息的需求。為滿足這一需求，在本階段采用特征匹配損失LFM，其計算公式如下所示：

Ni被定義為第i 個激活層中神經(jīng)元的數(shù)量，則特指鑒別器模型的第i 層的激活。

譜歸一化（Spectral Normalization,SN）通過計算并調(diào)整權(quán)重矩陣的譜范數(shù)以確保其最大奇異值恒定為1，從而達到穩(wěn)定整個訓(xùn)練過程的目的，并有效約束網(wǎng)絡(luò)的Lipschitz 連續(xù)性常數(shù)，這是控制GAN 等生成對抗網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定性的重要手段。

譜歸一化起初僅被應(yīng)用于GAN 的鑒別器部分，用以克服訓(xùn)練中的梯度消失或爆炸問題。然而近期的研究發(fā)現(xiàn)SN同樣能給生成器帶來顯著益處。

因此，在該階段，SN 不僅應(yīng)用于鑒別器，也應(yīng)用于生成器。該階段的邊緣結(jié)構(gòu)預(yù)測流程如圖3 所示。

圖3 邊緣預(yù)測流程圖

■1.4 平滑結(jié)構(gòu)重構(gòu)器

（1）邊緣保留平滑方法

圖像平滑需要突出低頻成分、抑制高頻成分，并減少梯度的突變。傳統(tǒng)的圖像處理方法通常使用圖像卷積平滑操作，如高斯濾波和均值濾波，以去除噪聲。然而，這些方法會模糊邊緣信息。改進方法如雙邊濾波在邊緣保留方面有進展，但仍存在邊緣信息丟失的問題。綜上所述，本部分旨在保持圖像結(jié)構(gòu)并消除紋理，通過不同的方法來進行圖像平滑操作。

（2）平滑結(jié)構(gòu)重構(gòu)器

在圖像修復(fù)流程中，為確保生成的修補內(nèi)容具備連貫性、合理性及真實性，本章節(jié)引進了結(jié)構(gòu)重構(gòu)器Gs，該模塊旨在有效恢復(fù)受損圖像的整體構(gòu)造和細節(jié)連續(xù)性。該階段的輸入是部分破損的結(jié)構(gòu)圖像，通過將其與合成的邊緣圖進行組合來生成填充了破損區(qū)域的結(jié)構(gòu)圖像Spred：

該階段，使用了聯(lián)合損失，包括 ?1損失、對抗損失、感知損失和樣式損失。 ?1損失衡量了預(yù)測結(jié)構(gòu)Spred與真實結(jié)構(gòu)Sgt之間的差異：

為了模擬目標結(jié)構(gòu)Sgt的分布，結(jié)構(gòu)重構(gòu)器還引入了對抗損失。sG的對抗損失寫為：

其中鑒別器sD用于區(qū)分真實結(jié)構(gòu)和預(yù)測結(jié)構(gòu)。感知損失 Lperc通過衡量預(yù)測圖像和真實圖像在預(yù)訓(xùn)練網(wǎng)絡(luò)中對應(yīng)激活圖之間的差異來懲罰感知上不相似的結(jié)果：

感知損失使用了預(yù)訓(xùn)練網(wǎng)絡(luò)的多個層（如relu1_1、relu2_1 等），并通過計算它們的激活圖之間的差異來量化感知損失。整體損失函數(shù) Lstyle由 ?1損失、對抗損失、感知損失和樣式損失組成，各部分的權(quán)重可以調(diào)整以達到最佳效果。

樣式損失用于消除感知損失中的棋盤偽影，它通過計算高階特征的格拉姆矩陣之間的差異來衡量。該階段的整體損失函數(shù)?s 為：

需要注意的是，在結(jié)構(gòu)重構(gòu)器中沒有使用頻譜歸一化，因為它會增加網(wǎng)絡(luò)訓(xùn)練的時間并限制網(wǎng)絡(luò)的表達能力。該階段的預(yù)測圖像平滑結(jié)構(gòu)的流程如圖4 所示。

圖4 平滑結(jié)構(gòu)預(yù)測流程圖

2 改進的YOLOv5 算法結(jié)構(gòu)

YOLOv5 相比于YOLOv4，在網(wǎng)絡(luò)的靈活性和檢測速度方面有顯著改進。它根據(jù)網(wǎng)絡(luò)的寬度和深度分為四個版本：YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x。本文選擇基于YOLOv5s 進行改進，以在檢測速度和精度之間取得平衡。

鋼坯編號圖像的模糊不清給檢測帶來了困難，導(dǎo)致準確度下降和漏檢情況增多。因此，從實際需求來看，YOLOv5模型無法完全滿足要求。為了提高檢測速度，本文使用MobileNetv3 替換了YOLOv5 的骨干結(jié)構(gòu)，并引入了空間通道注意力模塊（CBAM）來提高對鋼坯編號的檢測精度。此外，在骨干結(jié)構(gòu)中使用SiLU[11]激活函數(shù)替代ReLU[12]可以加快模型收斂速度和訓(xùn)練效果，進一步提高模型的精度。

■2.1 引入MobileNetv3

本文選擇了基于神經(jīng)架構(gòu)搜索（NAS）的MobileNetv3[6]網(wǎng)絡(luò)作為替代的主干特征網(wǎng)絡(luò)。MobileNetV3 網(wǎng)絡(luò)包含Large 和Small 兩種版本，其中Large 版能在精度與速度間取得平衡。該模型的conv2d 模塊結(jié)合了常規(guī)卷積、批量歸一化以及h-swish 激活函數(shù)以增強特征表達能力；bneck模塊則采用深度可分離卷積，有效降低模型參數(shù)量并提升運算效率，尤其適合移動端等資源受限環(huán)境。MobileNetv3在bneck 模塊中具有多個優(yōu)點和獨特特性。(1)引入SE 注意力模塊(SENet[13])，通過擠壓和激勵操作調(diào)整特征通道的重要程度。(2)使用深度可分離卷積(DWConv)，由深度卷積和逐點卷積組成，降低網(wǎng)絡(luò)的計算和參數(shù)量。(3)使用線性瓶頸的殘差倒置結(jié)構(gòu)擴展輸入特征，通過1×1 的Conv 卷積進行通道升維，然后使用3×3 的DWConv 卷積，通道數(shù)量逐漸減少，與傳統(tǒng)的殘差結(jié)構(gòu)方式不同，如ResNet[4]。

■2.2 引入通道和空間注意力模塊

本文提出使用CBAM[7]模塊代替MobileNet 網(wǎng)絡(luò)中的SE 模塊，以提高圖像注意力處理的精確度。CBAM 模塊在通道注意力機制基礎(chǔ)上增加了空間注意力機制，解決了SE模塊僅考慮通道權(quán)重的限制。通過CBAM 模塊，網(wǎng)絡(luò)的特征提取能力得到增強，重要信息得到突出，無關(guān)信息得到抑制，從而提取更關(guān)鍵的特征。CBAM 模塊由通道注意力模塊（CAM）和空間注意力模塊（SAM）組成，分別在通道和空間上進行特征提取。具體結(jié)構(gòu)詳見圖5。

圖5 CBAM 網(wǎng)絡(luò)結(jié)構(gòu)

■2.3 使用SiLU 替代ReLU 激活函數(shù)

改進的YOLOv5 模型將原本MobileNetv3 部分中的ReLU 激活函數(shù)替換為SiLU 激活函數(shù)。這一改變是因為SiLU 具有更好的穩(wěn)定性，能夠加速模型的收斂速度并提高訓(xùn)練效果。此外，SiLU 中引入的小量參數(shù)還能夠有效地提升模型的精度。

■2.4 數(shù)據(jù)增強

在改進版的YOLOv5 算法中，我們采用了Mosaic 數(shù)據(jù)增強方法。這種方法與CutMix[5]方法原理相似，都是通過組合多張圖片來擴充數(shù)據(jù)集，提高模型泛化能力。區(qū)別在于：CutMix 需要兩張圖片，而Mosaic 需要四張。

具體操作如下：Mosaic 從訓(xùn)練集中隨機選擇四張圖片，按比例縮放裁剪至相同尺寸，然后拼接成一張?zhí)摂M圖片作為新輸入進行訓(xùn)練。

使用Mosaic 方法可以在不增加訓(xùn)練時間的情況下有效擴充數(shù)據(jù)集，提高模型性能。同時，由于使用了更多圖片組合，能更好地捕捉目標信息，提高檢測精度。

3 實驗

■3.1 消融實驗

（1）網(wǎng)絡(luò)檢測準確度

平均而言，加上MobileNet 的YOLOv5 的檢測精度有所降低，但使用CBAM 模塊替換SE 注意力模塊后，改進后的YOLOv5 的檢測精度和mAP(平均AP)比YOLOv5 分別平均提高了7.5%和3.47%。

表1 YOLOv5改進過程性能對比

（2）檢測速

為了更顯著地比較算法之間的效果，我們比較了不同算法的檢測能力。實驗結(jié)果如表2 所示。盡管Resnet50-SSD 的檢測速度高達44.48fps，但其平均精度最低。YOLO 系列使用端到端方法直接返回對象的類、置信度和位置，這比兩階段方法更快。改進后的YOLOv5（引入MobileNet）的方法，準確率比YOLOv5 下降了，但是檢測速度得到了大幅提升。使用通道和空間注意力模塊（CBAM）后，改進后的YOLOv5 的檢測速度略有降低，但是檢測準確率得到了有效地提升。盡管本文提出的改進后的YOLOv5 的檢測速度比Resnet50-SSD 慢約4.13fps，但它的平均精度比Reset50-SSD 高27.97%，仍然可以滿足鋼坯編號識別的需要。

表2 不同模型的檢測能力

■3.2 綜合實驗

為了進一步提高編號檢測的精度，將融合邊緣預(yù)測和生成對抗網(wǎng)絡(luò)的圖像修復(fù)方法作為應(yīng)用改進后的YOLOv5 檢測鋼坯編號的前提。

如表3 和表4 所示，顯示了系統(tǒng)應(yīng)用融合邊緣預(yù)測和生成對抗網(wǎng)絡(luò)的圖像修復(fù)技術(shù)前后的性能比較。平均而言，該實驗中改進后的YOLOv5 的檢測精度和mAP（平均AP）分別提高了1.17%和0.51%。

表3 改進的YOLOv5檢測效果

表4 結(jié)合圖像修復(fù)的改進后YOLOv5檢測效果

表5 檢測速度對比

但是我們也發(fā)現(xiàn)，系統(tǒng)整體的檢測速度從40.35fps 降低到20.42fps，這是由于GAN 的加入導(dǎo)致的。但降低的速度依舊可以滿足檢測需求，對于系統(tǒng)整體而言利大于弊。

4 鋼坯編號智能檢測系統(tǒng)的開發(fā)

鋼坯編號智能檢測系統(tǒng)設(shè)計流程圖如圖6 所示，該鋼坯編號智能檢測系統(tǒng)是為了實時跟蹤鋼坯在生產(chǎn)線上的位置而開發(fā)的。系統(tǒng)通過軌道式平板行車將鋼坯從生產(chǎn)線移動到堆放區(qū)，并使用三維掃描系統(tǒng)進行位置檢測。相機位于軌道一側(cè)，三維掃描系統(tǒng)對軌道式平板行車進行持續(xù)跟蹤定位，相機固定不動。當(dāng)滿足觸發(fā)條件時便發(fā)出觸發(fā)信號給相機。系統(tǒng)會將采集到的圖片存儲在服務(wù)器的FTP 文件夾中，并按照時間命名。然后，系統(tǒng)會循環(huán)監(jiān)聽FTP 文件夾，檢測過去15s 內(nèi)的圖片，并進行識別處理。整個過程持續(xù)30s，根據(jù)現(xiàn)場相機位置與軌道式平板行車行進速度進行調(diào)節(jié)，時間約等于一輛軌道式平板行車完整地運行過相機前側(cè)的所需時間。對采集到的鋼坯圖像進行定位、修復(fù)、檢測，完成檢測任務(wù)。最后將檢測到的編號與連鑄數(shù)據(jù)庫進行二次驗證，驗證成功則證明本次檢測正確，將檢測結(jié)果存入數(shù)據(jù)庫，失敗則引入人工介入，查看和反饋問題。

圖6 系統(tǒng)設(shè)計流程圖

■4.1 二次驗證模塊

為驗證識別結(jié)果，鋼坯編號識別結(jié)果與連鑄數(shù)據(jù)庫進行比對，以提高編號識別準確率，對比流程如圖7 所示。如果連鑄數(shù)據(jù)庫中查不到板坯原PDI 數(shù)據(jù)，則引入人工干預(yù)，人工錄入鋼坯編號，并將問題記錄并反饋，有助于未來一步一步提高鋼坯編號識別精度，進一步減少工人介入頻率。

圖7 編號識別結(jié)果與數(shù)據(jù)庫對比流程

系統(tǒng)使用MySQL 數(shù)據(jù)庫對出爐鋼坯信息進行數(shù)據(jù)存儲，這樣做是基于數(shù)據(jù)采集頻率和存儲維護要求的考慮。具體而言，鋼坯信息包括鋼坯編號、出爐時間、圖片存儲路徑、生產(chǎn)標準、生產(chǎn)規(guī)格等關(guān)鍵信息，均會被存儲在MySQL 數(shù)據(jù)庫中。

■4.2 系統(tǒng)落地與實際運行

運行步驟如下：首先，對系統(tǒng)進行數(shù)據(jù)庫配置，輸入數(shù)據(jù)庫端口號、密碼等，如圖8 所示。

圖8 數(shù)據(jù)庫配置

然后，裝載有印著編號的鋼坯的軌道式平板行車進入三維掃描系統(tǒng)的掃描范圍之內(nèi)，三維掃描系統(tǒng)跟蹤軌道式平板行車的移動，當(dāng)軌道式平板行車運行到指定位置時，觸發(fā)識別信號，相機采集鋼坯照片，并上傳服務(wù)器。鋼坯編號智能檢測系統(tǒng)開始對對應(yīng)文件夾中的鋼坯圖像進行識別。如圖9所示。

圖9 鋼坯編號智能檢測系統(tǒng)軟件

二次驗證失敗的鋼坯編號，說明編號檢測失敗，則需要人工介入，補錄界面如圖10 所示。歷史補錄總結(jié)如圖11所示。

圖10 編號補錄

圖11 編號歷史補錄總結(jié)

圖12 編號識別后數(shù)據(jù)庫鋼坯編號相關(guān)信息

鋼坯編號檢測完成后，將在數(shù)據(jù)庫呈現(xiàn)鋼坯編號的相關(guān)信息，如檢測時間、生產(chǎn)標準、跨區(qū)、存儲位置、庫區(qū)編號、車號、跨號和是否人工介入等。

本論文研究在江蘇某鋼鐵集團實踐證明是可行的，項目已平穩(wěn)運行半年，累計運行次數(shù)超過2800 次，運行效果優(yōu)良。表6 展示了基于本文的鋼坯編號智能檢測系統(tǒng)在實際應(yīng)用中與傳統(tǒng)的人工識別方式相比，檢測性能得到了一定的提升。

表6 基于本文的鋼坯編號檢測方式與其他檢測方式性能對比

鋼坯編號字符的平均檢測準確率達到98.60%，檢測速度達到15fps，有效提高了庫區(qū)無人化作業(yè)效率。

5 結(jié)論

本論文研究在江蘇某鋼鐵集團實踐證明是可行的，項目已平穩(wěn)運行半年，累計運行次數(shù)超過2800次，運行效果優(yōu)良，平均檢測準確率達到98%，檢測時間達到15fps，有效提高了庫區(qū)無人化作業(yè)效率，獲得一致好評。