文章編號(hào):1671-3559(2024)06-0778-09DOI:10.13349/j.cnki.jdxbn.20240522.001
摘要: 針對(duì)全鋼子午線輪胎中紋理復(fù)雜、結(jié)構(gòu)多變的鋼絲圈區(qū)域邊界分割困難的問題,提出一種基于高分辨率網(wǎng)絡(luò)的輪胎鋼絲圈區(qū)域邊界分割方法; 根據(jù)垂直投影曲線信息實(shí)現(xiàn)輪胎X射線衍射圖像各區(qū)域的劃分; 利用直方圖均衡化提高圖像的明暗對(duì)比度,增強(qiáng)紋理信息; 根據(jù)高分辨率網(wǎng)絡(luò)輸出的熱圖,基于自適應(yīng)閾值方法進(jìn)行邊界分析,通過計(jì)算熱圖不同區(qū)域的閾值得到對(duì)應(yīng)的二值圖,統(tǒng)計(jì)熱圖中邊界區(qū)域面積并篩除過小的部分,根據(jù)剩余區(qū)域重構(gòu)熱圖并利用邊界上下文信息填補(bǔ)被篩除的位置,從而得到整體邊界分布均勻、 精細(xì)的熱圖; 在自建數(shù)據(jù)集上測(cè)試所提出方法的檢測(cè)性能,通過消融實(shí)驗(yàn)探討所提出的方法及其優(yōu)化模塊對(duì)最終邊界分割結(jié)果的影響,并將所提出的方法與2種常用方法進(jìn)行定量和定性對(duì)比。結(jié)果表明,鋼絲圈區(qū)域的包布、反包邊界分割準(zhǔn)確率分別達(dá)到98.94%、 97.23%,相對(duì)于2種常用方法,所提出的方法具有較強(qiáng)的穩(wěn)健性和適用性。
關(guān)鍵詞: 模式識(shí)別; 區(qū)域邊界分割; 高分辨率網(wǎng)絡(luò); 全鋼子午線輪胎; 直方圖均衡化; 邊界優(yōu)化
中圖分類號(hào): TP391.4
文獻(xiàn)標(biāo)志碼: A
Regional Boundary Segmentation of Bead Rings in
All-steel Radial Tires Based on High Resolution Network
LI Nan, LIU Hua, HAO Jinyi, XIA Yingjie, LI Jinping
(a. School of Information Science and Engineering, b. Shandong Provincial Key Laboratory of Network Based Intelligent Computing,
c. Shandong Provincial University Key Laboratory of Information Processing and Cognitive Computing,
University of Jinan, Jinan 250022, Shandong, China)
Abstract: Aiming at the difficulty of regional boundary segmentation of bead rings in all-steel radial tires with complex texture and variable structure, a method of regional boundary segmentation of bead rings based on high resolution network was proposed. According to the information of vertical projection curves, each region of X-ray diffraction images of tires was divided. Histogram equalization was used to improve the contrast of light and dark and enhance the texture information. According to the heat map output by the high-resolution network, the boundary analysis was carried out based on the adaptive threshold method. By calculating the threshold value of different regions of the heat map, the corresponding binary map was obtained, and the boundary region area in the heat map was counted and the smaller part was screened out. The remaining areas were used to reconstruct the heat maps, and the boundary context information was incorporated to fill in eliminated positions to achieve the finely detailed heat maps with evenly distributed overall borders. The detection performance of the proposed method was tested on the self-built dataset, and the influence of the proposed method and its optimization module on the final boundary segmentation results was discussed through ablation experiments. The proposed method was quantitatively and qualitatively compared with two commonlyusedmethods.Theresultsshowthattheaccuracy of wrapping and backwrapping boundary segmentation is 98.94% and 97.23%, respectively. Compared with the two common methods, the proposed method has strong robustness and applicability.
Keywords: pattern recognition; regional boundary segmentation; high resolution network; all-steel radial tire; histogram equalization; border optimization
輪胎作為汽車的重要組成部分,被視為影響駕駛安全的關(guān)鍵因素。在輪胎的加工過程中,外部環(huán)境、 設(shè)備精度、 操作不當(dāng)?shù)纫蛩貙?dǎo)致輪胎的不同部位出現(xiàn)損壞,為了保證汽車駕駛的安全性,每個(gè)輪胎在出廠前都要經(jīng)過嚴(yán)格的質(zhì)量檢驗(yàn)。目前,國(guó)內(nèi)主要采用X射線數(shù)字成像儀對(duì)輪胎進(jìn)行數(shù)字成像[1],為輪胎缺陷自動(dòng)檢測(cè)奠定了基礎(chǔ)。在通常情況下,全鋼子午線輪胎由帶束層、 胎側(cè)、 鋼絲圈3個(gè)部分組成。由于胎側(cè)和帶束層在整個(gè)輪胎結(jié)構(gòu)中所占比例較大且易出現(xiàn)異常情況,因此輪胎缺陷檢測(cè)研究重點(diǎn)多集中于胎側(cè)和帶束層區(qū)域[2-3]。目前,學(xué)者們對(duì)全鋼子午線輪胎X射線衍射(XRD)圖像缺陷檢測(cè)系統(tǒng)已開展了大量研究[4-6],實(shí)現(xiàn)了全鋼子午線輪胎胎側(cè)、 帶束層區(qū)域的缺陷檢測(cè)。隨著人們對(duì)汽車輪胎質(zhì)量要求的不斷提高,鋼絲圈區(qū)域的缺陷檢測(cè)也開始進(jìn)入大眾視野。
由于邊界分割是進(jìn)行分區(qū)域缺陷檢測(cè)的前提,因此精確的邊界分割至關(guān)重要。鋼絲圈由多條鋼絲、 水平簾線和斜向簾線等組成,共同承受胎側(cè)拉力, 這一結(jié)構(gòu)特性使得鋼絲圈區(qū)域的紋理更加復(fù)雜且結(jié)構(gòu)多變。同時(shí), 簾線層數(shù)疊加較多, 導(dǎo)致X射線難以穿透鋼絲圈到達(dá)接收裝置, 使得該區(qū)域整體偏暗, 為精確分割鋼絲圈區(qū)域帶來了巨大挑戰(zhàn)。全鋼子午線輪胎鋼絲圈區(qū)域邊界的精確分割領(lǐng)域中相關(guān)研究較少, 大致分為2類方法。第1類方法是基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)分割方法。Zhao等[7]提出基于改進(jìn)U型網(wǎng)絡(luò)的視杯與視盤分割方法,并引入了多尺度輸入和特征圖共享等技術(shù)。Xu等[8]提出用于遙感圖像語義分割的高分辨率上下文提取網(wǎng)絡(luò)(high resolution context extraction network,HRCNet),采用雙重注意力機(jī)制(dual attention mechanism,DAM)獲取全局上下文信息。Yuan等[9]采用卷積神經(jīng)網(wǎng)絡(luò)和轉(zhuǎn)換器相結(jié)合的網(wǎng)絡(luò)對(duì)醫(yī)學(xué)圖像進(jìn)行分割,增強(qiáng)了特征和長(zhǎng)距離依賴關(guān)系的表示能力。李光旭[10]將語義分割應(yīng)用于輪胎XRD圖像分割,實(shí)現(xiàn)了輪胎紋理圖像邊界的全區(qū)域分割。Wang等[11]提出了一種新的基于主動(dòng)輪廓模型——Chan-Vese(C-V)模型的輪胎印圖像分割算法, 該算法無須重新初始化, 通過引入內(nèi)能項(xiàng)來減少水平集函數(shù)從有符號(hào)距離函數(shù)到C-V模型的偏差。 Bolya等[12]提出用于實(shí)時(shí)分割輪胎胎面的簡(jiǎn)單全卷積模型, 同時(shí)還提出能夠提高分割速度并改善分割性能的快速非極大值抑制算法(fast non-maximum suppression,F(xiàn)ast-NMS)。第2類方法是基于傳統(tǒng)圖像處理的目標(biāo)分割方法,通常利用輪胎本身的結(jié)構(gòu)和紋理信息進(jìn)行分割。董玉德等[13]依據(jù)花紋節(jié)距排布和擠壓、 壓延成型工藝對(duì)花紋邊界進(jìn)行分割。陳勤等[14]提出基于三次均勻樣條和多分辨率小波的整體區(qū)域分割方法。Li等[15]提出了結(jié)合灰色理論和粒子群算法的歸一化圖像分割方法。Zhang等[16]提出了基于機(jī)器視覺的二次圖像分割方法提取輪胎磨損特征。Liu等[17]提出了一種改進(jìn)的基于模糊熵和灰色關(guān)聯(lián)分析的圖像分割方法。Zhang等[18]提出基于權(quán)重矩陣的優(yōu)化最短路徑快速算法分割視網(wǎng)膜層邊界。Yu等[19]引入K均值聚類算法對(duì)標(biāo)記點(diǎn)輪胎圖像進(jìn)行分割,在分割的基礎(chǔ)上對(duì)標(biāo)記點(diǎn)輪廓內(nèi)的像素進(jìn)行加權(quán),計(jì)算標(biāo)記點(diǎn)完整性。
雖然以上方法取得了較好的分割效果,但是在直接應(yīng)用于全鋼子午線輪胎鋼絲圈時(shí)存在以下2個(gè)主要問題: 1)鋼絲圈區(qū)域在整幅輪胎圖像中所占比例較小,雖然通過增加輪胎圖像整體亮度可以解決鋼絲圈區(qū)域過暗的問題,但并不能突出圖像內(nèi)部的紋理信息和結(jié)構(gòu)特點(diǎn)。同時(shí),圖像中其余區(qū)域信息會(huì)對(duì)上述操作產(chǎn)生干擾。2)輪胎XRD圖像中的邊界之間存在相似性和成像陰影的影響。由此可知,鋼絲圈區(qū)域的邊界分割結(jié)果通常會(huì)出現(xiàn)邊界連續(xù)性較差甚至偏移鋼絲圈區(qū)域,嚴(yán)重影響后續(xù)的分區(qū)域缺陷檢測(cè)。
為了解決上述問題,本文中提出一種基于高分辨率網(wǎng)絡(luò)(high resolution network,HRNet)的全鋼子午線輪胎鋼絲圈區(qū)域邊界分割方法(簡(jiǎn)稱本文方法)。利用HRNet的結(jié)構(gòu)優(yōu)勢(shì),保留鋼絲圈區(qū)域中更多的紋理信息和邊界細(xì)節(jié);采用極值濾波、 自適應(yīng)閾值、 垂直投影方法等對(duì)輪胎XRD圖像預(yù)處理,獲取鋼絲圈區(qū)域圖像,利用直方圖均衡化增強(qiáng)鋼絲圈區(qū)域紋理信息;基于自適應(yīng)閾值方法分析邊界,以獲得整體連續(xù)的邊界分布。在自建數(shù)據(jù)集上測(cè)試本文方法,通過消融實(shí)驗(yàn)探討本文方法及其優(yōu)化模塊對(duì)最終邊界分割結(jié)果的影響,并將本文方法與2種常用方法進(jìn)行定量和定性對(duì)比。
1鋼絲圈區(qū)域邊界分割
全鋼子午線輪胎XRD圖像及其對(duì)應(yīng)的鋼絲圈區(qū)域邊界圖像如圖1所示。
雖然邊界分割常用方法有較好的分割效果,但是直接應(yīng)用于鋼絲圈區(qū)域邊界分割時(shí)通常會(huì)出現(xiàn)邊界連續(xù)性較差甚至偏移鋼絲圈區(qū)域的情況,嚴(yán)重影響后續(xù)的分區(qū)域缺陷檢測(cè)的準(zhǔn)確性。本文方法在保留更多紋理細(xì)節(jié)信息的同時(shí)能夠提高邊界分割的準(zhǔn)確率。本文方法的流程如圖2所示,包括圖像預(yù)處理即垂直投影劃分區(qū)域和鋼絲圈區(qū)域圖像增強(qiáng)、 基于HRNet的邊界分割以及邊界優(yōu)化等過程。
1.1圖像預(yù)處理
在進(jìn)行鋼絲圈區(qū)域的邊界分割之前,須要先獲取鋼絲圈區(qū)域圖像。全鋼子午線輪胎XRD圖像區(qū)域劃分流程如圖3所示。圖3(a)為輪胎原始圖像。輪胎XRD圖像預(yù)處理包括自適應(yīng)二值化、 形態(tài)學(xué)等操作,結(jié)果如圖3(b)所示。輪胎各區(qū)域在灰度級(jí)上存在明顯差異,根據(jù)該特征對(duì)預(yù)處理后的圖像進(jìn)行垂直投影,統(tǒng)計(jì)圖像中每部分的灰度均值即可劃分輪胎圖像的各區(qū)域,結(jié)果如圖3(c)所示。
由于鋼絲圈區(qū)域位于輪胎結(jié)構(gòu)的邊緣, X射線無法直接進(jìn)行掃描, 因此導(dǎo)致鋼絲圈區(qū)域在成像后的圖像中顯示偏暗, 即灰度級(jí)較小且紋理特征不明顯, 給鋼絲圈區(qū)域邊界分割造成困難。 為了解決該問題, 本文方法采用直方圖均衡化提升亮度, 增強(qiáng)鋼絲圈區(qū)域的紋理信息。 從區(qū)域劃分中獲取鋼絲圈區(qū)域圖像, 利用直方圖均衡化進(jìn)行處理, 計(jì)算公式分別為
h(k)=nkJ ,(1)
L(k)=∑kj=0h(j) ,(2)
G(k)=255L(k) ,(3)
式中: h(k)為第k個(gè)灰度級(jí)出現(xiàn)的概率; nk為第k個(gè)灰度級(jí)的個(gè)數(shù); J為像素總個(gè)數(shù); L(k)為累積的歸一化分布概率; G(k)為重新分配后的像素值。
圖4所示為鋼絲圈區(qū)域均衡化前、 后效果對(duì)比。從圖中可以看出,經(jīng)直方圖均衡化處理后,鋼絲圈區(qū)域整體亮度提升,紋理特征更明顯,有助于后續(xù)邊界分割模型提取特征。
1.2基于HRNet的邊界分割
HRNet作為一種高分辨率的網(wǎng)絡(luò)結(jié)構(gòu),主要應(yīng)用于二維人體姿勢(shì)[20]估計(jì)和語義分割。與其他深度學(xué)習(xí)方法相比,HRNet在邊界分割方面具有以下優(yōu)勢(shì): 1)HRNet始終存在特征圖處于高分辨率的狀態(tài),使鋼絲圈圖像中更多的細(xì)節(jié)信息得以保留,有助于進(jìn)一步提升邊界分割的準(zhǔn)確度; 2)采用并行分支結(jié)構(gòu)[21]設(shè)計(jì),HRNet可以同時(shí)獲取全局和局部信息,綜合考慮邊界位置與上下文信息,從而有利于更準(zhǔn)確地定位邊界; 3)逐層特征融合使得HRNet能夠提供更為豐富的信息表示,進(jìn)一步增強(qiáng)了定位的精度; 4)通過融合不同特征圖尺度的特征,HRNet能有效捕捉圖像中的邊界細(xì)節(jié)。上述優(yōu)勢(shì)使HRNet在處理紋理復(fù)雜和結(jié)構(gòu)多變的鋼絲圈區(qū)域圖像時(shí)效果更好。
HRNet的特征提取過程主要包括以下5個(gè)關(guān)鍵階段: 1)初始特征提取,即通過2個(gè)3×3型卷積核的卷積層提取輸入的鋼絲圈區(qū)域圖像的初步特征,然后進(jìn)行4倍的下采樣,并實(shí)施歸一化和激活函數(shù)處理。 2)通道調(diào)整,即在初始特征提取后,調(diào)整通道個(gè)數(shù),但是不改變特征圖的大小。 3)尺度轉(zhuǎn)換,即HRNet引入額外的尺度分支,每個(gè)分支逐漸增加特征通道個(gè)數(shù),同時(shí)逐漸降低特征的分辨率。 4)多尺度信息融合,即多個(gè)尺度分支的輸出通過上采樣和下采樣操作進(jìn)行融合; 上采樣操作使用1×1型卷積核,下采樣操作使用3×3型卷積核,所有分支的輸出融合在一起。 5)分割輸出。首先,每個(gè)分支都經(jīng)過基礎(chǔ)殘差模塊處理,上采樣得到最高分辨率的特征圖;然后,將上采樣后的特征圖沿通道維度相加以融合特征信息;最后,通過1×1型卷積核的卷積操作將通道個(gè)數(shù)降至分割類別個(gè)數(shù),本文中設(shè)置為2,包括包布、反包邊界,以生成邊界分割的最終輸出。HRNet結(jié)構(gòu)如圖5所示。
1.3邊界優(yōu)化
基于HRNet的邊界分割在獲取全局上下文和邊界信息方面的能力相對(duì)較弱,同時(shí),可能受到輪胎圖像中邊界相似性和成像陰影的影響,導(dǎo)致邊界分割結(jié)果出現(xiàn)連續(xù)性差和異常點(diǎn)。這些問題會(huì)對(duì)鋼絲圈區(qū)域分割的準(zhǔn)確性造成影響,因此在得到邊界熱圖后以及在轉(zhuǎn)換得到對(duì)應(yīng)原圖中每行坐標(biāo)之前,須要利用邊界上下文信息優(yōu)化邊界,以提高分割邊界的準(zhǔn)確率。鋼絲圈區(qū)域異常邊界優(yōu)化前、 后結(jié)果如圖6所示,連續(xù)性差邊界優(yōu)化前、后結(jié)果如圖7所示。
由圖6、 7可知,鋼絲圈區(qū)域的包布、 反包邊界經(jīng)邊界優(yōu)化后整體邊界更連續(xù),并且沒有出現(xiàn)邊界異常。
針對(duì)HRNet模型分割出的全鋼子午線輪胎鋼絲圈區(qū)域邊界異常、 連續(xù)性差的問題,本文中基于自適應(yīng)閾值方法進(jìn)行邊界分析,即重構(gòu)熱圖,篩除異常區(qū)域。為了突出邊界的輪廓和區(qū)分熱圖中的背景、 前景,對(duì)邊界熱圖進(jìn)行閾值分割,前景為熱圖邊界,背景為邊界以外區(qū)域。全鋼子午線輪胎鋼絲圈區(qū)域邊界原始熱圖在自適應(yīng)閾值方法下的處理效果如圖8所示。由圖可知,鋼絲圈區(qū)域邊界熱圖中的異常區(qū)域在經(jīng)自適應(yīng)閾值方法處理后消失。
經(jīng)自適應(yīng)閾值方法的處理效果自適應(yīng)閾值方法計(jì)算公式[22]分別為
B(n)=∑h-1i=0∑w-1j=0 p(i, j)hbw ,(4)
f(i, j)=255,p(i, j)≥B(n),
0,p(i, j)lt;B(n),(5)
式中: B(n)為第n個(gè)窗口的二值化閾值; h為分割窗口的高度; bw為分割窗口的寬度; p(i, j)為邊界熱圖二值化小窗口中第i行第j列位置的像素灰度值; f(i, j)為邊界熱圖二值化處理后第i行第j列位置的像素灰度值。
在處理后的熱圖中計(jì)算所有離散的邊界區(qū)域面積,按區(qū)域面積的大小排序,篩除過小的異常區(qū)域,統(tǒng)計(jì)每個(gè)邊界區(qū)域的每行的均值,將該均值作為當(dāng)前行的邊界點(diǎn),計(jì)算公式為
N(i)=∑tj=0E(i, j)bt ,(6)
式中: N(i)為熱圖中第i行新的邊界值; E(i, j)為第i行第j列的灰度值; bt為熱圖寬度。
將篩除的區(qū)域邊界值設(shè)置為0, 記為空缺區(qū)域,后續(xù)利用上下文邊界信息填補(bǔ)空缺區(qū)域,既可以優(yōu)化邊界,又可以最大程度地保證邊界的連續(xù)性。
如果缺失位置在熱圖的頭部,則
N(i)=N(y1), i∈[0, y1] ,(7)
式中N(y1)為第y1行的邊界位置值, y1為從熱圖頭部向下遍歷到的第1個(gè)非零邊界所在行數(shù)。
如果缺失位置在熱圖的中部,則
S=N(ye+1)-N(ys-1)(ye+1)-(ys-1) ,(8)
N(y)=N(ys-1)+S(y-ys+1), y∈[ys, ye],(9)
式中: S為步長(zhǎng); ys、 ye分別為邊界缺失的起始、 終止位置; y為當(dāng)前修補(bǔ)行; N(ye+1)為邊界缺失區(qū)域終點(diǎn)的下一個(gè)邊界位置值; N(ys-1)為邊界缺失區(qū)域起始點(diǎn)的上一個(gè)邊界位置值; N(y)為第y行邊界位置值; S(y-ys+1)為邊界偏移量,用于微調(diào)邊界。
如果缺失位置在熱圖的底部,則
N(i)=N(y2), i∈[y2, H]",(10)
式中: H為熱圖的高度; N(y2)為第y2行的邊界位置值, y2為從熱圖底部向上遍歷到的第1個(gè)非零邊界所在行數(shù)。
2方法測(cè)試
2.1數(shù)據(jù)集構(gòu)建
深度學(xué)習(xí)對(duì)訓(xùn)練樣本需求大,而數(shù)據(jù)增強(qiáng)技術(shù)則可以解決全鋼子午線輪胎XRD圖像數(shù)據(jù)樣本較少的問題。另外,通過數(shù)據(jù)擴(kuò)增也可使網(wǎng)絡(luò)獲得一定的抗噪聲能力,更具有穩(wěn)健性。
利用自然分布從樣本庫中隨機(jī)選取規(guī)定數(shù)量樣本,分類別提取,即先通過聚類函數(shù)處理圖像,將樣本聚類為多個(gè)類別,然后在每個(gè)類別圖像中隨機(jī)選取規(guī)定數(shù)量樣本作為訓(xùn)練集和測(cè)試集。利用輔助工具即邊界標(biāo)注程序標(biāo)注所選原始圖像,不僅可以提高邊界標(biāo)注效率,而且可以最大程度減小人為誤差。同時(shí),在標(biāo)注過程中,邀請(qǐng)經(jīng)驗(yàn)豐富的圖像專家仔細(xì)檢查和修正邊界標(biāo)注結(jié)果,以確保結(jié)果的準(zhǔn)確性和一致性。
利用二值化和極值濾波對(duì)輪胎XRD圖像進(jìn)行預(yù)處理,然后利用垂直投影并根據(jù)投影曲線獲取圖像中帶束層、胎側(cè)、鋼絲圈的區(qū)域位置,根據(jù)位置信息從原圖中切割出鋼絲圈區(qū)域圖像和對(duì)應(yīng)的邊界標(biāo)簽作為網(wǎng)絡(luò)的輸入。利用以下2種數(shù)據(jù)擴(kuò)增技術(shù)對(duì)鋼絲圈區(qū)域圖像進(jìn)行處理: 1)利用翻轉(zhuǎn)函數(shù)對(duì)圖像進(jìn)行水平或垂直投影; 2)在圖像中添加均值為0且方差為6的高斯噪聲。數(shù)據(jù)在不同圖像增強(qiáng)方式下的可視化結(jié)果如圖9所示。
最終獲得原始全鋼子午線輪胎圖像共2 874幅, 去除鋼絲圈區(qū)域過黑和鋼絲簾線產(chǎn)生畸變的圖像后共2 057幅圖像。 數(shù)據(jù)擴(kuò)增后的樣本集共包括8 228幅圖像, 其中訓(xùn)練集、 測(cè)試集各6 582、 1 646幅。
本文方法在Windows操作系統(tǒng)上實(shí)現(xiàn),使用 PyThorch框架進(jìn)行訓(xùn)練,批大?。╞atch size,BS)函數(shù)設(shè)置為8,采用隨機(jī)梯度下降(stochastic gradient descent,SGD)算法優(yōu)化HRNet,設(shè)置學(xué)習(xí)率為0.001,迭代次數(shù)為1 000。由于要輸出包布和反包2條邊界,因此設(shè)置鋼絲圈區(qū)域邊界分割網(wǎng)絡(luò)的輸出通道個(gè)數(shù)為2。硬件配置如下:Inter(R) Xeon(R) W-2133型中央處理器(CPU)和Nvidia GeForce RTX 2080Ti型圖形處理器(GPU)。
2.2評(píng)估指標(biāo)
采用4個(gè)指標(biāo)評(píng)估本文方法的性能和分割效果: 1)Dice系數(shù)D; 2)相對(duì)體積差異R; 3)平均對(duì)稱表面距離A; 4)最大對(duì)稱表面距離M。D、 R通過比較分割區(qū)域的準(zhǔn)確率評(píng)估性能, A、 M通過比較邊界距離評(píng)估分割性能。4個(gè)評(píng)估指標(biāo)的計(jì)算公式分別為
D=2X∩Y/(X+Y) ,(11)
R=(X-Y/Y)×100% ,(12)
A=∑u(X)∈U(X) d[d(X), U(Y)]/U(X) ,(13)
M=max{maxu(X)∈U(X) d2[u(X), U(Y)]},(14)
式中: X為HRNet預(yù)測(cè)的分割結(jié)果; Y為X對(duì)應(yīng)的參考真值; U為分割的表面體素; u為U上的一點(diǎn);d為歐氏距離。
2.3消融實(shí)驗(yàn)
通過消融實(shí)驗(yàn)探討本文方法及其優(yōu)化模塊對(duì)邊界分割結(jié)果的影響。 在本文方法的基礎(chǔ)上設(shè)計(jì)2種不同的邊界分割方法: 1)單獨(dú)使用HRNet的分割方法, 即對(duì)輪胎圖像鋼絲圈區(qū)域進(jìn)行預(yù)處理, 不加入邊界優(yōu)化模塊, 該方法記為HRNet-edge。 2)圖像未經(jīng)過預(yù)處理的分割方法, 即輪胎圖像鋼絲圈區(qū)域不進(jìn)行預(yù)處理, 增加邊界優(yōu)化模塊, 該方法記為HRNet-npre。消融實(shí)驗(yàn)結(jié)果如表1所示。由表可知,本文方法的鋼絲圈區(qū)域包布、 反包邊界分割準(zhǔn)確率分別達(dá)到98.94%、 97.23%,相對(duì)于HRNet-edge分別提高9.96、 9.89個(gè)百分點(diǎn),相對(duì)于HRNet-npre分別提高7.29、 6.80個(gè)百分點(diǎn),表明預(yù)處理模塊和邊界分割后的邊界優(yōu)化模塊對(duì)最終邊界分割結(jié)果非常重要。
2.4方法對(duì)比
為了分析本文方法對(duì)全鋼子午線輪胎XRD圖像鋼絲圈區(qū)域的分割性能,將本文方法與利用HRNet和快速語義分割網(wǎng)絡(luò)(FastSCNN)[23]所得的鋼絲圈區(qū)域邊界分割結(jié)果進(jìn)行定量和定性對(duì)比,結(jié)果如表2、 圖10所示。 由表2可知, 相對(duì)于FastSCNN, 本文方法在與HRNet的數(shù)據(jù)對(duì)比方面表現(xiàn)更突出,包布、 反包邊界分割準(zhǔn)確率分別提高11.66、 12.11個(gè)百分點(diǎn)。由圖10可知:本文方法的邊界分割效果更精細(xì)、 完整,提高了邊界分割的準(zhǔn)確率。本文方法還表現(xiàn)出較好的抗干擾性和穩(wěn)健性,在鋼絲圈區(qū)域簾線走勢(shì)正常的情況下不會(huì)出現(xiàn)誤分區(qū)域的情況。由此可知,本文方法在提高邊界分割準(zhǔn)確率的同時(shí),解決了邊界出現(xiàn)異常區(qū)域的問題。
全鋼子午線輪胎XRD圖像鋼絲圈區(qū)域邊界分割的難點(diǎn)之一是使數(shù)據(jù)集在種類和數(shù)量有限時(shí)輸出更精確的鋼絲圈邊界。 本文方法有機(jī)整合邊界分割模塊與邊界優(yōu)化模塊, 而不是單獨(dú)訓(xùn)練一個(gè)分割網(wǎng)絡(luò), 使模塊更關(guān)注鋼絲圈區(qū)域邊界的上下文信息, 從而使邊界更連續(xù)并且解決了邊界異常問題。
3結(jié)語
本文中提出基于HRNet的全鋼子午線輪胎鋼絲圈區(qū)域邊界分割方法,通過引入直方圖均衡化方法,提升鋼絲圈區(qū)域的整體亮度,增強(qiáng)紋理信息; 在應(yīng)用HRNet實(shí)現(xiàn)邊界分割的基礎(chǔ)上添加邊界優(yōu)化部分,解決了鋼絲圈區(qū)域紋理復(fù)雜、結(jié)構(gòu)多變引起的邊界分割連續(xù)性差和出現(xiàn)異常區(qū)域的問題,并通過數(shù)據(jù)擴(kuò)增技術(shù)增強(qiáng)網(wǎng)絡(luò)的穩(wěn)健性能。由實(shí)驗(yàn)結(jié)果可知,本文方法在鋼絲圈區(qū)域邊界分割上表現(xiàn)良好,有效減少了邊界誤分割次數(shù),鋼絲圈區(qū)域的包布、 反包邊界分割準(zhǔn)確率分別達(dá)到98.94%、 97.23%,與2種常用方法相比,邊界分割精度顯著提高,并具有較強(qiáng)的穩(wěn)健性和適用性。
參考文獻(xiàn):
[1]谷莉, 范實(shí), 徐宏彤, 等. 數(shù)字化X射線輪胎檢測(cè)自動(dòng) "技術(shù)研究[J]. 自動(dòng)化與儀器儀表, 2015(6): 120.
[2]ZHENG X N, DING J P, PANG Z Z, et al. Detection of "impurity andbubbledefectsintireX-rayimagebased on improved extremum filter and locally adaptive-threshold binarization[C]//2018 InternationalConferenceonSecurity,PatternAnalysis,andCybernetics(SPAC),December14-17,2018,Jinan,China.NewYork:IEEE,2018: 360.
[3]ZHENGXN,PANGZZ,HOUQT,etal.Detection of zero degree belt loss in radial tire based on multiscale Gabor transform[J]. Proceedings of SPIE, 2018, 10828: 187.
[4]于向茹, 丁建配, 李金屏, 等. 輪胎簾線交叉重疊缺陷檢測(cè)[J]. 濟(jì)南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2017, 31(6): 494.
[5]鄭修楠, 張潘杰, 李金屏. 基于穿線法的輪胎簾線彎曲缺陷檢測(cè)[J]. 濟(jì)南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2018, 32(4): 286.
[6]李鵬程. 子午線輪胎的非胎體部分紋理分割和相關(guān)結(jié)構(gòu)缺陷檢測(cè)[D]. 濟(jì)南: 濟(jì)南大學(xué), 2021.
[7]ZHAOX,GUOF,ZOUBJ,et al. Automaticsegmentation of optic disc and cup for CDR calculation[J]. Optoelectronics Letters, 2019, 15(5): 381.
[8]XUZY,ZHANGWC,ZHANGTX,etal. HRCNet: high "resolution context extraction network for semantic segmentation of remote sensing images[J]. Remote Sensing, 2021, 13(1): 71.
[9]YUAN F N, ZHANG Z X, FANG Z J. An effective CNN and transformer complementary network for medical image segmentation[J]. Pattern Recognition, 2023, 136(4): 219.
[10]李光旭. 基于語義分割與矩陣恢復(fù)的輪胎自動(dòng)缺陷檢測(cè)研究[D]. 青島: 青島科技大學(xué), 2020.
[11]WANG Z,WANG Y P, LI S W. Tire impressions image segmentation algorithm based on C-V model without re-initialization[C]//2011 IEEE 3rd International Conference on Communication Software and Networks, May 27-29, 2011, Xi’an, China. New York: IEEE, 2011: 541.
[12]BOLYAD,ZHOUC,XIAOFY, et al. YOLACT++: better real-time instance segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(2): 1108.
[13]董玉德,宋忠輝,陳進(jìn)富,等.面向輪胎點(diǎn)云的胎面花紋邊界特征提?。跩].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2017,29(5): 939.
[14]陳勤, 王濤, 劉茵. 輪胎透視圖的一種整體區(qū)域分割方法[J]. 計(jì)算機(jī)工程與科學(xué), 2007, 29(4): 42.
[15]LIQ,AILM,GUOC.Applicationofdual-threshold segmentation based on normalized cut in tire prints and wear characteristics[J].ComputerEngineeringandApplications,2012,48(12): 148.
[16]ZHANG C, CHENG Y H. A quadric image segmentation for the feature extraction of tire surface wear[C]//Sixth International ConferenceonIntelligentSystemsDesignandApplications,October 16-18, 2006, Jinan, China. New York: IEEE, 2006: 457.
[17]LIU Y Y, LIU W B, ZHEN Z Y, et al. Image segmentation method based on fuzzy entropy and grey relational analysis[C]//Fourth International Conference on Image and Graphics (ICIG 2007), August 22-24, 2007, Chengdu, China. New York: IEEE, 2007: 372.
[18]ZHANG Z, YAN H T, XING H Z, et al. Projection area evaluation of macular edema by optimal coherence tomography images with automatic retinal segmentation[J]. Progress in Biochemistry and Biophysics, 2020, 47(10): 1097.
[19]YU Y, REN J S, ZHANG Q, et al. Research on tire marking point completeness evaluation based on K-means clustering image segmentation[J]. Sensors, 2020, 20(17): 4687.
[20]SUN K, XIAO B, LIU D, et al. Deep high resolution representation learning for human pose estimation[C]//2019 EEEE/CVF ConferenceonComputerVisionandPatternRecognition(CVPR), June 15-20, 2019, Long Beach, ""California, USA. New York: IEEE, 2019: 5693.
[21]劉鵬坤, 朱成杰, 張?jiān)? 輕量型高分辨率人體關(guān)鍵點(diǎn)檢測(cè)改進(jìn)研究[J]. 計(jì)算機(jī)工程與應(yīng)用, 2021, 57(2): 143.
[22]OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 63.
[23]史建杰. 子午線輪胎X光成像的區(qū)域分割及相關(guān)缺陷檢測(cè)[D]. 濟(jì)南: 濟(jì)南大學(xué), 2022.
(責(zé)任編輯:劉建亭)
收稿日期: 2023-07-21網(wǎng)絡(luò)首發(fā)時(shí)間:2024-05-23T15:33:24
基金項(xiàng)目: 山東省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2017CXGC0810);山東省教育科學(xué)“十三五”規(guī)劃教育招生考試專項(xiàng)課題項(xiàng)目(BYZK201917)
第一作者簡(jiǎn)介: 李喃(1997—),男,山東菏澤人。碩士研究生,研究方向?yàn)槟J阶R(shí)別與圖像處理。E-mail:1029654854@qq.com。
通信作者簡(jiǎn)介: 李金屏(1968—),男,河南焦作人。教授,博士,碩士生導(dǎo)師,研究方向?yàn)閿?shù)字圖像處理、 計(jì)算機(jī)視覺、 模式識(shí)別與人工智能、 優(yōu)化算法等。E-mail:ise_lijp@ujn.edu.cn。
網(wǎng)絡(luò)首發(fā)地址: https://link.cnki.net/urlid/37.1378.N.20240522.1918.002
濟(jì)南大學(xué)學(xué)報(bào)(自然科學(xué)版)2024年6期