中圖分類號 TQ050.4+1 文獻標志碼A 文章編號 0254-6094(2025)03-0490-08
高溫合金鋼(12CrMoV、15CrMo等)廣泛應用于浙石化、鎮(zhèn)海煉化等大型石化企業(yè)中的鍋爐、壓力容器、壓力管道特種設備,其設備事故常會造成重大財產損失、嚴重威脅國民生命安全、影響社會穩(wěn)定,高溫合金鋼性能失效是事故發(fā)生的主要原因之一[1.2]。高溫合金鋼金相檢驗是及時發(fā)現(xiàn)其機械性能失效的關鍵手段,DL/T773—2016《火電廠用12Cr1MoV鋼球化評級標準》3]、DL/T787—2001《火電廠用15CrMo鋼珠光體球化評級標準》4等標準規(guī)定了鋼制造的鍋爐集箱、蒸汽管道和管件、受熱面等部件在高溫下長期使用后的顯微組織球化等級評定,目前高溫合金鋼球化評級主要依靠檢驗人員參照標準定義圖譜將顯微組織按球化程度分為5級,人工檢驗效率低下,主觀性較強,評級結果復現(xiàn)性較弱,為此,研究高溫合金鋼金相球化定量評級方法意義重大。
球化級別評定是基于珠光體的圖像特征,檢驗人員參考標準圖譜后,評定球化級別,因此金相球化評級是典型的圖像特征提取問題。圖像特征提取技術大致可分為經典圖像特征處理技術和基于深度學習的圖像特征提取技術。其中經典圖像特征處理技術是圖像經濾波處理后,采用圖像分割算法得到邊緣提取圖像,該技術原理較為簡單,但不同類型的金相圖像特征差異較大,通用性較差;基于深度學習的圖像特征提取技術是通過圖像 + 標簽的形式訓練大尺度卷積神經網絡模型,使得卷積模型能夠完成圖像處理、特征提取等系列任務。
經典圖像特征處理金相圖像經過灰度處理,平滑濾波、高斯濾波等圖像預處理后,經閾值、邊緣、區(qū)域、圖論、能量泛函等圖像分割后,得到晶粒邊界特征的二值圖像。2007年,華北電力大學首先采用維納濾波對金相進行去噪,然后采用形態(tài)學進行圖像分割,最后基于分形維數(shù)實現(xiàn)15CrMo鋼金相珠光體特征提取[5;張紅旗和王春光對12Cr1MoV鋼金相圖像進行直方圖均衡化圖像灰度處理、小波變換處理、Robert算子邊緣檢測后,得到12Cr1MoV鋼中珠光體邊緣輪廓信息,利用標準圖譜對12Cr1MoV鋼珠光體球化程度進行評級;張紅旗等采用直方圖均衡化的方法對圖像進行增強,使用中值濾波器對圖像進行降噪處理,分析小波算法的降噪機理,并使用小波進行了降噪處理,利用數(shù)學形態(tài)學的方法對圖像效果進行改善,使得珠光體的輪廓變得平滑、清晰。使用Sobel算子、LoG算子進行珠光體的邊緣提取,利用LoG算子對目標物的邊緣檢測取得了較滿意的效果[7];2013年,華南理工大學對被測珠光體鋼進行金相數(shù)碼拍照,將金相照片類型由真彩色轉化為灰階,確定被測珠光體鋼照片的灰度閥值,然后對金相照片圖像進行二值化處理,最后用基于線段表的輪廓跟蹤方法對二值化圖像珠光體區(qū)域的輪廓進行識別[8]。經典圖像特征處理技術采用系列圖像算法,可較好提取珠光體邊緣特征,但其算法流程復雜,差異較大的金相圖像適用性較差。
隨著深度卷積神經網絡發(fā)展,圖像中特征提取任務一直是深度學習研究的重點內容,12Cr1MoV金相圖像中組織特征選取問題可歸類于深度學習中的語義分割問題。語義分割從圖像中用目標檢測方法獲得不同實例,然后在相同實例區(qū)域內進行逐像素預測,通過使用掩碼作為像素預測的標簽。全卷積神經網絡(FullyConvolu-tionalNetworks,F(xiàn)CN)是語義分割的開端[9],語義分割從此迅速發(fā)展。網絡模型的端到端訓練也是由全卷積神經網絡實現(xiàn)的,雖然FCN實現(xiàn)了像素級別的圖片預測,但是它卻忽略了全局上下文信息,語義分割精度較低;后續(xù),文獻[10]提出Deeplab深度卷積神經網絡結構,其使用空洞卷積解決了重復的下采樣導致全局上下文信息丟失的問題,使用條件隨機場解決了較深卷積結構空間不變性導致的細節(jié)丟失、分割結果粗糙的問題,目前已發(fā)展至DeepLabv3 + 版本[11]。受到自然語言處理中的Transformer[12啟發(fā),許多學者嘗試將Transformer應用于語義分割領域,利用Trans-former的注意力機制,建立遠距離依賴關系,取得了顯著的成果,目前基于Transformer的深度學習模型是語義分割研究熱點[13]
筆者在上述基于Transformer的語義分割網絡的基礎上,提出基于深度學習的高溫合金鋼金相珠光體球化評級方法,包括面向合金鋼珠光體的球化評級流程、基于Transformer編碼器-解碼器Segformer網絡珠光體特征提取、基于珠光體灰度特征的球化等級評定方法等,有效提升高溫合金鋼球化評級效率。
1基于深度學習的高溫合金鋼金相珠光體球化評級流程
圖1為面向合金鋼珠光體的球化等級評定流程圖,先用金相成像設備拍攝金相圖像I,進行對比度增強后得到相應圖像E,將E輸入深度學習網絡,輸出掩膜結果 Fout ;計算 Fout 、實例分割像素覆蓋率 Tout 是否達到閾值 Tseg ,若 Toutseg ,則確定為球化5級,若 ToutgtrsimTseg ,則初步評級為1、2、3、4級球化;將深度學習網絡輸出掩膜 Fout 進一步再分割,依據(jù)分割結果對球化等級進一步細分。
2基于深度學習的高溫合金鋼金相珠光體特征提取方法
2.1金相圖像增強方法
不同成像環(huán)境下,金相圖像的珠光體特征與背景差異較大,因此需將RGB三通道圖像轉為灰度圖像后進行灰度域圖像增強,突出珠光體和背景特征,便于后續(xù)深度學習、再分割等圖像處理。
采用一種局部自適應對比度增強方法,首先將金相圖像區(qū)分為高頻與低頻區(qū)域,將金相圖像中珠光體特征等高頻細節(jié)部分做增強處理,避免若干低頻背景信息的干擾,令 G(i,j) 為原圖像點的灰度值; (2n+1)2 是以 (i,j) 為中心的窗口區(qū)域;mh(i,j) 近似為背景部分; [G(i,j)-mh(i,j) ]為高頻細節(jié)部分; σh2(i,j) 為方差 σ:f(i,j) 為重構增強圖像;D 為權值系數(shù),則局部自適應對比度增強算法可描述為:
2.2基于Transformer的編碼器-解碼器Segformer網絡結構設計
圖2為基于Transformer的編碼器-解碼器Seg-former網絡結構圖[14],圖中 (k=7,s=4,p=3) 表示卷積核大小為 7×7 ,步長為4,填充為3的卷積計算,
BN為歸一化計算,Linear為全卷積計算。卷積Segformer網絡由編碼器和解碼器兩部分組成,網絡輸入為金相3通道RGB圖像(尺度為 W×H×3 ),經過編碼器降采樣后,輸出 F1∈RW/4,H/4,768?F2∈ RW/4,H/4,768,F(xiàn)3∈RW/4,H/4,768,F(xiàn)4∈RW/4,H/4,7684 種特征圖,再將 F1?F2?F3?F4 進行通道相加,得到編碼器輸出特征圖 Fencoder∈RW/4,H/4,3072 Fencoder 經解碼器輸出通道數(shù)為語義分割類別 |Nc 的掩膜圖像 Fout 中矩陣元素即語義分割掩膜信息。
編碼器由 S1,S2,S3,S4 不同階段組成,每個階段編碼器均由若干Attention+MLP網絡結構構成,圖3為Attention內部結構。首先將輸人特征圖 空間尺度
變換為Fin ,然后分支一結構 FinAttention 經全連接層后變換為
,分支二結構FinAttention 經卷積核為 di×di ,步長為 di 卷積與全連接層計算后得
,則Attention輸出
可表示為:
相比于傳統(tǒng)的卷積計算,基于Transformer的Attention網絡結構感受野與計算復雜度有效降低。
圖4為MLP內部網絡結構,其中卷積為深度可分離卷積,對特征圖單通道進行卷積,減少計算量,GELU激活函數(shù) GELU(x) 為:
2.3 珠光體特征再分割方法
通常情況下,Segformer網絡輸出掩膜圖像分割范圍比真實分割范圍大,可通過進一步細化分割,令Segformer網絡輸出掩膜圖像的語義分割特征為M,首先對M進行灰度處理,得到灰度圖像 G :
G=0.2989M(:,:,1)+0.587M(:,:,2)+0.114M(:,:,:,3)
計算 G 中每個像素的累加概率 P(i) :
則灰度熵 及類間方差 σ2 的計算式為:
分割灰度閾值T可確定為 T=max(σ2) 。
令再分割的珠光體特征區(qū)域集合為A{a,a,…,an} ,分別計算每個特征區(qū)域 ∣ai 內的灰度分布概率 Hi{hi0,hi1,…,hi255} ,取灰度值為[0,10]的像素點概率 {hi0,hi1,…,hi10} 為球化等級進一步細分指標,則用于計算球化等級的指標可計算 α 為:
Segformer網絡采用交叉熵損失為網絡訓練損失函數(shù),訓練過程中網絡真實標簽為 Fout ,網絡輸出為 Fout′ ,則網絡訓練損失L計算式為:
其中, λj(j=1,2,…,10) 為評價系數(shù)。
3實驗
實驗金相圖像由PTI-A5800現(xiàn)場金相檢測儀采集12Cr1MoV、15CrMo等材質容器獲得,邊緣計算硬件CPU為i78700k、內存32GB、GPU為GeForceRTX2080Ti,深度學習環(huán)境為Py-torch1.8.1。使用VIA(VGGImageAnnotator)標注工具將堆疊千克組砝碼圖像灰度變換后標注為數(shù)據(jù)集,對數(shù)據(jù)集旋轉、透視變換、改變亮度、水平鏡面翻轉、垂直鏡面翻轉生成100張訓練集圖像,另生成20張網絡驗證集圖像。設置網絡超參數(shù)學習率為0.00006,訓練步長為160000,損失函數(shù)收斂在0.00184,分別采用語義分割領域常用的交并比(IntersectionoverUnion,IoU)、準確率(Accuracy,Acc)作為實驗珠光體特征提取結果評價指標。圖5為IoU計算方法示意圖,其中FP(FalsePositive)樣本的真實類別是負類,但是模型將其識別為正類,即圖中綠色區(qū)域;TP(TruePositive)樣本的真實類別是正類,且模型識別的結果也是正類,即圖中黃色區(qū)域;FN(FalseNega-tive)樣本的真實類別是正類,但是模型將其識別為負類,即圖中藍色區(qū)域;TN(TrueNegative)樣本的真實類別是負類,且模型將其識別為負類,即圖中白色區(qū)域。
loU可計算為:
準確率 .Acc 表示預測正確的樣本數(shù)量占全部樣本的百分比,可計算為:
圖6為深度學習預測與再分割預測結果,表1為Segformer網絡輸出與再分割背景、珠光體特征的 IoU,Acc 結果對比。
結合圖、表內容可以看出,Segformer網絡能較好提取金相圖中珠光體特征;將Segformer網絡輸出再分割能進一步提升背景、珠光體特征的IoU,Acc ,再分割方法可有效提升Segformer網絡提取精度。
令評價系數(shù)A={255,254,253,252,251,250,249,248,247,246,245},當 0?αlt;20 時,球化評級為4級;20?αlt;30 時,球化評級為3級; 30?αlt;40 時,球化評級為2級; 40?α 時,球化評級為1級。表2為隨機4張金相球化評級得分及評級結果,圖7為相應珠光體特征提取結果,從球化評級結果中可以看出,式(11)量化指標 α 可較好反映珠光體的球化等級。
4結束語
在珠光體金相球化評級定量研究領域,筆者創(chuàng)新性地提出基于深度學習的高溫合金鋼金相珠光體球化評級新方法,該方法通過研究不同球化等級珠光體特征差異,提出基于圖像珠光體灰度的評級指標 α 的計算方法,嘗試將金相球化評級結果形成量化指標;首先通過珠光體特征增強方法,增強珠光體特征信息,然后,研究基于Transformer的編碼器-解碼器Segformer網絡結構,提取金相圖像中珠光體特征區(qū)域,經過再分割的珠光體特征計算評級指標 α ;實驗表明,Segformer網絡可有效提取珠光體特征區(qū)域,深度學習提取 + 再分割方法可提高特征提取 IoU,Acc 結果,且設計的評級指標 α 可較好反映球化等級。本研究方法深度學習模型部署在遠程,下一步將部署邊緣計算模型,可實現(xiàn)珠光體在線評級。
參考文獻
[1]陳國安,楊王玥,孫祖慶.中碳鋼過冷奧氏體形變過程中的組織演變[J].金屬學報,2007,43(1):27-34.
[2] 裴朝,李華,胡愛民.基于LVDS的石油管道檢測系統(tǒng)[J].儀表技術與傳感器,2010(12):44-46.
[3]中國電力工業(yè)聯(lián)合會標準化部.火電廠用12Cr1MoV鋼球化評級標準:DL/T773—2016[S].北京:中國電力出版社,2016.
[4] 中國電力工業(yè)聯(lián)合會標準化部.火電廠用15CrMo鋼珠光體球化評級標準:DL/T787—2001[S].北京:中國電力出版社,2016.
[5] 張強.基于D-S證據(jù)理論的圖像識別研究[D].保定:華北電力大學,2007.
[6] 張紅旗,王春光.12Cr1MoV鋼金相圖像處理技術的研究[J].內蒙古農業(yè)大學學報(自然科學版),2012,33(3):163-168.
[7]張紅旗,王春光,王全喜,等.數(shù)字圖像處理技術在金相分析中的應用研究[J].農機化研究,2013,35(3):209-213;217.
[8] 姚順春,陸繼東,李軍,等.基于激光等離子體光譜的12Cr1MoV珠光體球化等級的現(xiàn)場檢測方法:CN103424397A[P].2015-08-26.
[9] SHELHAMERE,LONGJ,DARRELLT.FullyConvol-utional Networksfor Semantic Segmentation[J].IEEETransactions on PatternAnalysisandMachineIntelligence,2015,39(4):640-651.
[10] CHENLC,PAPANDREOUG,KOKKINOSI,etal.Semantic image segmentation with deep convolu-tional nets and fully connected crfs[J].arXiv,2014:14127062.
[11] PENGX,YINZ,YANGZ.Deeplab_v3_plus-netforImage Semantic Segmentationwith Channel Compres-sion[C]//202O IEEE 2Oth International Conference onCommunication Technology(ICCT).IEEE,2020.
[12] VASWANIA,SHAZEERN,PARMARN,etal.Atten-tionisall you need[C]//Advancesin Neural Informa-tionProcessing Systems.2017:5998-6008.
[13] STRUDEL R,GARCIAR,LAPTEVI,etal.Segmenter:
Transformer for semantic segmentation[C]//Proceedingsof the IEEE/CVF International Conference on ComputerVision.2021:7262-7272.
[14]XIE EZ,WANGWH,YUZD,et al.SegFormer:Simpleand Efficient Design for Semantic Segmentation withTransformers[J].arXiv,2021,34:12077-12090.
(收稿日期:2024-04-04,修回日期:2025-05-19)
A Deep Learning-based Metallographic Spheroidization Rating Method for High-temperature Alloy Steels
LIAO Pu1, WANG Feng-huai1,2.3, CHEN Xing-yang1,2.3, LU Shu-hua1,2.3,XU Cheng1,YE Ling-wei1,2.3
(1. Zhejiang Special Equipment Science Research Institute ;2. Key Laboratory of Inspection and Testing TechnologyResearchforPetrochemicalEquipment,ZhejiangProvincialMarketRegulationandManagementAdministration; 3. Zhejiang Provincial KeyLaboratory ofSpecial Equipment Safety Testing Technology Research)
AbstractHigh-temperature alloy steel enjoys wide application in boilers,pressure vessels and pressure pipelines and the regular metallographic inspection is crucial to the equipment operation. Aiming at the metallographic pearlite feature extraction method's weak applicability basedonthe traditional threshold segmentation algorithm,a process of spheroidation grade evaluation was formulated to study the metallographic pearlite feature extraction based on deep learning,including investigating the quantitative indicatorsof different spheroidation grades from the standard definition rating map.Having high-temperature alloy steel metalographic images taken as experimental object for verification shows that,the background and pearlite features of Segformer network+resegmentation method has higher IoU and Acc ,and the quantitative indexes better reflect the spherification level.
Key words high-temperature alloy steel, metalographic rating,deep learning, image processing
(Continued from Page 437)
rameters and tube bundle structure parameters on heat transfer,resistance and ash accumulation characteristics of finned tube bundle were discussed.The results show that,the average convective heat transfer coefficient and inlet and outlet pressure dropon the flue gas sideare directly proportionalto the flue gas velocity and the longitudinal tube spacing of the tube bundle,and inversely proportional to the transverse tube spacing of the tube bundle.When the flue gas flow velocity is 4- 8m/s ,the deposition rates of particles with a particle size of 1μm and 5 μm increase with the increase of the flue gas flow velocity,and the deposition rates of particles with a particle size of 10μm basicallyremain unchanged after the flue gas flow velocity is 5m/s . At the same flow rate,the deposition rate increases first and then decreases with the increase of particle size,and the deposition rate reaches the maximum when the particle size is 5μm . Under the condition of the same particle inlet mas flow rate,increasing the transverse tube spacing and decreasing the longitudinal tube spacing can reduce the particle deposition rate.
Key Wordsheat pipe low-temperature economizer,helical fin tube with broken teeth,flow heat transfer, particle deposition,numerical simulation