任姿穎,宋寶宇
(鞍鋼集團(tuán)北京研究院有限公司,北京 102211)
材料科學(xué)作為通過物質(zhì)的性質(zhì),研究材料的制備,采用加工工藝對材料微觀結(jié)構(gòu)進(jìn)行科學(xué)合理整合應(yīng)用的一門跨學(xué)科科學(xué),是未來科技發(fā)展的基礎(chǔ)。隨著新的工業(yè)革命時(shí)代的到來,加速材料研發(fā)進(jìn)程已經(jīng)成為材料研究者乃至全行業(yè)共同關(guān)注的目標(biāo),如何以低成本、高可靠性獲取材料研發(fā)過程中的實(shí)驗(yàn)數(shù)據(jù)也成為亟待解決的課題。數(shù)據(jù)時(shí)代的發(fā)展使得機(jī)器學(xué)習(xí)算法和大數(shù)據(jù)技術(shù)已經(jīng)逐漸結(jié)合應(yīng)用到材料研發(fā)的各個方面。例如,Kiyohara[1]研究參雜劑在晶界處的偏析行為,通過運(yùn)用數(shù)據(jù)挖掘技術(shù)和隨機(jī)樹、遺傳等機(jī)器學(xué)習(xí)算法獲得合金元素在晶界偏析的穩(wěn)定結(jié)構(gòu)。Wen等[2]通過機(jī)器學(xué)習(xí)算法輔助進(jìn)行高熵合金的Al-Co-Cr-Cu-Fe-Ni系統(tǒng)合金成分設(shè)計(jì),并通過迭代循環(huán)和機(jī)器學(xué)習(xí)模型相結(jié)合,獲得了具有高強(qiáng)度的高熵合金成分,加快了鋼鐵材料的成分實(shí)驗(yàn)進(jìn)程。Rehaman等[3]在研究高性能鋼及其熱處理過程中通過收集包含2 277個唯一條目的馬氏體與合金組成的數(shù)據(jù)庫,利用機(jī)器學(xué)習(xí)手段預(yù)測出鋼鐵材料中馬氏體初始溫度。V.Stanev等[4]通過材料的超導(dǎo)性與化學(xué)和結(jié)構(gòu)性質(zhì)之間的聯(lián)系,利用機(jī)器學(xué)習(xí)算法模型在整個無機(jī)晶體結(jié)構(gòu)數(shù)據(jù)庫(ICSD)中搜索潛在的新超導(dǎo)體,并確定了大于30種非銅酸鹽和非鐵基氧化物作為超導(dǎo)的候選材料。但是,目前關(guān)于如何更好解決材料實(shí)驗(yàn)過程中的信息提取和識別的研究較少,是迫在眉睫需要解決的課題。本文從材料科學(xué)和計(jì)算機(jī)算法應(yīng)用兩個方面對材料微觀圖像識別和大數(shù)據(jù)處理技術(shù)展開討論。
材料組織圖像識別是指通過利用計(jì)算機(jī)對材料相關(guān)組織圖像進(jìn)行處理,理解與分析識別各種不同狀態(tài)下的目標(biāo)和對象的技術(shù),是基于深度學(xué)習(xí)和機(jī)器學(xué)習(xí)相關(guān)算法的實(shí)踐應(yīng)用。
隨著人工智能的發(fā)展,機(jī)器算法逐步應(yīng)用在圖像識別中,常見的算法包括貝葉斯分類法、模式匹配等。貝葉斯分類法基于對不同特征進(jìn)行分類,并通過相似度判斷是否為同一類,但存在局限性,因貝葉斯分類法的前提條件是假設(shè)一個屬性值對判斷是否同類時(shí)的影響?yīng)毩⒂谄渌麑傩灾?,?shí)際情況很難成立,所以分類過程中的準(zhǔn)確率會下降。
Facebook人工智能負(fù)責(zé)人YannLeCun發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)(Cnn)促使整個計(jì)算機(jī)科學(xué)在人工智能領(lǐng)域的應(yīng)用有了新的方向。神經(jīng)網(wǎng)絡(luò)的前身是由 Mcculloch 和 Pitts[5]建立的 M-P 模型,之后Frank定義了一個感知器模型,實(shí)現(xiàn)了一個真正意義上的神經(jīng)網(wǎng)絡(luò)模型。該模型由兩層神經(jīng)元構(gòu)成,并對輸入和輸出層的兩層神經(jīng)元連接,實(shí)現(xiàn)了輸入的線性分類。圖1為神經(jīng)元結(jié)構(gòu)示意圖。圖1中,xn為第 i個神經(jīng)元的輸入;wi為權(quán)重;θi為閾值;f為函數(shù);y為輸出。
圖1 神經(jīng)元結(jié)構(gòu)示意圖Fig.1 Schematic Diagram for Neuron Structure
隨著多層感知器模型的發(fā)展,誤差反向傳播模型(BP網(wǎng)絡(luò))進(jìn)入機(jī)器學(xué)習(xí)研究者的視野,其包含一個輸入層、一個輸出層、一個或多個隱含層。同層網(wǎng)絡(luò)無連接,前后兩層全連接,具有高度并行性和非線性處理能力,并在正向和反向過程中不斷循環(huán)直至達(dá)到極小誤差。BP網(wǎng)絡(luò)一般分為四道程序,首先對數(shù)據(jù)進(jìn)行預(yù)處理,然后對模型構(gòu)建、優(yōu)化,最后對模型進(jìn)行評價(jià)得到較優(yōu)解。上述過程中可以通過優(yōu)化權(quán)值和閾值找到最優(yōu)解。
淺層神經(jīng)網(wǎng)絡(luò)包括誤差反向傳播模型(BP網(wǎng)絡(luò))、徑向基神經(jīng)網(wǎng)絡(luò)(Rbf模型)、Crff模型等,存在無法解決特征維度過大,網(wǎng)絡(luò)層數(shù)過多,神經(jīng)網(wǎng)絡(luò)梯度消失過擬合不足等問題,尤其在圖像處理與識別過程中。所以基于深度學(xué)習(xí)的大規(guī)模數(shù)據(jù)集自動學(xué)習(xí)圖像特征的卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)在研究者的視野中,而圖像識別研究重點(diǎn)也逐漸轉(zhuǎn)變成優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)技術(shù),使計(jì)算資源占用情況得以改善,訓(xùn)練參數(shù)得到簡化從而提升整個算法的運(yùn)行效率。因其不需要對圖像進(jìn)行預(yù)處理和特征提取等相關(guān)操作,所以成為圖像識別最顯著、最常用的研究方法和手段。在處理二維圖像過程中,通過多層處理特征自動提取圖像顏色、紋理、形狀及圖像的拓?fù)浣Y(jié)構(gòu)。
卷積神經(jīng)網(wǎng)絡(luò)一般由輸入層、卷積層、激勵層、池化層、全連接層和輸出層構(gòu)成。因其具有局部感知視野,空間域或時(shí)間域上的池化和權(quán)重共享功能,在圖像識別領(lǐng)域得到了廣泛的應(yīng)用。就目前算法發(fā)展而言,卷積神經(jīng)網(wǎng)絡(luò)作為圖像識別領(lǐng)域的主流算法正在廣泛應(yīng)用于不同的領(lǐng)域。圖2為卷積神經(jīng)網(wǎng)絡(luò)示意圖。
圖2 卷積神經(jīng)網(wǎng)絡(luò)示意圖Fig.2 Schematic Diagram for Convolution Neural Network
在材料研究方向中,現(xiàn)階段神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于材料研究中的成分設(shè)計(jì)、工藝設(shè)計(jì)、服役性能預(yù)測、加速模擬、輔助表征等方面,極大促進(jìn)了材料研究的發(fā)展。但因材料圖像的組織復(fù)雜,可訓(xùn)練數(shù)據(jù)集過少等問題,現(xiàn)階段在圖像識別領(lǐng)域的應(yīng)用亟待突破。
在鑄鐵金相組織識別過程中,蘭州理工大學(xué)徐健林等[6]建立球墨鑄鐵等級的評價(jià)模型并借助應(yīng)用軟件對鑄鐵金相檢驗(yàn)標(biāo)準(zhǔn)的球化級別分級圖進(jìn)行了處理和分析。華中科技大學(xué)的吳雪平等[7]利用篩選法開發(fā)出鎂鋁合金半固態(tài)金相組織分析軟件可以得到固相率,在經(jīng)過顏色過濾后利用計(jì)算像素個數(shù)得到晶粒尺寸。甘肅工業(yè)大學(xué)王智平等[8]通過邊緣檢測提取算法識別圖像并運(yùn)用二值化處理圖像獲得鑄鐵金相相關(guān)組織識別結(jié)果。遼寧工程大學(xué)馮欣等[9]利用大量金屬樣本組織顯微的圖像分析所取得的特征參數(shù)與合作單位的顯微暗室成像參數(shù)進(jìn)行實(shí)驗(yàn)對比,結(jié)果顯示金相組織顯微圖像分析算法對金屬晶粒特征參數(shù)測量具有較好的準(zhǔn)確率。圖像識別也可以通過對焊接接頭金相組織的定量分析實(shí)現(xiàn)按已知成分和組織預(yù)測接頭的性能,為合理選擇焊接方法、焊接材料和焊接工藝參數(shù)提供理論依據(jù)。
早期的定量金相分析只是采用人工方法如網(wǎng)格法進(jìn)行標(biāo)注,不僅誤差大、準(zhǔn)確性差而且勞動強(qiáng)度大,現(xiàn)在計(jì)算機(jī)和模式識別技術(shù)已越來越多地被應(yīng)用到焊接質(zhì)量評價(jià)上來。西安交通大學(xué)焊接研究所的王雅生等[10]利用取得的碳鋼焊縫組織石墨化顯微圖像的自動測量研究成果,針對壓力鍋爐中溫中壓機(jī)組主蒸汽管道碳鋼部件焊縫處金相組織石墨化程度的檢測問題,將數(shù)字圖像處理和模式識別技術(shù)運(yùn)用于顯微金相組織測量之中,選擇適合的算法,編程建立了一套對石墨進(jìn)行形狀表征和粒度測量的圖像檢測系統(tǒng)。
一直以來,在圖像處理領(lǐng)域不斷引入一些新理論和新算法,如張紅旗等[11]對12Cr1MoV鋼金相圖像進(jìn)行圖像識別,運(yùn)用直方圖均衡化的方法對金相圖像進(jìn)行了增強(qiáng)處理,使用中值濾波器對圖像進(jìn)行了降噪處理后,分析小波算法的降噪機(jī)理并使用,對空間域?yàn)V波和頻域?yàn)V波的效果進(jìn)行了比較,利用數(shù)學(xué)形態(tài)學(xué)的方法對圖像效果進(jìn)行改善,使得珠光體的輪廓變得平滑、清晰,使用Sobel算子、LoG算子進(jìn)行珠光體的邊緣提取,利用LoG算子對目標(biāo)物的邊緣檢測取得了比較滿意的效果。
李新城等[12]采用改進(jìn)的分水嶺方法對晶界進(jìn)行了有效提取。于洋等[13]將邊界追蹤及Freeman碼的方法應(yīng)用于金相的定量分析也取得顯著的成效。
隨著圖像識別基于神經(jīng)網(wǎng)絡(luò)的算法革新,陳丹等[14]利用BP神經(jīng)網(wǎng)絡(luò)算法對金相圖片中的粒子進(jìn)行識別,并在圖像識別的降噪預(yù)處理時(shí)運(yùn)用了區(qū)別于傳統(tǒng)二值化分割的全局和局部閾值法來進(jìn)行圖像分割。
楊根濤等[15]基于HALCON機(jī)器視覺算法對鉚釘型電觸頭線材進(jìn)行金相分析,通過提取金相圖像的共生矩陣并分析其特征向量,實(shí)現(xiàn)顆粒物形貌、尺寸、分布特征等量化分析。
賴傳濱等[16]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的虛擬邊界模型,通過轉(zhuǎn)換為二分類任務(wù),將每個圖像的中心像素點(diǎn)作為檢測模型的輸入,并將該圖像的輸出作為檢測模型的輸出類別,同時(shí)在基于鈦合金的圖像數(shù)據(jù)集上進(jìn)行了訓(xùn)練,得到了比較好的訓(xùn)練效果,但也發(fā)現(xiàn)了虛擬邊界不連續(xù)等問題。
由于材料性能和結(jié)構(gòu)之間有一定的相關(guān)性,所以人們在材料研究領(lǐng)域逐漸應(yīng)用圖像識別技術(shù),例如,根據(jù)金屬材料金相顯微組織結(jié)構(gòu)(如圖3所示)研究其性能、成分、組織結(jié)構(gòu)、加工工藝之間的關(guān)系。而傳統(tǒng)的分析方法一般是經(jīng)驗(yàn)性的定性或半定量分析,耗費(fèi)大量時(shí)間才能得到結(jié)果。
圖3 鋼鐵金相組織形貌(×500)Fig.3 Appearances of Metallurgical Structures in Iron and Steel
隨著圖像識別技術(shù)在材料科學(xué)領(lǐng)域應(yīng)用的發(fā)展,在分析晶粒感較明顯、晶粒邊界模糊、內(nèi)部晶粒塊混亂時(shí)有所突破。該技術(shù)分析金相圖像的方法有很多,包括分割算法與識別算法,前者主要有基于灰度閾值、基于邊緣檢測和基于深度學(xué)習(xí)的方法。
(1)基于灰度閾值
基于灰度閾值的分割方法大部分是通過人工經(jīng)驗(yàn)值,或者通過圖像的灰度直方圖的特點(diǎn),自適應(yīng)選取一個合適的閾值對金相圖像進(jìn)行分割?,F(xiàn)階段,自適應(yīng)閾值[17]、最大類間方差(Otsu)[18]是常用的最優(yōu)閾值選擇方法。王桂棠等[19]提出了基于數(shù)字圖像處理技術(shù)的金相組織定量分析,基于直方圖均衡化和基于區(qū)域生長及數(shù)學(xué)形態(tài)學(xué)的兩種方法對金相組織進(jìn)行圖像處理。
(2)基于邊緣檢測
理想情況下,晶粒內(nèi)部強(qiáng)度是一致的,且晶粒內(nèi)部和邊界區(qū)域之間存在強(qiáng)度變化。因此,基于邊緣檢測的識別技術(shù)有望將邊界檢測為邊緣,它假設(shè)圖像中的對象有清晰的邊界,其中存在明顯的強(qiáng)度差異。
邊緣檢測方法包括 Canny 算法[20]、Sobel算法[21]、基于拉普拉斯算子[22]的邊緣檢測方法、基于高斯差分算子的DOG方法[23]等。其中DOG方法利用兩個高斯算子構(gòu)建了一個帶通濾波器,可以在去除噪聲的同時(shí),將圖像中的平滑區(qū)也過濾掉,只剩下邊緣部分,從而達(dá)到提取邊緣的目的。此外,基于分水嶺[24-26]的方法可以用于金相圖像分割,但在分割出閉合的輪廓時(shí),極易產(chǎn)生“過分割”的現(xiàn)象,導(dǎo)致金相晶粒過分割。
近年來,主動輪廓模型已經(jīng)廣泛應(yīng)用于圖像分割領(lǐng)域中,代表性的是傳統(tǒng)的CV模型及其變形模型[27-29],由于主動輪廓方法是利用圖像拓?fù)浣Y(jié)構(gòu)的變化對圖像進(jìn)行邊緣檢測,該方法迭代次數(shù)多,運(yùn)行時(shí)間較長。 Heilbronner[30]開發(fā)了一種縮短時(shí)間自動檢測晶界的方法,該方法能夠捕捉特定視場的多幅圖像,使用梯度濾波器從每個圖像中檢測重要邊界,這些界限最終都結(jié)合在一起,但是它可能無法提供閉合輪廓。該方法與不同圖像的配準(zhǔn)有關(guān),因此存在復(fù)雜性。上述邊緣分割法均是基于圖像全局的邊緣檢測方法,然而對于某些金相圖像,例如由多個不規(guī)則顆粒及其邊界構(gòu)成的晶粒圖像,基于全局的邊緣檢測算法并不適用,這時(shí)需要根據(jù)每個晶粒的局部特征對其邊緣進(jìn)行檢測,從而達(dá)到分離每個晶粒的目的。在大部分基于局部的分割方法中,基于超像素的圖像分割法適用性最廣。超像素是由一系列位置相鄰且顏色、亮度、紋理等特征像素相近的像素點(diǎn)組成的小像素塊區(qū)域,大多保留了進(jìn)一步圖像分割的有效信息,且一般不會破壞圖像中物體的邊界信息。
(3)基于機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)方法是通過提取出圖像中微觀組織的特征信息(包括紋理、灰度值、空間關(guān)系、角點(diǎn)和形態(tài)),利用可學(xué)習(xí)的分類器做出決策。例如,Papa等[31]使用分類器 Optimum Path Forest(OPF)提取紋理和灰度值來獲得鑄鐵中的石墨晶粒;Bulgarevich等[32]利用快速隨機(jī)森林自動分割鐵素體、珠光體、貝氏體和馬氏體微觀結(jié)構(gòu);Azimi等[33]利用全卷積神經(jīng)網(wǎng)絡(luò)(FCNN)和最大投票方案來實(shí)現(xiàn)圖像像素級分割;Choudhury等[34]將分水嶺與卷積神經(jīng)網(wǎng)絡(luò)(CNN)相結(jié)合,實(shí)現(xiàn)了鋼中相的識別;Mingchun Li等[35]提出一種基于多任務(wù)學(xué)習(xí)的更豐富的卷積特征(RCF)體系結(jié)構(gòu)檢測晶界和分割金相圖像。
分布不規(guī)則的金相圖像由于標(biāo)注難,晶粒小,且缺少紋理信息,邊界模糊等,可學(xué)習(xí)的內(nèi)容相對較少,無法直接使用基于學(xué)習(xí)的方法進(jìn)行分割。
由于材料復(fù)雜的顯微組織結(jié)構(gòu)甚至原子結(jié)構(gòu),很難判斷其組織與材料性能、表征特點(diǎn)的關(guān)系,要通過大量的實(shí)驗(yàn)和相關(guān)經(jīng)驗(yàn)來判斷。為了縮短實(shí)驗(yàn)周期,更合理地指導(dǎo)實(shí)驗(yàn)方向并判斷材料的組織結(jié)構(gòu),將機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)等算法與大數(shù)據(jù)技術(shù)相結(jié)合勢在必行。更先進(jìn)的算法手段對材料微觀組織識別并建立相關(guān)組織和功能特性的研究尤為重要,其中金相圖像識別和定量分析在推動和促進(jìn)材料科學(xué)高效化發(fā)展具有重要作用。如何更好地響應(yīng)國家提出的,材料大數(shù)據(jù)時(shí)代建立有效完善的材料圖像性能數(shù)據(jù)庫,為之后更好的材料產(chǎn)品研發(fā)作準(zhǔn)備,是未來發(fā)展的新方向。未來材料圖像識別軟件也將朝著智能化、自動化、完善化、高清化的方向發(fā)展,材料研究也將步入一個嶄新的時(shí)代。
圖像識別技術(shù)主要通過研究照片中的微觀結(jié)構(gòu)和力學(xué)性能之間對應(yīng)的關(guān)系,有助于根據(jù)已知成分和組織結(jié)構(gòu)對材料的力學(xué)性能進(jìn)行預(yù)測。利用計(jì)算機(jī)圖像識別技術(shù)自動分析材料的結(jié)構(gòu)性能關(guān)系研究,既能加速材料研發(fā)進(jìn)程,又能推動材料科學(xué)發(fā)展,而其中一個亟待解決的問題便是材料圖像的準(zhǔn)確自動分割,由于材料的金相組織特殊,更好結(jié)合機(jī)器學(xué)習(xí)技術(shù)與大數(shù)據(jù)技術(shù),將材料圖像組織與性能相結(jié)合,利用圖像識別技術(shù)得到更真實(shí)精準(zhǔn)的結(jié)論,突破材料組織圖像圖片少、較難獲得復(fù)雜組織等困難的壁壘是現(xiàn)階段亟待解決的問題。