黃建才 蔣朝輝,2 桂衛(wèi)華 潘 冬 許 川 周 科

高爐煉鐵是將含鐵原料(燒結(jié)礦、球團(tuán)礦等)在焦炭、石灰石以及從爐底鼓入的熱風(fēng)作用下還原成鐵的復(fù)雜冶煉過程.在高爐冶煉過程中,爐料(燒結(jié)礦、球團(tuán)礦、焦炭等)在熱風(fēng)浮力和自身重力的作用下會形成料面,爐料在發(fā)生復(fù)雜物理化學(xué)反應(yīng)后會形成熔融鐵水并從鐵口排出,同時爐頂會周期性撒入爐料,并維持料面在一定的高度范圍內(nèi)[1-2].爐內(nèi)料面運動狀態(tài)是高爐運行過程的關(guān)鍵參數(shù)之一,對于指導(dǎo)爐頂布料操作、防止異常工況的發(fā)生具有重要的意義.然而,高爐是一個大型的黑箱子,由于爐內(nèi)高溫高壓、密閉弱光、強粉塵等惡劣的冶煉環(huán)境,現(xiàn)場難以掌握爐內(nèi)料面狀態(tài).

為了監(jiān)測爐內(nèi)反應(yīng)狀況,現(xiàn)場會在高爐爐頂安裝視頻監(jiān)測設(shè)備,如紅外熱成像儀[3]、爐頂可見光攝像機以及高溫工業(yè)內(nèi)窺鏡[4].紅外熱成像儀通過紅外成像原理獲取爐頂料面的溫度信息,能夠在一定程度上獲取料面反應(yīng)狀態(tài),但是容易受到高溫煤氣流的影響,且損失了料面紋理信息;為了監(jiān)測爐內(nèi)料面反應(yīng)程度,一般會在高爐爐頂安裝可見光攝像機,然而由于爐內(nèi)粉塵和高溫煤氣流的遮擋,只能拍攝到爐內(nèi)的溜槽等極其有限的信息.高溫工業(yè)內(nèi)窺鏡是一種新型的料面視頻采集設(shè)備,其采用內(nèi)窺式可見光成像技術(shù)近距離深入爐內(nèi)實時獲取料面視頻.考慮到高爐布料是周期性、間歇性的,采集到的料面視頻也呈現(xiàn)出周期性變化的規(guī)律.此外,料面視頻存在信息冗余、圖像質(zhì)量參差不齊等問題,現(xiàn)場人員需要花費較多的時間去檢索視頻中的關(guān)鍵信息,如果在后期對所有視頻幀都進(jìn)行分析處理會大大降低效率并影響結(jié)果.研究高爐料面視頻關(guān)鍵幀自動提取方法能夠從大量的料面視頻中篩選出清晰的、穩(wěn)定的視頻幀,提高后期視頻處理的精度和效率.

視頻關(guān)鍵幀的提取是減少視頻冗余、剔除無效重復(fù)信息的重要手段,在視頻檢索、視頻壓縮存儲、視頻摘要、視頻分類、工業(yè)視頻監(jiān)測等領(lǐng)域具有廣泛的應(yīng)用[5].現(xiàn)有的視頻關(guān)鍵幀提取方法可以分為基于圖像特征的方法[6]、基于鏡頭檢測的方法[7-8]、基于聚類的方法[9]、基于運動信息的方法[10]、基于學(xué)習(xí)的方法[11-13]等.基于圖像特征的方法通過圖像的顏色、紋理、亮度等底層特征,計算這些特征的差異并與設(shè)定的閾值做比較,這種方法計算量比較大,計算效率并不高;基于鏡頭檢測的方法先將其分成許多鏡頭,并選取第一幀、最后一幀以及中間固定的幾幀作為關(guān)鍵幀,這種方法計算量小,但提取的關(guān)鍵幀數(shù)目相對固定,且沒有考慮視頻內(nèi)容;基于聚類的方法先根據(jù)聚類算法將相似的幀劃分為同一類,然后從不同類別中選取出具有代表性的視頻幀,在關(guān)鍵幀提取中應(yīng)用比較廣泛.Singh 等[14]提出了一種對光照變化和運動魯棒的鏡頭邊界檢測方法,基于局部二值模式傅里葉直方圖(Local binary pattern histogram Fourier,LBP-HF)特征和自適應(yīng)閾值檢測出視頻關(guān)鍵幀.為了提高輕軌視覺定位的精度,一種基于像素顯著性分?jǐn)?shù)的關(guān)鍵幀提取方法被提出,通過滑動窗口提取當(dāng)前幀圖像塊的顯著性分?jǐn)?shù),從而篩選出關(guān)鍵幀,為場景跟蹤提供合適的檢索窗口[15].文獻(xiàn)[16]提出了一種基于時空分析的運動狀態(tài)自適應(yīng)視頻關(guān)鍵幀提取方法,通過分析目標(biāo)運動狀態(tài)并選擇運動狀態(tài)變化的視頻幀作為關(guān)鍵幀.Gharbi 等[17]提出一種基于興趣點、可重復(fù)性網(wǎng)絡(luò)和模塊化的局部描述方法,并引入圖聚類提取關(guān)鍵幀,以最小化視頻的信息冗余.Lai 等[18]提出一種時間約束聚類算法,對內(nèi)容相似的幀進(jìn)行分組,并選擇了顯著值最大的視頻幀作為關(guān)鍵幀.Wu 等[19]提出了一種基于高密度峰值搜索(Video representation based high density peaks search,VRHDPS)聚類算法的視頻表示方法,并將聚類中心判定為關(guān)鍵幀.Chu 等[20]提出了一種共聚類方法,通過識別視頻中共享的相似鏡頭來同時總結(jié)相同主題的多個視頻.

隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展,越來越多文獻(xiàn)研究基于深度學(xué)習(xí)的關(guān)鍵幀提取方法[21-22].為了解決視頻關(guān)鍵幀提取存在的上下文注意力不足和分布不一致的問題,Ji 等[23]將監(jiān)督視頻摘要表述為序列到序列的學(xué)習(xí)框架,提出了一種注意力和分布一致性學(xué)習(xí)方法,利用真實的帶標(biāo)注的視頻訓(xùn)練并預(yù)測視頻幀的重要性分?jǐn)?shù),從而獲得關(guān)鍵幀.Abed 等[24]構(gòu)建了帶標(biāo)簽的人臉圖像數(shù)據(jù)集,采用卷積神經(jīng)網(wǎng)絡(luò) (Convolutional neural network,CNN)有監(jiān)督預(yù)測人臉圖像質(zhì)量,并將其作為關(guān)鍵幀提取的依據(jù).為了更好地幫助運動員訓(xùn)練以及裁判打分,一種用于運動視頻的深度關(guān)鍵幀提取方法被提出,該方法以標(biāo)有運動員前景和背景區(qū)域的圖像為數(shù)據(jù)集,通過全卷積網(wǎng)絡(luò)提取運動員的感興趣區(qū)域,并基于卷積神經(jīng)網(wǎng)絡(luò)估計每個幀的概率,將概率最大的幀判別為關(guān)鍵幀[25].Muhammad 等[26]提出了一種基于深度學(xué)習(xí)的工業(yè)監(jiān)控場景下的視頻關(guān)鍵幀提取方法(Deep learning-based resource-constrained video summarization,DeepReS),采用ORB (Oriented FAST and rotated BRIEF)特征和卷積神經(jīng)網(wǎng)絡(luò)獲得候選關(guān)鍵幀,并根據(jù)用戶需求篩選出熵值高的視頻幀.針對以查詢?yōu)橹行牡囊曨l摘要任務(wù),Xiao 等[27]提出了一種由局部注意力機制和查詢相關(guān)性計算模塊構(gòu)成的卷積分層注意力網(wǎng)絡(luò),計算視頻鏡頭與查詢之間的相似性,從而生成視頻關(guān)鍵幀.Zhou 等[28]將視頻關(guān)鍵幀提取描述成順序決策的過程,提出了一種基于強化學(xué)習(xí)的深度摘要網(wǎng)絡(luò)(Deep summarization network,DSN),設(shè)計了一個無標(biāo)簽的多樣性-代表性獎勵函數(shù),獲得具有多樣性和代表性的視頻關(guān)鍵幀.盡管深度學(xué)習(xí)方法在視頻關(guān)鍵幀的提取上表現(xiàn)出較好的性能,但是一般依賴于充足的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)視頻幀中的重要幀的特征,大多數(shù)方法需要對視頻進(jìn)行大量的人工標(biāo)注,模型的泛化性和可解釋性不強,并且缺乏對視頻的全局理解.考慮到高爐爐內(nèi)惡劣的冶煉環(huán)境,且料面形貌會受到高爐冶煉操作、高爐尺寸、工況、布料周期等因素的影響,料面形貌具有多樣性和不確定性,很難構(gòu)建完整的料面視頻數(shù)據(jù)集,標(biāo)簽數(shù)據(jù)也難以獲得,因此深度學(xué)習(xí)方法并不適用于高爐料面視頻關(guān)鍵幀的提取.此外,與一般場景視頻關(guān)鍵幀提取不同的是,從周期性變化且質(zhì)量不穩(wěn)定的高爐料面視頻獲取關(guān)鍵幀更加復(fù)雜,其對反映爐內(nèi)運行狀態(tài)、優(yōu)化高爐爐頂布料操作具有重要的指導(dǎo)意義.由于高爐料面視頻的特殊性,本文定義的高爐料面關(guān)鍵幀為視頻中不同狀態(tài)下的中心氣流穩(wěn)定、清晰、無爐料及粉塵遮擋且特征明顯的圖像序列.

為從大量視頻中自動準(zhǔn)確提取清晰穩(wěn)定的高爐料面圖像,本文提出基于狀態(tài)識別的高爐料面視頻關(guān)鍵幀提取方法.首先基于高溫工業(yè)內(nèi)窺鏡采集高爐冶煉過程的料面視頻,并對料面視頻進(jìn)行分析,將料面分為靜止、緩慢下沉、快速下沉三個狀態(tài).為剔除視頻的冗余信息,計算料面圖像顯著性區(qū)域的關(guān)鍵特征,并提出基于局部密度極大值高斯混合模型(Local density maxima-based Gaussian mixture model,LDGMM)聚類的方法識別料面所處的狀態(tài),根據(jù)料面所處的狀態(tài)實現(xiàn)每個布料周期不同狀態(tài)下中心氣流穩(wěn)定、清晰、無爐料及粉塵遮擋且圖像特征明顯的關(guān)鍵幀的自動判別.

1 高爐料面視頻采集及分析

1.1 料面視頻采集系統(tǒng)

在高爐冶煉過程中,通常爐頂?shù)臏囟葧_(dá)到200～400 ℃,中心局部溫度可能會達(dá)到600～800 ℃.由于爐料下降與煤氣流的相對運動,會產(chǎn)生大量的粉塵和噪聲,而高爐冶煉過程中產(chǎn)生的高溫煤氣流有毒有害,不能隨意排出,因此高爐需要嚴(yán)格密閉,爐內(nèi)無法提供額外的光源條件.高爐爐頂高溫高壓、密閉弱光、強粉塵多噪聲的惡劣環(huán)境特點,導(dǎo)致清晰的料面圖像難以獲取.為了克服爐內(nèi)惡劣的冶煉環(huán)境并采集到高爐冶煉過程中的料面視頻,采用了某煉鐵廠安裝的一套實時高爐料面視頻采集系統(tǒng)[29].該系統(tǒng)包括用于采集爐內(nèi)料面視頻的高溫工業(yè)內(nèi)窺鏡、保證設(shè)備長期穩(wěn)定運行的水-氣雙冷卻管、用于信號傳輸?shù)墓饫w及防爆控制箱、位于中控室的上位機等,如圖1 所示.得益于采集系統(tǒng)的冷卻裝置及具有極強的微光成像能力的光學(xué)性能[30],料面采集系統(tǒng)能夠在高溫高壓密閉弱光的爐內(nèi)環(huán)境中安全穩(wěn)定運行并實時采集高爐冶煉過程中的料面視頻,設(shè)備安裝的實物示意圖如圖2 所示.

圖1 料面視頻采集系統(tǒng)Fig.1 Burden surface video acquisition system

圖2 設(shè)備安裝圖Fig.2 Equipment installation diagram

通過高爐料面視頻采集系統(tǒng)采集到了大量高爐冶煉過程中的料面視頻,為現(xiàn)場操作人員認(rèn)識爐內(nèi)料面反應(yīng)狀況、指導(dǎo)爐頂布料操作提供了直觀的視頻圖像信息.

1.2 料面反應(yīng)新現(xiàn)象

高爐煉鐵是一個周期性加料、間歇性出鐵的復(fù)雜生產(chǎn)過程,可以將高爐一個布料周期分為布料過程和布料間歇,其中布料過程包括環(huán)形布料和中心加焦,而高爐運行過程中爐料會在焦炭等助燃劑的作用下及爐底鼓入的熱風(fēng)環(huán)境中發(fā)生復(fù)雜的物理化學(xué)反應(yīng),并生成鐵水從鐵口排出.通過安裝的高爐料面視頻采集系統(tǒng)采集到的料面視頻清晰地監(jiān)測到爐料周期性的反應(yīng)過程,并揭示了料面變化新現(xiàn)象.圖3 給出了采集到的某煉鐵廠2#高爐一個布料周期內(nèi)的料面反應(yīng)現(xiàn)象.

圖3 一個布料周期內(nèi)的料面反應(yīng)現(xiàn)象Fig.3 Burden surface reaction phenomenon in a burden cycle

在高爐布料過程中,當(dāng)料面料位到達(dá)預(yù)設(shè)的最低位置,通過設(shè)定的布料矩陣將爐料環(huán)形撒入爐內(nèi),此時爐料會遮擋料面有效信息,如圖3(a)所示.在加料之后會將焦炭以另一個布料矩陣撒入高爐中心,中心氣流逐漸變窄,并最終被焦炭完全遮擋,如圖3(b)所示.隨之,中心氣流寬度會逐漸變大,反映了中心加焦能夠改善料面中心的透氣性.此時料面會存在一段時間的布料間歇,料面視頻較清晰,爐料顆粒清晰可見.從采集的料面視頻可以發(fā)現(xiàn),在正常工況下,料面存在靜止、緩慢下沉、快速下沉三種不同的狀態(tài),一般來說,靜止料面圖像清晰度最高,如圖3(c)所示.爐料緩慢下沉?xí)a(chǎn)生少量的粉塵,而快速下沉?xí)捎谶\動導(dǎo)致圖像出現(xiàn)一定的模糊,在快速下沉之后,會出現(xiàn)大量的粉塵遮擋住料面的有效信息,如圖3(d)～3(f).此外,從圖3 中可以發(fā)現(xiàn),布料過程的料面有效信息被遮擋較多,而布料間歇的料面圖像清晰度要高于布料過程.采集到的料面視頻監(jiān)測了高爐冶煉過程中料面變化的新現(xiàn)象,為現(xiàn)場操作人員認(rèn)清爐內(nèi)反應(yīng)狀況提供了重要的信息.

考慮到高爐煉鐵是一個大時滯、慢變的過程,高爐布料具有周期性和間歇性,并且料面形貌與布料制度、爐況等因素有關(guān).為了更全面地分析料面視頻的特征,采用抽幀方式(每間隔600 幀抽取一幀,即采樣頻率為3 幀/min)展示了高爐一個布料周期約為6 min 的料面視頻幀,如圖4 所示.圖4(a)～4(h)是高爐布料過程的料面圖像,圖4(i)～4(r)是高爐布料間歇的料面圖像.在高爐布料過程,料面變化較大,視頻中的爐料由少到多,并逐漸遮擋整幅圖像,采用環(huán)形布料一定圈數(shù)之后,料面粉塵量增大;而在中心加焦之后,料面氣流寬度變窄,而爐內(nèi)無額外光照,料面圖像中充滿噪點,缺乏有效信息.相比于布料過程的圖像,布料間歇的圖像更加清晰、直觀,包含的料面有效信息更加豐富,這是為布料操作提供信息反饋及后續(xù)圖像分析的主要數(shù)據(jù)來源.

圖4 一個布料周期內(nèi)料面視頻幀F(xiàn)ig.4 Burden surface video frames in a burden cycle

與一般場景視頻不同,料面視頻具有狀態(tài)多變(靜止、緩慢下沉、快速下沉)、形貌多樣(中心平坦型、中心井口型、中心噴濺型等)、圖像質(zhì)量不一(周期性變化,布料過程圖像清晰度低,有效信息較少;而布料間歇圖像清晰度較高,能夠監(jiān)測到爐內(nèi)反應(yīng)狀況)、信息重復(fù)冗余(料面是慢變的,視頻中存在很多重復(fù)、冗余的幀)等特點.從現(xiàn)場采集的料面視頻無法直接用于分析理解,且如果對所有視頻幀都進(jìn)行處理會大大降低效率并影響處理的結(jié)果,為此有必要研究一種能夠自動從料面視頻中提取關(guān)鍵幀的方法.考慮到料面所處的狀態(tài)與高爐爐況及圖像清晰度息息相關(guān),將料面所處的狀態(tài)作為關(guān)鍵幀提取的依據(jù)更加符合視頻的特征及現(xiàn)場的需求.

2 高爐料面視頻關(guān)鍵幀提取

2.1 料面顯著性區(qū)域關(guān)鍵特征提取

為了從周期性變化、質(zhì)量不一、狀態(tài)多變的高爐料面視頻中提取出關(guān)鍵幀,本文將不同狀態(tài)下中心氣流穩(wěn)定、清晰、無爐料及粉塵遮擋且特征明顯的圖像定義為視頻關(guān)鍵幀.料面圖像的特征點密集程度及像素位移大小與高爐料面的運動狀態(tài)具有很強的相關(guān)性.一般來說,料面圖像特征點越密集,像素位移越小,料面下降越慢,料面越穩(wěn)定;而圖像特征點越稀疏,像素位移越大,料面下降越快,料面越不穩(wěn)定.為此本文選擇料面圖像特征點密集程度及運動的像素位移作為料面視頻關(guān)鍵幀提取的兩個關(guān)鍵特征,其中特征點的密集程度采用特征點數(shù)目表示,圖像運動的像素位移用平均光流矢量表示.

基于高溫工業(yè)內(nèi)窺鏡拍攝的料面圖像如圖5(a)所示,高爐爐內(nèi)惡劣的冶煉環(huán)境導(dǎo)致料面圖像與一般場景圖像不同.料面圖像包含煤氣流區(qū)域、爐壁區(qū)域等非料面區(qū)域和料面區(qū)域,并且不易分割,其中料面區(qū)域是本文的感興趣區(qū)域.圖像中煤氣流區(qū)域過曝,而遠(yuǎn)離煤氣流區(qū)域偏暗.在計算料面關(guān)鍵特征時,非料面區(qū)域會對特征提取的精度造成影響,且高爐爐內(nèi)煤氣流是變化的,基于經(jīng)典的光流法計算出的料面圖像光流矢量具有一定的誤差.受啟發(fā)于人類的視覺注意力機制,為了提高關(guān)鍵特征提取的精度和效率,首先對圖像進(jìn)行顯著性檢測,選擇圖像中具有重要信息的區(qū)域[31].本文定義圖像中亮度均勻、紋理明顯的料面區(qū)域為顯著性區(qū)域,并基于圖像像素間的顏色特征、紋理特征、亮度特征以及空間特征的差異度作為顯著值計算的依據(jù).像素pi,pj間的總體差異度d(pi,pj)定義如下

圖5 料面顯著性區(qū)域提取Fig.5 Salient region extraction of burden surface

其中,d1(pi,pj),d2(pi,pj),d3(pi,pj)分別表示料面圖像像素pi,pj之間的顏色特征、亮度特征和紋理特征的歐氏距離,ds(pi,pj)表示像素pi,pj之間空間特征的歐氏距離,α表示一個常數(shù),定義為3.式(1)可以理解為顯著性區(qū)域是顏色特征、亮度特征、紋理特征差異較大并且位置相對集中的區(qū)域.

在得到像素間的差異度之后,像素pi的顯著值Si可以表示為

其中,pl表示以像素pi為中心的 8×8 鄰域內(nèi)的像素點,d(pi,pl)越大,Si越大.

料面顯著值計算結(jié)果如圖5(b)和5(c)所示,其中紅色越深,表示顯著值越大,藍(lán)色越深表示顯著值越小.為了進(jìn)一步減小煤氣流區(qū)域?qū)鹊挠绊?采用OTSU 閾值分割方法對料面圖像進(jìn)行二值化,將料面圖像分為煤氣流區(qū)域和非煤氣流區(qū)域,并作為掩膜剔除掉顯著性區(qū)域的煤氣流區(qū)域,定位的顯著性區(qū)域的位置如圖5(d)中的白色區(qū)域.

在定位料面顯著性區(qū)域之后,考慮料面運動越快,光流矢量越大,而由于運動,圖像清晰度會有所下降,從而檢測到的特征點數(shù)目減少,因此計算特征點密集程度和特征點光流矢量作為料面運動狀態(tài)識別的關(guān)鍵特征.特征點集合及特征點光流矢量集合如式(3)和式(4)所示,提取結(jié)果如圖6 所示

圖6 提取的特征點及其光流矢量Fig.6 Extracted feature points and their corresponding optical flow vectors

其中,K表示料面圖像特征點集合,F表示圖像的特征點光流矢量的集合.

2.2 基于局部密度極大值GMM 的料面狀態(tài)識別

在獲取料面圖像顯著性區(qū)域的特征點密集程度及特征點運動的像素位移之后,需要基于關(guān)鍵特征從視頻中判別出料面所處的運動狀態(tài).考慮到高斯混合模型 (Gaussian mixture model,GMM)可以擬合任意數(shù)據(jù)的分布,而傳統(tǒng)的GMM 對于初始值的選取十分敏感,容易因初始值的選取不佳而陷入局部最優(yōu),無法獲得準(zhǔn)確的結(jié)果.為了準(zhǔn)確識別料面所處的狀態(tài),本文提出了LDGMM 料面狀態(tài)識別方法,可以在無參數(shù)的條件下基于數(shù)據(jù)分布特征,找到局部密度最大的點,并作為LDGMM輸入的初始值,以加快LDGMM 迭代的速度,優(yōu)化LDGMM擬合的結(jié)果,具體步驟如下:

1)考慮到正常工況下,料面是相對穩(wěn)定的,料面發(fā)生整體運動,為了簡化運算,以特征點平均光流矢量作為某個時刻料面的運動像素位移

其中,f表示特征點平均光流矢量,m表示圖像特征點的數(shù)目,ua,va分別表示圖像特征點a的像素位移水平分量和垂直分量.

2)由于料面視頻中包含不穩(wěn)定的狀態(tài),在布料、加焦和爐料快速下沉后會激起大量的粉塵.料面的有效信息被爐料或者粉塵遮擋,此時料面圖像的特征極其不明顯,給定較小的表征特征點數(shù)目的閾值剔除這個時刻的數(shù)據(jù)(通過大量的實驗,本文的閾值選擇了10,即T0=10),然后采用等置信概率剔除其他時刻的一些異常值,并對特征點數(shù)目及像素位移矢量進(jìn)行歸一化處理

其中,w表示肖維勒系數(shù),d0,m(d),s(d)分別表示數(shù)據(jù)離群點、均值、標(biāo)準(zhǔn)差,d*,di,dmin,dmax分別表示歸一化后的數(shù)據(jù)、歸一化前的數(shù)據(jù)、數(shù)據(jù)最小值和最大值.

3)在數(shù)據(jù)預(yù)處理之后,總共獲取了不同布料周期不同狀態(tài)下的料面圖像數(shù)據(jù)1 500 個,采用核密度估計函數(shù)得到數(shù)據(jù)分布的概率密度圖,核密度估計函數(shù)如下

其中,fh(·)表示核密度估計函數(shù),Kh(·)表示核函數(shù),h表示平滑參數(shù),滿足h＞0,d表示觀測值,dj表示第j個樣本,n表示樣本的總數(shù).

特征點光流概率密度分布如圖7 所示,其中不同的顏色表征數(shù)據(jù)的密度大小.可以發(fā)現(xiàn),所提取的料面關(guān)鍵特征(特征點密集程度和平均光流矢量)基本滿足對角分布規(guī)律,即特征點越密集,平均光流矢量越小;特征點越稀疏,平均光流矢量越大,獲取的料面圖像關(guān)鍵特征能夠被比較明顯地分為三個密集分布.根據(jù)光流矢量的分布可以得到概率密度分布直方圖,如圖8 所示,可以得到三個概率密度局部極大值,作為GMM 的初始聚類中心.值得注意的是,這是一種非參數(shù)估計方法,可以在不知道具體類別數(shù)目的前提下僅根據(jù)關(guān)鍵特征的數(shù)據(jù)分布來估計出數(shù)據(jù)的概率密度分布,并從中獲得高斯分布數(shù)量和局部密度極大值

圖7 特征點密集程度和平均光流矢量的概率密度分布圖Fig.7 Probability density distribution map of feature point density and average optical flow vectors

圖8 特征點平均光流矢量概率分布直方圖Fig.8 Probability distribution histogram of average feature point optical flow vectors

其中,C表示局部密度極大值點集合,c1,c2,c3表示三個局部密度極大值點,(n1,f1),(n2,f2),(n3,f3)表示三個局部密度極大值對應(yīng)的特征點密集程度及平均光流矢量.

4)將上一步獲取的局部密度最大的三個點作為初始的聚類中心,根據(jù)局部密度極大值設(shè)定GMM參數(shù)的初始值,GMM 的概率密度函數(shù)如下

其中,P(x)表示GMM的概率密度函數(shù),p(·)表示單個高斯模型的概率密度函數(shù).是GMM的三個參數(shù),分別表示當(dāng)前幀屬于類別γ的概率、第γ個高斯分布的均值和協(xié)方差矩陣.

采用期望最大化(Expectation-maximization,EM)算法對GMM 參數(shù)進(jìn)行更新,直至似然函數(shù)達(dá)到最大,模型收斂

圖9 給出了5 次采用經(jīng)典GMM 和所提方法訓(xùn)練過程,可以發(fā)現(xiàn)GMM 平均需要41.4 次更新才能達(dá)到最優(yōu),并且容易陷入局部最優(yōu),而所提聚類模型只需要迭代13 次就可以迅速達(dá)到最優(yōu),一定程度上驗證了所提模型是高效準(zhǔn)確的.

圖9 不同方法不同訓(xùn)練過程似然函數(shù)變化情況Fig.9 Change of likelihood function of different methods in multiple training processes

2.3 基于狀態(tài)識別的料面關(guān)鍵幀提取

料面所處的狀態(tài)是提取關(guān)鍵幀的主要依據(jù),在識別料面所處的狀態(tài)后,可以根據(jù)后期不同的處理需求,得到滿足不同條件的關(guān)鍵幀集合,本文提取了不同狀態(tài)下中心氣流穩(wěn)定、清晰、無爐料及粉塵遮擋且特征明顯的關(guān)鍵幀.

考慮到高爐爐頂布料操作是周期性、間歇性的,且操作制度在不同周期會有所改變,采集到的高爐料面視頻在不同的布料周期的形貌、圖像清晰度等具有較大的區(qū)分度,不能對整個料面視頻直接進(jìn)行關(guān)鍵幀提取.為此,本文根據(jù)布料周期對料面視頻進(jìn)行鏡頭分割.值得注意的是,高爐布料周期T并不是固定的,且T未知,周期不能簡單地根據(jù)時間進(jìn)行劃分.從采集的料面視頻可以發(fā)現(xiàn),高爐由布料間歇到布料的切換過程中,圖像特征變化明顯,圖像有效信息降低,清晰度明顯下降.本文基于復(fù)合幀間差異度函數(shù)獲取料面視頻中的突變幀進(jìn)而實現(xiàn)料面視頻不同周期的識別,其中復(fù)合幀間差異度函數(shù)由視頻幀的熵、平均梯度、特征點密集程度的差異組成.

其中,E,G,N分別表示視頻幀的熵、平均梯度和特征點密集程度;p(xi)表示灰度值出現(xiàn)概率;w,h表示圖像的寬和高;I表示圖像灰度值;分別表示圖像水平和垂直方向的梯度;m,mmin,mmax分別表示當(dāng)前幀圖像特征點數(shù)目,最小特征點數(shù)目和最大特征點數(shù)目.

為了減小視頻幀關(guān)鍵特征計算的隨機誤差,取每秒所有圖像熵的平均值、平均梯度的平均值和特征點密集程度的平均值作為當(dāng)前時刻的特征值,并分別歸一化到 (0,1],然后進(jìn)行加權(quán)得到計算的結(jié)果,計算相鄰時刻圖像的幀間差異度

其中,Et,Gt,Nt分別表示視頻幀歸一化后的熵、平均梯度和特征點密集程度.St表示圖像特征值,Dt表示視頻幀間差異度,α1,α2,α3表示權(quán)重,本文取α1=α2=α3=1/3.

視頻幀間差異度曲線如圖10 所示,圖中給出幾個不同時刻下的料面圖像.從圖10 可以發(fā)現(xiàn),在布料或者加焦過程中,視頻幀間差異度較大,圖像有效信息被粉塵或者爐料遮擋;而在布料間歇料面逐漸穩(wěn)定,視頻幀間差異度較小,圖像更加清晰.基于視頻幀間差異度可以檢測到視頻的邊界幀,進(jìn)而對料面視頻進(jìn)行周期劃分,邊界幀需要滿足以下條件

圖10 料面視頻差異度曲線Fig.10 Difference curve of burden surface video

其中,Dc+1,Dc表示相鄰的兩個邊界幀,邊界幀的差異度需要大于閾值T1,并且需要至少間隔Tt以避免同一個布料周期多個邊界幀被檢測到.T1,Tt是固定的閾值,通過實驗統(tǒng)計得到.

在高爐爐頂布料過程中,會產(chǎn)生大量的粉塵、噪聲,由于爐料、粉塵、噪聲等對料面有效信息的遮擋,圖像清晰度下降,能夠檢測的特征點將大大減少,這一類圖像并不適合作為后期處理的數(shù)據(jù)來源.為了保證所提取的關(guān)鍵幀特征明顯、圖像清晰,在關(guān)鍵幀提取前剔除有效信息缺失的料面圖像.為了簡化運算并提高效率,統(tǒng)計當(dāng)前幀的特征點數(shù)目nt,并與閾值T0比較,若nt≤T0,則不屬于關(guān)鍵幀,直接剔除;若nt＞T0,則當(dāng)前幀進(jìn)入下一步判斷,從而剔除特征不明顯、有效信息缺失較多的視頻幀

其中,nt表示當(dāng)前幀特征點數(shù)目,V表示初步篩選后留下的圖像集合.

計算V中視頻幀與不同聚類中心的歐氏距離,獲取當(dāng)前幀所處的狀態(tài),若為靜止?fàn)顟B(tài),則被判定為周期T的關(guān)鍵幀集合A中的候選關(guān)鍵幀;若為緩慢下沉狀態(tài),則被判定為周期T的關(guān)鍵幀集合B中的候選關(guān)鍵幀;若處于快速下沉狀態(tài),則初步判定為周期T的關(guān)鍵幀集合C中的候選關(guān)鍵幀

從三個候選關(guān)鍵幀集合中分別將聚類中心對應(yīng)的視頻幀、按照固定采樣頻率得到的圖像作為關(guān)鍵幀,得到一個周期的關(guān)鍵幀集合

其中,At,Bt,Ct分別表示一個布料周期內(nèi)的靜止、緩慢下沉、快速下沉三種運動狀態(tài)的關(guān)鍵幀集合.

一個布料周期的料面視頻關(guān)鍵幀提取方法如算法1 所示.在提取了一個布料周期料面視頻關(guān)鍵幀之后,采用相同方法獲取不同布料周期的料面視頻關(guān)鍵幀,得到最終的關(guān)鍵幀集合.

算法1.一個布料周期的料面視頻關(guān)鍵幀提取

輸入.ne,tf,Nm,Th//幀數(shù),當(dāng)前幀,總幀數(shù),當(dāng)前周期

輸出.At,Bt,Ct//不同狀態(tài)下的關(guān)鍵幀集合

3 實驗驗證與結(jié)果分析

本文實驗的軟件環(huán)境: Windows10 操作系統(tǒng)下的MATLAB R2020a 及PyCharm 2020;硬件環(huán)境: 處理器為Intel Core i7-11 700 2.50 GHz,內(nèi)存為32 GB.測試的視頻來源于高溫工業(yè)內(nèi)窺鏡采集到的某鋼鐵廠2#高爐運行過程的料面視頻,采樣頻率為30 幀/秒,圖像分辨率大小為 8 28×494.

3.1 狀態(tài)識別的性能分析

在采集高爐運行過程不同布料周期的料面視頻之后,提取圖像的特征點并計算特征點光流矢量,基于所提的LDGMM 識別當(dāng)前幀的運動狀態(tài),結(jié)果如圖11 所示,其中圖11(a)表示LDGMM 識別結(jié)果,將高斯分布曲線內(nèi)或者接近曲線的數(shù)據(jù)歸為一個狀態(tài),從圖中可以得出,三種不同的狀態(tài)可以比較明顯地被區(qū)分開.圖11(b)～11(d)分別表示三個不同布料周期中靜止、緩慢下沉、快速下沉三種狀態(tài)的可視化識別結(jié)果.為了能夠更加直觀地區(qū)分不同的狀態(tài),采用不同顏色、不同長度的箭頭表示料面特征點運動的大小,其中紅色越深,箭頭越長,表示特征點運動的光流矢量越大;藍(lán)色越深,箭頭越短,表示特征點運動的光流矢量越小.從圖11 可以獲得料面上不同位置的特征點像素位移大小,此外,靜止料面能夠提取更多的特征點,其對應(yīng)的光流矢量較小;相比于靜止料面,緩慢下沉的料面提取的特征點數(shù)量變少,但光流矢量變大;而快速下沉的料面光流矢量最大,提取的特征點數(shù)量最少,直觀上說明所提方法能夠明顯區(qū)分出料面的不同狀態(tài).

圖11 不同布料周期不同狀態(tài)的識別結(jié)果Fig.11 Various state recognition results in different burden cycles

為了驗證本文所提狀態(tài)識別方法的有效性,進(jìn)行消融實驗,分別比較LK (Lucas-Kanade)光流法、無顯著性區(qū)域定位的特征點光流法、經(jīng)典GMM 算法以及本文方法得到的聚類結(jié)果,如圖12 所示.可以發(fā)現(xiàn),LK 光流法只依據(jù)圖像的像素位移進(jìn)行狀態(tài)的劃分,數(shù)據(jù)的區(qū)分度并不大,如圖12(a)所示;在不引入顯著性區(qū)域定位時,由于圖像包含爐壁和煤氣流區(qū)域,提取的部分特征點并不在料面區(qū)域,計算的像素位移大小可能會比實際值大,并且快速下沉和緩慢下沉兩個狀態(tài)分離度不高,如圖12(b)所示;由于經(jīng)典GMM 算法初始的聚類中心是隨機的,若初始聚類中心選擇不當(dāng),會使得模型陷入局部最優(yōu),如圖12(c)所示;采用本文所提方法得到的結(jié)果中三種狀態(tài)的分離較明顯,能夠快速達(dá)到最優(yōu)的聚類效果,不同狀態(tài)區(qū)分度較大,如圖12(d)所示.

圖12 相同料面圖像不同方法的聚類結(jié)果Fig.12 Clustering results of different methods for the same burden surface image

為了評估不同方法的聚類結(jié)果,選取戴維森堡丁(Davies-Bouldin,DB)指數(shù)、CH (Calinski-Harabasz)指數(shù)、輪廓系數(shù)(Silhouette coefficient,SC)、分離度(Separation,SP)作為評價指標(biāo),比較基于不同方法得到的不同狀態(tài)的類間距離和類內(nèi)距離,其中DB 值越小,CH、SC 及SP 值越大,說明聚類效果越好,評價結(jié)果如表1 所示.從表1 可以看出,所提方法的DB 指標(biāo)值最小,CH、SC 和SP指標(biāo)值最大,綜合分析可得所提方法的類間數(shù)據(jù)最分散,類內(nèi)數(shù)據(jù)最集中,狀態(tài)聚類的效果在這幾種方法里是最好的.

表1 不同方法的聚類效果比較Table 1 Comparison of clustering performance of different methods

進(jìn)一步地,采用Cai 等[32]提出的動態(tài)光照下光流計算方法(Dynamic illumination optical flow computing,DIFlow)、Liu 等[33]提出的從無標(biāo)注數(shù)據(jù)中學(xué)習(xí)光流自監(jiān)督網(wǎng)絡(luò)(Self-supervised learning of optical flow,SelFlow)及本文所提方法識別相同料面視頻的不同狀態(tài),不同方法識別不同料面狀態(tài)的結(jié)果如圖13 所示.DIFlow 考慮了光照對光流估計的影響,將料面圖像均勻地分成圖像塊,并計算了料面圖像塊的像素位移;SelFlow 采用無監(jiān)督深度學(xué)習(xí)方法計算了整幅料面圖像的稠密光流.在圖13 中,給出了SelFlow 計算的最大光流矢量值和平均光流矢量值,并采用不同顏色的橢圓標(biāo)記出存在較大誤差的位置,其中紅色橢圓部分表示計算的中心氣流的光流矢量,綠色橢圓部分表示計算的爐壁部分的光流矢量.從圖13 可以看出,DIFlow及SelFlow 方法會受到中心氣流和爐壁等非料面區(qū)域的影響,計算的光流結(jié)果偏大,料面狀態(tài)識別的結(jié)果并不直觀,而本文方法能夠極大減少非料面區(qū)域?qū)ψR別結(jié)果的影響,可以明顯區(qū)分出不同的料面狀態(tài).

圖13 不同方法識別不同料面狀態(tài)的對比結(jié)果Fig.13 Comparison results of different burden surface states identified by different methods

在高爐冶煉現(xiàn)場,為了能夠檢測料位,一般會在高爐爐頂安裝2～3 個機械探尺.機械探尺通過提尺、放尺、浮尺三個階段按照一定的采樣頻率(約10 s 采樣一次)來測量料面某個位置上的料位,其中浮尺階段的數(shù)據(jù)被認(rèn)為是真實有效的料面料位值.根據(jù)機械探尺的測量值能夠得到布料間歇料面的高度,結(jié)合相鄰采樣間隔的機械探尺的測量數(shù)據(jù)及人工經(jīng)驗獲取了料面的狀態(tài).采用不同方法的識別結(jié)果如圖14 所示,從圖中可以發(fā)現(xiàn)所提方法的識別狀態(tài)與真實狀態(tài)吻合較好,而DIFlow 和Sel-Flow 識別的料面狀態(tài)與真實狀態(tài)有較大的偏差,一定程度上驗證了所提方法是可靠的,并且優(yōu)于DIFlow 和SelFlow 方法.

圖14 不同方法識別的不同狀態(tài)Fig.14 Different states identified by different methods

為了定量驗證所提狀態(tài)識別方法的精度,分別選取調(diào)整蘭德系數(shù)(Adjusted Rand index,ARI)、標(biāo)準(zhǔn)化互信息(Normalized mutual information,NMI)、熵(Entropy,E)、純度(Purity,P)評價不同方法識別的精度,結(jié)果如表2 所示,其中ARI、NMI、P 的值越大,E 的值越小,表明與真實結(jié)果更接近.從表2 可得,對于給定評價指標(biāo),所提方法均表現(xiàn)出最優(yōu)的性能,體現(xiàn)了所提的料面狀態(tài)識別方法準(zhǔn)確有效,識別的料面狀態(tài)的精度高于其他兩種方法.

表2 不同方法的識別精度比較Table 2 Accuracy comparison of recognition results of different methods

料面的不同運動狀態(tài)能夠反映高爐的爐況和運行效率,若高爐料面基本保持在緩慢下沉狀態(tài),則此時調(diào)控較好,爐況比較穩(wěn)定,運行效率較高;若高爐料面長期處于靜止?fàn)顟B(tài),則容易發(fā)生懸料;若高爐料面長期處于快速下沉狀態(tài),則容易發(fā)生塌料.為了得到不同狀態(tài)的識別精度,給出所提運動狀態(tài)識別方法的混淆矩陣,如圖15 所示.從圖15 可以發(fā)現(xiàn),快速下沉、靜止、緩慢下沉三種狀態(tài)的識別精度分別為87.88%、93.94%、91.18%.其中9.09%的快速下沉狀態(tài)會被識別為緩慢下沉狀態(tài),3.03%的靜止?fàn)顟B(tài)會被識別為緩慢下沉狀態(tài),而5.88%的緩慢下沉狀態(tài)會被識別為快速下沉狀態(tài),精度能夠滿足現(xiàn)場的需求.

圖15 所提方法的混淆矩陣Fig.15 Confusion matrix of the proposed method

3.2 關(guān)鍵幀提取的性能分析

在獲取料面狀態(tài)后,可以根據(jù)料面的不同狀態(tài)篩選出關(guān)鍵幀.為了驗證所提關(guān)鍵幀提取方法的有效性和先進(jìn)性,隨機選取一個布料周期為451 s 的料面視頻(共13 544 幀),采用雙階段鏡頭邊界檢測方法(Dual-stage-based shot boundary detection,DSBD)[14]、DeepReS[26]、DSN[28]及本文方法提取料面視頻的關(guān)鍵幀,其中DSBD 基于提取的LBP-HF特征和自適應(yīng)閾值檢測關(guān)鍵幀,DeepReS 和DSN采用深度學(xué)習(xí)方法識別視頻關(guān)鍵幀,圖16 給出了不同方法提取的部分關(guān)鍵幀結(jié)果.從圖16 可以看出,由于高爐布料過程料面圖像變化較大,而在布料間歇料面圖像變化不易察覺,DSBD 將料面視頻中圖像視覺特征變化較大的視頻幀作為關(guān)鍵幀,獲取了高爐布料過程的料面圖像,提取的關(guān)鍵幀圖像不清晰,有效信息遮擋較多,難以反映當(dāng)前時刻的料面反應(yīng)狀態(tài),且由于高爐是環(huán)形周期性布料,在布料階段圖像變化較大,采用DSBD 方法提取的關(guān)鍵幀仍然有大量的視頻冗余.DeepReS 方法能夠去除布料過程部分冗余,但是仍然存在布料過程不清晰的圖像,無法獲取不同狀態(tài)下穩(wěn)定的料面圖像.DSN 將視頻幀的多樣性和代表性作為獎勵函數(shù),相比前兩種方法獲取的視頻幀更加清晰,但是缺乏對料面視頻內(nèi)容的分析,且仍然存在部分布料過程不清晰的圖像.本文方法能夠剔除細(xì)節(jié)模糊、不穩(wěn)定的圖像,同時精簡了視頻,去除了大量冗余,增加了對料面視頻運動狀態(tài)的分析,提取出清晰的不同狀態(tài)下的料面圖像,對高爐爐頂布料具有一定的指導(dǎo)意義.

圖16 采用不同方法提取的同一布料周期的部分關(guān)鍵幀F(xiàn)ig.16 Extracted partial key frames of the same burden cycle using different methods

為了定量評價關(guān)鍵幀提取方法的性能,以人工提取的關(guān)鍵幀為參考幀,統(tǒng)計提取的關(guān)鍵幀集合的幀數(shù)、正確幀數(shù)、錯誤幀數(shù)、漏檢幀數(shù),并計算查全率R、準(zhǔn)確率P、F1 值.表3 給出了采用不同方法提取的一段2 323 s 料面視頻(共66 332 幀)的結(jié)果.

表3 不同方法提取的關(guān)鍵幀精度比較Table 3 Accuracy comparison of key frames extracted by different methods

其中,nr,nf,nw分別表示正確提取的關(guān)鍵幀數(shù)量、漏檢的關(guān)鍵幀數(shù)量和錯誤提取的關(guān)鍵幀數(shù)量.

從表3 可以看出,受到高爐布料和爐內(nèi)粉塵的影響,DSBD、DeepReS 和DSN 提取的料面視頻關(guān)鍵幀具有較多的冗余,存在一定的漏檢,查全率和準(zhǔn)確率并不高,而所提方法所提取的料面視頻冗余幀和漏檢幀較少,查全率、準(zhǔn)確率及F1 值均高于其他三種方法,定量驗證了所提方法的準(zhǔn)確性和可靠性.

在不同的布料周期,料面形貌會有所變化,采用本文所提的關(guān)鍵幀提取方法提取了不同布料周期的料面視頻關(guān)鍵幀,剔除了布料、加焦等不穩(wěn)定時刻的料面圖像,圖17(a)～17(d)分別為4 個不同布料周期提取的平坦型、井口型、噴濺型、氣流發(fā)展型的料面圖像關(guān)鍵幀.所提取的關(guān)鍵幀能夠清晰直觀展示高爐不同布料周期的形貌,為高爐冶煉現(xiàn)場提供極具價值的爐內(nèi)反應(yīng)狀況信息及布料反饋信息.

圖17 提取的不同布料周期的關(guān)鍵幀F(xiàn)ig.17 Extracted key frames of different burden cycles

考慮到高爐冶煉過程中不同布料周期的料面形貌可能會不同,采用本文方法提取了4 個不同布料周期不同典型形貌的料面視頻的關(guān)鍵幀,并分別計算了準(zhǔn)確率、查全率和F1 值,結(jié)果如圖18 所示.從圖中可得,雖然料面形貌有所差異,但是關(guān)鍵幀提取的準(zhǔn)確率、查全率及F1 值均較高,且變化并不明顯,說明所提方法在不同布料周期能夠準(zhǔn)確地提取料面視頻關(guān)鍵幀,且精度受布料周期和料面形貌不同的影響并不大.

圖18 不同形貌料面視頻關(guān)鍵幀提取精度Fig.18 Extraction accuracy of video key frames with different shapes and surfaces

4 結(jié)論

針對高爐料面視頻存在的冗余信息多、圖像質(zhì)量不穩(wěn)定、狀態(tài)多變等問題,本文提出了基于狀態(tài)識別的高爐料面視頻關(guān)鍵幀提取方法.基于顯著性區(qū)域特征點光流聚類方法識別了料面所處的狀態(tài),并依據(jù)料面狀態(tài)從冗余、質(zhì)量不一的料面視頻中篩選出不同周期不同狀態(tài)下形貌變化較大且清晰穩(wěn)定的關(guān)鍵幀,方便后期圖像處理,同時也有利于從大量的料面視頻中快速準(zhǔn)確地捕獲到有效信息.通過大量的對比實驗表明本文所提方法能夠準(zhǔn)確識別料面所處的狀態(tài),同時能夠從視頻中剔除細(xì)節(jié)模糊、不穩(wěn)定的視頻幀,得到不同狀態(tài)下中心氣流穩(wěn)定、清晰、無爐料及粉塵遮擋且特征明顯的關(guān)鍵幀,為現(xiàn)場操作人員認(rèn)清爐內(nèi)反應(yīng)狀況、指導(dǎo)爐頂布料操作提供重要反饋信息.與其他現(xiàn)有的狀態(tài)識別和視頻關(guān)鍵幀提取方法相比,所提方法結(jié)合了料面視頻變化特征,性能優(yōu)越,算法復(fù)雜度不高,實用價值高,能夠為現(xiàn)場操作人員提供實時清晰的爐內(nèi)反應(yīng)過程圖像信息,并為爐頂布料提供反饋信息.此外,本文所提方法提供了一種復(fù)雜多變且周期性變化的工業(yè)視頻關(guān)鍵幀提取的有效途徑,為其他復(fù)雜惡劣環(huán)境中視頻圖像處理提供了新思路.