楊化松，楊文燈，李 輝

(1.北京佰能盈天科技股份有限公司 北京 100096；2.濟(jì)南火炬科技開發(fā)有限公司 山東濟(jì)南 250000)

鋼鐵行業(yè)SO2、NOx的排放總量一直位于固定氣態(tài)污染物發(fā)生源的前列。其中，約90%的SO2、NOx的排放來自于焦化工序[1]-[5]。焦?fàn)t煙氣是指焦化過程中燃燒焦?fàn)t煤氣或高爐煤氣所產(chǎn)生的煙氣[6]。由于長(zhǎng)期粗放式發(fā)展，焦?fàn)t煙氣對(duì)環(huán)境產(chǎn)生了嚴(yán)重破壞和污染，其產(chǎn)生的PM2.5占空氣中PM2.5總量的40%-50%，作為形成酸雨的主要物質(zhì)，伴生一系列生態(tài)問題[7]-[8]。因此，控制焦?fàn)t煙氣硫硝污染物排放，己是擺在焦化行業(yè)面前的重大任務(wù)，需要對(duì)其進(jìn)行嚴(yán)格控制。而傳統(tǒng)的煙火監(jiān)控裝置存在著監(jiān)控系統(tǒng)龐大，操作復(fù)雜，錯(cuò)報(bào)率高等問題，現(xiàn)針對(duì)這一現(xiàn)象設(shè)計(jì)了一種基于AI機(jī)器深度學(xué)習(xí)視覺分析核心技術(shù)的新型煙火在線檢測(cè)系統(tǒng)，深度學(xué)習(xí)技術(shù)是一項(xiàng)計(jì)算機(jī)視覺數(shù)據(jù)處理智能技術(shù)，通過客觀事物提取數(shù)據(jù)信息，深入處理，達(dá)成圖像識(shí)別等功能目標(biāo)[9]。此外，計(jì)算機(jī)視覺技術(shù)具有處理效率高 ，數(shù)據(jù)量大，準(zhǔn)確度高等優(yōu)點(diǎn)[10]。采用此項(xiàng)技術(shù)大大提高了焦?fàn)t煙火識(shí)別的準(zhǔn)確率。

1 系統(tǒng)架構(gòu)

根據(jù)客戶需求，本次改造可利用現(xiàn)有煉焦總廠于2019年建成投用了1#、2#、3#、4#、5#、6#、7#、8#焦?fàn)t環(huán)保監(jiān)控系統(tǒng)監(jiān)控點(diǎn)的硬件設(shè)施，網(wǎng)絡(luò)及存儲(chǔ)設(shè)備，由于原攝像頭的清晰度及補(bǔ)光原因，因此本次改進(jìn)需要更新攝像機(jī)設(shè)備，把原?？礑S-2CD3T25-I3改為雙視紅外熱成像在線測(cè)溫儀。煙火在線監(jiān)測(cè)系統(tǒng)主要由系統(tǒng)管理平臺(tái)、智能雙視云臺(tái)以及通信供電系統(tǒng)構(gòu)成。系統(tǒng)架構(gòu)圖如圖1所示：

圖1 系統(tǒng)架構(gòu)圖

系統(tǒng)組成系統(tǒng)管理平臺(tái)：由服務(wù)器、平臺(tái)服務(wù)器軟件、AI深度學(xué)習(xí)算法等組成，能同時(shí)管理所有接入平臺(tái)的智能雙視云臺(tái)，提供簡(jiǎn)潔、易操作的人機(jī)交互界面，具有數(shù)據(jù)存儲(chǔ)、分析、展示的功能；

智能雙視云臺(tái)：搭載可見光相機(jī)、紅外熱成像儀，負(fù)責(zé)對(duì)現(xiàn)場(chǎng)設(shè)備進(jìn)行數(shù)據(jù)采集；

通信供電系統(tǒng)：集成通信模塊和供電模塊，為智能雙視云臺(tái)供電和提供通信線路，并通過專用網(wǎng)絡(luò)與系統(tǒng)管理平臺(tái)連接，實(shí)現(xiàn)平臺(tái)與前端之間的數(shù)據(jù)交互。允許手機(jī)移動(dòng)端小程序隨時(shí)查看智能識(shí)別結(jié)果和報(bào)警信息，通過微信公眾號(hào)通知管理人員及時(shí)報(bào)警，支持管理人員遠(yuǎn)程辦公，PC端實(shí)時(shí)呈現(xiàn)報(bào)警信息集成報(bào)表統(tǒng)計(jì)功能，支持工控室值班人員現(xiàn)場(chǎng)監(jiān)控。

2 工作原理

本方案的基礎(chǔ)為基于AI機(jī)器深度學(xué)習(xí)視覺分析核心技術(shù)應(yīng)用于生產(chǎn)現(xiàn)場(chǎng)，采用深度學(xué)習(xí)方法實(shí)現(xiàn)智能檢測(cè)提供軟硬件一體的方案，實(shí)現(xiàn)對(duì)監(jiān)控區(qū)域內(nèi)的煙火和火焰在線識(shí)別，包括動(dòng)態(tài)識(shí)別視頻監(jiān)控區(qū)域畫面中煙火和火焰的存續(xù)時(shí)長(zhǎng)、形態(tài)大小、狀態(tài)變化等。同時(shí)可以立即將報(bào)警信息傳送給相關(guān)管理人員，以便及時(shí)處理。將事故防范由被動(dòng)變主動(dòng)，使事故在中期或前期得到有效處理。相比于傳統(tǒng)算法，本算法適用性更強(qiáng)、準(zhǔn)確率更高，并隨著數(shù)據(jù)增多可以不斷提升識(shí)別準(zhǔn)確率。

2.1 算法流程

煙火檢測(cè)系統(tǒng)流程由神經(jīng)網(wǎng)絡(luò)訓(xùn)練、煙火檢測(cè)實(shí)現(xiàn)兩個(gè)部分組成。算法的整體流程如圖3所示。上部分為訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程，原始圖像數(shù)據(jù)集進(jìn)行預(yù)處理后，進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，得到訓(xùn)練完成網(wǎng)絡(luò)模型。下部分為檢測(cè)煙火，對(duì)原始視頻流進(jìn)行運(yùn)動(dòng)檢測(cè)后，完成目標(biāo)圖像預(yù)處理，對(duì)提取出的運(yùn)動(dòng)目標(biāo)進(jìn)行識(shí)別。若檢測(cè)出煙火，則對(duì)其圖像進(jìn)行標(biāo)記并報(bào)警。

圖3 算法流程

2.2 視頻運(yùn)動(dòng)檢測(cè)

由于火情發(fā)生時(shí)，煙火處于運(yùn)動(dòng)狀態(tài)。通過檢測(cè)監(jiān)控視頻中運(yùn)動(dòng)對(duì)象，初步提取疑似煙火目標(biāo)。但由于煙火運(yùn)動(dòng)得比較緩慢，傳統(tǒng)的光流法、幀插法、背景插法等運(yùn)動(dòng)檢測(cè)算法檢測(cè)效果不佳。本文系統(tǒng)采用幀插與背景插法相結(jié)合的方式，可以精準(zhǔn)實(shí)現(xiàn)視頻運(yùn)動(dòng)檢測(cè)。

首先對(duì)全部的n幀進(jìn)行三幀插處理，即在具有n幀的連續(xù)視頻片斷中的第i幀與i-1幀、i+1幀這3幀之間做兩兩幀插，幀插公式如下[11]：

(1)

其中，Ki為幀插后的結(jié)果；T為Ostu法確定的閾值。對(duì)第i幀和其三幀插處理結(jié)果做與運(yùn)算，得到第i幀的三幀插結(jié)果Di，再將同一閾值內(nèi)多幀的三幀插結(jié)果疊加得到結(jié)果D。公式如下:

(2)

對(duì)連續(xù)視頻流中的n幀取平均作為背景B，然后提取第k幀對(duì)其做背景插運(yùn)算，公式如下:

(3)

其中背景模型需要隨著時(shí)間推進(jìn)不斷更新，式(4)為背景更新的公式其中為背景學(xué)習(xí)率。

(4)

最后對(duì)三幀插結(jié)果D與背景插結(jié)果進(jìn)行或運(yùn)算，結(jié)果即為運(yùn)動(dòng)檢測(cè)結(jié)果。接著將檢測(cè)到的運(yùn)動(dòng)目標(biāo)區(qū)域送入深度學(xué)習(xí)模型檢測(cè)。

2.3 數(shù)據(jù)預(yù)處理

為實(shí)現(xiàn)深度學(xué)習(xí)模型訓(xùn)練，需要對(duì)大量圖像數(shù)據(jù)進(jìn)行特征分析。然而，通常一個(gè)圖像數(shù)據(jù)除包括關(guān)鍵特征信息，還包含大量冗余數(shù)據(jù)，大大限制了系統(tǒng)運(yùn)算效率。由于本系統(tǒng)需對(duì)煙火進(jìn)行實(shí)時(shí)監(jiān)控預(yù)警，要求算法具有較高的運(yùn)算效率，運(yùn)算結(jié)果能夠?qū)崟r(shí)呈現(xiàn)。因此，為了減少無關(guān)特征影響和系統(tǒng)運(yùn)算量，對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理，即利用經(jīng)驗(yàn)值法[11]灰度化處理，再通過主成分分析算法(PCA)數(shù)據(jù)降維，保證系統(tǒng)運(yùn)算效率。

PCA算法可以將高維數(shù)據(jù)投射到低維空間，即是一種通過較少的維度表示高維信息的運(yùn)算方法，并且運(yùn)算結(jié)果會(huì)保留貢獻(xiàn)較大的數(shù)據(jù)特征，從而實(shí)現(xiàn)圖像數(shù)據(jù)降維。設(shè)一幅煙霧圖像灰度值向量為xi，訓(xùn)練過程中的數(shù)據(jù)集為{x1,x2,x3,x4,…,xN}，通過式(1).式(2)計(jì)算數(shù)據(jù)集平均向量和數(shù)據(jù)集的協(xié)方差矩陣cov(X,Y)。

(5)

(6)

通過計(jì)算得到協(xié)方差矩陣的特征向量ui和對(duì)應(yīng)特征值λi。為減少無關(guān)特征的影響，將特征值λi按大小順序進(jìn)行排列，只保留較大特征值，得到主成分構(gòu)成的維數(shù)為M×d的降維子空間變換矩陣U=(u1,u2,…, ud)，之后將煙霧樣本圖像向該子空間進(jìn)行投影得到維數(shù)為d×1的低維向量y:

y=UTx

(7)

將得到的一組低維向量L作為煙霧識(shí)別的訓(xùn)練數(shù)據(jù)集,在煙霧檢測(cè)過程中，對(duì)輸入的一個(gè)測(cè)試樣本x ，求出它與數(shù)據(jù)集中平均樣本的偏差，通過式(4)得到其在主特征子空間中的投影向量y：

(8)

2.4 卷積網(wǎng)絡(luò)模型構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種智能識(shí)別圖像的深度學(xué)習(xí)架構(gòu)，廣泛應(yīng)用于人工智能領(lǐng)域。通過大量圖像對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，初步提取目標(biāo)對(duì)象特征，對(duì)提取目標(biāo)進(jìn)行檢測(cè)識(shí)別。本文對(duì)數(shù)據(jù)預(yù)處理后的圖像數(shù)據(jù)集進(jìn)行CNN訓(xùn)練，提取數(shù)據(jù)集中具有煙火特征的圖像，并配合Inception Resnet v2[13]網(wǎng)絡(luò)模型識(shí)別煙火圖像。在基于TensorFlow[14]的多GPU支持下，極大地縮短了煙火特征提取時(shí)間，提高系統(tǒng)運(yùn)算效率。

2.4.1 基本卷積神經(jīng)網(wǎng)絡(luò)原理

卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)利用反向傳播算法進(jìn)行特征訓(xùn)練的多層神經(jīng)網(wǎng)絡(luò)，通常由輸入層、卷積層、池化層和完全連接層以及輸出層組成。圖4展示了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)。根據(jù)不同需求可構(gòu)建多層神經(jīng)網(wǎng)絡(luò)，以識(shí)別高級(jí)特征，解決復(fù)雜問題。但伴隨網(wǎng)絡(luò)層數(shù)增加，增加了運(yùn)算效率低、能耗大、網(wǎng)絡(luò)退化的傾向。

圖4 卷積神經(jīng)網(wǎng)絡(luò)模型

2.4.2 網(wǎng)絡(luò)模型構(gòu)建

為提高運(yùn)算速度、降低能源消耗，解決網(wǎng)絡(luò)退化問題，對(duì)基于Inception Resnet v2網(wǎng)絡(luò)模型的神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化：增加卷積網(wǎng)絡(luò)層數(shù)；利用Resnet殘差塊盡可能避免網(wǎng)絡(luò)退化、降低資源消耗；利用Inception結(jié)構(gòu)和全局池化層提高煙火特征提取精度、運(yùn)算效率。

3 煙火識(shí)別的實(shí)現(xiàn)與分析

3.1 數(shù)據(jù)集準(zhǔn)備

收集1000張包含煙火的圖像和500張其他干擾圖像作為訓(xùn)練數(shù)據(jù)，選取1000張作為訓(xùn)練數(shù)據(jù)集，500張作為測(cè)試數(shù)據(jù)集。將全部訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集圖像進(jìn)行數(shù)據(jù)預(yù)處理，再進(jìn)入深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

3.2 模型訓(xùn)練

通過深度學(xué)習(xí)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練，同時(shí)利用Tensorboard可視化工具觀察分析其訓(xùn)練過程。

3.3 結(jié)果分析

訓(xùn)練結(jié)束后，使用模型對(duì)圖像進(jìn)行識(shí)別。為檢驗(yàn)算法在焦?fàn)t實(shí)時(shí)煙火檢測(cè)過程中的效果，此處選取了3段不同位置(焦?fàn)t頂、焦側(cè)、機(jī)側(cè))的煙火視頻，共有52300幀，其中有煙火的幀數(shù)為37201幀，實(shí)驗(yàn)結(jié)果如表1所示。焦化煙火智能識(shí)別系統(tǒng)的平均識(shí)別準(zhǔn)確率高達(dá)92.3%，成功實(shí)現(xiàn)了焦化生產(chǎn)中煙火識(shí)別監(jiān)控的目的。

表1 煙霧識(shí)別準(zhǔn)確率

4 結(jié)論

本煙火識(shí)別系統(tǒng)實(shí)現(xiàn)了焦?fàn)t生產(chǎn)監(jiān)控區(qū)域內(nèi)的煙火識(shí)別，不需依賴其他傳感設(shè)備，直接對(duì)視頻監(jiān)控區(qū)域的畫面的煙火和火焰均可及時(shí)準(zhǔn)確識(shí)別，在發(fā)現(xiàn)煙火圖像后可立即分析并報(bào)警。

系統(tǒng)識(shí)別設(shè)備可及時(shí)將報(bào)警信息推送給相關(guān)管理人員，協(xié)助管理人員全天二十四小時(shí)對(duì)監(jiān)控區(qū)域的火焰情況進(jìn)行實(shí)時(shí)分析，并對(duì)異常煙火和火焰進(jìn)行報(bào)警提醒。系統(tǒng)具有很強(qiáng)的適應(yīng)能力、并且運(yùn)行穩(wěn)定，便于安裝。

本系統(tǒng)可與更多的行業(yè)第三方集成，將實(shí)現(xiàn)多功能的物聯(lián)網(wǎng)智能化應(yīng)用。

基于深度學(xué)習(xí)火苗，大火、煙柱、濃煙目標(biāo)檢測(cè)算法以及海量樣本訓(xùn)練，本文系統(tǒng)實(shí)現(xiàn)了煙火的實(shí)時(shí)監(jiān)控，平衡了算法準(zhǔn)確率和運(yùn)算效率，識(shí)別準(zhǔn)確率超過90%。