鄭孝強
四川龍光瀘貴高速公路有限公司,四川 瀘州 400037
在識別圖像與視頻方面,需要重點關(guān)注圖像對比度、光源方向等,然而,如何看待照片并消除其對識別的負(fù)面影響是計算機領(lǐng)域尚未解決的問題之一,通常采用矩形平衡法、同態(tài)濾波器、GR 來解決照明問題。常用的算法有直方圖對齊法、Retinex 算法、同態(tài)濾波法等[1]。在實踐運用中,這些算法都存在不足,局限性較強。例如,直方圖對齊法忽略了圖像頻率信息;Retinex 算法強調(diào)了圖像頻率信息的重要性,但是圖像過濾信息沒有得到充分利用,導(dǎo)致圖像邊界模糊;同態(tài)濾波法需要高空采樣,對圖像參數(shù)的要求較高[2]。
圖像局部值的變化,以及照片對物體元素和紋理的扭曲,將極大地影響識別的有效性和準(zhǔn)確性[3]。在此基礎(chǔ)上,很難進(jìn)一步識別圖像與視頻。為了突破瓶頸問題,人臉識別、條紋控制等領(lǐng)域的科學(xué)家們進(jìn)行了研究。人們試圖弱化光輻射的影響,希望逐漸提高識別的精準(zhǔn)性。在現(xiàn)有識別方法的基礎(chǔ)上將深入學(xué)習(xí)的方法推廣到光領(lǐng)域,利用神經(jīng)網(wǎng)絡(luò)中光束動態(tài)平衡效應(yīng),是解決復(fù)雜光照條件下識別分類問題的可行方案[4]。
某橋梁上部結(jié)構(gòu)共5 跨:(95+3×180+95)m。橋面為單向2%橫坡;左幅梁體位于半徑為4 050 m 的左偏曲線上,右幅梁體位于半徑為6 500 m 的右偏曲線上;橋梁縱坡為1.95%上坡。下部結(jié)構(gòu)30#~35#為連續(xù)梁橋墩,單肢空心薄壁結(jié)構(gòu),墩臺基礎(chǔ)采用樁基礎(chǔ)及承臺。
掛籃系統(tǒng)主要由主桁系統(tǒng)、行走系統(tǒng)、錨固系統(tǒng)、底籃系統(tǒng)、提吊系統(tǒng)、平臺及防護(hù)系統(tǒng)、模板系統(tǒng)等組成。各系統(tǒng)既獨立又聯(lián)系,滿足了懸澆施工的需求。掛籃設(shè)計結(jié)構(gòu)如圖1 所示。
圖1 掛籃設(shè)計結(jié)構(gòu)圖(單位:mm)
掛籃監(jiān)控圖像的光線復(fù)雜,因此照片處理難度較大[5]。掛籃監(jiān)控圖像最常見的問題是圖像照明過多或過少,導(dǎo)致圖像清晰度較低,可利用價值較差。在圖像觀測中,光源種類、光源位置、反射程度、對能見度的影響、反射光可能完全不同。在這樣復(fù)雜的照明條件下,傳統(tǒng)的光處理方法難以滿足圖像識別的要求。因此,有必要找到一種能夠?qū)?fù)雜的光條件進(jìn)行處理的方法[6]。
傳統(tǒng)的光補償法以直方圖或Retinex 算法為主,這些方法在部分場景下具有良好的應(yīng)用效果,但是在實踐中,圖像的特征往往復(fù)雜多樣,這些算法難以滿足圖像識別需求。
針對復(fù)雜照明中的照明補償問題,文章介紹了一種改進(jìn)的網(wǎng)絡(luò)—CycleGAN,并介紹了具體的結(jié)構(gòu)。從本質(zhì)上講,這種方法需要借助CycleGAN 遷移樣式,把光照當(dāng)成特殊的物體進(jìn)行傳輸,能高效處理復(fù)雜照片,使之產(chǎn)生正常光照圖像的效果。
對抗網(wǎng)絡(luò)是GAN 網(wǎng)絡(luò)的變形。與基本的GAN 網(wǎng)絡(luò)相比,每個網(wǎng)絡(luò)有2 個發(fā)電機和1 個鑒別器。對抗結(jié)構(gòu)在訓(xùn)練過程中,圖像可以單獨使用,不必成對出現(xiàn),從而在應(yīng)用上有更好的適應(yīng)性。完整的對抗網(wǎng)絡(luò)由2 個單向網(wǎng)絡(luò)組成,組成方式如圖2 所示。兩個單向網(wǎng)絡(luò)共用2 個生成器,各自有1 個判別器。圖中X與Y分別表示要進(jìn)行轉(zhuǎn)換的兩個類中的真實輸入,G、F分別是由X類真實樣本轉(zhuǎn)換成Y類樣本和由Y類真實樣本轉(zhuǎn)換成X類樣本的生成器。在生成樣本之后,分別通過D(X)和D(Y)對生成的樣本的真實性進(jìn)行判斷。
圖2 單向網(wǎng)絡(luò)組合方式
生成器共由3 個通道構(gòu)成了圖像輸入格式,彩色圖像分辨率為256×256。輸入圖像被發(fā)送到卷積層提取元素;提取元素后,將通過包含11 層的殘差塊執(zhí)行轉(zhuǎn)換,以確保其他元素在樣式轉(zhuǎn)換過程中不會受到影響;然后將元件移至反向卷積層,將高維元件還原為低維元件;最后,將獲得的屬性發(fā)送到卷積層以創(chuàng)建新圖像。
考慮到掛籃監(jiān)控事件變化緩慢、動態(tài)事件與靜態(tài)事件并存的特點,文章設(shè)計了利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像提取的方法,然后將一系列圖像特征引入神經(jīng)網(wǎng)絡(luò),實現(xiàn)掛籃圖像的精確識別。
文章將光照掛籃中復(fù)雜觀測事件的識別過程分為訓(xùn)練和識別兩部分。訓(xùn)練部分包括三個數(shù)據(jù)采集設(shè)備,用于監(jiān)視圖像集、圖像對抗數(shù)據(jù)集和圖像特征集;在識別部分中,從一個觀測點均勻識別出的五個幀被傳輸?shù)饺齻€模型中的照片處理、特征提取和分類模塊中,最終獲得圖像識別結(jié)果。模型訓(xùn)練部分的主要流程如圖3 所示。
圖3 訓(xùn)練部分的算法流程
在識別過程中,需要用到三種模型:Cyclegan 模型、CNN 模型、RNN 模型。除了第一種模型,后面兩種模型都是根據(jù)需求調(diào)整模型結(jié)構(gòu)。
CycleGAN 模型使用復(fù)雜光照和正常光照圖像對抗數(shù)據(jù)集進(jìn)行訓(xùn)練,以得到一個能夠有效處理光照的收斂模型;然后,將掛籃監(jiān)控圖像數(shù)據(jù)集輸入CycleGAN模型進(jìn)行光照處理,減弱光照的影響,為下一步的特征提取做準(zhǔn)備;其后,使用光照處理后的掛籃監(jiān)控圖像數(shù)據(jù)集訓(xùn)練CNN,使其能更準(zhǔn)確地提取圖像的高級特征;訓(xùn)練完成后,將光照處理后的掛籃監(jiān)控圖像數(shù)據(jù)集按5 個一組輸入CNN 提取特征,得到掛籃監(jiān)控圖像特征數(shù)據(jù)集,該數(shù)據(jù)集包含圖像的特征變量,且保留了連續(xù)圖像的時序信息;最后利用掛籃監(jiān)控圖像特征數(shù)據(jù)集,再訓(xùn)練RNN 模型,得到訓(xùn)練后的RNN模型;訓(xùn)練完成后,開始圖像識別。需要把數(shù)據(jù)輸入CycleGAN 模型中,分三次處理:首先使用Cyclegan 模型(按時間順序排列的5 個控制圖像)進(jìn)行圖像處理;然后將處理后的圖像依次傳輸?shù)紺NN 模型中提取特征;所獲得的特征將被導(dǎo)出到RNN 模型中進(jìn)行分類。識別過程如圖4 所示。
圖4 識別部分的算法流程
首先,創(chuàng)建一個數(shù)據(jù)集,每個數(shù)據(jù)集包含多個視頻圖像;其次,將收集到的數(shù)據(jù)輸入訓(xùn)練模型,利用RESnet 提取特征,使用LSTM 進(jìn)行訓(xùn)練;最后,將視頻按兩種訓(xùn)練模式進(jìn)行分類,一次性從視頻中提取幀,將其發(fā)送到RESnet 中提取特征,并將其發(fā)送到LSTM進(jìn)行最終分類。識別過程如圖5 所示。
圖5 連續(xù)監(jiān)控圖像識別過程
文章首先介紹了掛籃圖像存在光照復(fù)雜的問題,然后介紹了光照補償過程,之后詳細(xì)介紹了掛籃監(jiān)控圖像的訓(xùn)練和識別過程,并分析了連續(xù)監(jiān)控圖像識別過程。文章有望為提高圖像識別效果提供參考。