朱建偉,李朝奎,周新邵,趙丁瑩,傅開鴻

(1. 湖南科技大學(xué)測繪遙感信息工程湖南省重點實驗室,湖南 湘潭 411201; 2. 湖南科技大學(xué)地理空間信息技術(shù)國家地方聯(lián)合工程實驗室,湖南 湘潭 411201; 3. 湖南城市學(xué)院信息與電子工程學(xué)院,湖南 益陽 413000; 4. 湘潭大學(xué)土木工程與力學(xué)學(xué)院,湖南 湘潭 411201)

“十三五”時期,全國公路總里程接近520萬km,高速公路通車?yán)锍踢_(dá)16.1萬km。每年高速公路廣告牌投放已占我國戶外廣告媒體投放金額總數(shù)的50%以上。各省高速沿線廣告管理政策正在加速完善,如2021年11月3號湖南省人民政府辦公廳印發(fā)的《湖南省經(jīng)營性高速公路項目管理辦法》。根據(jù)我國公路建設(shè)的方針,計劃約用30年的時間建成“五縱十橫”共12條路線,建成后,將連接全國43%以上的城市,覆蓋人口約6億人。面對如此龐大的市場和受眾,圍繞高速公路產(chǎn)生的廣告形式,將日趨完善和標(biāo)準(zhǔn)化,也對其管理提出了更高的要求。目前高速公路管理局對廣告牌的主要管理形式為巡檢人員沿線驅(qū)車,逐一下車拍照及目視檢查,該方式存在嚴(yán)重的安全隱患且信息反饋遲緩、成本高。因此,建立一個集成智能巡檢與自動化信息處理的廣告牌管理系統(tǒng)已經(jīng)成為當(dāng)下迫切的需求。在無人機駕駛技術(shù)研究熱潮下,環(huán)境感知與數(shù)字圖像處理提供了新的思路。

全球經(jīng)濟蓬勃發(fā)展,對社會設(shè)施、生產(chǎn)設(shè)備等維護和更新的效率與成本提出了更高的要求。由此基于計算機視覺的破損目標(biāo)檢測已逐步應(yīng)用于社會的各個角落。文獻(xiàn)[1]設(shè)計了基于無人機系統(tǒng)(UAS)的堤壩損口檢測方法,核心是比較由UAS獲取的兩種類型的多時態(tài)數(shù)據(jù)建立DTM模型。文獻(xiàn)[2]提出了一種基于改進(jìn)自回歸模型的Lamb波信號Wigner-Vill時頻分析方法,可高效檢測金屬或復(fù)合材料中的結(jié)構(gòu)缺陷。文獻(xiàn)[3]通過VMD將切削振動信號分解成若干個模態(tài)分量,提取各模態(tài)分量的中心頻率和能量組成特征向量,最終由SVM進(jìn)行銑刀的破損檢測。文獻(xiàn)[4]將改進(jìn)的K-mean聚類算法和引入α平衡因子的YoLov4算法,應(yīng)用于集裝箱的破損檢測并取得了良好的效果。文獻(xiàn)[5]在路面破損檢測中采用區(qū)別于基于像素的處理方法,基于塊進(jìn)行Haar小波變換,自適應(yīng)分割提取初始區(qū)域并逐級迭代小波域系數(shù),取得了良好的分割效果。但目前破損檢測在高速公路廣告牌維護管理中的應(yīng)用研究較少。結(jié)合車載遙感平臺,對實時采集的廣告牌影像進(jìn)行自動化破損檢測,可省去人工巡檢駐車目視檢查拍照等環(huán)節(jié),極大地提高作業(yè)的安全性和效率。本文以車載遙感平臺代替人工駐車獲取廣告牌實時信息,以數(shù)字圖像處理代替人工問題甄別,通過圖像識別技術(shù)檢測廣告牌影像中破損目標(biāo)的方式,為搭建智能巡檢系統(tǒng)提供良好的技術(shù)支持。

1 研究方法

文獻(xiàn)[6]提出SIFT算法后,諸多學(xué)者在此基礎(chǔ)上發(fā)展出了適合各種應(yīng)用場景的改進(jìn)算法[7-11]。遙感高速公路廣告牌影像具有空間分辨率高、地物豐富的特點。傳統(tǒng)SIFT遙感影像匹配的需求是檢測具有盡可能多的描述子[12]。但本文應(yīng)用以檢測廣告牌單體為主,在大量的背景信息中生產(chǎn)的描述子均存在冗余。改進(jìn)方法為:首先,在SIFT高斯差分空間極值點選取之前,通過離散余弦變換將圖像的光強數(shù)據(jù)轉(zhuǎn)換為頻譜數(shù)據(jù),再進(jìn)行門限操作篩除高頻系數(shù);然后運用RANSAC穩(wěn)健方法計算整體透視變換測試模型,迭代計算出最佳模型匹配點并進(jìn)行精匹配。

同一廣告牌首次安裝時采集的影像與車載平臺巡檢時同機位拍攝的影像組成檢測像對。具體方法:①改進(jìn)的SIFT算法分別檢測模板圖與目標(biāo)圖中的描述子,并生成對應(yīng)的特征描述;②圖像像素對齊,SIFT特征點組成初始內(nèi)點集,利用RANSAC構(gòu)建測試模型篩選最優(yōu)匹配點并進(jìn)行精匹配;③圖像減法,模板圖與目標(biāo)圖相減后再相加,然后通過形態(tài)學(xué)處理剔除細(xì)小的噪聲,提取標(biāo)記好的連通域。

1.1 SIFT改進(jìn)策略

(1)離散余弦變換。離散余弦變換先將光頻信號轉(zhuǎn)化為頻率信號再進(jìn)行門限操作,優(yōu)異的去相關(guān)性非常適用于處理遙感影像中多尺度的地物信息。

將圖像分割成16×16的小塊;對每個小塊進(jìn)行DCT變換后獲得對應(yīng)不同光頻尺度的能量系數(shù)。一維DCT變換公式為

(1)

(2)

式中,f(i)和F(u)分別為某點原始的光強信號值和離散余弦變換后的頻譜能量系數(shù);N和c(u)分別為點數(shù)和補償系數(shù)。進(jìn)而二維正變換為

(3)

式中,f(i,j)、F(u,v)分別為初始信號值和離散余弦變換后的能量系數(shù);c(u)、c(v)為補償系數(shù)。廣告牌背景中大量的邊界和紋理等聚集在高頻區(qū)域,做裁剪處理后同時保留聚集平緩區(qū)域的低頻部分,然后進(jìn)行逆離散余弦變換運算,將頻率信號轉(zhuǎn)化為光強信號。

(2)尺度空間極值檢測。構(gòu)建高斯金字塔,如圖1所示。運算對象的尺度空間L(x,y,σ)定義為函數(shù)I與尺度可變換的高斯函數(shù)G(x,y,σ)的卷積運算,公式為

圖1 高斯差分金字塔

(4)

式中,(x,y)為像素坐標(biāo);σ為空間尺度因子;L( )為高斯尺度空間。在不同高斯尺度空間均未被篩除的點即為特征點。極值檢測采用DOG算子,在檢測高斯極值點時,需要將同一影像分離的兩個相鄰的一維高斯模板分別進(jìn)行高斯濾波后再作差。公式為

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]·

I(x,y)=L(x,y,kσ)-L(x,y,σ)

(5)

每個像素點均與其具有三維相鄰關(guān)系的26個像素點進(jìn)行比較,若在多個尺度下均能保證是最大值或最小值,則認(rèn)為是一個穩(wěn)定的極值點。如圖2所示,相鄰三層DOG之間,尋找中間層的極值點。

圖2 DOG尺度空間極值點檢測

(3)特征方向賦值。對特征點進(jìn)行方向賦值以保證圖像平移或旋轉(zhuǎn)不變性。方法是求得各點L(x,y)的梯度的模m及方向θ,公式為

(6)

計算時分別對特征點鄰域像素進(jìn)行采樣,同時統(tǒng)計各樣本所對應(yīng)的梯度方向直方圖。將所有可能的方向以每10°為一個方向區(qū)間進(jìn)行統(tǒng)計,共36個可能的方向。特征點領(lǐng)域梯度直方圖中,每個柱的方向和高低分別表示像素點的梯度和幅值。統(tǒng)計直方圖的能量峰值方向并賦值為該特征點的主方向。圖3為通過簡化的7個方向梯度統(tǒng)計方向直方圖且給描述點進(jìn)行方向賦值的例子,第二柱賦值為該點的主方向。

圖3 建立特征點方向

(4)生成關(guān)鍵點描述符。描述符即完整描述某特征點的SIFT特征向量。將特征點領(lǐng)域均分邊長為3σ的16個正方形子域?？紤]實際計算時,需進(jìn)行三次線性插值,因此特征點鄰域為3σ(d+1)·3σ(d+1)的范圍(如圖4所示圓的范圍),d為任一方向上的子域數(shù)量,取d=4,旋轉(zhuǎn)坐標(biāo)軸與特征點主方向一致。在求取某特征點鄰域范圍中各子域內(nèi)像素的梯度幅值后進(jìn)行高斯加權(quán),再插值計算確定每一特征點的8個梯度方向,則每個描述子由128維特征向量表述,最終進(jìn)行歸一化處理,如圖4所示。

圖4 關(guān)鍵點描述符

1.2 圖像像素對齊

應(yīng)用中模板圖像是廣告牌安裝時獲取的,目標(biāo)圖像是巡檢時獲取的,均是基于車載遙感平臺在相同參數(shù)、同一相機和視角條件下獲取的,改進(jìn)的SIFT算法獲取關(guān)鍵點描述子。分別對模板圖和實時圖建立關(guān)鍵點描述子合集。采用K近鄰法匹配模板圖與目標(biāo)圖中若干對應(yīng)的描述子。

確定若干對匹配的描述子后,目標(biāo)圖像通過單適應(yīng)矩陣進(jìn)行幾何變換對齊模板圖。表述為

(7)

式中,(x1,y1,1)和(x2,y2,1)分別表示對應(yīng)像素的齊次坐標(biāo);H為單適應(yīng)矩陣。

解算單適應(yīng)矩陣需8個方程,每個像素由二維坐標(biāo)表述,故需要抽取最佳的4個像素。采用RANSAC方法對4個基準(zhǔn)像素點進(jìn)行選取。該算法能在兩個交互的不同點集中,精確地擬合出所需點集的描述模型。通過RANSAC方法從描述子中對集合抽取4個不共線的樣本,計算H矩陣以構(gòu)建出測試模型。計算符合該模型的點量與投影誤差,所得投影誤差最小即為最優(yōu)模型,公式為

(8)

通過上述函數(shù)精選出模板圖和目標(biāo)圖中最佳的特征匹配對,采用warpPerspective函數(shù)對目標(biāo)圖像投影映射,函數(shù)公式為

(9)

如圖5所示,(c)為(b)照準(zhǔn)(a)后的結(jié)果。

圖5 圖像像素對齊

1.3 目標(biāo)提取

兩張圖像對齊后迥異的連通域是目標(biāo)區(qū)域,即廣告牌的破損區(qū)域。若僅對模板圖與目標(biāo)圖作差,多數(shù)情況下會導(dǎo)致結(jié)果為負(fù)數(shù),損失信息。解決方法是將模板圖與目標(biāo)圖互相相減,然后再相加,得到迥異的連通域,算法處理結(jié)果如圖6所示。

圖6 迥異連通域

再對初步結(jié)果進(jìn)行如下處理:①通過灰度轉(zhuǎn)化,降低灰度值像素的影響,增強高灰度值像素;②采用中值濾波法去除灰度轉(zhuǎn)換后較小的噪聲點;③利用區(qū)域形態(tài)學(xué),使像素歸一化,去掉邊界;④標(biāo)記。經(jīng)過上述處理后便可進(jìn)行連通域的提取并輸出廣告牌中的破損部分。

2 試驗分析

目標(biāo)檢測算法的有效性驗證需要大量樣本,本文目前還未找到相應(yīng)的成熟的測試數(shù)據(jù)集,而廣告牌不同時期且有破損的目標(biāo)影像的采集需要非常久的數(shù)據(jù)樣本的積累。本文在模擬試驗與自建庫的基礎(chǔ)上,參照醫(yī)院影像識別中的階梯設(shè)計的整群隨機對照試驗(SW-CRT)思想,該方法對現(xiàn)實條件受限或“利大于弊”的干涉政策等評定非常穩(wěn)健,開發(fā)工具為Matlab 2016a。高炮廣告牌模型比列為8∶1,人工植入破損模擬建立檢測對象。車載相機型號為DSC-RX1RM2,分辨率為4020萬像素,焦距為35 mm。

原始數(shù)據(jù)按影像信息復(fù)雜度將驗證數(shù)據(jù)分為三級:一級為廣告牌原始底圖;二級為地物較少的遙感影像;三級為地物豐富的遙感影像。影響因子設(shè)為Δ,通過人工統(tǒng)計同一目標(biāo)不同復(fù)雜度背景中的地物數(shù)量,求取該數(shù)量相互比例以確定不同級別的原始數(shù)據(jù)所對應(yīng)的權(quán)重因子,即ΔⅠ=0.2,ΔⅡ=0.3,ΔⅢ=0.5。

針對不同大小的模擬破損區(qū)域設(shè)置權(quán)重,可以使總體模型更加注重明顯破損區(qū)域及小目標(biāo)。將模擬破損區(qū)域按從小到大分為ⅰ、ⅱ、ⅲ3個級別,越小的破損目標(biāo)識別難度越大。設(shè)目標(biāo)區(qū)域大小對精度判定的置信度為?,以獨立性權(quán)重思想進(jìn)行定權(quán)。其中,基于不同復(fù)雜度設(shè)置三級指標(biāo),以目標(biāo)檢測交并比確定復(fù)相關(guān)系數(shù),結(jié)果見表1。

表1 獨立性權(quán)重法定權(quán)

故?ⅰ=0.5,?ⅱ=0.3,?ⅲ=0.2。在不同背景復(fù)雜度的廣告牌影像中,隨機植入1～10個不同級別的破損目標(biāo)區(qū)域。各采集50對不同復(fù)雜度的遙感影像進(jìn)行建庫?？傮w精度評定模型為

(10)

式中,A、B、C為分對應(yīng)Ⅰ、Ⅱ、Ⅲ級數(shù)據(jù)中植入的破損區(qū)域的數(shù)量;a、b、c為相對應(yīng)的算法檢測到的目標(biāo)數(shù)量,結(jié)果見表2。

表2 算法精度評定

試驗結(jié)果表明,該方法在高速公路廣告牌破損目標(biāo)快速檢測應(yīng)用上是穩(wěn)健的。在最復(fù)雜背景中植入最多數(shù)量的破損區(qū)域的干擾條件下,檢測精度也能保證在80%以上,完全滿足該應(yīng)用方向的實際需求。該方法對高速公路廣告牌智能巡檢系統(tǒng)的搭建提供了有力的支持。部分具有代表性的結(jié)果如圖7所示。

圖7 部分試驗成果

3 結(jié) 語

本文設(shè)計了基于車載遙感影像的高速公路廣告牌破損快速檢測方法,結(jié)合快速處理影像的實際需求,對經(jīng)典的SIFT圖像匹配算法進(jìn)行了改進(jìn)。在SIFT高斯差分空間極值點選取之前通過離散余弦變換,將圖像的光強數(shù)據(jù)轉(zhuǎn)換為頻譜數(shù)據(jù)并進(jìn)行門限操作篩除高頻系數(shù),剔除了大量需要檢測的背景冗余信息的特征點,在滿足檢測精度需求的情況下,大大提高了計算效率。采用RANSAC隨機抽取匹配點計算單適應(yīng)矩陣生成測試模型,再選取最優(yōu)點進(jìn)行精匹配,壓縮了算法體積?；诟咚俟窂V告牌巡檢需求與廣告牌自身特點,對現(xiàn)有圖像匹配算法進(jìn)行了針對性的改進(jìn)和優(yōu)化,實現(xiàn)了車載遙感廣告牌數(shù)據(jù)破損目標(biāo)的高精度提取,為當(dāng)下高速公路廣告牌巡檢的應(yīng)用需求提供了新的思路與技術(shù)支撐。