彭瑤瑤，王思遠(yuǎn)，傅興玉，申 明，游永發(fā)

(1. 中國(guó)科學(xué)院遙感與數(shù)字地球研究所，北京 100094； 2. 中國(guó)科學(xué)院大學(xué)，北京 100049； 3. 中國(guó)科學(xué)院電子學(xué)研究所，北京 100190)

無(wú)人機(jī)影像輔助下的路橋病害智能檢測(cè)

彭瑤瑤1,2，王思遠(yuǎn)1,2，傅興玉2,3，申 明1,2，游永發(fā)1,2

(1. 中國(guó)科學(xué)院遙感與數(shù)字地球研究所，北京 100094； 2. 中國(guó)科學(xué)院大學(xué)，北京 100049； 3. 中國(guó)科學(xué)院電子學(xué)研究所，北京 100190)

路橋表面病害狀況評(píng)估是路橋養(yǎng)護(hù)的一項(xiàng)重要內(nèi)容。目前病害檢測(cè)主要基于移動(dòng)測(cè)量車(chē)和目視判斷，具有工作量大、獲取危險(xiǎn)度高的缺點(diǎn)，而低空飛行的六旋翼無(wú)人機(jī)能夠拍攝到人工無(wú)法獲取到的多角度路橋照片，在路橋檢測(cè)方面具有巨大的優(yōu)勢(shì)。本文基于無(wú)人機(jī)影像開(kāi)展路橋病害檢測(cè)相關(guān)研究，提出了一種新的路橋病害檢測(cè)方法。首先通過(guò)多部件形變模型模擬病害目標(biāo)，并在無(wú)人機(jī)影像中全局搜索，檢測(cè)出潛在路橋病害區(qū)域。試驗(yàn)表明，本文算法在復(fù)雜背景下能夠有效檢測(cè)病害，目標(biāo)檢測(cè)精度達(dá)80%，具有很高的效率和魯棒性。

無(wú)人機(jī)影像；病害檢測(cè)；多部件形變模型；特征金字塔

據(jù)不完全統(tǒng)計(jì)，路橋的損壞90%以上是由裂縫引起的，作為路橋初級(jí)病害，坑洞、裂縫的檢測(cè)和處理對(duì)于公路養(yǎng)護(hù)管理具有非常重要的意義。而在道路管理和養(yǎng)護(hù)方面專(zhuān)業(yè)技術(shù)人員缺乏、養(yǎng)護(hù)經(jīng)費(fèi)方面投入有限的情況下，道路橋梁的巡檢周期通常比較長(zhǎng)，不及時(shí)進(jìn)行精細(xì)檢測(cè)會(huì)導(dǎo)致路橋破損程度加劇及養(yǎng)護(hù)費(fèi)用進(jìn)一步增加[1]。因此，研究路橋病害特性和自動(dòng)化檢測(cè)方法，對(duì)于快速檢測(cè)病害、建立起路橋病害預(yù)警系統(tǒng)、指導(dǎo)路橋及時(shí)檢修、降低道路養(yǎng)護(hù)成本、延長(zhǎng)道路使用壽命具有重要意義。

路橋病害的檢測(cè)已經(jīng)從主要依靠人工巡檢和目視判斷過(guò)渡至自動(dòng)檢測(cè)和人工輔助相結(jié)合，如借助移動(dòng)測(cè)量檢測(cè)車(chē)，通過(guò)搭載多鏡頭和GPS/POS等傳感器采集路面信息。但檢測(cè)車(chē)只能獲取路面的病害信息，對(duì)于道路橋梁側(cè)面或橋墩等結(jié)構(gòu)處的勘測(cè)依然需要有經(jīng)驗(yàn)的檢測(cè)員目視判斷和人工量測(cè)，成本高耗時(shí)長(zhǎng)且安全度小。近空六旋翼無(wú)人機(jī)能夠貼近橋梁飛行，并從人工難以到達(dá)的高空視角來(lái)觀測(cè)路橋，輕松拍攝到高精度的路橋側(cè)面和橋墩影像，減少檢測(cè)員的時(shí)間成本并降低檢測(cè)的危險(xiǎn)性[2]。本文利用傳回地面工作站的無(wú)人機(jī)影像研究先進(jìn)的路橋影像病害檢測(cè)方法，實(shí)現(xiàn)病害的高效定位和信息提取。

1 研究現(xiàn)狀

國(guó)內(nèi)外研究路橋病害檢測(cè)的方法主要有：①基于顯著性和統(tǒng)計(jì)特性：Zou提出了用張量投票建立概率圖，從概率圖上標(biāo)記種子點(diǎn)，并通過(guò)圖模型來(lái)代表種子，循環(huán)掃描樹(shù)邊緣修剪來(lái)定義理想的裂縫[3]；②基于模板匹配：Xu將裂縫種子模板用8×8的像素表示，并通過(guò)裂縫種子的位置和方向判斷是否歸屬于同一條裂縫[4]；③基于閾值分割：Li提出了一種利用F*Seed growing方法來(lái)自動(dòng)化提取裂縫線[5]，Koch基于形狀閾值直方圖將圖像分割為缺失和非缺失區(qū)域提取坑洞[6]；④基于小波變換：Sun用多尺度小波變換移除路面不規(guī)則背景提取道路裂縫[7]；⑤機(jī)器學(xué)習(xí)方法：錢(qián)彬以子塊為單位，根據(jù)裂縫呈現(xiàn)的稀疏特性，并結(jié)合深度學(xué)習(xí)采用稀疏自編碼SAE對(duì)局部子塊進(jìn)行學(xué)習(xí)，識(shí)別提取出裂縫子塊[8]?？傮w來(lái)看，目前路橋病害的檢測(cè)主要是基于閾值或邊緣，但無(wú)人機(jī)拍攝到的影像中可能存在汽車(chē)、行人、水漬、陰影等復(fù)雜物體，真實(shí)復(fù)雜場(chǎng)景下的路橋病害檢測(cè)目前為止并沒(méi)有很好的解決辦法[9]。檢測(cè)難度主要體現(xiàn)在：現(xiàn)有方法很難區(qū)分裂縫和其他結(jié)構(gòu)性地物或物體的邊緣；線狀裂縫等病害在無(wú)人影像中占比面積非常小，特征不明顯且形狀不固定。

在充分理解無(wú)人機(jī)影像特征和病害特征的基礎(chǔ)上，本文利用路橋病害的背景信息和結(jié)構(gòu)特性，提出一種基于多部件形變模型的路橋病害檢測(cè)方法。首先采用基于弱監(jiān)督分類(lèi)的多部件形變模型[10]，通過(guò)自動(dòng)發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)的有效區(qū)域來(lái)提高清晰度，訓(xùn)練獲取常規(guī)視覺(jué)元素和顯著對(duì)象，并結(jié)合標(biāo)準(zhǔn)全局特征生成具有多尺度的模型，高效地進(jìn)行無(wú)人機(jī)路橋病害的檢測(cè)與識(shí)別。

2 路橋病害檢測(cè)方法

路橋病害的檢測(cè)主要分為病害多部件模型和病害檢測(cè)兩個(gè)步驟，首先利用路橋病害影像數(shù)據(jù)訓(xùn)練病害模型，然后根據(jù)生成的病害模型檢測(cè)無(wú)人機(jī)影像數(shù)據(jù)，檢測(cè)出路橋病害。

2.1 病害建模

多部件形變模型由覆蓋整目標(biāo)的根濾波器和n個(gè)高分辨率的部件濾波器構(gòu)成。根濾波器定位目標(biāo)位置描述總體特征，部件濾波器描述目標(biāo)的細(xì)部特征和形狀走勢(shì)。實(shí)際使用中，裂縫可以根據(jù)彎曲程度和走向分為多個(gè)方向的子模型，結(jié)合不同子模型之間的空間關(guān)系可以很好地描述裂縫的結(jié)構(gòu)，也充分利用了路面背景特征。

2.1.1 特征金字塔

為了提高裂縫模型的泛化能力，在不同尺度實(shí)現(xiàn)目標(biāo)的特征和形狀的表達(dá)，本文采用改進(jìn)的多尺度HOG特征金字塔。計(jì)算出局部圖像的一階微分圖像梯度后，每個(gè)像素的梯度方向離散到p=9個(gè)方向通道上，將像素級(jí)特征聚合來(lái)獲得基于cell的特征映射C(i,j)，對(duì)特征向量C(i,j)用了4種不同的歸一化因子，即

每個(gè)因子都是對(duì)包含(i,j)在內(nèi)的4個(gè)cell組成的block的梯度能量的度量。對(duì)基于cell的特征映射C進(jìn)行歸一化并截?cái)啵饋?lái)得到HOG特征映射。對(duì)特征向量作PCA分析、歸一化和限幅，最終獲得表達(dá)特征向量的三維特征。金字塔的最小單位是cell，分辨率從上到下由低到高，金字塔上層可以大范圍捕捉粗糙的梯度直方圖和特征，底層捕捉到的主要是精細(xì)尺度特征直方圖和局部特征。

2.1.2 多部件形變模型

一個(gè)有n個(gè)部件的目標(biāo)模型被定義為(n+2)維向量,其中F0表示根濾波，Pi表示第i部件的模板，b為真實(shí)偏項(xiàng)。引入b是為了在將多個(gè)模型組成混合模型時(shí)，使多個(gè)模型的得分具有可比性。第i部件的模板定義為(Fi,vi,di)，其中Fi是第i部件的濾波器，vi是第i部件相對(duì)于根位置的二維向量，di是與錨位相關(guān)的每個(gè)可能位置形變損失的四維相關(guān)系數(shù)。

空間位置的得分是每個(gè)部件濾波器的位置得分減去形變損失再加上偏移，形變損失由每個(gè)部件濾波器和根濾波器的相對(duì)位置關(guān)系決定?？臻g位置得分z的表達(dá)式如下

空間位置的得分也可以表示為z=β·ψ(H,z)，即模型參數(shù)向量β和向量ψ(H,z)的點(diǎn)積，可以通過(guò)訓(xùn)latent SVM框架求取模型的根濾波器和部件濾波器。

2.2 模型參數(shù)訓(xùn)練

假定圖像為I，預(yù)測(cè)裂縫區(qū)域?yàn)锽，正樣本為P，負(fù)樣本為N，總樣本集D為正負(fù)樣本之和；假定裂縫結(jié)構(gòu)模型為M，β定義為模型參數(shù)；令每個(gè)(x,y)∈D均對(duì)應(yīng)一張圖像和特征金字塔H(x)。正樣本(I,B)∈P意味著目標(biāo)檢測(cè)器在B處高于閾值，預(yù)測(cè)B處存在裂縫；在負(fù)樣本N上，不存在裂縫區(qū)域。在正樣本中根濾波器和部件濾波器的位置看作隱藏變量，在訓(xùn)練中學(xué)習(xí)，訓(xùn)練時(shí)允許根濾波器的位置存在不確定性，一定程度上提高了系統(tǒng)的泛化能力和表現(xiàn)。

訓(xùn)練所需要的數(shù)據(jù)為正樣本集P={(I1,B1),(I2,B2)，…,(In,Bn)}、負(fù)樣本集N={J1,J2，…,Jm}和初始模型，訓(xùn)練結(jié)果為新模型參數(shù)β，訓(xùn)練過(guò)程為：

(1) 在指定的迭代次數(shù)下(如5000次)，循環(huán)訓(xùn)練。

(2) 假設(shè)特征向量集Fp=φ，在正樣本集P上循環(huán)detect-best(β,Ii,Bi)發(fā)現(xiàn)I上根濾波值最高的地方并將結(jié)果存儲(chǔ)在Fp中。

(3) 假設(shè)向量集Fn=φ，在負(fù)樣本集N上循環(huán)detect-best(β,Ii,Bi)發(fā)現(xiàn)根位置，選擇得分高于t的存儲(chǔ)在Fn中。

(4)β=gradient-descent(Fp∪Fn)，用訓(xùn)練出的特征向量集Fp和Fn訓(xùn)練模型向量β。

模型訓(xùn)練在構(gòu)造latent SVM中進(jìn)行參數(shù)學(xué)習(xí)，用坐標(biāo)下降法和梯度下降公式作用于緩存的特征向量上。但訓(xùn)練模型時(shí)使用坐標(biāo)下降算法容易受到局部最小值的影響，對(duì)初始化很敏感，需要擇優(yōu)選取訓(xùn)練數(shù)據(jù)。

2.3 病害區(qū)域檢測(cè)

基于無(wú)人機(jī)影像的檢測(cè)方法的主要思路為:首先建立無(wú)人機(jī)影像的全局hog特征金字塔；然后采用滑動(dòng)窗口法，將病害模板在各個(gè)尺度上進(jìn)行全圖搜索；最后將高響應(yīng)值區(qū)域判定為病害。目標(biāo)總體得分為

用動(dòng)態(tài)規(guī)劃和廣義距離變換來(lái)計(jì)算部件的最佳位置，每一層根位置的綜合響應(yīng)值可以表示為該層根濾波器響應(yīng)值加上經(jīng)過(guò)變換和子采樣的部件濾波器響應(yīng)值，在l層的綜合響應(yīng)值得分為

一般將病害模板在全圖的綜合響應(yīng)值得分按照從高到低的順序排列，得分越高表示為病害區(qū)域的可能性越大。本試驗(yàn)將檢測(cè)出的大于給定閾值的高分區(qū)域判定為病害區(qū)域。

3 試驗(yàn)開(kāi)展

3.1 試驗(yàn)數(shù)據(jù)

本試驗(yàn)的數(shù)據(jù)集由正樣本集P、負(fù)樣本集N和檢測(cè)影像集H組成，且模型訓(xùn)練數(shù)據(jù)集D=P∪N。正樣本集N為手持相機(jī)在北京海淀區(qū)道路路面拍攝采集到的99張帶有裂縫的影像，通過(guò)手工標(biāo)注出病害目標(biāo)的外接矩陣；負(fù)樣本集P為從PASCAL樣例集中隨機(jī)選取出的460張影像；檢測(cè)影像集H為無(wú)人機(jī)在試驗(yàn)場(chǎng)地飛行拍攝的無(wú)人機(jī)拍攝得到100幅道路橋梁數(shù)據(jù)。注意到D和H完全不同，主要有兩方面的原因：一是訓(xùn)練樣本要有一定的數(shù)量和多樣性，而無(wú)人機(jī)病害影像數(shù)據(jù)缺乏，需要手持拍攝補(bǔ)充；二是在實(shí)際場(chǎng)景檢測(cè)多部件形變模型的應(yīng)用效果，通過(guò)計(jì)算泛化誤差來(lái)評(píng)估泛化特性。

模型訓(xùn)練是在2.8GBCPU的Ubuntu系統(tǒng)下進(jìn)行的，平臺(tái)為MatlabR2014a；病害檢測(cè)是在VS2013平臺(tái)下用C++實(shí)現(xiàn)，單張影像的檢測(cè)速度在1s以?xún)?nèi)。

3.2 模型訓(xùn)練

準(zhǔn)備好模型訓(xùn)練需要的數(shù)據(jù)后，通過(guò)latentSVM模型對(duì)正負(fù)樣本數(shù)據(jù)進(jìn)行訓(xùn)練，將標(biāo)準(zhǔn)SVM的最大化樣本間距擴(kuò)展為最大化樣本集間距，將正樣本集中響應(yīng)度最高的樣本區(qū)域用作訓(xùn)練，同樣取負(fù)樣本集中離分界面最近的負(fù)樣本用作訓(xùn)練。路橋表層主要病害類(lèi)型為線狀裂縫、網(wǎng)狀裂縫、坑洞等，本試驗(yàn)中選用部件模型和部件濾波器均為8的情況下訓(xùn)練出病害模型，如圖1所示，從上到下分別為坑洞、線狀裂縫、網(wǎng)狀裂縫的模板。

圖1 訓(xùn)練出的路橋病害模型

模型由覆蓋整目標(biāo)的根濾波器和高分辨率的部件濾波器構(gòu)成。根濾波器定義了檢測(cè)窗口，描述整體特征，部件濾波器是根濾波器的2倍分辨率，能夠更準(zhǔn)確地描述局部特征和特征細(xì)部。訓(xùn)練出的模型可以模擬目標(biāo)的形狀特征和紋理特征，在坑洞、線狀裂縫和網(wǎng)狀裂縫特征非顯著的情況下，充分利用病害的背景較規(guī)則且紋理統(tǒng)一的特點(diǎn)將病害與結(jié)構(gòu)性邊緣及其他復(fù)雜地物區(qū)分開(kāi)，并且用多部件模型來(lái)模擬病害的形變。下面將對(duì)模型的泛化能力進(jìn)行度量。

3.3 病害區(qū)域預(yù)測(cè)

在檢測(cè)影像集H上分別對(duì)不同類(lèi)型的病害訓(xùn)練出的模型進(jìn)行檢測(cè)，檢測(cè)結(jié)果如圖2所示。從圖中可以看出，多部件形變模型對(duì)于復(fù)雜環(huán)境具有更好的普適性，在病害區(qū)域上檢出率顯著，對(duì)于非路橋地物的排除效果很好，但也存在一定的誤檢和漏檢，如將坑洞病害檢測(cè)出來(lái)的同時(shí)，將某一平整路面處也判定為病害。

圖2 基于無(wú)人機(jī)影像的路面病害檢測(cè)效果

在真實(shí)場(chǎng)景中檢測(cè)的試驗(yàn)表明，本算法能夠克服光照、陰影、復(fù)雜背景地物的影響，在不同尺度和角度下均有較好的泛化特性，在提取病害時(shí)具有很好的普適性。算法充分利用了路橋病害特征和道路背景數(shù)據(jù)，這也是將病害與其他結(jié)構(gòu)邊緣區(qū)分開(kāi)的顯著特點(diǎn)之一；但算法也存在一定的誤判性，需要后續(xù)加以排除。

另外，在不同響應(yīng)度閾值下，檢測(cè)病害目標(biāo)的精度和準(zhǔn)確度也隨之變化。要從大量無(wú)人機(jī)影像中檢測(cè)出攜帶裂縫信息的影像，要求較高的檢全率，可以有較低的檢準(zhǔn)率。經(jīng)過(guò)反復(fù)試驗(yàn)，在閾值設(shè)定為0.6時(shí)，可以達(dá)到80%的檢全率，以滿(mǎn)足實(shí)際使用。

3.4 檢測(cè)結(jié)果分析

用精度-召回率曲線(precision-recall)評(píng)估模型的泛化能力，如圖3所示，可以看出在同樣的召回率下準(zhǔn)確率的變化。

圖3 模型性能度量

總體來(lái)說(shuō)，多部件形變模型在坑洞病害的模型訓(xùn)練上效果最好，特別是對(duì)于坑洞、線狀裂縫這兩類(lèi)，可以提取出特征；對(duì)于網(wǎng)狀裂縫的檢測(cè)效果較差。而由于路橋病害的復(fù)雜性，在保證檢全率的情況下依然會(huì)有漏檢，這也是未來(lái)需要提高的方向。本文算法在北京路橋集團(tuán)病害檢測(cè)中進(jìn)行了初步應(yīng)用，取得了良好的應(yīng)用效果。

4 結(jié) 語(yǔ)

路橋病害檢測(cè)在學(xué)術(shù)界和工業(yè)界已經(jīng)進(jìn)行了多年的研究，不是一個(gè)全新的問(wèn)題，但檢測(cè)方法的準(zhǔn)確率一直有待提高。本文針對(duì)無(wú)人機(jī)采集的路橋數(shù)據(jù)，提出了無(wú)人機(jī)影像檢測(cè)復(fù)雜環(huán)境下路橋病害檢測(cè)的方法，通過(guò)建立多層特征金字塔和多部件形變模型來(lái)提高病害模型的普適性，在復(fù)雜背景下提取不固定形態(tài)病害——路橋裂縫和坑洞等。無(wú)人機(jī)單次飛行獲取的影像有成千上萬(wàn)幅，采用本文方法能從中檢測(cè)出路橋病害，極大地減少了工作量。大量試驗(yàn)結(jié)果表明，本文的檢測(cè)方法相比于其他基于邊緣結(jié)構(gòu)等信息的道路病害提取方法更加高效，對(duì)于不同環(huán)境、光照情況下的路橋病害提取具有更高的魯棒性。未來(lái)的研究中，還將進(jìn)一步提高病害識(shí)別的精度，以及進(jìn)一步開(kāi)展病害完整形態(tài)的提取和參數(shù)的計(jì)算。

[1] 朱國(guó)祥. 基于道路橋梁的養(yǎng)護(hù)技術(shù)與措施分析[J]. 交通世界(運(yùn)輸車(chē)輛), 2015(6)：212-213.

[2] 畢凱，李英成，丁曉波,等. 輕小型無(wú)人機(jī)航攝技術(shù)現(xiàn)狀及發(fā)展趨勢(shì)[J]. 測(cè)繪通報(bào), 2015(3): 27-31，48.

[3] ZOU Q, CAO Y, LI Q, et al. CrackTree: Automatic Crack Detection from Pavement Images [J]. Pattern Recognition Letters, 2012, 33(3): 227-238.

[4] XU B. Automatic Inspection of Pavement Cracking Distress [J]. Journal of Electronic Imaging, 2006, 15(1): 185-188.

[5] LI Q, ZOU Q, ZHANG D, et al. FoSA: F* Seed-growing Approach for Crack-line Detection from Pavement Images [J]. Image and Vision Computing, 2011, 29(12): 861-872.

[6] KOCH C, BRILAKIS I. Pothole Detection in Asphalt Pavement Images [J].Advanced Engineering Informatics, 2011, 25(3): 507-515.

[7] SUN L, ZHANG Y M. Weighted Neighborhood Pixels Segmentation Method for Automated Detection of Cracks on Pavement Surface Images [J]. Journal of Computing in Civil Engineering, 2016, 30(2): 11.

[8] 錢(qián)彬, 唐振民, 徐威,等. 子塊鑒別分析的路面裂縫檢測(cè)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2015,20(12): 1652-1663.

[9] KOCH C, GEORGIEVA K, KASIREDDY V, et al. A Review on Computer Vision Based Defect Detection and Condition Assessment of Concrete and Asphalt Civil Infrastructure [J]. Advanced Engineering Informatics, 2015, 29(2): 196-210.

[10] FELZENSZWALB P F,GIRSHICK R B, MCALLESTER D, et al. Object Detection with Discriminatively Trained Part-based Models [J]. IEEE Transactions on Software Engineering,2010,32(9):1627-1645.

Intelligent Road and Bridge Disease Detection Method Based on UAV Images

PENG Yaoyao1,2，WANG Siyuan1,2，F(xiàn)U Xingyu2,3,SHEN Ming1,2，YOU Yongfa1,2

(1. Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences,Beijing 100094, China; 2. University of Chinese Academy of Sciences,Beijing 100049, China; 3. Institute of Electronics, Chinease Academy of Sciences, Beijing 100190, China)

Disease assessment is an important aspect of roads and bridges maintenance. Current disease detection is mainly based on automatic measuring vehicles and visual judgments, with the shortcomings of heavy workload and high risk. Correspondingly, the low-flying six-rotor unmanned aerial vehicles (UAV) can take photos of roads and bridges from multi-angles, which has great advantages on roads and bridges detection. Based on UAV images, this paper developed a new method in disease detection of roads and bridges. First, the multi-component deformation model was used to simulate the disease target. Then the global image was searched to detect the potential disease areas. Finally, the disease areas were detected from UAV images. Experiments showed that the proposed algorithm could effectively detect the disease in complex background, and the target detection accuracy was over 80%, with high efficiency and strong robustness.

unmanned aerial vehicle images；disease detection；multi-component deformation model；feature pyramid

彭瑤瑤，王思遠(yuǎn)，傅興玉,等.無(wú)人機(jī)影像輔助下的路橋病害智能檢測(cè)[J].測(cè)繪通報(bào)，2017(8)：67-70.

10.13474/j.cnki.11-2246.2017.0256.

2016-12-27

北京市電子信息技術(shù)創(chuàng)新與新興產(chǎn)業(yè)培育項(xiàng)目(Z15110003615007;Z15110100360000)

彭瑤瑤(1991—)，女，碩士，主要從事智能化道路檢測(cè)研究與設(shè)計(jì)等工作。E-mail：pengyy@radi.ac.cn

P237

A

0494-0911(2017)08-0067-04