陸魁, 周 浩, 劉文浩

(1.河北工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與軟件學(xué)院,天津 300401;2.河北省大數(shù)據(jù)計(jì)算重點(diǎn)實(shí)驗(yàn)室,天津 300401)

?

基于流形學(xué)習(xí)的路面破損圖像多特征融合與可視化石

陸魁1,2, 周 浩1, 劉文浩1

(1.河北工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與軟件學(xué)院,天津 300401;2.河北省大數(shù)據(jù)計(jì)算重點(diǎn)實(shí)驗(yàn)室,天津 300401)

針對路面破損圖像自動識別中的多特征融合問題，提出了一種基于流形學(xué)習(xí)的多特征融合方法，利用流形學(xué)習(xí)方法將組合投影、混合密度因子和二階不變矩3種特征的高維數(shù)據(jù)映射到低維空間中，提取出路面破損圖像的本質(zhì)特征，實(shí)現(xiàn)了多特征融合和路面破損圖像的可視化。在試驗(yàn)中，將這種多特征融合方法應(yīng)用在路面破損圖像的檢測中，首先從8個(gè)組合特征中提取出二維特征，然后比較ELM、KNN、SVM、BP神經(jīng)網(wǎng)絡(luò)在二維特征上的識別效果。試驗(yàn)結(jié)果表明: 利用特征融合方法有效提高了路面破損圖像的識別精度; 通過可視化得到了二維特征的物理含義，一個(gè)特征初步表明了路面裂縫的復(fù)雜程度和破損程度，另一個(gè)特征給出了裂縫的方向。

道路工程；多特征融合; 流形學(xué)習(xí); 路面破損圖像; 可視化

0 引言

隨著公路交通建設(shè)的快速發(fā)展，道路維護(hù)與管理問題日趨突出。因此，檢測路面破損情況對道路維護(hù)來說是一項(xiàng)至關(guān)重要的工作，而傳統(tǒng)的人工檢測早已不能滿足道路交通發(fā)展的要求。隨著圖像處理技術(shù)的不斷發(fā)展，基于圖像處理的路面破損自動檢測方法不斷涌現(xiàn)。文獻(xiàn)[1]提出了用不變矩特征來識別瀝青路面破損圖像；文獻(xiàn)[2]提出了基于混合密度因子的路面破損圖像識別方法；文獻(xiàn)[3]使用Beamlet變換提取路面裂縫的線性特征后用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類；文獻(xiàn)[4]利用中值濾波和Hessian矩陣的多線性濾波器對路面圖像預(yù)處理后再自動檢測路面裂縫；文獻(xiàn)[5]使用小波變換結(jié)合神經(jīng)網(wǎng)絡(luò)檢測路面裂縫類別；文獻(xiàn)[6-7]提出了利用連通域的方法來提取裂縫；文獻(xiàn)[8]提出了用幾何特征來識別水泥刻槽；文獻(xiàn)[9-10] 提出了利用支持向量機(jī)來識別路面裂縫；文獻(xiàn)[11]提出了利用雙相掃描檢測來識別三維裂縫。在多數(shù)路面破損圖像的自動識別中，通常是采用某種方法提取路面圖像的特征，然后用BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)(Support Vector Machine，SVM)、K近鄰(K-Nearest Neighbor，KNN)和極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)[12]等方法進(jìn)行識別。路面破損圖像的特征提取對識別至關(guān)重要，是自動檢測的關(guān)鍵。

目前，用于描述路面破損的特征主要有二值圖像的投影、不變矩、紋理、密度因子等[13]。由于路面破損圖像的復(fù)雜性、噪聲的影響和這些特征的局限性，使用單一特征很難充分描述路面破損圖像的全部信息，而且特征的物理意義也不太明顯。多種特征的線性組合雖然在一定程度上提高了識別精度，但忽視了非線性的特征信息，丟失了多特征間的內(nèi)在聯(lián)系，同時(shí)增加了數(shù)據(jù)的維數(shù)，可能會導(dǎo)致維數(shù)災(zāi)難，這些問題都對分類結(jié)果造成了影響。為此引入流形學(xué)習(xí)對多種特征進(jìn)行融合[14-16]，以獲取路面破損圖像的本質(zhì)特征。

流形學(xué)習(xí)的目標(biāo)是發(fā)現(xiàn)隱藏在高維數(shù)據(jù)中的低維流形，它在圖像處理、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、模式識別等領(lǐng)域得到了廣泛應(yīng)用[17]。目前，具有代表性的流形學(xué)習(xí)方法有等距映射法(Isometric Feature Mapping, ISOMAP)[18]、局部線性嵌入法(Locally Linear Embedding, LLE)[19]、拉普拉斯特征映射法(Laplacian Eigenmaps, LE)[20]和局部切空間校正法(Local Tangent Space Alignment，LTSA)[21]等。在多數(shù)流形學(xué)習(xí)算法中，都需要確定樣本的k個(gè)近鄰，為了利用流形學(xué)習(xí)獲得高維數(shù)據(jù)的本質(zhì)特征，選擇合適的距離措施來選擇鄰域是非常重要的，4.2中的試驗(yàn)也說明了這一點(diǎn)。

為了較為充分地描述路面破損圖像的信息，發(fā)掘多種特征之間的內(nèi)在聯(lián)系，避免組合多種特征導(dǎo)致的維數(shù)災(zāi)難問題，本文提出一種基于流形學(xué)習(xí)的路面破損圖像多特征融合方法，使用不同的分類方法對融合后的特征進(jìn)行分類，以有效地提高路面破損圖像的分類精度，實(shí)現(xiàn)高維數(shù)據(jù)的可視化。

1 路面破損圖像特征提取方法

常見的路面破損情況有橫向裂縫、縱向裂縫、網(wǎng)狀裂縫、塊狀裂縫和坑槽等。特征提取是實(shí)現(xiàn)路面破損圖像自動檢測的關(guān)鍵。本文使用投影、混合密度因子和二階不變矩3種特征提取方法，提取8個(gè)路面破損圖像特征。

1.1 投影理論

路面裂縫的二值圖像投影既降低了原始圖像的維數(shù)，又反映了目標(biāo)的分布情況。對路面破損圖像二值化處理后，分別使用1和0作為破損區(qū)域和背景區(qū)域的像素值。設(shè)路面破損圖像的二值圖像為G，用g(i,j)表示像素值，大小為M×N，圖像G在x軸和y軸上的投影量分別為[13]：

(1)

(2)

由于橫向裂縫和縱向裂縫在x軸與y軸的投影量最大差值相對較大，其他類別裂縫的最大差值較小，所以把二值圖像在x軸與y軸的投影量最大差值作為路面破損圖像的特征，記為(C1,C2)，其計(jì)算公式[13]分別為：

C1=max(Xi)-min(Xi)，i=1, 2, …,N，

(3)

C2=max(Yj)-min(Yj)，j=1, 2, …,M。

(4)

1.2 混合破損密度因子

混合破損密度因子[22]是一種基于路面圖像子塊的方法，文獻(xiàn)[2]中提出了破損密度因子分別為1×3，3×3，5×5的模板算子，如圖1所示。掃描0，1子塊化后的路面圖像，對于0子塊，不做處理；對于1子塊，使用模板算子與其進(jìn)行卷積。利用3個(gè)模板算子與二值化圖像分別進(jìn)行卷積后得到S1，S3，S5。設(shè)原二值化路面圖像中1子塊的總和為S0，并把S0作為一個(gè)路面破損圖像特征記為C3，把S0與卷積的計(jì)算結(jié)果作為路面破損圖像的特征，記為(C4,C5,C6)，其計(jì)算公式如下[2]：

C4=(S1-S0)/S0,

(5)

C5=(S3-S0)/S0,

(6)

C6=(S5-S0)/S0。

(7)

本文利用破損密度因子與二值化處理后的二值矩陣直接進(jìn)行卷積運(yùn)算，得到上述4個(gè)特征。

圖1 3種大小不同的破損密度因子Fig.1 Distress density factors with 3 sizes

1.3 二階不變矩

基于二階矩的不變矩表示二維目標(biāo)圖像的大小和方向，可以較好地區(qū)分網(wǎng)狀裂縫和塊狀裂縫[23]。因此本文選取Hu不變矩的二階不變矩φ1和φ2作為路面破損圖像的特征，記為(C7,C8)。設(shè)f(x,y)為圖像的二維函數(shù)，大小為M×N，其二階不變矩定義如下[23]：

φ1=η20+η02，

(8)

(9)

式中ηpq為歸一化的中心矩，計(jì)算公式為：

(10)

式中μpq為中心矩。

2 流形學(xué)習(xí)算法

本文利用流形學(xué)習(xí)實(shí)現(xiàn)多種路面破損圖像特征的融合和可視化，下面簡要介紹試驗(yàn)中用到的幾種流形學(xué)習(xí)算法。

2.1 ISOMAP算法

ISOMAP算法的主要思想是用測地線距離來代替歐氏距離，其步驟如下[18]：

(1)構(gòu)建鄰域圖。計(jì)算所有樣本點(diǎn)之間的距離，選擇k個(gè)最近鄰或某個(gè)鄰域半徑γ內(nèi)的所有點(diǎn)作為鄰域。

(2)估計(jì)測地線距離。若兩個(gè)樣本為近鄰，則測地線距離即為輸入空間的距離；若樣本點(diǎn)為非近鄰關(guān)系，則測地線距離用鄰域圖上兩點(diǎn)間的最短路徑近似。

(3)應(yīng)用多維尺度分析法計(jì)算d維嵌入。

2.2 LLE算法

LLE算法的基本思想是假設(shè)每個(gè)樣本和它的近鄰點(diǎn)在一個(gè)線性的或者近似線性的局部區(qū)域中，其步驟如下[19]：

(1)確定鄰域。采用與ISOMAP算法中相同的方法來確定每個(gè)樣本的鄰域。

2.3 LE算法

LE算法的主要目標(biāo)是使得高維空間中距離很近的點(diǎn)在低維空間中也離得很近，其步驟如下[20]：

(1)構(gòu)建鄰域圖。采用與ISOMAP算法中相同的方法來確定每個(gè)樣本的鄰域。

(2)計(jì)算權(quán)值矩陣W。利用熱核方程或者簡單方法確定權(quán)值。

(3)計(jì)算低維坐標(biāo)。通過求解推廣的特征值問題來得到低維坐標(biāo)。

2.4 LTSA算法

LTSA算法利用局部鄰域的切空間表示樣本的鄰域，構(gòu)建樣本的局部切空間，最后排列切空間來獲取全局的低維坐標(biāo)。LTSA算法的步驟如下[21]：

(1)確定鄰域。采用與ISOMAP算法中相同的方法來確定每個(gè)樣本的鄰域。

(2)構(gòu)建局部切空間。利用奇異值分解中心化后的鄰域矩陣，得到局部切空間坐標(biāo)。

(3)獲取全局低維嵌入坐標(biāo)。排列局部坐標(biāo)獲得全局最優(yōu)的低維嵌入坐標(biāo)。

3 基于流形學(xué)習(xí)的多特征融合

在路面破損圖像自動識別中，通常通過組合多種特征來提高識別精度。組合多種特征一方面增加了特征數(shù)據(jù)的維數(shù)，另一方面丟失了多種特征之間的內(nèi)在聯(lián)系。因此，有必要對路面破損圖像識別中的多種特征進(jìn)行內(nèi)在融合，發(fā)現(xiàn)其物理意義，而不是簡單地進(jìn)行線性組合。

多種特征組合后的數(shù)據(jù)可以看作是嵌入在高維空間中的低維流形，利用流形學(xué)習(xí)可以發(fā)現(xiàn)其內(nèi)在結(jié)構(gòu)。為此，將特征融合與流形學(xué)習(xí)相結(jié)合，提出了一種基于流形學(xué)習(xí)的多特征融合方法。該方法利用流形學(xué)習(xí)將組合后的高維特征數(shù)據(jù)映射到低維空間中，提取路面破損圖像的本質(zhì)特征，實(shí)現(xiàn)多種特征的內(nèi)在融合，并對融合后的低維特征進(jìn)行裂縫識別，最后利用低維特征實(shí)現(xiàn)路面破損圖像的可視化?；诹餍螌W(xué)習(xí)的多特征融合模型如圖2所示。

圖2 基于流形學(xué)習(xí)的多特征融合模型Fig.2 Multi-feature fusing model based on manifold learning

為了得到有利于路面破損圖像自動檢測的特征，在該模型中需要對路面破損圖像做下列處理。

(1)預(yù)處理。利用直方圖均衡化對圖像進(jìn)行增強(qiáng)，然后使用中值濾波對路面破損圖像去噪，再經(jīng)過二值化處理得到二值化圖像。

(2)特征提取。利用不同的路面破損圖像特征提取方法對預(yù)處理后的二值化圖像提取特征。該模型中分別應(yīng)用投影理論、混合密度因子、二階不變矩3種特征提取方法從預(yù)處理后的二值圖像中提取特征，得到2個(gè)投影特征、4個(gè)密度因子特征和2個(gè)二階不變矩特征，將這8個(gè)特征組成特征向量，記為C=(C1,C2,C3,C4,C5,C6,C7,C8)。對待處理的圖像提取特征，得到包含N個(gè)樣本的數(shù)據(jù)集T={T1,T2,…,TN}，每個(gè)Ti都是1個(gè)八維的特征向量。

(3)多特征融合。利用流形學(xué)習(xí)方法提取路面破損圖像的本質(zhì)特征，將八維的多特征數(shù)據(jù)映射為二維特征，流形學(xué)習(xí)方法可以使用ISOMAP、LLE、LE和LTSA等。后面的試驗(yàn)表明用LE算法提取數(shù)據(jù)的低維特征識別效果最好，同時(shí)用相交距離選擇鄰域比用歐式距離選擇鄰域更加有效。從直方圖相交算法得到相交距離的定義如下：

(11)

式中，Ti,Tj∈T為數(shù)據(jù)集中的樣本點(diǎn)；Tik和Tjk分別為第i個(gè)和第j個(gè)樣本的第k個(gè)屬性；m為特征向量中的特征個(gè)數(shù)，在試驗(yàn)中m=8。

獲得低維特征后可以完成下列任務(wù)：

(1)識別路面破損圖像的類別?？梢岳肊LM，KNN，SVM和BP神經(jīng)網(wǎng)絡(luò)等分類器以融合后的低維特征作為輸入?yún)?shù)，識別破損類別。

(2)路面破損圖像的可視化。將融合后的低維特征映射到低維空間中，實(shí)現(xiàn)高維數(shù)據(jù)的可視化，分析每個(gè)特征的物理含義。

(3)分析路面破損程度。路面破損圖像可視化后，根據(jù)每個(gè)特征的物理含義和其在裂縫類別分布圖中的分布情況，可以定性分析路面圖像的破損程度。

4 結(jié)果與討論

為了驗(yàn)證所提方法的有效性，在實(shí)際采集的路面破損圖像數(shù)據(jù)集上進(jìn)行測試。數(shù)據(jù)集中包含360幅路面破損圖像，分為4類，分別為橫向裂縫、縱向裂縫、網(wǎng)狀裂縫和塊狀裂縫，每類都包含90幅圖像。在試驗(yàn)中首先對每幅圖像進(jìn)行預(yù)處理，預(yù)處理過程包括直方圖均衡化、中值濾波和二值化，預(yù)處理后得到360幅二值圖像作為后續(xù)試驗(yàn)數(shù)據(jù)。

試驗(yàn)包括4部分：多種特征組合對識別精度的影響、不同流形學(xué)習(xí)方法的比較及參數(shù)選擇、基于流形學(xué)習(xí)的多特征融合有效性驗(yàn)證、路面破損圖像的可視化分析。在試驗(yàn)中使用三折交叉驗(yàn)證法進(jìn)行測試，將數(shù)據(jù)集分成3組，其中1組作為測試集，另外兩組作為訓(xùn)練集，輪流進(jìn)行，取3次測試的平均值作為最終結(jié)果。

4.1 多種特征組合對識別精度的影響

為了驗(yàn)證多種特征組合后能否提高分類精度，首先對預(yù)處理后的圖像分別提取投影特征、混合密度因子特征和二階不變矩特征，然后用不同分類方法對單一特征進(jìn)行識別，再對3種特征進(jìn)行不同方式的組合后分類，分類方法包括ELM，KNN，SVM和BP神經(jīng)網(wǎng)絡(luò)，結(jié)果如表1所示。試驗(yàn)中，ELM的隱含層參數(shù)h=21；KNN的近鄰個(gè)數(shù)k=5；SVM模型類型采用v-SVC模型，核函數(shù)采用徑向基核函數(shù)(Radial Basis Function，RBF)，參數(shù)n=0.4，g=0.008 4；BP神經(jīng)網(wǎng)絡(luò)迭代1 000次，學(xué)習(xí)率η=0.1。

表1 使用不同方式組合多種特征的分類精度(單位: %)

Tab.1 Classification accuracy of multiple features using different combining means (unit: %)

特征組合方式ELMKNNSVMBP投影85.8385.8384.7270.27混合密度因子85.8382.7784.4471.38二階不變矩78.3373.8977.2253.06投影+混合密度因子89.1687.5087.7673.88投影+二階不變矩87.5085.8385.5671.56混合密度因子+二階不變矩87.2285.8387.7871.94三類特征組合89.7287.5088.3376.11

注：“投影+混合密度因子”表示將投影特征和混合密度因子特征組合作為特征數(shù)據(jù)。

從表1可以看出，使用ELM，SVM和BP神經(jīng)網(wǎng)絡(luò)分類器對單類特征的分類精度低于兩兩組合的精度，而3種特征組合的精度又高于兩兩組合的結(jié)果；KNN分類器對投影特征和混合密度因子特征分別與不變矩組合的分類精度和單獨(dú)使用投影特征分類結(jié)果相同，但3種特征組合的分類精度要高于其他特征組合方式的結(jié)果。由此說明，可以通過組合多種路面破損圖像特征來提高分類精度。

4.2 不同流形學(xué)習(xí)方法的比較及參數(shù)選擇

流形學(xué)習(xí)算法中有兩個(gè)參數(shù)需要確定，一個(gè)是鄰域參數(shù)k，另一個(gè)是本征維數(shù)d。在此，用試驗(yàn)來確定這兩個(gè)參數(shù)，同時(shí)比較不同流形學(xué)習(xí)方法融合多種特征的效果。

首先，比較不同鄰域參數(shù)k對流形學(xué)習(xí)方法的影響，并估計(jì)本征維數(shù)d，以LE算法為例來說明。利用LE算法對組合3種特征得到的八維數(shù)據(jù)進(jìn)行融合，選取d=2和d=3，用KNN分類器對二維和三維特征分別進(jìn)行裂縫類別識別，結(jié)果如表2所示。試驗(yàn)中，KNN分類器的近鄰個(gè)數(shù)為5，執(zhí)行LE算法時(shí)采用相交距離選擇鄰域，k∈[3,12]。

表2 LE算法選擇不同鄰域參數(shù)和維數(shù)的分類精度(單位:%)

Tab.2 Classification accuracy with different neighborhood parameters and dimensions using LE algorithm (unit:%)

kd=2d=3kd=2d=3393.0693.06894.7295.00494.1793.33994.4495.00595.0094.441094.7295.00693.3393.611194.1794.72793.6194.441294.4494.44

從表2中可以看出，鄰域參數(shù)k在取值范圍內(nèi)都獲得了較好的結(jié)果，而且維數(shù)d=2和d=3相差不大。因此，k可以在3～12之間選擇，d可以選擇2。在后面的試驗(yàn)中，LE算法中k=5。同樣可得到ISOMAP算法中k=11，LLE算法中k=10，由于LTSA鄰域參數(shù)小于23時(shí)出現(xiàn)奇異矩陣，所以LTSA算法中取k=25。

為了比較不同的流形學(xué)習(xí)算法融合多特征的效果，采用ISOMAP，LLE，LE和LTSA這4種流形學(xué)習(xí)算法分別對組合3種特征得到的八維數(shù)據(jù)進(jìn)行融合，本征維數(shù)d取2和3。同時(shí)為了比較采用不同距離措施選擇鄰域?qū)Ψ诸惤Y(jié)果的影響，在流形學(xué)習(xí)方法中分別使用歐氏距離和相交距離選擇鄰域。用KNN分類器對多種流形學(xué)習(xí)方法提取的特征進(jìn)行分類，比較其結(jié)果，試驗(yàn)結(jié)果如表3所示。在試驗(yàn)中，KNN分類器的近鄰個(gè)數(shù)為5。

表3 不同流形學(xué)習(xí)方法在不同維數(shù)和距離措施下的分類精度(單位:%)

Tab.3 Classification accuracy using different manifold learning methods in different dimensions and distance measures (unit: %)

維數(shù)+距離ISOMAPLLELELTSA2+歐氏距離85.2885.2786.6779.722+相交距離90.2883.0695.0081.393+歐氏距離89.1788.0687.5086.673+相交距離90.5688.0694.4488.06

注：“2+歐式距離”表示執(zhí)行流形學(xué)習(xí)方法時(shí)用歐式距離選擇鄰域，d=2。

表3中的試驗(yàn)結(jié)果表明，整體上4種流形學(xué)習(xí)方法中選擇相同的維數(shù)d，使用相交距離選擇鄰域比歐氏距離具有更高的識別精度；在距離措施相同的條件下，采用三維特征的識別精度要高于二維的。不管采用哪種距離措施和選擇幾維數(shù)據(jù)作為特征，多數(shù)情況下利用LE算法融合多種特征的識別精度均高于其他流形學(xué)習(xí)方法，而且也遠(yuǎn)高于3種特征組合后直接分類的結(jié)果。同時(shí)LE算法使用相交距離選擇鄰域，d=2時(shí)，識別精度與三維非常相近。

結(jié)合表2和表3，在后面的試驗(yàn)中采用LE算法對多特征進(jìn)行融合，低維維數(shù)d選取2，用相交距離選擇鄰域。

4.3 基于流形學(xué)習(xí)的多特征融合

為了進(jìn)一步驗(yàn)證所提方法的有效性，首先利用LE方法從3種特征組合后的八維數(shù)據(jù)中提取出二維特征，然后使用上述4種分類器識別破損類別，最后計(jì)算各個(gè)類別的召回率、查準(zhǔn)率、F值和總的分類精度。試驗(yàn)中各參數(shù)選擇與4.1和4.2中相同，結(jié)果如表4～表7所示。

表4～表7中的試驗(yàn)結(jié)果表明，與組合3種特征直接分類相比，經(jīng)過LE算法降維融合后，4種類別的路面裂縫具有更高的召回率、查準(zhǔn)率和分類精度，尤其是極大地提高了縱向裂縫和塊狀裂縫的召回率、橫向裂縫和網(wǎng)狀裂縫的查準(zhǔn)率。經(jīng)過LE算法融合后得到的二維特征數(shù)據(jù)具有更強(qiáng)的魯棒性，采用4種分類器都能得到較高的識別精度。

4.4 路面破損圖像的可視化

在試驗(yàn)中，使用LE算法對提取的3種路面破損圖像特征組合成的八維特征向量進(jìn)行融合，得到一個(gè)全新的二維特征向量，將此二維特征向量映射到二維空間中，得到如圖3所示的4類路面裂縫分布圖。

表4 不同分類方法的召回率(單位:%)Tab.4 Recall of different classification methods (unit:%)

表5 不同分類方法的查準(zhǔn)率 (單位:%)Tab.5 Precision of different classification methods (unit:%)

表6 不同分類方法的F值 (單位:%)Tab.6 F values of different classification methods (unit:%)

表7 不同分類方法的總體分類精度(單位:%)Tab.7 Total classification accuracy of different methods (unit:%)

在圖3中，4個(gè)類別的裂縫分別處于不同的區(qū)域中。通過對照二維分布圖和路面破損圖像可以看出，第1維特征(水平方向坐標(biāo))可以表示裂縫的破損程度和多向裂縫線條的復(fù)雜程度，隨著水平方向坐標(biāo)的增大，裂縫由塊狀逐漸變成網(wǎng)狀，裂縫數(shù)越來越多，并且裂縫隨著坐標(biāo)值的增大其破損程度也增大。點(diǎn)D2，D1，C2，C1對應(yīng)的路面圖像為圖4(a)～(d)。第2維特征(垂直方向坐標(biāo))表示裂縫方向，隨著坐標(biāo)值的增大，裂縫類別由橫向裂縫逐漸向縱向裂縫變化，如點(diǎn)A2，A1，B2，B1，其對應(yīng)的路面圖形為圖4(e)～(h)。從路面破損圖像的二維分布圖不但可以看出圖像所屬的破損類別，而且可以看出路面的破損程度，因此可以利用第1維特征來定性分析路面的破損程度，當(dāng)達(dá)到一定的閾值后再具體計(jì)算其破損面積、大小等。

圖3 路面裂縫類別分布圖Fig.3 Distribution diagram of pavement crack categories

5 結(jié)論

圖4 裂縫走向和破損程度分析圖例Fig.4 Instances of crack direction and distress analysis

路面破損情況檢測為道路維護(hù)工作提供了重要依據(jù)。由于路面破損種類多樣，圖像噪音復(fù)雜，很難用單一特征來充分描述路面破損圖像的信息。針對路面破損圖像識別中特征提取方法的多樣性和線性特征組合的高維度問題，提出了一種基于流形學(xué)習(xí)的路面破損圖像多特征融合方法，利用流形學(xué)習(xí)方法將多種特征融合在一起，實(shí)現(xiàn)了路面破損圖像的可視化。試驗(yàn)結(jié)果表明，利用流形學(xué)習(xí)方法融合3種特征后提高了各類裂縫的召回率、查準(zhǔn)率，尤其是極大地提高了縱向裂縫和塊狀裂縫的召回率、橫向裂縫和網(wǎng)狀裂縫的查準(zhǔn)率，從而極大地提高了識別精度。以LE算法利用4種流形學(xué)習(xí)方法融合多種特征，得到了最好的結(jié)果。利用LE算法融合后得到的二維特征具有更強(qiáng)的魯棒性，采用4種分類器都能得到較高的識別精度。利用LE算法融合多種特征時(shí)使用相交距離選擇鄰域比歐氏距離具有更高的識別精度。同時(shí)，通過可視化二維特征得到了特征的物理含義，為破損程度的定性分析提供了一個(gè)簡單的依據(jù)。下一步的工作是將所提出的多特征融合方法應(yīng)用在實(shí)際的路面破損圖像檢測系統(tǒng)中，檢測其效果。

[1] 初秀民，王榮本，儲江偉，等.基于不變矩特征的瀝青路面破損圖像識別[J]. 吉林大學(xué)學(xué)報(bào): 工學(xué)版，2003，33(1): 1-7. CHU Xiu-min, WANG Rong-ben, CHU Jiang-wei, et al. Asphalt Pavement Surface Distress Image Recognition Based on Moment Invariant Feature [J]. Journal of Jilin University: Engineering and Technology Edition, 2003, 33(1):1-7.

[2] 肖旺新，嚴(yán)新平，張雪.基于混合密度因子的路面破損自動識別研究[J]. 交通運(yùn)輸工程與信息學(xué)報(bào)，2005，3(2): 19-26. XIAO Wang-xin, YAN Xin-ping, ZHANG Xue. Research on the Automatic Pavement Distress Recognition Based on Synthetical Distress Density Factor[J]. Journal of Transportation Engineering and Information, 2005, 3(2): 19-26.

[3] YING L, SALARI E. Beamlet Transform-Based Technique for Pavement Crack Detection and Classification [J]. Computer-Aided Civil and Infrastructure Engineering, 2010, 25(8): 572-580.

[4] FUJITA Y, HAMAMOTO Y. A Robust Automatic Crack Detection Method from Noisy Concrete Surfaces [J]. Machine Vision and Applications, 2011, 22(2): 245-254.

[5] NEJAD F M, ZAKERI H. An Expert System Based on Wavelet Transform and Radon Neural Network for Pavement Distress Classification [J]. Expert Systems with Applications, 2011, 38(6): 7088-7101.

[6] 于泳波，李萬恒，張勁泉，等.基于圖像連通域的橋梁裂縫提取方法[J].公路交通科技，2011，28(7):90-93. YU Yong-bo, LI Wan-heng, ZHANG Jin-quan, et al. Bridge Cracks Extraction Method Based on Image Connected Domain[J]. Journal of Highway and Transportation Research and Development, 2011, 28(7):90-93.

[7] 馬榮貴，徐琨，劉飛飛.高速公路路面裂縫識別算法研究[J].交通信息與安全，2014，32(2)：90-94. MA Rong-gui, XU Kun, LIU Fei-fei. Highway Surface Crack Image Identifying Algorithm[J]. Journal of Transport Information and Safety, 2014, 32(2): 90-94.

[8] 榮婧，潘玉利.基于圖像的水泥刻槽路面裂縫識別方法[J].公路交通科技，2012，29(3)：45-50. RONG Jing, PAN Yu-li. Digital Image Based Crack Detection of Grooved Cement Concrete Pavement[J]. Journal of Highway and Transportation Research and Development, 2012，29(3): 45-50.

[9] OLIVEIRA H, CORREIA P L. Automatic Road Crack Detection and Characterization [J]. IEEE Transactions on Intelligent Transportation Systems, 2013, 14(1): 155-168.

[10]沈照慶，彭余華，舒寧.一種基于SVM的路面影像損傷跨尺度識別方法[J].武漢大學(xué)學(xué)報(bào): 信息科學(xué)版，2013，38(8):993-997. SHEN Zhao-qing, PENG Yu-hua, SHU Ning. A Road Damage Identification Method Based on Scale-span Image and SVM[J]. Geomatics and Information Science of Wuhan University, 2013, 38(8):993-997.

[11]孫朝云，趙海偉，李偉，等.基于雙相掃描檢測的路面三維裂縫識別方法[J].中國公路學(xué)報(bào)，2015，28(2)：26-32. SUN Zhao-yun, ZHAO Hai-wei, LI Wei, et al. 3D Pavement Crack Identification Method Based on Dual-phase Scanning Detection[J]. China Journal of Highway and Transport, 2015, 28(2): 26-32.

[12]HUANG G B, ZHOU H, DING X, et al. Extreme Learning Machine for Regression and Multiclass Classification [J]. IEEE Transactions on Systems, Man, & Cybernetics Part B: Cybernetics, 2012, 42(2): 513-529.

[13]ZUO Y X, WANG G Q, ZUO C C. The Segmentation Algorithm for Pavement Cracking Images Based on the Improved Fuzzy Clustering [J]. Applied Mechanics and Materials, 2013, 319: 362-366.

[14]RADUCANU B, DORNAIKA F. A Supervised Non-linear Dimensionality Reduction Approach for Manifold Learning [J]. Pattern Recognition, 2012, 45(6): 2432-2444.

[15]SUN B Y, ZHANG X M, LI J, et al. Feature Fusion Using Locally Linear Embedding for Classification [J]. IEEE Transactions on Neural Networks, 2010, 21(1): 163-168.

[16]胡建中，吳瑤，謝小欣.一種基于LLE特征融合的故障識別方法[J].中國機(jī)械工程，2013，24(24): 3345-3348. HU Jian-zhong, WU Yao, XIE Xiao-xin. A Method for Fault Recognition Based on LLE Feature Fusion[J]. China Mechanical Engineering, 2013, 24(24): 3345-3348.

[17]CRIMINISI A, SHOTTON J, KONUKOGLU E. Decision Forests: A Unified Framework for Classification, Regression, Density Estimation, Manifold Learning and Semi-Supervised Learning [J]. Foundations and Trends in Computer Graphics and Vision, 2012,7(2/3): 81-227.

[18]TENENBAUM J B, DE SILVA V, LANGFORD J C. A Global Geometric Framework for Nonlinear Dimensionality Reduction [J]. Science, 2000, 290(5500): 2319-2323.

[19]ROWEIS S T, SAUL L K. Nonlinear Dimensionality Reduction by Locally Linear Embedding [J]. Science, 2000, 290(5500): 2323-2326.

[20]BELKIN M, NIYOGI P. Laplacian Eigenmaps for Dimensionality Reduction and Data Representation [J]. Neural Computation, 2003, 15(6): 1373-1396.

[21]ZHANG Z Y, ZHA H Y. Principal Manifolds and Nonlinear Dimensionality Reduction via Local Tangent Space Alignment [J]. Journal of Shanghai University, 2004,26(4): 406-424.

[22]肖旺新，張雪，黃衛(wèi)，等.路面破損自動識別的一種新算法[J].公路交通科技，2005，22(11): 75-78. XIAO Wang-xin, ZHANG Xue, HUANG Wei, et al. One New Algorithm of Automatic Classification for Pavement Distress[J]. Journal of Highway and Transportation Research and Development, 2005, 22(11): 75-78.

[23]劉國海，蔣志佳.基于改進(jìn)ART-2網(wǎng)絡(luò)和不變矩的高壓瓷瓶裂縫識別[J]. 器儀表學(xué)報(bào)，2009，30(7): 1420-1425. LIU Guo-hai, JIANG Zhi-jia. Recognition of Porcelain Bottle Crack Based on Modified ART-2 Network and Invariant Moment[J]. Chinese Journal of Scientific Instrument, 2009, 30(7): 1420-1425.

Multi-feature Fusion and Visualization of Pavement Distress Images Based on Manifold Learning SHI

Lu-kui1,2, ZHOU Hao1, LIU Wen-hao1

(1. School of Computer Science and Engineering, Hebei University of Technology, Tianjin 300401, China;2. Hebei Provincial Key Liboratory of Big Data Calculation, Tianjin 300401, China)

For multi-feature fusion in automatic recognition of pavement distress images, we proposed a multi-feature fusion method based on manifold learning. In this method, the intrinsic features of pavement distress images are extracted through mapping the high dimensional data combing projection, mixture density factor and second order moment invariant into the low dimensional space. The multiple features are fused and the visualization of pavement distress images is implemented. In the experiments, we applied the multi-feature fusion method in the detection of pavement distress images. Two-dimensional features are firstly extracted from the 8 combining features, then the recognition effects on the 2D features of 4 methods including ELM, KNN, SVM and BP network are compared. The experiment result shows that (1) the proposed method effectively improved the detection accuracy of pavement distress images; (2) the physical meaning of the 2D features is obtained through visualizing, one feature preliminary denotes the complexity and damaged extent of the cracks in images, the other describes the direction of the cracks.

road engineering; multi-feature fusion; manifold learning; pavement distress image; visualization

2015-12-30

天津市應(yīng)用基礎(chǔ)與前沿技術(shù)研究計(jì)劃重點(diǎn)項(xiàng)目(14JCZDJC31600);河北省自然科學(xué)基金項(xiàng)目 (F2016202144)

石陸魁(1974-)，男，河北涉縣人，博士，教授.(shilukui@scse.hebut.edu.cn)

10.3969/j.issn.1002-0268.2016.11.005

U416.2, TP181

A

1002-0268(2016)11-0026-08