彭 博, 姬 然

(1. 重慶交通大學(xué) 交通運(yùn)輸學(xué)院, 重慶 400074; 2. 俄克拉荷馬州立大學(xué)，土木和環(huán)境工程學(xué)院,俄克拉荷馬 74078, 美國(guó))

?

基于容差PR曲線的路面裂縫識(shí)別算法性能評(píng)價(jià)機(jī)制

彭 博1, 姬 然2

(1. 重慶交通大學(xué) 交通運(yùn)輸學(xué)院, 重慶 400074; 2. 俄克拉荷馬州立大學(xué)，土木和環(huán)境工程學(xué)院,俄克拉荷馬 74078, 美國(guó))

為了客觀合理地評(píng)價(jià)路面裂縫圖識(shí)別算法的性能，提出了基于容差PR曲線的算法性能評(píng)價(jià)機(jī)制。首先，建立路面裂縫圖像基準(zhǔn)庫(kù)，為裂縫識(shí)別算法性能評(píng)價(jià)提供統(tǒng)一規(guī)范的測(cè)試圖像；其次，提出考慮容差的準(zhǔn)確率-召回率和F1值計(jì)算方法，作為算法性能的衡量指標(biāo)；然后，提出裂縫識(shí)別算法的PR曲線評(píng)價(jià)方法；最后，以兩套裂縫識(shí)別算法為例進(jìn)行PR曲線性能評(píng)價(jià)分析。結(jié)果表明：PR曲線評(píng)價(jià)機(jī)制確立了統(tǒng)一的基準(zhǔn)測(cè)試圖像、衡量指標(biāo)及評(píng)價(jià)方法，能評(píng)價(jià)無(wú)參數(shù)、具有1個(gè)或多個(gè)參數(shù)的裂縫識(shí)別算法的性能(包括準(zhǔn)確率-召回率、F1值及算法穩(wěn)定性)，有助于進(jìn)行算法性能評(píng)價(jià)與改進(jìn)。

道路工程；評(píng)價(jià)機(jī)制；圖像處理；裂縫識(shí)別算法；容差；PR曲線

0 引 言

作為路面破損的主要形態(tài)之一，裂縫嚴(yán)重影響著路面質(zhì)量、服務(wù)性能和壽命。為此，自20世紀(jì) 80 年代以來(lái)，國(guó)內(nèi)外學(xué)者對(duì)路面裂縫自動(dòng)檢測(cè)展開(kāi)了大量研究，取得了豐碩的成果，如閾值分割方法[1-2]、邊緣檢測(cè)算法[3-4]、種子識(shí)別算法[5-6]、基于頻域變換的方法[2,7]、機(jī)器學(xué)習(xí)算法[8]及基于紋理分析[9-10]、模糊邏輯[11]和全局優(yōu)化[2,12]的裂縫識(shí)別算法。不過(guò)，面對(duì)眾多的裂縫識(shí)別算法，尚缺乏一套客觀合理的性能評(píng)價(jià)機(jī)制來(lái)衡量它們的優(yōu)劣。

綜觀裂縫識(shí)別算法的性能評(píng)價(jià)分析，主要涉及測(cè)試圖像、評(píng)定指標(biāo)和評(píng)價(jià)方法3個(gè)方面。對(duì)于測(cè)試圖像，既有文獻(xiàn)大都基于各自的路面圖像集進(jìn)行測(cè)試[4,7,12]，因而同一算法在不同文獻(xiàn)中評(píng)價(jià)結(jié)果可能截然不同。對(duì)于評(píng)價(jià)指標(biāo)，許多研究只應(yīng)用實(shí)例進(jìn)行定性分析[4,13]；部分文獻(xiàn)采用準(zhǔn)確率衡量算法優(yōu)劣[7,14]；準(zhǔn)確率-召回率(precision-recall)[12,15]是常用的評(píng)價(jià)指標(biāo)，它通過(guò)對(duì)比人工標(biāo)注的實(shí)際裂縫圖像和檢測(cè)結(jié)果圖像的每個(gè)像素，計(jì)算出準(zhǔn)確率、召回率，可反映算法的準(zhǔn)確度和全面性，但未考慮檢測(cè)結(jié)果與真實(shí)裂縫圖像之間應(yīng)具有一定的容差。準(zhǔn)確率-召回率曲線(PR曲線)是公認(rèn)較為合理的裂縫識(shí)別評(píng)價(jià)方法[12,15]，但只能對(duì)無(wú)參數(shù)或1個(gè)參數(shù)的算法進(jìn)行評(píng)價(jià)，無(wú)法用于多參數(shù)的裂縫識(shí)別算法評(píng)價(jià)。

考慮到既有算法評(píng)價(jià)指標(biāo)體系與方法存在一些不足，同時(shí)也缺乏統(tǒng)一規(guī)范的測(cè)試圖像集，筆者從路面圖像基準(zhǔn)庫(kù)、評(píng)價(jià)指標(biāo)體系及評(píng)價(jià)方法3個(gè)方面入手，提出了裂縫圖像自動(dòng)識(shí)別算法的系統(tǒng)性評(píng)價(jià)機(jī)制，有利于客觀合理地衡量算法性能優(yōu)劣，引導(dǎo)裂縫識(shí)別算法改進(jìn)。

1 建立路面裂縫圖像基準(zhǔn)庫(kù)

1.1 背景介紹

許多研究采用數(shù)十張到數(shù)百?gòu)埪访鎴D像對(duì)裂縫檢測(cè)算法進(jìn)行評(píng)估，但大都存在一些局限，有待進(jìn)一步改進(jìn)：① 由于路面狀況復(fù)雜多變，同一種裂縫識(shí)別算法對(duì)于不同的圖像集檢測(cè)結(jié)果可能大相徑庭，也就是說(shuō)，有必要基于多個(gè)圖像集對(duì)算法進(jìn)行測(cè)試，以綜合評(píng)定算法性能及適用圖像集；② 已公開(kāi)的各種裂縫檢測(cè)算法大都基于各自的圖像集進(jìn)行性能測(cè)試，由于測(cè)試圖像不統(tǒng)一，這些算法究竟孰優(yōu)孰劣也無(wú)從評(píng)定。

由此可知，對(duì)于某一特定的路面裂縫識(shí)別算法，有必要利用多個(gè)圖像集進(jìn)行性能評(píng)測(cè)；同時(shí)，為了客觀評(píng)估和對(duì)比多種裂縫識(shí)別算法的性能，也需要基于同一圖像集進(jìn)行測(cè)試評(píng)估。

因此，筆者遴選具有較多裂縫(包括橫向、縱向、塊狀裂縫及龜裂等)的典型路面圖像，形成了4個(gè)裂縫識(shí)別算法測(cè)試圖像集。新開(kāi)發(fā)的算法和已有算法均可以據(jù)此進(jìn)行性能測(cè)試，從而為裂縫識(shí)別算法的評(píng)價(jià)和對(duì)比分析提供統(tǒng)一、規(guī)范的測(cè)試圖像。

1.2 路面裂縫圖像基準(zhǔn)庫(kù)

根據(jù)路面類型，路面可分為瀝青路面和水泥混凝土路面；根據(jù)路面圖像質(zhì)量高低和復(fù)雜性，又可分為一般路面圖像和復(fù)雜路面圖像。據(jù)此建立路面裂縫圖像基準(zhǔn)庫(kù)，涵蓋了4個(gè)圖像集(由DHDV[16]采集，圖像尺寸為高2 048像素×寬4 096像素，精度1 mm/像素)，如圖1。其中，圖像張數(shù)指路面三維深度圖或灰度圖的數(shù)量。這樣，就可以基于不同類型、不同復(fù)雜程度的路面圖像對(duì)算法性能進(jìn)行綜合測(cè)試與評(píng)價(jià)。

圖1 路面裂縫圖像基準(zhǔn)庫(kù)Fig. 1 Benchmark library of pavement crack images

每個(gè)圖像集包含6部分：① 路面原始三維數(shù)據(jù)；② 路面三維深度圖像；③ 光照強(qiáng)度圖像(來(lái)自于三維虛擬路面)；④ 路面灰度圖像；⑤ 人工繪制的真實(shí)裂縫圖像；⑥ 備注信息。其中，三維路面裂縫識(shí)別算法基于①、②、③、⑤進(jìn)行評(píng)價(jià)分析，二維裂縫圖像識(shí)別算法基于④、⑤進(jìn)行評(píng)價(jià)分析。

圖2展示了圖像集I～I(xiàn)V的圖像實(shí)例。

圖2 路面裂縫圖像基準(zhǔn)庫(kù)圖像(2 048×2 048)Fig. 2 Images of benchmark library of pavement crack images (2 048×2 048)

2 確定算法性能評(píng)價(jià)指標(biāo)

2.1 準(zhǔn)確率-召回率

裂縫檢測(cè)結(jié)果既要準(zhǔn)確又要全面，準(zhǔn)確率-召回率[12,15]正是這樣一組評(píng)估指標(biāo)，公式如下：

(1)

(2)

式中：Pr為準(zhǔn)確率；Re為召回率；TP為正確檢測(cè)出來(lái)的裂縫像素?cái)?shù)目(true positive)；FP為不是裂縫卻檢測(cè)為裂縫的像素?cái)?shù)目(false positive)；FN為是裂縫卻沒(méi)檢測(cè)出來(lái)的像素?cái)?shù)目(false negative)。

令集合Γ1為路面裂縫識(shí)別算法檢測(cè)結(jié)果(如圖3(a)，圖3(b)三維深度圖像)；集合Γ2為實(shí)際應(yīng)檢測(cè)出來(lái)的真實(shí)裂縫如圖3(c)；Γ3=Γ1∩Γ2，為算法正確地檢測(cè)出來(lái)的裂縫像素集，那么，

TP=Γ3的裂縫像素?cái)?shù)目

(3)

TP+FP=Γ1的裂縫像素?cái)?shù)目

(4)

TP+FN=Γ2的裂縫像素?cái)?shù)目

(5)

顯然，Pr和Re越高越好，但很多情況下它們是矛盾的。因此通常需要綜合考慮二者，F(xiàn)1值便是常用的綜合指標(biāo)，F(xiàn)1值越大表明算法越優(yōu)。

(6)

圖3 準(zhǔn)確率-召回率計(jì)算圖像Fig. 3 Calculation images for precision ratio and recall ratio

2.2 考慮容差的準(zhǔn)確率-召回率

由于路面裂縫走向和寬度毫無(wú)規(guī)律，人工繪制的真實(shí)裂縫圖像Γ2與理論上真實(shí)的裂縫圖像可能存在偏差。為降低誤差影響、保證準(zhǔn)確率-召回率的客觀性和有效性，可考慮以下方法：

1)請(qǐng)經(jīng)過(guò)嚴(yán)格培訓(xùn)且經(jīng)驗(yàn)豐富與路面工程相關(guān)專業(yè)人員繪制真實(shí)裂縫圖像，力求Γ2貼近裂縫的真實(shí)形態(tài)(筆者已加以考慮，裂縫圖像基準(zhǔn)庫(kù)均由土木工程和交通工程研究生繪制)；

2)允許Γ1和Γ2具有一定容差，并將該容差納入到準(zhǔn)確率-召回率計(jì)算過(guò)程中。

基于第2)點(diǎn)，筆者提出了考慮容差的準(zhǔn)確率-召回率計(jì)算方法。如圖4，對(duì)于任意裂縫像素(圖4中的中心像素)，具有半徑為τ個(gè)像素的正方形鄰域(容差鄰域τ)，準(zhǔn)確率-召回率計(jì)算方法如下：

圖4 裂縫圖像容差Fig. 4 Tolerance of crack images

1)如果Γ1任意像素的容差鄰域τ包含有Γ2的裂縫像素(1個(gè)或以上)，則認(rèn)為算法準(zhǔn)確識(shí)別了該像素。計(jì)算出Γ1滿足該要求的所有像素?cái)?shù)量，計(jì)為TP1，則準(zhǔn)確率可計(jì)算如下：

P(τ)=TP1/Γ1的裂縫像素?cái)?shù)目

(7)

式中：P(τ)，考慮容差τ的準(zhǔn)確率。

2)如果Γ2任意像素的容差鄰域τ包含有Γ1的裂縫像素(1個(gè)或以上)，也認(rèn)為算法準(zhǔn)確識(shí)別了該像素。計(jì)算出Γ2滿足該要求的所有像素?cái)?shù)量，計(jì)為TP2，召回率可計(jì)算如下

(8)

式中：R(τ)為考慮容差τ的召回率。

同理，綜合指標(biāo)計(jì)算方式也有所改變：

(9)

式中：F(τ)為考慮容差τ的F1指標(biāo)。

可以看出，在計(jì)算考慮容差的準(zhǔn)確率和召回率時(shí)，檢測(cè)結(jié)果Γ1和真實(shí)裂縫圖像Γ2的裂縫像素?fù)碛邪霃綖棣觽€(gè)像素的容差鄰域(見(jiàn)圖4)，只要Γ1和Γ2的裂縫像素在緩沖區(qū)重疊，均認(rèn)為算法準(zhǔn)確識(shí)別了裂縫像素。特別地，當(dāng)τ=0時(shí)，TP1=TP2=TP，因此，Pr、Re和F1可認(rèn)為是容差=0時(shí)的特例。

建立容差鄰域可柔性地匹配檢測(cè)結(jié)果和真實(shí)裂縫圖像，有利于避免人工繪制誤差的影響。容差τ越大，越可能高估準(zhǔn)確率和召回率，因此在評(píng)測(cè)算法性能時(shí)需要選擇合適的τ值。另外，評(píng)估多種算法的性能時(shí)，應(yīng)取同一τ值。

3 基于PR曲線的裂縫檢測(cè)算法評(píng)價(jià)

3.1 PR曲線簡(jiǎn)介

PR曲線(PR curve)[12,15]又稱為查準(zhǔn)率-查全率曲線，源于信息檢索領(lǐng)域，用以表現(xiàn)檢索算法的性能。繪制過(guò)程如下：① 遍歷算法參數(shù)值產(chǎn)生一系列檢測(cè)結(jié)果(令為ξ個(gè))，計(jì)算出每個(gè)檢測(cè)結(jié)果的準(zhǔn)確率P(τ)1，P(τ)2，…，P(τ)ξ和召回率R(τ)1，R(τ)2，…，R(τ)ξ；② 以準(zhǔn)確率為縱坐標(biāo)，召回率為橫坐標(biāo)生成趨勢(shì)曲線，即PR曲線。特殊地，無(wú)參數(shù)的算法只產(chǎn)生一個(gè)檢測(cè)結(jié)果(ξ=1)，PR曲線為點(diǎn)[P(τ)1,R(τ)1]，如圖5中的PR曲線3。

圖5 PR曲線示意Fig. 5 Sketch map of PR curves

可以看出，PR曲線越越靠近右上方越好(準(zhǔn)確率和召回率均較高，如圖5，算法1、2、3對(duì)應(yīng)于PR曲線1、2、3，其優(yōu)劣排序?yàn)椋核惴?，算法1和算法3)。PR曲線本質(zhì)上仍以F1值作為評(píng)價(jià)指標(biāo)(PR曲線右上方F1值較高)，因此可以視為F1值趨勢(shì)曲線，比單獨(dú)的F1值提供了更豐富的信息。

PR曲線評(píng)價(jià)方法在信息檢索等領(lǐng)域得到了廣泛的應(yīng)用，優(yōu)于單獨(dú)的準(zhǔn)確率、召回率或F1指標(biāo)評(píng)價(jià)方法?？紤]到路面裂縫識(shí)別與信息檢索具有相似性(前者識(shí)別裂縫像素，后者識(shí)別所需信息)，筆者采用PR曲線評(píng)價(jià)裂縫檢測(cè)算法性能。

3.2 PR曲線繪制

3.2.1 準(zhǔn)確率-召回率計(jì)算

計(jì)算準(zhǔn)確率P(τ)1～P(τ)ξ和召回率R(τ)1～R(τ)ξ。ξ取決于算法參數(shù)值情況：算法無(wú)參數(shù)時(shí)，ξ=1；若算法參數(shù)數(shù)目Υ≥1，令參數(shù)分別為Pa1、Pa2、…，PaΥ，Pa1具有η1個(gè)取值，Pa2具有η2個(gè)取值，…，PaΥ具有ηΥ個(gè)取值，那么，

(10)

式中：∏表示所有元素的乘積；j為參數(shù)編號(hào)，j=1,2,3，…，Υ。

(11)

(12)

式中：AVE{·}為計(jì)算集合所含元素的均值。

3.2.2 生成PR曲線

由于算法性能對(duì)參數(shù)的變化比較敏感，[P(τ)N,R(τ)N]可能呈現(xiàn)波動(dòng)情況，需要確定合理的規(guī)則繪制PR曲線。根據(jù)[P(τ)N,R(τ)N]分布特性，PR曲線分為簡(jiǎn)單情形和復(fù)雜情形，如圖6。

圖6 PR曲線生成Fig. 6 Generation of PR curves

對(duì)于簡(jiǎn)單情形，準(zhǔn)確率增加時(shí)召回率降低，或準(zhǔn)確率降低時(shí)召回率增加。此時(shí)，順次連接各個(gè)[P(τ)N,R(τ)N]點(diǎn)即可形成趨勢(shì)平穩(wěn)的PR曲線，如圖6(a)。通常，具有單個(gè)參數(shù)的算法會(huì)出現(xiàn)這種情況：特殊地，無(wú)參數(shù)算法PR曲線僅為點(diǎn)[P(τ)1,R(τ)1]，也屬于簡(jiǎn)單情形。現(xiàn)有文獻(xiàn)常用的PR曲線多用于簡(jiǎn)單情形。

對(duì)于復(fù)雜情形，[P(τ)N,R(τ)N]點(diǎn)比較分散，準(zhǔn)確率和召回率沒(méi)有固定的增減規(guī)律，見(jiàn)圖6(b)虛線，具有兩個(gè)或以上參數(shù)的算法通常出現(xiàn)這種情況。筆者利用搜索凸包(convex hull)的Graham Scan算法[17]尋找右上方輪廓點(diǎn)，并將其連接起來(lái)形成PR曲線，見(jiàn)圖6(b)實(shí)線。

3.3 裂縫識(shí)別算法的PR曲線評(píng)價(jià)方法

主要有5個(gè)步驟，如圖7。對(duì)于測(cè)試圖像，可在裂縫圖像基準(zhǔn)庫(kù)中挑選若干張具有代表性的路面圖像。對(duì)于容差設(shè)置，τ越大，越可能高估計(jì)算法性能，也會(huì)增加檢測(cè)結(jié)果和真實(shí)裂縫圖像像素匹配的計(jì)算量，經(jīng)過(guò)大量測(cè)試，推薦容差經(jīng)驗(yàn)值τ=3個(gè)像素。生成PR曲線之后，即可進(jìn)行算法評(píng)價(jià)分析。

圖7 算法評(píng)價(jià)流程Fig.7 Flow chart of algorithm evaluation

以路面三維圖像裂縫自動(dòng)并行識(shí)別算法(含閾值參數(shù)K、t， 簡(jiǎn)稱裂縫并行識(shí)別算法)[18]和三維虛擬路面裂縫自動(dòng)識(shí)別算法(含閾值參數(shù)Kh和K1，簡(jiǎn)稱虛擬路面裂縫識(shí)別算法)[18]為例，闡述PR曲線評(píng)價(jià)方法的具體步驟。

1)選擇測(cè)試圖像：在圖像基準(zhǔn)庫(kù)的4個(gè)圖像集中分別挑選10張圖像，測(cè)試算法對(duì)水泥路面和瀝青路面圖像的裂縫檢測(cè)效果。

2)容差設(shè)置：τ=3個(gè)像素。

表1 一張圖像的PR值

表2 PR均值(PR曲線數(shù)據(jù))

4)生成PR曲線：將表 2的準(zhǔn)確率-召回率繪制為散點(diǎn)圖，如圖8?？煽闯鰷?zhǔn)確率和召回率分布比較雜亂，屬于復(fù)雜情形。于是，基于凸包搜索方法[17]檢測(cè)右上方外輪廓點(diǎn)(見(jiàn)表 3)，最終繪制出PR曲線(見(jiàn)圖8)。

圖8 PR曲線生成實(shí)例Fig. 8 Example of PR curve generation

(P(3),R(3))(P(3),R(3))(P(3),R(3))(P(3),R(3))(1.00,0.40)(0.98,0.69)(0.94,0.86)(0.69,0.95)(1.00,0.46)(0.98,0.71)(0.90,0.89)(0.47,0.97)(0.99,0.63)(0.97,0.77)(0.83,0.91)(0.17,0.99)(0.99,0.66)(0.96,0.82)(0.74,0.94)(0.11,0.99)

5)算法性能分析：由于有兩個(gè)算法、4組測(cè)試圖像，按照步驟1)～步驟4)的方法，可以獲得8條PR曲線，將它們按圖像集進(jìn)行分組繪制，結(jié)果如圖9。

以圖9(a)的PR曲線為例(一般瀝青路面圖像)，裂縫并行識(shí)別算法的準(zhǔn)確率和召回率變化范圍較大，最右上角坐標(biāo)為(0.94,0.86)，此時(shí)算法F1值達(dá)到最高(F1=0.90，K=0.96，t=5)，準(zhǔn)確率、召回率和F1值分別達(dá)94%、86%和90%，推薦最佳參數(shù)值K=0.96，t=5。對(duì)于虛擬路面裂縫識(shí)別算法，準(zhǔn)確率和召回率變化幅度較小，當(dāng)準(zhǔn)確率=0.93，召回率=0.95時(shí)，F(xiàn)1達(dá)到最優(yōu)(F1=0.94，Kh=0.984，K1=7)，并推薦以Kh=0.984，K1=7為最佳參數(shù)值?？傮w而言，虛擬路面裂縫識(shí)別算法的PR曲線位于圖像的右上方，可獲得更高的F1值；此外，該算法PR曲線較短，說(shuō)明數(shù)據(jù)點(diǎn)集中、性能比較穩(wěn)定。因此，對(duì)于一般瀝青路面圖像，虛擬路面裂縫識(shí)別算法優(yōu)于裂縫并行識(shí)別算法。

基于圖9(b)～圖9(d)的PR曲線評(píng)價(jià)算法性能的思路與圖9(a)相似。將裂縫并行識(shí)別算法和虛擬路面裂縫識(shí)別算法PR曲線測(cè)試情況進(jìn)行總結(jié)和對(duì)比分析，結(jié)果如表4。

表4 算法性能測(cè)試總結(jié)

圖9 PR測(cè)試曲線(10張圖像， τ=3)Fig. 9 PR test curves (10 images, τ=3)

可以看出，PR曲線評(píng)價(jià)方法以考慮容差的F1值為主要指標(biāo)，可獲得推薦參數(shù)值，也能考察算法穩(wěn)定性，優(yōu)于單獨(dú)應(yīng)用準(zhǔn)確率、召回率或F1值的評(píng)價(jià)方法。同時(shí)，得益于路面裂縫圖像基準(zhǔn)庫(kù)，還能確定算法適用范圍。因此，形成了系統(tǒng)而規(guī)范的路面裂縫檢測(cè)算法性能綜合評(píng)價(jià)機(jī)制。

4 結(jié) 語(yǔ)

提出了路面裂縫自動(dòng)檢測(cè)算法性能的綜合評(píng)價(jià)機(jī)制：路面裂縫圖像基準(zhǔn)庫(kù)的建立為算法性能評(píng)價(jià)提供了規(guī)范的測(cè)試數(shù)據(jù)，有利于系統(tǒng)全面地評(píng)價(jià)和對(duì)比算法性能；考慮容差的準(zhǔn)確率-召回率和F1值為客觀地評(píng)價(jià)算法性能制定了衡量標(biāo)準(zhǔn)；PR曲線評(píng)價(jià)方法考慮了F1值及算法穩(wěn)定性，有利于綜合評(píng)價(jià)無(wú)參數(shù)、具有1個(gè)或多個(gè)參數(shù)的裂縫識(shí)別算法的性能。

路面裂縫識(shí)別算法評(píng)價(jià)機(jī)制的建立有利于客觀合理地對(duì)算法性能進(jìn)行評(píng)價(jià)和對(duì)比分析，引導(dǎo)算法改進(jìn)工作，從而推動(dòng)裂縫識(shí)別算法的研發(fā)和優(yōu)化，改善裂縫識(shí)別準(zhǔn)確率、完整性和穩(wěn)定性，為路面養(yǎng)護(hù)管理、路面性能評(píng)價(jià)與預(yù)測(cè)、路面結(jié)構(gòu)和材料設(shè)計(jì)奠定堅(jiān)實(shí)的基礎(chǔ)。

由于路面狀況的復(fù)雜多樣性，路面裂縫圖像庫(kù)還有待細(xì)化，容差設(shè)置也需要尋求更合理的依據(jù)。同時(shí)，還有必要進(jìn)一步改善裂縫圖像庫(kù)、評(píng)價(jià)指標(biāo)和方法，以適應(yīng)路面裂縫從傳統(tǒng)二維識(shí)別向三維識(shí)別發(fā)展的趨勢(shì)。

[1] OTSU N A Threshold selection method from gray-level histograms[J].IEEETransactionsonSystemsMan&Cybernetics,1979,9(1): 62- 66.

[2] TSAI Y, KAUL V, MERSEREAU R M. Critical assessment of pavement distress segmentation methods[J].JournalofTransportationEngineering, 2010,136(1): 11-19.

[3] CANNY J .A computational approach to edge detection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1986,8(6):679- 698.

[4] 張娟, 沙愛(ài)民, 孫朝云, 等. 基于相位編組法的路面裂縫自動(dòng)識(shí)別[J]. 中國(guó)公路學(xué)報(bào), 2008, 21(2): 39- 42. ZHANG Juan, SHA Aimin, SUN Chaoyun, et al. Pavement crack automatic recognition based on phase-grouping method[J].ChinaJournalofHighwayTransport, 2008, 21(2): 39- 42.

[5] HUANG Yaxiong, XU Bugao. Automatic inspection of pavement cracking distress[J].JournalofElectronImaging,2006,15(1):013017.

[6] Gavilán M, Balcones D, Marcos O, et al. Adaptive road crack detection system by pavement classification [J].Sensors, 2011, 11(10): 9628-9657.

[7] 孫波成, 邱延峻, 梁世慶. 基于小波的路面裂縫識(shí)別研究[J]. 重慶交通大學(xué)學(xué)報(bào)(自然科學(xué)版), 2010, 29(1): 69-72. SUN Bocheng, QIU Yanjun, LIANG Shiqing. Cracking recognition of pavement surface based on wavelet technology[J].JournalofChongqingJiaotongUniversity(NaturalScience), 2010, 29(1): 69-72.

[8] CHENG H D, WANG J L, HU Y G, et al. Novel approach to pavement cracking detection based on neural network[J].TransportResearchRecord, 2001(1764): 119-127.

[9] MARTIN D R, FOWLKES C C, MALIK J. Learning to detect natural image boundaries using local brightness, color, and texture cues [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2004, 26(5): 530-549.

[10] HU Yong, ZHAO Chunxia, WANG Hongnan. Automatic pavement crack detection using texture and shape descriptors[J].IETETechnicalReview, 2010, 27(5): 398- 405.

[11] CHENG H D, CHEN J R, GLAZIER C, et al. Novel approach to pavement cracking detection based on fuzzy set theory [J].JournalofComputinginCivilEngineering, 1999, 13(4): 270-280.

[12] ZOU Qin, CAO Yu, LI Qingquan, et al. Cracktree: automatic crack detection from pavement images[J].PatternRecognitionLetters, 2012, 33(3): 227-238.

[13] 梁世慶, 孫波成, 邱延峻. 數(shù)學(xué)形態(tài)學(xué)路面裂縫識(shí)別算法研究[J]. 路基工程, 2010(1): 44- 46. LIANG Shiqing, SUN Bocheng, QIU Yanjun. Algorithm research for pavement crack recognition based on mathematic morphology [J].SubgradeEngineering, 2010(1): 44- 46.

[14] 高建貞, 任明武, 唐振民, 等. 路面裂縫的自動(dòng)檢測(cè)與識(shí)別[J]. 計(jì)算機(jī)工程, 2003, 29(2): 149-150. GAO Jianzhen, REN Mingwu, TANG Zhenmin, et al. Automatic road crack detection and identification [J].ComputerEngineering, 2003, 29(2): 149-150.

[15] LI Qingquan, ZOU Qin, LIU Xianglong. Pavement crack classification via spatial distribution features[J].EURASIPJournalonAdvancesinSignalProcessing,2011,2011(1): 649- 675.

[16] WANG K C P, HOU Zhiqiong, GONG Weiguo. Automated road sign inventory system based on stereo vision and tracking[J].Computer-AidedCivilandInfrastructureEngineering,2010,25(6): 468-477.

[17] GRAHAM R L. An efficient algorithm for determining the convex hull of a finite planar set[J].InformationProcessingLetters1, 1972, 1(4): 132-133.

[18] 彭博. 基于路面高精三維圖像的裂縫自動(dòng)識(shí)別與分類算法 [D]. 成都: 西南交通大學(xué), 2014: 25-110. PENG Bo. AutomaticCrackDetectionandClassificationAlgorithmsBasedonHighResolution3DPavementImages[D]. Chengdu: Southwest Jiaotong University, 2014: 25-110.

(責(zé)任編輯：朱漢容)

Performance Evaluation Mechanism of Pavement Crack Recognition Algorithms Based on PR Curve with Tolerance

PENG Bo1, JI Ran2

(1. School of Traffic and Transportation, Chongqing Jiaotong University, Chongqing 400074, P. R. China; 2. School of Civil & Environmental Engineering, Oklahoma State University, OK, 74078, USA )

In order to assess the performance of pavement crack detection algorithm objectively and reasonably, an algorithm performance evaluation mechanism based on PR curve with tolerance was proposed. Firstly, a benchmark library of pavement crack images was built to provide the unified and standard test images for evaluating crack detection algorithm performance. Secondly, calculation methods of precision ratio, recall ratio andF1value considering tolerance were put forward as measurement indicators of algorithm performance. Then, a PR curve based on evaluation method for pavement crack detection algorithms was proposed. At last, two crack detection algorithms were evaluated and analyzed as examples by using PR curve. Results show that, the proposed PR curve evaluation mechanism establishes the unified benchmark test images, measurement indicators and evaluation method, which can assess performance (including precision ratio, recall ratio,F1values and algorithm stability) of crack detection algorithms without or with 1 or more parameters. It is helpful for algorithm performance evaluation and improvement.

highway engineering; evaluation mechanism; image processing; crack recognition algorithm; tolerance; PR curve

10.3969/j.issn.1674-0696.2017.07.07

2016- 01- 05；

2016- 02-24

重慶市社會(huì)事業(yè)與民生保障科技創(chuàng)新專項(xiàng)項(xiàng)目(cstc2015shms-ztzx30002；cstc2015shms-ztzx0127)；重慶市科委基礎(chǔ)科學(xué)與前沿技術(shù)研究項(xiàng)目(cstc2017jcyjAX0473)；重慶市教委科學(xué)研究項(xiàng)目(KJ1600513)；重慶交通大學(xué)科研啟動(dòng)項(xiàng)目(15JDKJC-A002)

彭 博(1986—)，男，四川南充人，博士，主要從事交通領(lǐng)域的圖像與視頻檢測(cè)研究工作。E-mail：pengbo351@126.com。

U416.23

A

1674-0696(2017)07-039-07