鄧海斌 魏唐中 杜銀飛

(湖州市公路與運(yùn)輸管理中心1) 湖州 313000) (南京興佑交通科技有限公司2) 南京 210008) (中南大學(xué)土木工程學(xué)院3) 長沙 410083)

0 引 言

瀝青路面性能檢測是維持道路服役性能、保證行車安全的重要手段[1].傳統(tǒng)的人工巡查的方式較為主觀，人力成本高，逐步被數(shù)字化技術(shù)所替代[2].隨著傳感技術(shù)的發(fā)展，攝像頭、激光雷達(dá)、探地雷達(dá)等感知裝備被應(yīng)用于道路檢測中.其中，圖像數(shù)據(jù)由于其低成本、輕便化的特點(diǎn)，得到了最為廣泛的應(yīng)用[3].

隨著人工智能技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)在圖像處理問題中得到了廣泛應(yīng)用.許多學(xué)者采用目標(biāo)識(shí)別算法進(jìn)行道路病害自動(dòng)識(shí)別，包括裂縫、坑槽、網(wǎng)裂等[4-7].在此基礎(chǔ)上，為了更精細(xì)地獲得路面病害如寬度、面積等信息，對(duì)病害進(jìn)行語義分割也成了研究熱點(diǎn)[8-10].為了對(duì)瀝青路面進(jìn)行更細(xì)致地觀察，通過調(diào)整攝像頭角度和清晰度，可獲取到路面集料形態(tài)清晰的路面紋理圖像，并嘗試通過解析路面紋理圖像來分析路面的表觀構(gòu)造特性.Du等[11]利用路面紋理圖像，構(gòu)建基于領(lǐng)域?qū)W習(xí)的深度神經(jīng)網(wǎng)絡(luò)，預(yù)估路面的抗滑性能.

在圖像處理中，圖像數(shù)據(jù)質(zhì)量是關(guān)鍵的影響因素之一.然而在獲取過程中，感知裝備往往會(huì)受到設(shè)備質(zhì)量、設(shè)備調(diào)試、拍攝距離和運(yùn)動(dòng)速度等諸多因素的干擾，導(dǎo)致路面紋理圖像的分辨率不夠或圖像模糊[12].

圖像分辨率不足主要是受制于成像設(shè)備的硬件條件.Dong等[13]將CNN與圖像超分辨率(super resolution，SR)融合，提出了SRCNN網(wǎng)絡(luò)模型.Kim等[14]提出基于殘差網(wǎng)絡(luò)的超分辨率重建深度網(wǎng)絡(luò)(VDSR)和循環(huán)超分辨率神經(jīng)網(wǎng)絡(luò)模型(DRCN)，重點(diǎn)關(guān)注和學(xué)習(xí)低分辨率圖像與高分辨率圖像差異較大的高頻細(xì)節(jié)信息，而無需過多學(xué)習(xí)相似度較高的低頻信息.Lim等[15]提出了EDSR模型，降低了模型計(jì)算資源的消耗.生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks，GAN)創(chuàng)新的生成器與判別器相互學(xué)習(xí)和對(duì)抗的方式提升了模型的性能.Ledig 等[16]提出的SRGAN模型首次將GAN應(yīng)用到了圖像超分辨率重建的問題中，并取得了較好的效果.丁明航[17]設(shè)計(jì)了基于注意力機(jī)制的GAN超分辨率重建方法，可用于路面裂縫圖像清晰化的處理，提高了路面裂縫的識(shí)別精度.目前的超分辨率算法在紋理細(xì)節(jié)上仍不夠真實(shí)自然，且比較適用于有清晰輪廓和邊界的圖片.

圖像模糊問題分為對(duì)焦模糊和運(yùn)動(dòng)模糊.對(duì)焦模糊主要是由焦距調(diào)試不到位或是拍攝環(huán)境改變導(dǎo)致的對(duì)焦不準(zhǔn)而引起的.運(yùn)動(dòng)模糊是指由拍攝設(shè)備與場景的相對(duì)運(yùn)動(dòng)造成的光學(xué)介質(zhì)與目標(biāo)場景的相對(duì)運(yùn)動(dòng)，產(chǎn)生圖像偏移，導(dǎo)致圖像模糊.運(yùn)動(dòng)圖像修復(fù)包括了非盲運(yùn)動(dòng)圖像修復(fù)和盲運(yùn)動(dòng)圖像修復(fù).非盲運(yùn)動(dòng)圖像修復(fù)是原始圖像已知，模糊核可以通過參數(shù)估計(jì)計(jì)算得到；盲運(yùn)動(dòng)圖像修復(fù)是模糊核和原始圖像都是未知的[18].盲運(yùn)動(dòng)圖像修復(fù)難度更大，但是應(yīng)用則更為廣泛，在視頻動(dòng)態(tài)監(jiān)控[19]、車載圖像采集等場景中較為普遍.盲運(yùn)動(dòng)圖像修復(fù)的研究包括基于模糊核估計(jì)和基于深度學(xué)習(xí)網(wǎng)絡(luò).Rav等[20]提出多方向模糊核的多幅盲運(yùn)動(dòng)圖像修復(fù)方法，該方法僅局限于模糊核為勻速直線運(yùn)動(dòng)的情況，不適用于復(fù)雜運(yùn)動(dòng)情況.Chun等[21]采用交替迭代的方法同時(shí)將圖像進(jìn)行框架變換，利用框架的冗余性導(dǎo)致的魯棒性，使得該算法能夠更好地控制多幅運(yùn)動(dòng)模糊圖像之間的配準(zhǔn)誤差.在深度學(xué)習(xí)方面，樊晶華[22]采用基于條件的GAN進(jìn)行多種模糊情況的圖像復(fù)原.王曉紅等[23]采用卷積神經(jīng)網(wǎng)絡(luò)獲得模糊圖像的高維特征，利用深度強(qiáng)化學(xué)習(xí)結(jié)合多種CNN去模糊工具建立去模糊框架.

上述研究中的圖像大部分是具有清晰輪廓的物體，但路面紋理圖像的輪廓無序且復(fù)雜，目前尚未有研究對(duì)其特點(diǎn)提出針對(duì)性的圖像修復(fù)方法.文中針對(duì)路面紋理圖像分辨率低、成像模糊等問題，構(gòu)建了面向路面紋理的基于GAN的圖像修復(fù)模型.采集了3 456張路面紋理圖像，對(duì)原圖像進(jìn)行處理，構(gòu)建了低分辨率、高斯模糊和運(yùn)動(dòng)模糊的數(shù)據(jù)集，并分別設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu).為了更好地還原路面紋理的細(xì)節(jié)特征，在生成器損失函數(shù)中，加入基于紋理特征的損失項(xiàng)，通過圖像質(zhì)量還原評(píng)價(jià)指標(biāo)衡量對(duì)抗生成模型的效果.

1 數(shù)據(jù)集構(gòu)建

1.1 路面紋理圖像數(shù)據(jù)獲取

在構(gòu)建訓(xùn)練數(shù)據(jù)集時(shí)，在原圖像的基礎(chǔ)上加上擾動(dòng)因子來模擬有質(zhì)量問題的圖像.為了采集高質(zhì)量的原數(shù)據(jù)，本文采用攝像機(jī)在靜止情況下獲取圖像數(shù)據(jù).因?yàn)殓R頭角度、拍攝距離等原因，圖像會(huì)出現(xiàn)輕微的傾斜、變形.因此需要對(duì)圖像數(shù)據(jù)進(jìn)行圖像矯正、分辨率統(tǒng)一、圖像分割、灰度均衡化等操作.在路面框選出300 mm×300 mm的區(qū)域，并標(biāo)記上控制點(diǎn)，采用透視變換，利用式(1)的變換公式，實(shí)行對(duì)圖像畸形校正.

(1)

式中：(u,v)為原始圖像像素坐標(biāo)；(x=x′/w′，y=y′/w′)；為變換之后的圖像像素坐標(biāo)aij，為矩陣系數(shù).文中選擇1 mm內(nèi)10個(gè)像素點(diǎn)的圖像精度作為后續(xù)原圖像的一個(gè)標(biāo)準(zhǔn).通過透視變換和圖像像素點(diǎn)統(tǒng)一，每張圖片都能獲得3 000×3 000分辨率的路面紋理圖像.在此基礎(chǔ)上，可以根據(jù)數(shù)據(jù)集的要求對(duì)圖像進(jìn)行分割.

由于在不同時(shí)期、不同光照和不同路面拍攝的路面的顏色和亮度有較大的差異，因此采用灰度均衡化的方式改變圖像中各像素的灰度，以增強(qiáng)動(dòng)態(tài)范圍偏小的圖像的對(duì)比度.具體地，把原始圖像的直方圖變換為均勻分布的形式，增加了像素之間灰度值差別的動(dòng)態(tài)范圍，對(duì)圖像中像素個(gè)數(shù)多的灰度值進(jìn)行展寬，而對(duì)像素個(gè)數(shù)少的灰度值進(jìn)行歸并，從而達(dá)到增強(qiáng)圖像整體對(duì)比度的效果.具體的圖像預(yù)處理流程見圖1.

圖1 圖像數(shù)據(jù)預(yù)處理流程

1.2 圖像修復(fù)問題定義

將圖像質(zhì)量問題分為三類，分別是低分辨率、對(duì)焦問題引起的失焦模糊以及運(yùn)動(dòng)過程中引發(fā)的運(yùn)動(dòng)模糊.對(duì)于圖像低分辨率的問題，直接采用下采樣進(jìn)行圖像壓縮.圖像尺寸為M×N，對(duì)其進(jìn)行s倍下采樣，即得到(M/s) ×(N/s)尺寸的分辨率圖像.文中的圖像壓縮的倍數(shù)s為4.

對(duì)于失焦引起的模糊，采用高斯模糊對(duì)圖像進(jìn)行處理.其過程是圖像二維矩陣與正態(tài)分布做卷積，生成失焦成像效果.高斯模糊的表達(dá)式為

(2)

式中：x,y為像素點(diǎn)坐標(biāo)；δ為標(biāo)準(zhǔn)差，文中采用δ為1的高斯模糊函數(shù)對(duì)圖像進(jìn)行處理.

對(duì)于攝像頭的快速移動(dòng)產(chǎn)生的動(dòng)態(tài)模糊，主要影響因素是初始位置和初始速度矢量，考慮位移長度、時(shí)間間隔、角度等因素.勻速直線運(yùn)動(dòng)模糊核的PSF數(shù)學(xué)表達(dá)式為

(3)

勻速直線運(yùn)動(dòng)PSF影響因素是模糊長度標(biāo)量(L)和運(yùn)動(dòng)軌跡與水平面夾角θ，模糊核矩陣表示物體位移矢量.圖2為對(duì)原圖像進(jìn)行處理后的低分辨率、高斯模糊和運(yùn)動(dòng)模糊的低質(zhì)量圖片.

圖2 低質(zhì)量圖片示例

以目標(biāo)區(qū)域面積25 mm×25 mm的圖像為一個(gè)樣本，通過圖像處理和切割，共有3 456張圖像作為原圖像的數(shù)據(jù)集.并通過圖像變換的方法，獲得了低分辨率、高斯模糊和運(yùn)動(dòng)模糊的路面紋理圖像數(shù)據(jù)各3 456張.

2 模型設(shè)計(jì)

2.1 整體框架設(shè)計(jì)

文中設(shè)計(jì)了基于對(duì)抗生成網(wǎng)絡(luò)的圖像修復(fù)神經(jīng)網(wǎng)絡(luò)框架，對(duì)抗生成網(wǎng)絡(luò)由生成器和判別器組成.生成器的輸入為低質(zhì)量的圖像數(shù)據(jù)集，輸出是生成的高質(zhì)量圖像，在訓(xùn)練生成器時(shí),將判別器的參數(shù)固定，通過計(jì)算生成的圖像和原高質(zhì)量圖像之間的損失值來優(yōu)化生成器的參數(shù)，為了能更好地讓生成器學(xué)習(xí)到路面紋理的特征，在生成器損失函數(shù)中，除了判別器評(píng)分外，還添加了感知損失值和基于灰度共生矩陣的(gray-level co-occurrence matrix，GLCM)紋理特征[24]的計(jì)算.在訓(xùn)練判別器時(shí)，固定生成器的參數(shù)，訓(xùn)練判別器.在得到修復(fù)的圖像后，采用綜合評(píng)價(jià)指標(biāo)對(duì)修復(fù)效果進(jìn)行衡量.整體框架設(shè)計(jì)見圖3.

圖3 整體框架設(shè)計(jì)

2.2 生成器網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

鑒于不同低質(zhì)量圖像的大小和干擾不同，因此生成器的網(wǎng)絡(luò)結(jié)構(gòu)針對(duì)不同的輸入類型，進(jìn)行差異化設(shè)計(jì).運(yùn)動(dòng)模糊和高斯模糊的修復(fù)采用一致的網(wǎng)絡(luò)結(jié)構(gòu)，超分辨率的生成器結(jié)構(gòu)略有不同.為了增加網(wǎng)絡(luò)深度，引入了殘差模塊[25]，殘差模塊由三部分組成，兩個(gè)卷積層(卷積-歸一化-激活)和一個(gè)恒等映射，即將輸入的特征在輸出層進(jìn)行融合.每個(gè)殘差模塊的結(jié)構(gòu)見圖4.

圖4 殘差模塊結(jié)構(gòu)

模糊修復(fù)生成器的網(wǎng)絡(luò)架構(gòu)是先通過卷積層進(jìn)行下采樣，提取圖像特征，在通過多個(gè)殘差塊加深網(wǎng)絡(luò)深度，再通過上采樣恢復(fù)原來的圖像大小，模糊修復(fù)的生成器網(wǎng)絡(luò)結(jié)構(gòu)見圖5.超分辨率生成器的輸入的長寬分別是和輸出圖像的1/4，因此網(wǎng)絡(luò)架構(gòu)沒有下采樣，通過卷積層和多個(gè)殘差模塊提取圖像特征，再通過上采樣恢復(fù)原來的圖像大小，整體網(wǎng)絡(luò)架構(gòu)參考SRGAN的生成器而設(shè)計(jì)的，超分辨率的生成器網(wǎng)絡(luò)結(jié)構(gòu)見圖6.

圖5 模糊修復(fù)生成器的網(wǎng)絡(luò)模型

圖6 超分辨率生成器的網(wǎng)絡(luò)模型

2.3 生成器損失函數(shù)優(yōu)化

生成器損失函數(shù)中包含了對(duì)抗損失、感知損失和紋理特征損失.對(duì)抗損失是判別模型對(duì)生成的圖像評(píng)判的分值產(chǎn)生的損失，計(jì)算式為

(4)

式中：x為數(shù)據(jù)集中的輸入圖像；n為數(shù)據(jù)樣本量；G為生成器；D為判別器.

感知損失是生成圖和原圖像之間在成熟的預(yù)訓(xùn)練的網(wǎng)絡(luò)架構(gòu)提取的特征的損失計(jì)算，可以使生成器學(xué)習(xí)和原始圖像在深層內(nèi)容細(xì)節(jié)上的差異，有助于對(duì)圖像紋理細(xì)節(jié)的重構(gòu).文中所用的感知損失網(wǎng)絡(luò)的預(yù)訓(xùn)練模型是 VGG-19，選用VGG19網(wǎng)絡(luò)中第9層的特征參數(shù)作為感知損失的計(jì)算特征，其計(jì)算公式為

(5)

式中：C、H、W分別為通道、寬和高；CjHjWj為第j層的特征圖大?。沪誮為第j層的特征數(shù)值.

紋理特征損失是生成圖和原圖像之間紋理特征指標(biāo)計(jì)算的損失.文中利用GLCM方法提取圖像紋理的高階特征，并選擇其中最為顯著的熵和能量兩個(gè)特征.熵值(Entropy)測量了圖像紋理分布的隨機(jī)性.復(fù)雜的紋理成分傾向于產(chǎn)生高熵值，而紋理成為單調(diào)的成分則表現(xiàn)為低熵值.能量(Energy)表示了紋理分布的均勻性.基于GLCM紋理特征的損失項(xiàng)計(jì)算式為

(0≤i≤255,0≤j≤255)

(6)

(7)

(8)

(9)

(10)

式中：i為像素灰度值；j為鄰域的平均像素灰度值；f(i,j)為二進(jìn)制數(shù)(i,j)出現(xiàn)的頻率；Pij(x)為出現(xiàn)(i,j)的概率，可以反映像素位置的灰度值和周圍像素的灰度分布的綜合特征.

優(yōu)化后的生成器損失函數(shù)表達(dá)式為

Loss_G=Loss_DG+Loss_Perceptual+

Loss_Entropy+Loss_Energy

(11)

2.4 判別器模型設(shè)計(jì)

判別器的結(jié)構(gòu)均一致，判別器的輸入是圖像，真實(shí)圖像的標(biāo)簽為1，生成圖像的標(biāo)簽為0.網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)以深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)原則為主，用步長代替池化進(jìn)行下采樣，最后通過全連接層和softmax函數(shù)輸出0～1的分值，越接近1則表明圖像越接近真實(shí)圖像.判別器的網(wǎng)絡(luò)架構(gòu)見圖7.

圖7 模糊修復(fù)網(wǎng)絡(luò)和超分辨率網(wǎng)絡(luò)判別器網(wǎng)絡(luò)模型

判別器的損失值即對(duì)原圖像和生成圖像的判別損失，是原圖像和生成圖像判別得分的期望差，計(jì)算式為

(12)

3 訓(xùn)練與結(jié)果

3.1 模型訓(xùn)練與結(jié)果

對(duì)于三類問題分別構(gòu)建模型進(jìn)行訓(xùn)練，訓(xùn)練的總步數(shù)epoch為10 000.批大小batch_size為1，采用keras框架進(jìn)行訓(xùn)練，優(yōu)化器采用adam，在訓(xùn)練過程中保存生成器的損失值、辨別器的損失值和準(zhǔn)確率.以超分辨率模型為例，圖8為訓(xùn)練過程中各指標(biāo)的變化情況.

圖8 超分辨率網(wǎng)絡(luò)模型訓(xùn)練過程

由圖8可知：盡管訓(xùn)練過程中存在波動(dòng)，模型的判別器和生成器損失值都呈下降趨勢，不同的是生成器的損失值在訓(xùn)練初期下降非?？?，然后基本趨于平緩，判別器的損失值下降較為緩慢.對(duì)于判別器的準(zhǔn)確率，在訓(xùn)練初期上升很快，并一直維持高準(zhǔn)確率，呈逐漸收斂趨勢，由此可見判別器訓(xùn)練的比生成器更好.圖9為三個(gè)模型的結(jié)果.

圖9 模型生成結(jié)果

3.2 基于圖像質(zhì)量的模型評(píng)估

引入全參考評(píng)價(jià)方法，選取峰值信噪比(peak signal to noise ratio，PSNR)和結(jié)構(gòu)相似性(structural similarity， SSIM)兩個(gè)指標(biāo).PSNR衡量圖像所有像素點(diǎn)間直接的差異，SSIM則衡量圖像間特定的結(jié)構(gòu)差異.計(jì)算公式為

(13)

(14)

(15)

式中：R(m,n)和I(m,n)為灰度值，M×N指圖像的長、寬；L為圖像能夠表示的最大灰度，L=255.C1=(k1L)2，C2=(k2L)2，k1=0.01，k2=0.03.當(dāng)SSIM的計(jì)算值向1偏移時(shí)，說明圖像間相似性越來越大，而計(jì)算值向0偏移時(shí)，代表圖像間越來越不相似.為了更方便比較，將PSNR、SSIM兩指標(biāo)進(jìn)行賦予權(quán)重，整合成綜合評(píng)價(jià)指標(biāo)I進(jìn)行評(píng)價(jià)，計(jì)算公式為

(16)

文中對(duì)三類模型生成的圖像進(jìn)行指標(biāo)計(jì)算，與原圖像比較.對(duì)于低質(zhì)量的輸入圖像，僅計(jì)算高斯模糊和運(yùn)動(dòng)模糊的低質(zhì)量圖像的指標(biāo).為了驗(yàn)證生成器損失中GLCM紋理特征的影響，進(jìn)行消融試驗(yàn)，對(duì)比損失函數(shù)中是否引入GLCM紋理特征的生成圖像質(zhì)量指標(biāo)的差異.表1為生成綜合圖片質(zhì)量指標(biāo)I對(duì)比結(jié)果.

表1 綜合圖片質(zhì)量指標(biāo)I對(duì)比

由表1可知：高斯模糊修復(fù)模型得到的生成圖像和原圖像最接近，而運(yùn)動(dòng)模糊的接近程度較低，其原因是運(yùn)動(dòng)模糊會(huì)讓部分邊緣像素移位，增加了訓(xùn)練的難度.另一方面，損失函數(shù)中增加了GLCM紋理特征的模型結(jié)果要總體優(yōu)于沒有GLCM紋理特征的，可見GLCM紋理特征的提取和對(duì)比有利于生成器學(xué)習(xí)到紋理的細(xì)節(jié)特征，有助于路面圖像的修復(fù).

4 結(jié) 論

1) 根據(jù)問題需求，采集了3 456張路面紋理圖像，對(duì)原圖像進(jìn)行處理，構(gòu)造了低分辨率、高斯模糊和運(yùn)動(dòng)模糊的數(shù)據(jù)集，并通過對(duì)抗生成網(wǎng)絡(luò)有效地進(jìn)行圖像的修復(fù)，獲取較為理想的路面紋理圖像.

2) 針對(duì)路面紋理圖像的特點(diǎn)，在對(duì)抗生成網(wǎng)絡(luò)中的生成器損失函數(shù)中增加了基于GLCM紋理特征的損失項(xiàng)，使得生成器生成的圖像能更好地重構(gòu)路面紋理的細(xì)節(jié).并通過圖像質(zhì)量還原評(píng)價(jià)綜合指標(biāo)驗(yàn)證了含有GLCM紋理特征損失項(xiàng)的模型修復(fù)效果更好.

3) 文中的低質(zhì)量數(shù)據(jù)集是人工合成的，與實(shí)際情況仍有差距，后續(xù)研究將使用實(shí)際采集的低質(zhì)量圖像進(jìn)行驗(yàn)證.