龔云璐，李大軍*，郭丙軒，劉 波

(1. 東華理工大學(xué)測繪工程學(xué)院，330013，南昌； 2. 武漢大學(xué)測繪遙感信息工程國家重點實驗室，430079，武漢)

0 引言

傾斜攝影三維建模技術(shù)以其建模成本低、效率高、紋理模型數(shù)據(jù)獲取一體化等優(yōu)點，現(xiàn)已發(fā)展為主流的城市三維建模方法。其中，紋理映射作為傾斜影像三維建模的重要組成，能夠加強模型的可讀性，決定著模型細(xì)節(jié)表達(dá)[1]。而三維建筑模型的自動紋理映射，因建筑物遮擋以及多視影像紋理融合導(dǎo)致的紋理遮擋變形、模糊、映射錯誤等問題，目前主要依靠作業(yè)員利用第三方圖像編輯工具手工進(jìn)行紋理編輯修改，這一過程將耗費大量的時間和人力，已成為建筑物精細(xì)三維重建的一大痛點和難點。

本質(zhì)上，手動紋理修復(fù)屬于單幅圖像修復(fù)，利用紋理相似性為待修復(fù)塊尋找可替換的樣本塊。許多學(xué)者針對基于樣本塊的圖像填充算法進(jìn)行了研究。Criminisi等[2]提出基于樣本匹配的圖像修復(fù)算法，該算法通過計算圖像塊的優(yōu)先級以決定塊填充次序，是一種貪心算法。Barnes等[3]提出的PatchMatch算法利用圖像的連續(xù)性快速尋找圖像塊之間的近似圖像鄰居匹配，降低了搜索過程中的內(nèi)存消耗和計算成本，但算法收斂性差、計算時間長。Wexler等[4]利用一個全局性的目標(biāo)函數(shù)求全局最優(yōu)來完成圖像的填充，采樣一種投票加權(quán)的方式修復(fù)圖像。He等[5]發(fā)現(xiàn)了相似圖像塊之間偏移量的稀疏性，進(jìn)一步提高了算法的運行速度。Musialski等[6]提出了一種利用相似性傳播去除單張近似正射圖像不規(guī)則性的方法，根據(jù)檢測到的相似性進(jìn)行結(jié)構(gòu)傳播。Peng Zhao和Long Quan[7]提出了一種利用圖像中的平移相似性自動檢測任意形狀的多個未知重復(fù)模式的方法。Liu等[8]提出了一個可以檢測圖像自相關(guān)函數(shù)中的峰值，以確定紋理模式的周期性的計算模型。Park等[9]使用平均移位信念傳播來穩(wěn)健地檢測真實圖像中高度重復(fù)的二維壁紙圖案。Ceylan等[10]提出了一種使用對稱線作為先驗信息，從多幅圖像中準(zhǔn)確重建城市建筑的方法。

盡管上述方法能夠較好地利用圖像中的相似性結(jié)構(gòu)進(jìn)行紋理修復(fù)，自動化程度高，但應(yīng)用于實際場景中仍然存在以下不足：1)紋理重復(fù)性過高，修復(fù)效果失真；2)適用于小范圍圖像內(nèi)部紋理修復(fù)，對于圖像邊緣大面積遮擋修復(fù)效果差；3)主要處理數(shù)據(jù)為立面元素排列較為規(guī)則的歐式建筑，與實際生產(chǎn)處理的數(shù)據(jù)場景不同。

針對實景三維建筑模型自動紋理映射后產(chǎn)生大片具有復(fù)雜結(jié)構(gòu)和紋理的錯誤映射區(qū)域的情況，以上修復(fù)方法均存在一定的局限性。受到Barnes等[3]提出的基于引導(dǎo)線的PatchMatch算法啟發(fā)，結(jié)合作業(yè)員的作業(yè)習(xí)慣，本文提出了一種顧及立面元素排列特性的圖像修復(fù)方法。該方法首先檢測出不同層中的立面元素特征線，并將其作為引導(dǎo)線來指導(dǎo)修復(fù)，最佳修復(fù)偏移量的確定由全局隨機(jī)搜索變?yōu)樵诓煌瑢又袑?yīng)位置的引導(dǎo)搜索，極大縮短了計算時間。

1 顧及立面元素排列特性的紋理修復(fù)方法

1.1 顧及立面元素排列特性的紋理修復(fù)原理

大片紋理受損區(qū)域的圖像修復(fù)是一項具有挑戰(zhàn)性的任務(wù)。在多數(shù)情況下，受損區(qū)域的邊界無法為圖像修復(fù)提供較多參考信息，導(dǎo)致修復(fù)后區(qū)域內(nèi)外產(chǎn)生紋理及結(jié)構(gòu)上的不一致。本文從立面上各元素的規(guī)則排列特性出發(fā)，通過引導(dǎo)線對計算出相鄰層元素重復(fù)間隔即層高，結(jié)合受損區(qū)域周圍特征尋找最佳紋理替換位置。

圖1展示了顧及立面元素排列特性的立面紋理修復(fù)過程。假設(shè)l1、l2為立面F上的一對引導(dǎo)線對，間隔為h(h>0)。根據(jù)立面元素排列的重復(fù)性，對受損區(qū)域Ω，可選擇的修復(fù)偏移量為h、2h及3h，分別對應(yīng)修復(fù)紋理塊P1、P2、P3。結(jié)合受損區(qū)域周圍特征(無其它立面元素)，綜合判斷紋理塊P2為最佳修復(fù)塊，進(jìn)行紋理替換，完成圖像修復(fù)。

圖1 顧及立面元素排列特性的紋理修復(fù)原理

在實際生產(chǎn)中受損區(qū)域往往因樹、屋檐及建筑等遮擋位于圖像邊緣，從而失去了較多用于推理內(nèi)部結(jié)構(gòu)的外部參考信息，降低了作業(yè)員推理結(jié)果的準(zhǔn)確性，導(dǎo)致修復(fù)效果不理想。因此，本文基于立面元素的排列特性提出了一種能夠自動檢測圖像中引導(dǎo)線對的立面紋理修復(fù)方法，減少了修復(fù)過程中的人為干預(yù)，提高了圖像修復(fù)的自動化進(jìn)程。

1.2 顧及立面元素排列特性的紋理修復(fù)方法

1.2.1 算法流程 考慮到圖像修復(fù)的關(guān)鍵在于確定修復(fù)區(qū)域到待修復(fù)區(qū)域的最佳偏移量，本文提出一種顧及立面元素排列特性的圖像修復(fù)方法，通過層特征匹配實現(xiàn)最佳偏移量的自動搜索。首先，根據(jù)用戶在立面圖像上圈出的受損區(qū)域自動檢測出區(qū)域外的層特征線，通過將相鄰層最相似的層特征線兩兩配對來估計建筑立面的層高，并以此為單位進(jìn)行最佳偏移量的搜索，替換受損紋理塊，最后利用泊松算法對修復(fù)區(qū)域內(nèi)外進(jìn)行勻色，完成立面紋理修復(fù)。算法流程如圖2所示。

圖2 顧及立面元素排列特性的紋理修復(fù)方法

1.2.2 自適應(yīng)層特征線檢測 中式建筑尤其是老住宅區(qū)，同一層樓各戶對于陽臺、廚房等布局改造空間較大，彼此之間相似性低，但每層總體結(jié)構(gòu)保持一致，由此，本文提出了層特征線的理論，用于引導(dǎo)破損區(qū)域的紋理修復(fù)。判斷一條線為層特征線需要符合以下條件：1)為特征顯著的線；2)為近似水平線；3)可以在相鄰層找到特征相同的線。

根據(jù)層特征線的水平特征，本實驗只檢測水平方向上的特征線。本文采用Canny邊緣檢測算法結(jié)合LSD線段檢測算法提取出符合要求的層特征線(圖2(b))。

本文在Canny算法基礎(chǔ)上做出以下改進(jìn)。首先在一階偏導(dǎo)算子的選擇上，為了檢測出水平方向特征更明顯的層特征線，本文設(shè)置2種9×3的層特征線檢測算子如圖3，左側(cè)算子用于檢測由上到下呈暗到亮的層特征線、右側(cè)算子用于檢測由上到下呈亮到暗的層特征線，相比原Sobel算子抗噪性更強。

圖3 自定義層特征線檢測算子

其次，在二值化方法上，為了提高算法自動化程度，選擇自適應(yīng)閾值算法代替原雙閾值算法。自適應(yīng)閾值算法思想如下：令mxy和σxy是圖像中以(x,y)為中心的鄰域Sxy所包含像素集合的均值和標(biāo)準(zhǔn)差，局部閾值Txy計算公式為：

Txy=a×σxy+b×mxy

(1)

式中：a和b是非負(fù)常數(shù)，計算得到的二值圖像g(x,y)為：

(2)

式中：f(x,y)是輸入圖像，對圖像中所有像素應(yīng)用該公式，則獲取分割后的二值圖。

1.2.3 基于二次匹配的層特征線配對 為了建立立面各層相似紋理之間的聯(lián)系，需求出立面上重復(fù)元素的排列間隔，即立面層高。本文在檢測出的層特征線的基礎(chǔ)上，通過將相鄰層中重復(fù)元素對應(yīng)位置的層特征線配對，用線對豎直間隔近似表示立面層高。首先，本文設(shè)置一個初始層高范圍3.0～5.5 m[11]用于粗篩圖像中所有可能的層特征線對。其次，利用SIFT(尺度不變特征轉(zhuǎn)換)描述子對圖像中的特征點進(jìn)行預(yù)檢測，對所有可能的層特征線對附近相同范圍內(nèi)的特征點集合進(jìn)行相似度匹配，最后將匹配相似度最高的層特征線對作為最終輸出結(jié)果(圖2(c))。

本文采用結(jié)構(gòu)相似度(structural similarity index，SSIM)[12]作為相似度評價指標(biāo)。對輸入圖像x和y，結(jié)構(gòu)相似度的數(shù)學(xué)定義如下：

SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ

(3)

其中：l(x,y)為平均亮度相似性，是圖像x的區(qū)域平均亮度ux和圖像y的區(qū)域平均亮度ux的相似度；c(x,y)為對比度相似性，是圖像x的區(qū)域標(biāo)準(zhǔn)差σx和圖像y的區(qū)域標(biāo)準(zhǔn)差σy的相似度；s(x,y)為結(jié)構(gòu)相似性。以上3個分量的計算公式為：

(4)

其中：σxy為x,y的協(xié)方差，C1、C2、C3為常數(shù)。一般將式(1)中的α、β、γ設(shè)為1，得到最終計算公式：

(5)

1.2.4 基于估計層高的紋理替換 考慮到立面各層結(jié)構(gòu)雖然相似，但紋理可能具有差異性。為了得到受損區(qū)域到修復(fù)區(qū)域的最佳偏移量，本文將結(jié)構(gòu)相似度前3的層特征線對之間的相似度加權(quán)平均間隔作為立面層高。以此為單位在受損區(qū)域上下各層進(jìn)行最佳偏移量搜索(圖2(d))，匹配得到最相似區(qū)域來替換受損區(qū)域從而實現(xiàn)紋理修復(fù)(圖2(e))。立面層高計算公式如下：

(6)

式中：FH為計算得到的層高，ωk為第k對層特征線對的結(jié)構(gòu)相似度，Sk為第k對層特征線對中點的垂直間隔，n=3。

1.2.5 泊松融合 由于太陽光照射導(dǎo)致立面整體亮度不均，紋理替換后修復(fù)區(qū)域與周圍亮度不一致，需要進(jìn)行勻光處理。本文采用主流的泊松融合算法對修復(fù)后區(qū)域進(jìn)行勻光勻色處理(圖2(f))。泊松融合的核心在于保證梯度域上連續(xù)的同時利用插值重建融合區(qū)域的像素值[13]。融合步驟如下。

1)利用差分運算計算出圖像梯度場。

2)計算背景圖像的梯度場。

3)計算融合圖像的梯度場。把待融合圖像的梯度場賦值于拼接圖像對應(yīng)區(qū)域梯度場，得到一個待重建的完整梯度場。

4)計算融合圖像的散度場。對步驟3)得到的待重建梯度場，對梯度求偏導(dǎo)，計算得到融合圖像的散度。

5)計算系數(shù)矩陣。泊松重建方程Ax=b，其中b為圖像散度，x是融合圖像的像素值。只要構(gòu)建系數(shù)矩陣A就能融合圖像。

泊松融合的關(guān)鍵在于利用重建方程計算出待修復(fù)區(qū)域內(nèi)的像素值，使修復(fù)邊緣及內(nèi)部區(qū)域梯度場平滑過渡，從而達(dá)到紋理融合的目的。圖4中左圖為紋理替換后的圖像，右圖是泊松融合后的結(jié)果，對比矩形框內(nèi)可以發(fā)現(xiàn)右圖更加自然。

圖4 圖像泊松融合結(jié)果對比

2 實驗結(jié)果分析

本文從陜西省安康市某地區(qū)的單體化模型中抽取了10張經(jīng)過自動紋理映射后的立面圖像作為實驗數(shù)據(jù)集，包括住宅、辦公和商業(yè)建筑立面3類，結(jié)合人工圈出的受損區(qū)域掩膜圖像共同作為算法輸入。

本文算法在3.2 GHz Intel CPU的電腦上以Microsoft Visual Studio 2019為開發(fā)平臺，基于C++編程語言結(jié)合OpenCV 3.4.15庫進(jìn)行實現(xiàn)。

2.1 立面修復(fù)效果對比

為了直觀地驗證本文方法的有效性，本實驗根據(jù)不同遮擋物在立面上的位置將數(shù)據(jù)集分為屋檐、樹木及建筑物3類遮擋，分別應(yīng)用本文方法與Criminisi[2]、PatchMatch[3]、PixMix[14]方法進(jìn)行圖像修復(fù)效果對比。其中，綜合考慮算法的運行時間與修復(fù)效率，將PatchMatch[2]和PixMix[14]方法的迭代次數(shù)均設(shè)置為20次，此外未對算法做任何加速處理。

通過圖5中不同方法修復(fù)某寫字樓立面屋檐遮擋的結(jié)果對比可知，采用Criminisi[2]方法只能修復(fù)下邊緣紋理。PixMix[14]方法修復(fù)結(jié)果錯亂、不合邏輯。PatchMatch[3]方法修復(fù)結(jié)果在整體上符合圖像上下文結(jié)構(gòu)和內(nèi)容，但仍存在部分窗戶錯位、墻面紋理模糊的現(xiàn)象，且修復(fù)區(qū)域內(nèi)外存在色調(diào)差異。本文方法修復(fù)結(jié)果較好地還原了屋檐下的窗戶和墻壁的紋理，且修復(fù)區(qū)域邊緣紋理銜接自然，整體色調(diào)均勻。

圖5 修復(fù)屋檐遮擋結(jié)果對比

通過圖6中不同方法修復(fù)某學(xué)校立面建筑物遮擋的結(jié)果對比可知，Criminisi[2]方法恢復(fù)出部分窗戶紋理，但無法與已知區(qū)域的窗戶對齊。PixMix[14]方法部分還原了被建筑物遮擋的立面紋理及結(jié)構(gòu)，但存在墻面凸起的問題，整體紋理連續(xù)性較差。PatchMatch[3]方法整體上還原了被建筑物遮擋的窗戶和墻面紋理，但仍存在直線斷開、窗戶殘缺的問題。本文方法能夠較好地修復(fù)被建筑物遮擋的立面紋理，得到紋理清晰、上下結(jié)構(gòu)一致的立面圖像。

圖6 修復(fù)建筑物遮擋結(jié)果對比

通過圖7中不同方法修復(fù)某居民樓立面樹木遮擋的結(jié)果對比可知，Criminisi[2]方法修復(fù)了部分已知區(qū)域附近的窗戶與墻面紋理。PixMix[14]方法無法得到合理的修復(fù)結(jié)果。PatchMatch[3]方法可以修復(fù)部分雨棚的紋理和結(jié)構(gòu)，但無法修復(fù)被遮擋的復(fù)雜窗戶紋理。本文方法能夠較為完整地修復(fù)被樹木遮擋的復(fù)雜立面元素結(jié)構(gòu)和紋理，且在視覺上無明顯縫隙感。

圖7 修復(fù)樹木遮擋結(jié)果對比

2.2 立面修復(fù)精度對比

為了從修復(fù)精度方面進(jìn)一步驗證本文方法的有效性，以作業(yè)員在實際生產(chǎn)中修復(fù)的立面圖像為評價標(biāo)準(zhǔn)，選取結(jié)構(gòu)相似度(SSIM)、峰值信噪比(PSNR)2個評價指標(biāo)對Criminisi[2]、PatchMatch[3]、PixMix[14]方法以及本文方法在5張立面上的修復(fù)精度進(jìn)行統(tǒng)計，結(jié)果如表1所示。

表1 不同圖像修復(fù)方法的精度對比

根據(jù)表1中不同立面修復(fù)方法的精度對比可知，PatchMatch[3]和本文方法有較高的修復(fù)精度。本文方法在大部分實驗圖像上結(jié)構(gòu)相似度高于0.6，較Criminisi[2]和PixMix[14]方法有明顯提高，較PatchMatch[3]方法也有一定提高，表明應(yīng)用本文方法修復(fù)圖像結(jié)果與標(biāo)準(zhǔn)圖像較為相似；在峰值信噪比方面，本文方法均高于其它3種方法，減少了圖像失真現(xiàn)象。由于wall4的待修復(fù)區(qū)域位于建筑第1層樓，被遮擋的單元門等立面要素?zé)o法在立面中找到，故應(yīng)用本文方法修復(fù)精度較低。

2.3 立面修復(fù)耗時對比

為了驗證本文方法在修復(fù)效率上的高效性，對Criminisi[2]、PatchMatch[3]、PixMix[14]方法以及本文方法在10張立面上的修復(fù)耗時進(jìn)行統(tǒng)計，結(jié)果如表2所示。

表2 不同圖像修復(fù)方法的耗時對比/s

根據(jù)表2中不同立面修復(fù)方法的耗時對比可知，PixMix[14]和本文方法有較高的修復(fù)效率，但PixMix[14]方法的修復(fù)效果較差。PatchMatch[3]方法和本文方法有較好的修復(fù)效果，但PatchMatch[3]方法的修復(fù)效果受制于算法迭代次數(shù)，要想達(dá)到好的修復(fù)效果必然產(chǎn)生高耗時。綜上，對于立面邊緣的大區(qū)域遮擋修復(fù)，本文方法可以在較短的時間內(nèi)達(dá)到最佳的效果。

3 結(jié)束語

本文提出了一種顧及立面元素排列特性的紋理修復(fù)算法。實驗表明，利用建筑立面元素在各層規(guī)律地排列組合特性能較好地估算出立面層高，從而較為精準(zhǔn)地找到受損區(qū)域的替換紋理區(qū)域，利用泊松融合算法進(jìn)行勻光處理后，可以有效地恢復(fù)受損區(qū)域的紋理和結(jié)構(gòu)。通過與已有方法的比較，本文方法對受損區(qū)域較大且位于邊緣的立面圖像具有更好的修復(fù)效果。

目前本文算法在檢測層特征線時受預(yù)設(shè)層高范圍的限制，對于少部分層高不在范圍內(nèi)的立面檢測效果較差，影響了后續(xù)處理。下一步的研究可以在處理前對立面進(jìn)行分類，對不同類別的立面分別設(shè)置不同的層高范圍，提高層特征線檢測在不同立面上的魯棒性。