徐海燕,郭為人,李德民,郝 君,徐 剛

(1. 浙江安防職業(yè)技術(shù)學(xué)院,浙江 溫州 325016; 2. 溫州市地理空間信息技術(shù)研究院,浙江 溫州 325016; 3. 溫州市自然資源和規(guī)劃信息中心,浙江 溫州 325000; 4.溫州市天空地態(tài)勢(shì)感知應(yīng)用技術(shù)協(xié)同 創(chuàng)新中心,浙江 溫州 325016; 5. 溫州市自然災(zāi)害遙感監(jiān)測(cè)預(yù)警重點(diǎn)實(shí)驗(yàn)室,浙江 溫州 325016; 6. 溫州市未來(lái)城市研究院,浙江 溫州 325016)

實(shí)景三維模型是新型基礎(chǔ)測(cè)繪的重要組成部分,作為構(gòu)建“數(shù)字城市”“城市大腦”的基礎(chǔ)空間信息數(shù)據(jù),既能夠表達(dá)城市的全要素信息,又具有測(cè)繪級(jí)的空間精度,逐步受到城市規(guī)劃、建筑和管理部門的重視[1-2]。

隨著網(wǎng)絡(luò)的日益普及,三維模型數(shù)據(jù)訪問(wèn)、獲取、使用、傳播等更加便捷。然而大量已獲取的實(shí)景三維數(shù)據(jù)正面臨著保密與共享的難題,特別是實(shí)景三維模型中高分辨率的紋理信息能夠暴露很多秘密機(jī)構(gòu)、重要設(shè)施等敏感目標(biāo)[3]。因此,需要對(duì)這些敏感目標(biāo)進(jìn)行脫密處理后才能保證數(shù)據(jù)的安全與共享應(yīng)用,否則將對(duì)國(guó)家利益和安全構(gòu)成威脅[4]。

三維模型的紋理脫密主要分為兩個(gè)階段,即敏感目標(biāo)識(shí)別和脫密處理。傳統(tǒng)的方法主要依賴于人工方法尋找紋理影像中的敏感目標(biāo),再使用圖像編輯相關(guān)工具獲取敏感目標(biāo)周圍的紋理并對(duì)其進(jìn)行移除,以達(dá)到脫密的目的[5]。但該類方法在城市級(jí)的大場(chǎng)景下效率低,穩(wěn)健性不足,無(wú)法滿足高效脫密處理的要求。

隨著深度學(xué)習(xí)方法的發(fā)展,文獻(xiàn)[6]提出的YOLO網(wǎng)絡(luò)模型在目標(biāo)檢測(cè)和識(shí)別領(lǐng)域取得了卓越的成就,在工業(yè)[7]、交通[8-9]、安防[10-11]等領(lǐng)域表現(xiàn)出巨大的應(yīng)用前景。隨后相繼提出了YOLOv3[12]、YOLOv4[13]等版本。YOLOv5推出s、m、l和x這4個(gè)不同的網(wǎng)絡(luò)模型,是在YOLOv4的基礎(chǔ)上進(jìn)行的參數(shù)優(yōu)化調(diào)整,檢測(cè)速度和精度有很大的提升,且更適合在生產(chǎn)環(huán)境中使用和部署。

在紋理修復(fù)方面,文獻(xiàn)[14]提出了Patch match方法,具有較好的修復(fù)能力,其主要思想是在待修復(fù)紋理塊區(qū)域邊緣選取像素點(diǎn),并以該點(diǎn)為中心劃定一個(gè)大小合適的窗口,遍歷整個(gè)圖像,搜索與該紋理特征最為接近的圖像塊,利用紋理塊的連續(xù)性找到最佳紋理塊替代當(dāng)前的紋理塊。文獻(xiàn)[15]以視頻序列影像為數(shù)據(jù),基于紋理塊匹配建立全局的相關(guān)性函數(shù)以約束新的影像,使新影像的全局相關(guān)性達(dá)到最大。

本文方法主要分為兩個(gè)階段:一是基于YOLOv5s網(wǎng)絡(luò)自動(dòng)識(shí)別并有效提取敏感目標(biāo);二是基于多尺度紋理塊匹配方法建立全局相關(guān)性函數(shù)進(jìn)行紋理修復(fù),達(dá)到脫密的目的。

1 技術(shù)路線

1.1 總體框架

本文的敏感目標(biāo)自動(dòng)識(shí)別和脫密模型總體框架如圖1所示,主要由YOLOv5s模型、GrabCut模型[15]和多尺度紋理塊匹配修復(fù)組成。其中,YOLOv5s模型用于敏感目標(biāo)識(shí)別和定位;GrabCut模型利用定位的錨框準(zhǔn)確提取敏感目標(biāo);多尺度紋理塊匹配用于對(duì)敏感目標(biāo)的自動(dòng)脫密。

圖1 總體框架

處理流程為:①預(yù)處理。根據(jù)秘密點(diǎn)POI獲取三維模型及對(duì)應(yīng)的紋理影像集,其中包含敏感目標(biāo)的紋理影像。②輸入紋理影像集和預(yù)先訓(xùn)練好的目標(biāo)權(quán)重參數(shù),使用YOLOv5s模型對(duì)紋理影像進(jìn)行快速的檢索、識(shí)別,判斷是否存在敏感目標(biāo)。③紋理影像中若不存在目標(biāo),則直接用于后續(xù)生成;若存在,則根據(jù)錨框坐標(biāo),利用GrabCut模型提取敏感目標(biāo),輸出敏感目標(biāo)對(duì)應(yīng)的Mask。④使用多尺度的紋理塊修復(fù)方法直接處理待修復(fù)區(qū)域,并最終生成脫密后的紋理影像,用于后續(xù)生產(chǎn)。

1.2 YOLOv5s模型

YOLOv5s網(wǎng)絡(luò)是YOLOv5系列中的輕量化版本,其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。為滿足敏感目標(biāo)快速識(shí)別的要求,本文采用計(jì)算速度最快的YOLOv5s模型。

圖2 YOLOv5s網(wǎng)絡(luò)框架

YOLOv5s算法網(wǎng)絡(luò)模型主要分為輸入端、骨干端、頸部端、頭部端4個(gè)模塊[8]。輸入端的主要功能是對(duì)輸入圖像進(jìn)行預(yù)處理,包括 Mosaic 數(shù)據(jù)增強(qiáng)、自適應(yīng)計(jì)算錨框、縮放圖像等模塊。骨干端是網(wǎng)絡(luò)的主要部分,主要負(fù)責(zé)提取特征,由CBS、CSP1和SPPF組成。其中,CBS是由卷積、批量歸一化和SiLU激活函數(shù)組成;CSP1為一種殘差結(jié)構(gòu),可以減少計(jì)算計(jì)算過(guò)程中的參數(shù),并通過(guò)殘差模塊控制模型的深度,也即由CSP1＿X和CSP2＿X的X所表示的殘差模塊使用的串聯(lián)次數(shù);SPPF是對(duì)特征圖進(jìn)行多次池化處理,對(duì)高層次特征進(jìn)行提取并融合,具有更快的推理速度。頸部端使用路徑聚合網(wǎng)絡(luò)PANet進(jìn)行特征融合,由CBS、上采樣、CSP2組成。CSP2與CSP1相比,少了殘差結(jié)構(gòu),因?yàn)樘卣魅诤喜恍枰由罹W(wǎng)絡(luò)[9]。PANet在 FPN基礎(chǔ)上添加了一個(gè)自底向上的信息流通途徑,進(jìn)一步提高了特征提取能力。檢測(cè)頭輸出端采用GIOU函數(shù)作為邊界框的損失函數(shù),在目標(biāo)識(shí)別后處理過(guò)程,使用非極大值抑制對(duì)多目標(biāo)框進(jìn)行篩選,提高多目標(biāo)的檢測(cè)能力。

1.3 Grabcut模型

GrabCut是基于圖割的圖像分割算法,如圖3所示。該算法需要為圖像設(shè)置矩形框,并以框內(nèi)的像素作為分割對(duì)象,在矩形框外的像素將被自動(dòng)分為背景,對(duì)于矩形框內(nèi)的區(qū)域像素,將會(huì)利用背景中的像素信息區(qū)分前景和背景?；诟咚够旌夏Ｐ?GMM)對(duì)背景和前景建立模型,并將矩形框內(nèi)的像素標(biāo)記為可能為背景或前景,即待分類的像素。整個(gè)圖像中的每個(gè)像素將被視為通過(guò)邊與周圍的像素相連接,而每條邊都擁有一個(gè)屬于背景或前景的概率,這是基于它與周邊的像素顏色上的相似度。每個(gè)像素都會(huì)與一個(gè)前景節(jié)點(diǎn)s或背景節(jié)點(diǎn)t連接。在每個(gè)像素完成節(jié)點(diǎn)連接后,若相連接的兩個(gè)像素不屬于相同的前景或背景節(jié)點(diǎn)(即一個(gè)節(jié)點(diǎn)屬于背景而另一個(gè)節(jié)點(diǎn)屬于前景),則會(huì)切斷兩者之間的邊,通過(guò)該方式將對(duì)象分割為前景和背景。

圖3 GrabCut分割

自動(dòng)識(shí)別模型會(huì)輸出若干個(gè)錨框表示敏感目標(biāo)的位置,但錨框不能準(zhǔn)確提取目標(biāo)。因此,本文將目標(biāo)識(shí)別的錨框作為需要分割的對(duì)象自動(dòng)輸入至GrabCut模型,通過(guò)GrabCut模型可以將敏感目標(biāo)作為前景從背景中提取出來(lái),輸出二值化Mask圖像,用于脫密處理。

1.4 紋理脫密

在紋理修復(fù)中,圖像需要保持最大的全局一致性才能達(dá)到良好的紋理脫密效果,全局一致性函數(shù)表示為

(1)

式中,SSIM為結(jié)構(gòu)相似度函數(shù);Wp為影像S需要填充的區(qū)域;Vq為影像D對(duì)應(yīng)找到區(qū)域。

對(duì)于影像S和影像D,如果影像S中每個(gè)點(diǎn)都能在影像D中找到,則認(rèn)為是全局一致性,即可以用影像D的窗口填充影像S的數(shù)據(jù)。從影像D中找到的patch塊用V表示。H則是影像S中需要填充的空洞區(qū)域。如果可以用一些新的Wp填充丟失Vq,得到一個(gè)新的影像S*,與影像D一樣具有最高的權(quán)交易全局一致性。雖然目前沒(méi)有可行的方法能直接對(duì)該目標(biāo)函數(shù)進(jìn)行求解,但可知在最優(yōu)解的位置,必然會(huì)滿足以下兩個(gè)條件:①包含P點(diǎn)的所有patch都來(lái)自影像D;②patch塊在P點(diǎn)的投票值都是一樣的。通過(guò)先在粗尺度上進(jìn)行處理,在不斷進(jìn)行傳播到細(xì)尺度上,可以提高紋理合成的效率。

由于是利用單幅紋理影像進(jìn)行修復(fù),因此影像S與影像D是一致的。在梯度設(shè)置方面,文獻(xiàn)[15]使用了5種指標(biāo)評(píng)估patch塊之間的相似度,本文針對(duì)圖像僅使用了RGB評(píng)價(jià)相似度。

2 試 驗(yàn)

2.1 構(gòu)建數(shù)據(jù)集

以紋理影像中的敏感文字目標(biāo)和標(biāo)志目標(biāo)為例,構(gòu)建相應(yīng)的數(shù)據(jù)集,以驗(yàn)證目標(biāo)自動(dòng)識(shí)別與脫密的性能。

2.1.1 試驗(yàn)數(shù)據(jù)

試驗(yàn)數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。訓(xùn)練數(shù)據(jù)集將用于訓(xùn)練目標(biāo)識(shí)別模型,測(cè)試數(shù)據(jù)集用于模型的識(shí)別應(yīng)用。訓(xùn)練數(shù)據(jù)集由MSRA-TD500[16]和自采集紋理影像數(shù)據(jù)集兩部分組成。MSRA-TD500是一個(gè)用于測(cè)試和評(píng)估多方向、多語(yǔ)言文字檢測(cè)算法的自然圖像數(shù)據(jù)集,分辨率較高。為了提高模型的穩(wěn)健性,在自然圖像數(shù)據(jù)集的基礎(chǔ)上加入了自采集的紋理影像數(shù)據(jù)集,其中的紋理影像包含敏感目標(biāo)。

2.1.2 數(shù)據(jù)預(yù)處理

由于傾斜影像以紋理映射方式貼到對(duì)應(yīng)三維模型面上,立面紋理中的敏感文字和標(biāo)志目標(biāo)將以規(guī)整的排列方式呈現(xiàn),如圖4所示。因此,在訓(xùn)練數(shù)據(jù)集構(gòu)建中對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行一定程度的透視變換,有針對(duì)性使其文字和標(biāo)志排列方式保持水平或垂直,更有利于網(wǎng)絡(luò)模型的訓(xùn)練。

圖4 紋理映射中影像變換

使用Labelimg軟件對(duì)訓(xùn)練數(shù)據(jù)集中的文字與標(biāo)志目標(biāo)等進(jìn)行重新標(biāo)注,構(gòu)建紋理影像敏感目標(biāo)識(shí)別數(shù)據(jù)集;按照8∶2的比例將數(shù)據(jù)集隨機(jī)分為訓(xùn)練集和驗(yàn)證集。本文共標(biāo)注了350張影像,其中訓(xùn)練集總數(shù)為280張,驗(yàn)證集為70張。測(cè)試數(shù)據(jù)集100張,用于評(píng)價(jià),不參與模型訓(xùn)練。

2.2 參數(shù)設(shè)置

在識(shí)別模型網(wǎng)絡(luò)參數(shù)設(shè)置中,學(xué)習(xí)率設(shè)置為0.01,批量大小設(shè)置為32,迭代次數(shù)300輪,使用SGD優(yōu)化器。網(wǎng)絡(luò)訓(xùn)練結(jié)束后得到目標(biāo)權(quán)重參數(shù)文件,然后從測(cè)試數(shù)據(jù)集中抽取100張紋理影像,驗(yàn)證模型識(shí)別的性能。

GrabCut目標(biāo)提取中,對(duì)于前景GMM模型和背景GMM模型中的類別數(shù)設(shè)置為5,迭代次數(shù)為3;在紋理修復(fù)中,尺度數(shù)scale設(shè)置為8,紋理塊的大小設(shè)置為9。

3 結(jié)果與分析

3.1 評(píng)價(jià)指標(biāo)

評(píng)價(jià)目標(biāo)識(shí)別模型性能的指標(biāo)主要為準(zhǔn)確率、召回率、漏檢率和F1值。準(zhǔn)確率P表示識(shí)別模型正確的預(yù)測(cè)為正樣本數(shù)量占所有預(yù)測(cè)為正樣本數(shù)量的比例,計(jì)算公式為

(2)

式中,NTP表示預(yù)測(cè)正確的正樣本數(shù);NFP表示誤預(yù)測(cè)為正樣本數(shù)。

召回率R表示預(yù)測(cè)正確的正樣本占所有正樣本的比例,計(jì)算公式為

(3)

式中,N表示所有目標(biāo)中為正樣本的數(shù)量。

漏檢率M用于評(píng)價(jià)模型對(duì)于目標(biāo)的漏檢程度,計(jì)算公式為

(4)

F1值是對(duì)準(zhǔn)確率和召回率的綜合衡量,以評(píng)價(jià)模型性能的優(yōu)劣,計(jì)算公式為

(5)

評(píng)價(jià)紋理修復(fù)性能的評(píng)價(jià)指標(biāo)主要為峰值信噪比(PNSR)和結(jié)構(gòu)相似度(SSIM)。PNSR計(jì)算公式為

(6)

(7)

結(jié)構(gòu)相似度S是通過(guò)構(gòu)建亮度比較函數(shù)、對(duì)比度比較函數(shù)c、結(jié)構(gòu)比較函數(shù)s,衡量?jī)蓮垐D像之間的相似性,計(jì)算公式為

S(x,y)=(x,y)α·c(x,y)β·s(x,y)γ

(8)

當(dāng)α、β、γ均為1時(shí),S(x,y)可變形為

(9)

3.2 目標(biāo)識(shí)別性能分析

在測(cè)試數(shù)據(jù)集中提取100張包含敏感目標(biāo)的紋理影像進(jìn)行測(cè)試,結(jié)果見(jiàn)表1。

表1 識(shí)別結(jié)果

通過(guò)目標(biāo)識(shí)別后,錨框可以定位敏感目標(biāo)的范圍,如圖5(b)所示。在測(cè)試數(shù)據(jù)集中實(shí)際目標(biāo)359個(gè),共檢測(cè)出337個(gè)目標(biāo),其中正確數(shù)量321個(gè)。模型精度為95.3%,召回率為84.4%,F1值為92.2%,表明該模型對(duì)于敏感目標(biāo)具有較好的識(shí)別和檢測(cè)能力。圖5(b)表示了敏感標(biāo)志目標(biāo)和敏感文字目標(biāo)。

圖5 目標(biāo)識(shí)別與紋理脫密結(jié)果

3.3 紋理脫密性能分析

由于錨框內(nèi)仍然包含大量背景信息即非敏感目標(biāo),會(huì)對(duì)后續(xù)的紋理脫密造成一定的干擾,因此利用GrabCut自動(dòng)提取錨框內(nèi)的敏感目標(biāo)。為了保證提取敏感目標(biāo)的完整性,對(duì)GrabCut得到的掩膜圖像進(jìn)行形態(tài)學(xué)膨脹處理,向外膨脹5個(gè)像素。圖5(c)為掩膜處理后的紋理影像,其中白色部分表示敏感目標(biāo)。將敏感目標(biāo)掩膜圖像和紋理影像作為輸入,進(jìn)行紋理脫密處理。圖5(a)和圖5(d)分別為脫密前和脫密后的紋理影像,可以看出,脫密后的紋理影像可以較好地隱藏立面上的敏感目標(biāo)。

將脫密結(jié)果紋理映射至三維模型,圖6為三維模型紋理脫密前后的對(duì)比效果。通過(guò)定性分析,脫密后的紋理在目視條件下保證了最大程度的真實(shí)性,同時(shí)移除了敏感文字和標(biāo)志等,提高了共享的安全性,驗(yàn)證了本文方法的有效性。

圖6 三維模型紋理脫密前后對(duì)比

從100張樣本中隨機(jī)抽取若干張紋理影像進(jìn)行人工脫密處理,然后與本文方法的脫密結(jié)果進(jìn)行PSNR和SSIM值計(jì)算,如圖7所示。經(jīng)統(tǒng)計(jì),PSNR平均值為39.2,SSIM平均值為0.97,表明本文方法的脫密效果接近于人工脫密效果。

圖7 PSNR平均值和SSIM平均值統(tǒng)計(jì)

使用本文方法的整個(gè)流程,處理100張分辨率大小不等的紋理影像共耗時(shí)約35 min;采用人工處理方法僅進(jìn)行紋理脫密且不計(jì)敏感目標(biāo)查找工作需要60 min以上。本文方法處理時(shí)間相較于人工處理縮短40%以上,有效提高了紋理脫密效率。

4 結(jié) 語(yǔ)

在本文方法中,三維模型紋理影像敏感目標(biāo)自動(dòng)識(shí)別的準(zhǔn)確率、召回率等指標(biāo)較高,紋理脫密效果合理自然,有效提高了紋理脫密的整體時(shí)間,表明結(jié)合深度學(xué)習(xí)的目標(biāo)自動(dòng)識(shí)別和脫密效果較好。后續(xù)將進(jìn)一步研究實(shí)景三維數(shù)據(jù)脫密方法,為國(guó)家地理信息安全,以及維護(hù)國(guó)家安全和利益提供支撐。