趙啟雯，徐 琨，徐 源

(長安大學(xué)信息工程學(xué)院，陜西 西安 710064)

0 引 言

在桌面級增強(qiáng)現(xiàn)實(shí)交互系統(tǒng)中，用戶在紙張上書寫或繪畫進(jìn)行交互，紙張是重要的交互介質(zhì)。然而，由于紙張缺乏足夠的紋理、色彩信息，對其進(jìn)行快速、準(zhǔn)確的檢測是桌面級交互系統(tǒng)首先要解決的一個(gè)難點(diǎn)問題。本文提出一種基于整體嵌套邊緣檢測(Holistically-nested Edge Detection， HED[1])的快速紙張邊緣檢測方法，以實(shí)現(xiàn)對A4紙張這類無紋理或信紙等弱紋理目標(biāo)的檢測。

早期的邊緣檢測方法大多依據(jù)圖像邊緣梯度的變化確定邊界，如Sobel算子[2-3]、Canny算子[4-5]。這類方法在簡單場景中可以得到較好的效果，但當(dāng)實(shí)際場景中存在背景、光照、其他非紙張邊緣等干擾因素時(shí)，紙張邊緣檢測效果難以保證，魯棒性不高。直線檢測[6-7](Line Segment Detector， LSD)是一種局部檢測區(qū)域自增長算法，利用合并像素來檢測直線，無需參數(shù)調(diào)節(jié)，可以自動(dòng)調(diào)節(jié)錯(cuò)檢率，但在檢測信紙時(shí)會(huì)受到紙張內(nèi)部橫線的干擾。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)具有很強(qiáng)的特征學(xué)習(xí)能力，可以學(xué)習(xí)圖像的高階特征[8-10]，對紙張邊緣能夠進(jìn)行更魯棒的檢測。近年來涌現(xiàn)了很多基于卷積神經(jīng)網(wǎng)絡(luò)的邊緣檢測方法，如DeepContour[11]、HED[1]和更豐富卷積特征的邊緣檢測(Richer Convolution Features for edge detection， RCF)[12]。DeepContour網(wǎng)絡(luò)利用深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network， DCNN)學(xué)習(xí)輪廓檢測的判別特征，采用結(jié)構(gòu)化森林作為深度特征的輪廓與非輪廓分類器。HED利用全卷積神經(jīng)網(wǎng)絡(luò)和深度監(jiān)督網(wǎng)絡(luò)，添加側(cè)邊深度監(jiān)督層與融合層，實(shí)現(xiàn)了端到端的邊緣檢測[1]。Liu等人[12]提出了RCF網(wǎng)絡(luò)，在側(cè)邊深度監(jiān)督模塊中融合了網(wǎng)絡(luò)各層特征，充分利用了目標(biāo)邊緣的位置細(xì)節(jié)特征和空間語義特征。目前，HED和RCF是邊緣檢測中性能較好的2種模型，但由于這2種網(wǎng)絡(luò)的主干網(wǎng)均基于VGG16，模型參數(shù)量在14.7 MB左右，檢測速度較慢。在桌面增強(qiáng)交互系統(tǒng)中測試，紙張邊緣檢測的幀速率僅為20 FPS左右，難以滿足實(shí)時(shí)性要求。同時(shí)在復(fù)雜桌面環(huán)境中，紙張邊緣檢測結(jié)果魯棒性較差。

本文結(jié)合復(fù)雜桌面場景下紙張檢測問題的精度和速度要求，提出一種基于HED網(wǎng)絡(luò)的快速紙張邊緣檢測模型。本文主要工作如下：

1)將HED網(wǎng)絡(luò)的主干網(wǎng)替換為一種輕量級網(wǎng)絡(luò)MobileNetV2[13]，加快邊緣檢測速度。

2)去除MobileNetV2結(jié)構(gòu)中的后2個(gè)bottleneck模塊、輸出通道數(shù)較大的卷積層，減少模型參數(shù)數(shù)量，提高檢測速度。

3)去除網(wǎng)絡(luò)中的池化層，避免邊緣細(xì)節(jié)信息過度丟失，以保留邊緣位置信息，進(jìn)一步提高檢測精度。

4)在Stage0階段添加一個(gè)步長為1的5×5卷積層，一方面獲得原圖尺寸的特征信息，另一方面增大感受野，加強(qiáng)網(wǎng)絡(luò)初始階段的特征提取能力。

5)制作了桌面應(yīng)用場景的紙張數(shù)據(jù)集MPDS(Multi-sample Paper Data Set)。該數(shù)據(jù)集共有1500個(gè)樣本，包括簡單和復(fù)雜背景、正常光照和不均勻光照、平行拍攝和傾斜拍攝角度拍攝的多種類型紙張樣本。

1 基于HED的紙張邊緣檢測方法

1.1 HED網(wǎng)絡(luò)

HED網(wǎng)絡(luò)在VGG16各層的最后一個(gè)卷積輸出端插入側(cè)邊輸出層，在側(cè)邊輸出層上進(jìn)行深度監(jiān)督，并將各側(cè)邊輸出層的輸出連接起來，實(shí)現(xiàn)高層邊緣輪廓語義信息和低層邊緣位置細(xì)節(jié)信息的融合，從而得到更加準(zhǔn)確的邊緣檢測結(jié)果。為了進(jìn)一步提高檢測精度和加快檢測速度，HED網(wǎng)絡(luò)去掉了VGG16最后一個(gè)池化層和所有全連接層。此外，HED網(wǎng)絡(luò)還定義了類平衡交叉熵?fù)p失函數(shù)，部分抵消了邊緣和非邊緣之間的不平衡。

HED網(wǎng)絡(luò)在BSDS500數(shù)據(jù)集[14]上得到了0.782的ODS F-score，檢測速度相較之前的DeepContour等CNN邊緣檢測算法快幾個(gè)數(shù)量級。HED網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 HED網(wǎng)絡(luò)結(jié)構(gòu)

1.2 MobileNetV2

MobileNetV2是一種面向便攜移動(dòng)應(yīng)用的輕量級卷積神經(jīng)網(wǎng)絡(luò)，線性瓶頸、深度可分離卷積和逆殘差塊結(jié)構(gòu)是其關(guān)鍵結(jié)構(gòu)。

圖2 逆殘差塊和殘差塊

由于深度可分離卷積并不能改變通道數(shù)，所以引入逆殘差塊結(jié)構(gòu)擴(kuò)展輸入樣本的維度，使得深度卷積可以在高維度特征層中提取特征。如圖2所示，逆殘差塊結(jié)構(gòu)與殘差塊結(jié)構(gòu)[15]相反，先通過1×1逐點(diǎn)卷積的擴(kuò)展層將輸入樣本轉(zhuǎn)換成高維度數(shù)據(jù)后，通過深度卷積層提取特征，最后經(jīng)過1×1逐點(diǎn)卷積的投影卷積層壓縮通道維度。

為了避免在低維子空間使用Relu激活函數(shù)容易造成信息丟失或破壞的問題，MobileNetV2將逆殘差結(jié)構(gòu)中第二個(gè)逐點(diǎn)卷積層的ReLu6替換為線性激活函數(shù)，并將其稱為線性瓶頸(Linear Bottleneck)。

MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)如表1所示。一個(gè)bottleneck模塊包含1×1逐點(diǎn)卷積的擴(kuò)展層、深度卷積層和投影卷積層這3個(gè)部分，每階段中的bottleneck模塊重復(fù)n次，重復(fù)時(shí)保持輸出通道數(shù)相同，且重復(fù)的模塊中只有第一個(gè)模塊卷積步長為2，其余均為1。除第一個(gè)bottleneck模塊外，整個(gè)網(wǎng)絡(luò)中使用相同的擴(kuò)展因子6，即將中間擴(kuò)展層的通道數(shù)擴(kuò)展為輸入通道的6倍。

表1 MobileNetV2的網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)

1.3 基于HED網(wǎng)絡(luò)的快速紙張檢測模型

由于MobileNetV2模型參數(shù)量僅為3.5 MB，遠(yuǎn)遠(yuǎn)低于VGG16模型，因此，本文將MobileNetV2作為HED網(wǎng)絡(luò)中的主干網(wǎng)進(jìn)行特征提取。為了在保證檢測精度的同時(shí)進(jìn)一步加快檢測速度，本文對主干網(wǎng)MobileNetV2進(jìn)行了進(jìn)一步改進(jìn)。具體方法如下：

紙張邊緣特征較少，隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)加深，一方面會(huì)消耗更多的計(jì)算資源，另一方面也會(huì)使紙張?zhí)卣鲌D分辨率降低，紙張邊緣位置細(xì)節(jié)信息過度丟失，造成邊緣模糊。因此，本文去除原有MobileNetV2中參數(shù)量較大的最后2個(gè)bottleneck模塊；通道數(shù)越多，也會(huì)消耗越多的計(jì)算資源，本文去除原有MobileNetV2輸出通道數(shù)較大的最后2個(gè)卷積層；另外，池化層易導(dǎo)致邊緣的退化，所以本文去掉MobileNetV2網(wǎng)絡(luò)中的池化層，得到更精細(xì)的邊緣；最后為了獲得原圖尺寸的邊緣特征信息，同時(shí)增強(qiáng)感受野，在網(wǎng)絡(luò)初始階段添加步長為1的5×5卷積層。

本文將改進(jìn)后的MobileNetV2作為HED網(wǎng)絡(luò)的主干網(wǎng)絡(luò)，并將MobileNetV2作為HED主干網(wǎng)和改進(jìn)后的MobileNetV2作為HED網(wǎng)絡(luò)主干網(wǎng)分別標(biāo)記為M-HED網(wǎng)絡(luò)和MM-HED網(wǎng)絡(luò)。本文提出的MM-HED網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 MM-HED網(wǎng)絡(luò)結(jié)構(gòu)

1.4 網(wǎng)絡(luò)損失函數(shù)

邊緣檢測是一個(gè)像素級的二分類問題，HED網(wǎng)絡(luò)為了抵消正、負(fù)樣本的不平衡，提出了類平衡交叉熵?fù)p失函數(shù)。但在紙張邊緣檢測問題中，正、負(fù)樣本在數(shù)量上存在更加明顯的不均衡，因此本文使用一種新的損失函數(shù)[12]，通過參數(shù)λ進(jìn)一步平衡正、負(fù)樣本。首先使用加權(quán)交叉熵作為每個(gè)像素的損失函數(shù)：

(1)

其中，P(X)是一個(gè)標(biāo)準(zhǔn)的Sigmoid激活函數(shù)，Xi表示神經(jīng)網(wǎng)絡(luò)的激活值，W表示網(wǎng)絡(luò)中的所有學(xué)習(xí)參數(shù)，yi表示真值圖中像素點(diǎn)是邊緣點(diǎn)的概率，η是該點(diǎn)為爭議點(diǎn)的臨界閾值，α和β按照式(2)計(jì)算。

(2)

其中，|Y+|和|Y-|分別表示正、負(fù)樣本的數(shù)量，λ是用來平衡正、負(fù)樣本數(shù)量的參數(shù)。

然后對圖像中每個(gè)像素以及每個(gè)階段的損失進(jìn)行累加，得到圖像損失函數(shù)，表示為：

(3)

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集

現(xiàn)有的如BSDS500等[14,16-18]公開邊緣檢測數(shù)據(jù)集都針對通用目標(biāo)，應(yīng)用于紙張檢測上的效果并不理想，截至目前還沒有合適的公開紙張數(shù)據(jù)集。所以，本文制作包含多種情況的紙張數(shù)據(jù)集MPDS，數(shù)據(jù)集中包括空白、有手寫文字、有印刷體文字的A4紙和帶橫線的信紙等6種紙張類型，分別在簡單桌面背景、復(fù)雜桌面背景、類直線物體干擾和不均勻光照等多種桌面環(huán)境下拍攝紙張樣本。

目前MPDS共有1500份樣本，每份樣本包含分辨率為256×256的彩色紙張圖和對應(yīng)的5個(gè)紙張邊緣真值。分別讓5個(gè)標(biāo)記者通過鼠標(biāo)左鍵點(diǎn)擊圖像中紙張的4個(gè)頂點(diǎn)，調(diào)用OpenCV中鼠標(biāo)事件的鼠標(biāo)狀態(tài)獲取函數(shù)，結(jié)合紙張邊緣的結(jié)構(gòu)約束特性，依據(jù)手工標(biāo)注的紙張邊緣的4個(gè)頂點(diǎn)，確定紙張邊緣的四邊形，得到256×256的紙張邊緣二值圖。紙張邊緣數(shù)據(jù)集MPDS中部分紙張樣本如圖4所示。

圖4 MPDS樣本示例

2.2 網(wǎng)絡(luò)性能實(shí)驗(yàn)

本文以Pytorch作為開發(fā)框架，使用NVIDIA GeForce GTX1660 GPU。訓(xùn)練過程的初始學(xué)習(xí)率為0.0005，epoch為300，動(dòng)量momentum為0.9，衰減權(quán)重weight decay為0.0008，損失參數(shù)η和λ分別設(shè)置為0.6和1.1。網(wǎng)絡(luò)模型的訓(xùn)練使用自適應(yīng)矩估計(jì)(Adaptive moment estimation, Adam)優(yōu)化器。使用MPDS數(shù)據(jù)集中1100張紙張圖像作為訓(xùn)練集，400張紙張圖像作為測試集進(jìn)行實(shí)驗(yàn)。圖5給出了HED、RCF、M-HED、MM-HED訓(xùn)練過程的目標(biāo)損失函數(shù)隨epoch的變化情況。可以看出，本文提出的MM-HED模型收斂速度最快，且損失小于HED、RCF和M-HED的損失值。

圖5 各模型隨epoch的損失變化

本文從主觀觀察和客觀指標(biāo)2個(gè)方面來評估模型性能，使用模型計(jì)算量、模型參數(shù)量[19]、固定輪廓閾值(Optimal Dataset Scale， ODS)、單圖像最佳閾值(Optimal Image Scale， OIS)[20-21]和每秒傳輸幀數(shù)(Frames Per Second， FPS)[22]等多個(gè)評價(jià)標(biāo)準(zhǔn)作為評價(jià)邊緣檢測模型性能的客觀評估指標(biāo)[23]。

使用Canny算子、LSD算法、HED網(wǎng)絡(luò)、RCF網(wǎng)絡(luò)、M-HED網(wǎng)絡(luò)和MM-HED網(wǎng)絡(luò)分別檢測復(fù)雜桌面背景的信紙、不均勻光照和類直線及文字干擾等不同桌面場景中的紙張，邊緣檢測結(jié)果如圖6所示。可以看出，Canny算子、LSD等傳統(tǒng)方法的檢測結(jié)果易受背景、光照等因素的干擾。HED和RCF模型較傳統(tǒng)方法有較好的檢測效果，可以較大程度地排除信紙內(nèi)部直線、類直線等干擾物的干擾，但輸出的邊緣圖線條粗糙且模糊，在不均勻光照條件下紙張邊緣丟失嚴(yán)重。MM-HED網(wǎng)絡(luò)檢測出的紙張線條最清晰，能夠排除背景、非紙張物品等干擾因素，同時(shí)在光照較弱且不均勻的情況下，可以得到清晰的紙張邊緣。

(a) 原圖

(b) 真值圖

(c) Canny

(d) LSD

(e) HED

(f) RCF

(g) M-HED

(h) MM-HED圖6 邊緣檢測結(jié)果對比

表2給出了Canny算子、LSD直線檢測、RCF網(wǎng)絡(luò)、HED網(wǎng)絡(luò)、M-HED網(wǎng)絡(luò)和MM-HED這6種方法的參數(shù)量及在紙張數(shù)據(jù)集MPDS上的評估結(jié)果。由表2數(shù)據(jù)可以看出，RCF和HED各指標(biāo)相差不大，RCF模型相比HED模型，參數(shù)量較大且FPS較低，所以本文選用HED網(wǎng)絡(luò)作為研究的基本模型。以MobileNetV2為主干網(wǎng)的M-HED與HED網(wǎng)絡(luò)相比，參數(shù)量和模型計(jì)算量分別降低了97.7%和71.4%，ODS和OIS分別提高了4.1和2.9個(gè)百分點(diǎn)。相較M-HED，MM-HED的計(jì)算量減小了0.12 GFLOPS、參數(shù)量減小為M-HED的1/4，幀速率由35.73 FPS提高到42.68 FPS，在顯著減少計(jì)算量和參數(shù)量的同時(shí)，檢測精度也有了進(jìn)一步的提高。

表2 各種方法性能指標(biāo)

3 結(jié)束語

本文提出了一種基于HED網(wǎng)絡(luò)的快速紙張邊緣檢測模型。該模型采用MobileNetV2作為主干網(wǎng)，并對主干網(wǎng)進(jìn)行進(jìn)一步改進(jìn)，包括去除池化層、減少線性瓶頸塊、去除輸出通道數(shù)較大的卷積層，在初始階段增大卷積感受野等。使用自采的紙張數(shù)據(jù)集MPDS中對各種復(fù)雜場景的紙張圖像進(jìn)行主觀和客觀評估。實(shí)驗(yàn)結(jié)果表明，本文提出的MM-HED網(wǎng)絡(luò)模型檢測精度指標(biāo)ODS和OIS分別比HED網(wǎng)絡(luò)提高了4.6和3.3個(gè)百分點(diǎn)，能夠有效提取完整和準(zhǔn)確的紙張邊緣，模型大小僅為1 MB，檢測速度達(dá)到42.68 FPS，可以滿足桌面增強(qiáng)現(xiàn)實(shí)交互系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性要求。