遲慧智，田宇

（工業(yè)和信息化部電子第五研究所，廣東 廣州 511370）

0 引言

隨著科技的不斷發(fā)展和計算機的廣泛普及，圖像處理技術越來越多地被應用于工業(yè)生產(chǎn)和日常生活的各個領域中，而作為其中的重要內(nèi)容，圖像邊緣檢測技術也成為近些年的研究重點和熱點。圖像邊緣是圖像區(qū)域?qū)傩酝蛔兊牡胤剑从胁煌叶葘傩缘膮^(qū)域之間的灰度分割線[1]，也是圖像中信息最集中的地方，在一定條件下包含原圖像的所有信息[2]。因此圖像的邊緣檢測與提取效果優(yōu)劣，對后續(xù)的圖像處理至關重要[3]。

目前研究人員提出了許多圖像邊緣檢測的相關算法，這些算法各有優(yōu)缺點；同時，因為圖像本身存在較大的差異，使得各個算法不能對所有的圖像實現(xiàn)一樣的效果。本文通過比較經(jīng)典算法、深度學習邊緣檢測算法和新興邊緣檢測等算法，分析了這些算法的優(yōu)缺點和適用范圍，并探討了邊緣檢測算法在圖像處理領域的新進展和新應用。

1 經(jīng)典邊緣檢測算法

經(jīng)典邊緣檢測算法可分為一階微分算子（Roberts 算子、Sobel 算子、Prewitt 算子和Kirsch算子等）和二階微分算子（Laplacian 算子、LoG算子和Canny 算子等）。其中，一階微分算子中的Sobel 算子、Prewitt 算子和Kirsch 算子是以Roberts算子為基礎發(fā)展而來的。

Roberts 算子通過對角線方向相鄰兩像素之差近似梯度幅值檢測邊緣，是一種利用局部差分算子尋找邊緣的算子，其卷積模板為：

該算子以相鄰像素之差近似梯度，計算公式如下所示：

梯度大小用像素強度表示，梯度幅值計算為：

圖像邊緣與梯度方向垂直[4]，當閾值Th

Sobel 算子和Prewitt 算子在Roberts 算子的基礎上，采用改進的3◇3 卷積模板，如下所述。

a）Sobel 算子卷積模板

b）Prewitt 算子卷積模板

Sobel 算子利用這兩個橫向縱向模板對圖像做平面卷積，得到圖像亮度的灰度差近似值。由于采用了方形差分和局部平均的加權平均算法，Sobel算子對噪聲有平滑作用，但也因此導致邊緣定位精度不高的問題[6]，如圖1d 所示。Prewitt 算子通過式（6）的卷積模板對圖像進行鄰域卷積實現(xiàn)邊緣檢測，兩個方向模板一個檢測圖像的水平邊緣，一個檢測圖像的垂直邊緣。經(jīng)典Prewitt 算子使用平均差分計算梯度，類似于低通濾波，對噪聲有一定的抑制效果，但這也導致圖像邊緣定位精度不足，如圖1c 所示。

圖1 一階微分算子邊緣檢測效果對比圖

二階微分算子中，Canny 算子在各種邊緣檢測中表現(xiàn)出良好的性能，并且形成了完整的最優(yōu)檢測算法的標準。經(jīng)典Canny 算子的邊緣檢測步驟[7]如下所述。

a）利用高斯濾波器對原圖像濾波降噪。

b）利用梯度算子計算4 個方向（0°，45°，90°，135°）的梯度幅值和方向，通常利用一階微分算子作為模板計算（Roberts、Prewitt 和Sobel）算子，計算水平和垂直方向的差分Gx和Gy；再利用如下公式計算得到梯度強度G和方向θ：

c）進行梯度的非極大值抑制，利用梯度方向的極大值點的保留實現(xiàn)通過梯度幅值圖像獲取的寬邊緣的細化。

d）進行雙閾值檢測和邊緣連接。通常的邊緣提取算法只利用一個閾值進行噪聲過濾，Canny 算子利用高低閾值進行邊緣像素的區(qū)分，如果像素點梯度大于高閾值則為強邊緣點，小于低閾值則設置灰度為0，在高低閾值之間的則視為弱邊緣；利用強邊緣斷點搜索連接弱邊緣并提取出完整邊緣。

相較于其他邊緣檢測算子，Canny 算子檢測的邊緣連貫細膩，具有良好的檢測精度（如圖2b 所示），但對光源噪聲敏感，且閾值為自定義設置，易導致邊緣檢測的不穩(wěn)定。

Laplacian 算子邊緣檢測常用的卷積模板如下：

作為二階微分算子，Laplacian 算子天生對噪聲敏感，抗噪能力差。從圖2c中可以看出，Laplacian 算子很難分辨出清晰的邊緣。因此Laplacian 算子通常不用于邊緣檢測而是邊緣定位或銳化。

針對Laplacian 算子出現(xiàn)的問題，Marr 提出了LoG（Laplacian of Gaussian）算子，將高斯低通濾波與Laplacian 算子相結(jié)合，對圖像先進行高斯濾波，再運用Laplacian 算子進行檢測。如圖2d 所示，相較于利用Laplacian 算子邊緣檢測得到的圖像，LoG 算子對圖像邊緣的連續(xù)有了較大的改善，但濾波器對圖像濾波易丟失部分圖像邊緣，降低邊緣檢測精度[8]。

圖2 二階微分算子邊緣檢測效果對比圖

2 新興邊緣檢測算法

隨著人工智能在全球興起，作為實現(xiàn)手段之一的深度學習也成為了科研人員的研究熱點。由于邊緣提取場景越來越復雜，圖像的紋理或背景對這些利用低層次特征檢測邊緣的經(jīng)典邊緣檢測方法產(chǎn)生了許多干擾，國內(nèi)外諸多學者嘗試在圖像邊緣檢測領域加入深度學習高層次語義應對復雜場景。深度學習可分為兩大類：全監(jiān)督學習和弱監(jiān)督學習。全監(jiān)督學習利用已知期望的樣本對算法模型進行訓練，通過訓練期間參數(shù)的不斷調(diào)整，得到最優(yōu)參數(shù)模型，再利用該模型對圖像的所有輸入作為輸出進行相應的判斷，最終得到整個圖像的邊緣。全監(jiān)督學習中研究較多的有整體嵌套邊緣檢測（HED：Holistically -Nested Edge Detection），如 RCF：（Richer Convolutional Features for edge dectction）、CASENet（Category-Aware Semantic Edge Detection）和BSDN（Bifurcated Deep Network）等。

HED 是2015 年由XIE[9]提出的一種新的邊緣檢測算法，其特點是整體圖像的訓練和預測及多維度的特征學習，利用全卷積神經(jīng)網(wǎng)絡和深監(jiān)督學習網(wǎng)絡自動學習層次表示，HED 的網(wǎng)絡整體結(jié)構圖如圖3 所示。從圖3中可以看出，HED 在卷積層后插入了帶有深度監(jiān)督的側(cè)輸入層，側(cè)輸入層實現(xiàn)邊緣預測。HED 網(wǎng)絡適用于對比度強的圖片場景，對比度較弱時圖片中其他因素的干擾較大，效果較差。

圖3 HED 網(wǎng)絡整體結(jié)構圖

RCF 算法是LIU[10]等在2017 年提出的、以HED 算法為基礎的邊緣檢測算法，同樣實現(xiàn)了端到端的邊緣檢測。RCF 主要結(jié)構圖如圖4 所示，從圖4中可以看出，其主體結(jié)構分為三大部分：主干網(wǎng)絡、深監(jiān)督和特征融合。RCF 在HED 算法的基礎上對每一個stage 都進行深監(jiān)督學習使其盡快地收斂并得到一張邊緣圖，利用特征融合模塊對5張邊緣圖進行融合并輸出最終結(jié)果。由于融合了主干網(wǎng)絡的每一層特征，RCF 網(wǎng)絡得到的邊緣圖效果要優(yōu)于只利用了部分特征的HED 網(wǎng)絡。

圖4 RCF 網(wǎng)絡整體結(jié)構

CASENet 在2017 年被YU[11]等人首次提出，CASENet 作為類別感知的語義邊緣檢測算法，相對于傳統(tǒng)的邊緣檢測的二元問題，將每個邊緣像素與至少兩個邊緣類別相關聯(lián)，是更為復雜的多元問題。CASENet 是一種新的基于ResNet 的端到端深度語義邊緣學習架構，同時也是跳層架構，網(wǎng)絡架構如圖5 所示。

從圖5中可以看出，CASENet 架構相對于DSN 做了一些改進：

1）特征提取模塊（圖5c 的feature extraction）取代底部的分類模塊（圖5b 的classification）；

2）分類模塊（圖5c 的classification）置于頂部并進行監(jiān)督；

3）執(zhí)行共享級聯(lián)（圖5h）取代切片聯(lián)接（圖5g）。

圖5 CASENet 架構圖

通常CASENet 被認為是聯(lián)合邊緣檢測和分類的網(wǎng)絡，它讓較低級的特征參與并通過跳層結(jié)構增強高級的語義分類。

2019 年HE[12]等首次提出BDCN（Bi-Directional Cascade Network），其網(wǎng)絡架構圖如圖6 所示。從圖6中可以看出，BDCN 通過ID block 層利用不同的權重具有雙向級聯(lián)的不同監(jiān)督取代所有的CNN 輸出相同的監(jiān)督進行學習，同時引入尺度增強模塊（SEM：Scale Enhancement Module）以生成多尺度特征。通過BDCN 和SEM 的結(jié)合，該方法的ODS 達到了0.828，效果甚至優(yōu)于人類感知。

圖6 BDCN 網(wǎng)絡架構圖

3 其他邊緣提取算法

除了上述經(jīng)典圖像邊緣檢測算法和新興的深度學習圖像邊緣檢測算法，還有小波變換算法、數(shù)學形態(tài)學算法、模擬退火算法、蟻群算法和遺傳算法等等，在圖像邊緣檢測中均有大量的研究，這里不再贅述。

4 展望

在生產(chǎn)生活中，圖像邊緣檢測是眾多圖像領域任務實施的基礎，對于圖像邊緣檢測各國科研人員也做了大量的研究，從邊緣檢測研究的歷史和現(xiàn)狀可以看出有以下幾個發(fā)展趨勢：

1）在進行邊緣檢測前對圖像進行更有效的預處理，在去除噪音的同時更大程度地保留原圖像要素；

2）在原有的算法上進行優(yōu)化，一方面對算法本身進行優(yōu)化，如Canny 算子的雙閾值的自適應選取，另一方面結(jié)合多個不同的算法，將不同算法的優(yōu)點結(jié)合；

3）特殊圖像或復雜圖像的邊緣檢測得到了廣泛的關注，邊緣檢測的要求逐漸地提高，以卷積神經(jīng)網(wǎng)絡為基礎的深度學習算法越來越多地應用其中。

5 結(jié)束語

本文對圖像邊緣檢測中的經(jīng)典算法、深度學習算法進行了分析研究，論述了不同算法的原理及優(yōu)缺點。隨著圖形處理和自動化檢測的快速發(fā)展，改進的經(jīng)典邊緣檢測算法和深度學習邊緣檢測算法將成為研究熱點。特別是在復雜場景下，圖像邊緣定位準確，算法響應時間短，抗噪能力強的算法將是一個重要的研究方向。