劉鵬飛 楊 威

(中國科學技術大學蘇州研究院 江蘇 蘇州 215000)

0 引 言

在圖像邊緣檢測領域，現(xiàn)階段使用得最多的方法是邊緣檢測子算法，主要分為以下幾類：

(1) 以一階導數(shù)為檢測理論基礎的代表性算法——差分邊緣檢測算法。

其基礎原理是：在對圖像的離散域處理時，將差分值作為圖像函數(shù)的導數(shù)。圖像是典型的二維空間域，因此方向導數(shù)需要兩個方向上的差分值代替。

定義X方向上的差分值為:

f(x)′=f(x+1,y)-f(x,y)

(1)

定義Y方向上的差分值為:

f(y)′=f(x.y+1)-f(x,y)

(2)

差分邊緣檢測算法，基于上述的X和Y方向上的差分值，表征圖像灰度的變化幅度，通過設定幅度的閾值進一步得到。需要注意的是差分邊緣檢測要求差分方向與邊緣方向垂直，在對圖像進行邊緣檢測時需要對圖像進行不同方向的差分運算。常見的差分邊緣檢測一般分為垂直邊緣、水平邊緣和對角邊緣。差分邊緣檢測的方向如圖1所示。

A B C

圖1 差分檢測邊緣的方向

圖1中:A表示垂直邊緣檢測，B表示水平方向的檢測，C表示對角線方向的檢測。

差分邊緣檢測是基于一階導數(shù)檢測的代表方法，但其高額的計算量及閾值的難以確定對其邊緣檢測的耗時與效果產(chǎn)生負面影響。

(2) 基于二階導數(shù)理論的邊緣檢測算法的代表性方法——Canny算子。

Canny算子檢測圖像邊緣的原理和過程如下：

① 用高斯函數(shù)對圖像做平滑處理。

② 梯度計算。

③ 非極大值抑制。

④ 雙門限檢測

⑤ 得到邊緣圖像。

假定圖像f(x,y),對其做高斯平滑處理，得到平滑處理后圖像F(x,y)：

F(x,y)=f(x,y)×G(x,y,σ)

(3)

依據(jù)得到的平滑陣列F(x,y)分別求取x和y的導數(shù)陣列X(x,y)和Y(x,y)：

(4)

(5)

根據(jù)得到的X(x,y)和Y(x,y)計算同一像素點x和y的幅值D(x,y)和Θ(x,y)以及方向：

(6)

(7)

根據(jù)得到的D(x,y)計算每一個像素點上相鄰像素的幅值：如果當前像素點的幅值不低于計算出的兩個相鄰像素點的幅值，則可將該像素點視為邊緣像素點；反之則不是。將計算出的可視為邊緣像素點的幅值與設定好的兩個閾值進行比對，區(qū)分出弱邊緣點和強邊緣點。

Canny算子的優(yōu)勢在于其很好地表征了圖像中邊緣點的強弱，但是采用平滑處理后使某些邊緣點的細節(jié)消失。這些問題針對一般的景物圖像或者事物圖像等無需刻畫細節(jié)邊緣就能取得良好效果。同時，在處理人體肖像方面，特別是針對眼睛、嘴、眉毛等這些細節(jié)邊緣時，幅值的差異性不大，導致難以區(qū)分出邊緣點，使得到的事物線稿圖像缺失細節(jié)。

另外，對于基于傳統(tǒng)算子的邊緣檢測，其閾值的難以確定，使得到的人體肖像線稿圖的效果較差。

傳統(tǒng)邊緣提取生成圖像線稿圖的缺點是明顯的：閾值的不確定，以及圖像細節(jié)處的線稿丟失。因此，有學者提出了基于圖片分割的生成線稿的圖案，如圖2所示。

(a) 真實圖 (b) 線稿圖圖2 分割生成線稿

在圖2(b)中，該學者根據(jù)其提出的圖像分割理論，首先將圖像分割成不同部分，然后采用其提出的算法進行處理，并借助BSDS300 Benchmack數(shù)據(jù)集進行實驗[5]?？梢钥闯銎渖傻耐獠枯喞€稿具有較好的效果，但是丟失了人體景物的細節(jié)。如果利用該算法生成人體肖線稿，人臉部對應的鼻子、眉毛、嘴巴等細節(jié)處的描述將會缺失。

引言中闡述了傳統(tǒng)的邊緣檢測生成線稿圖的不足與缺點，同時也介紹了相關學者的改進算法。這些方法并不能很好地處理人體肖像線稿的細節(jié)。因此，本文提出了基于條件生成對抗網(wǎng)絡生成人體肖像線稿，并在最終實驗中取得較好效果。

1 生成對抗網(wǎng)絡

在生成對抗網(wǎng)絡提出之前，深度學習產(chǎn)生的模型更多的是判別模型。但為了進一步提高判別模型的準確率，有學者提出了利用某一個模型去生成真實事物的fake并賦予假標簽，去干擾判別模型，進而提高判別模型的準確率。同時，在這一過程中，判別模型與生成模型互相影響，共同提高。最終的效果是生成模型產(chǎn)生的fake更加逼近實物，判別模型判別對象的真假更具準確。

因此，在GAN中存在著兩個模型：生成模型和判別模型。

最初的GAN模型如下：

在GAN[7]中，用于判別模型的D和用于生成模型的G采用的均是多層感知機。GAN定義了一個噪聲pz(x)，用于生成模型G學習訓練數(shù)據(jù)x的概率分布pg，G(z)表示將輸入的噪聲z生成相應的數(shù)據(jù)或者圖像。D(x)為x的真實數(shù)據(jù)分布pdata。因此，優(yōu)化的目標函數(shù)定義為min(G) max(D)的形式：

Ez～pz(z)[1-logD(z)]

(8)

在GAN中，每對判模型D更新k次，就對生成模型G更新一次。式(8)表示當更新G時，需要最小化右邊等式，而當更新D時，需要最大化右邊等式。分析如下：

對于訓練數(shù)據(jù)x的真實分布pdata，理論上D(x)的輸出越接近于1越好，即logD(x)越大越好；對于由噪聲z生成的數(shù)據(jù)G(z)，理論上D(G(z))越接近于0越好(即判別模型D能夠很好地識別出數(shù)據(jù)是生成模型產(chǎn)生的)，因此log(1-D(G(z)))越大越好。根據(jù)上述，當更新D時，等式右邊應該取最大值。

對生成模型G進行更新時：理論上G(z)越接近真實數(shù)據(jù)越好，即pg=pdata。因此式(8)中D(G(z))最好接近于1，即log(1-D(G(z))越小越好。logD(x)是與G(z)無關的項，在求導時直接為0。 根據(jù)上述，當更新G時，等式右邊應取最小值。

通過對式(8)的定量分析：當G不變更新D時，D的最大值為：

(9)

在更新G時，目標函數(shù)應取到最小值，此時，需滿足條件pg=pdata。

最后生成模型與對抗模型的博弈結果是：生成模型G可以生成以假亂真的數(shù)據(jù)G(z)，而判別模型難以判定G生成的數(shù)據(jù)是否真實，即D(G(z))=0.5。

在GAN中，具體的對抗算法如下：

在生成對抗網(wǎng)絡中，隨機梯度下降訓練應用于判別模型，假定超參數(shù)k=1：

for 訓練迭代次數(shù)：

forkdo：

將m個噪聲作為一個最小批處理{z1,z2,…,zm}

進行處理，其由函數(shù)pg(z)生成。

將m個樣本作為一個最小批處理{x1,x2,…,xm}

進行處理，其由函數(shù)pdata(x)生成。

end for

每m個噪聲作為一個最小批處理{z1,z2,…,zm}

進行處理，其由函數(shù)pg(z)生成。

通過隨機梯度更新生成器。

end for

生成對抗網(wǎng)絡的對抗過程圖如圖3所示。

圖3 GAN對抗過程圖

2 構建條件生成對抗網(wǎng)絡

在生成對抗網(wǎng)絡的具體執(zhí)行過程中。生成模型的初始輸入條件為隨機噪聲序列，這與判別器中待判別的實物不存在相關關系，即隨機噪聲數(shù)據(jù)與實物數(shù)據(jù)的相關性為0。

從理論上講，隨機噪聲產(chǎn)生的生成模型對判別模型具有一定的輔助作用。但是，基于初始條件的隨機性使得生成模型的數(shù)據(jù)與真實數(shù)據(jù)的相關性從0開始逐漸提升，并且其提升的速度與最終可達到的效果并沒有一個直接測量的標準。同時，原始生成模型從隨機數(shù)據(jù)開始訓練，其收斂時間從理論上講是一個相對漫長的過程。鑒于此，在基于條件生成對抗網(wǎng)絡生成人體肖像線稿研究中，對生成對抗網(wǎng)絡進行調整，調整的主要內容如圖4所示。

DEA方法是用于評價具有相同類型的多投入、多產(chǎn)出決策單元(DMU)相對有效性的一種非參數(shù)方法，其中CCR模型和BCC模型是最基本和最重要的兩個DEA模型[17]。假設有n家高新技術企業(yè)，對于第p家企業(yè)(DMUp)來說，有m個投入指標和s個產(chǎn)出指標，記Xp為企業(yè)的投入指標集Xp=(x1p,x2p,…,xmp)，Yp為企業(yè)的產(chǎn)出指標集 Yp=(y1p,y2p,…,yrp)。由此，CCR模型可以表示為：

(a) (b)圖4 訓練圖

圖4(a)是目標生成模型最終要生成的線稿圖，也是判別模型進行判別的實物圖，圖4(b)是輸入生成模型的初始數(shù)據(jù)(以具體圖像表示)。

生成對抗網(wǎng)絡輸入生成模型中的初始數(shù)據(jù)往往是隨機噪聲序列。在該次研究中，生成模型的初始數(shù)據(jù)類似于圖4(b)，而輸出數(shù)據(jù)則類似于圖4(a)。通過圖4，容易得到生成模型的原始輸入數(shù)據(jù)與待判別模型判別的真實圖像之間滿足這樣的關系：輸入生成模型的初始圖像對應著待輸入判別模型的該圖像的線稿圖。假設圖g為輸入生成模性的原始圖像，g*為g所對應的真實線稿圖,g′為g通過生成模型生成的偽線稿圖，即滿足下述關系：

g′=G(g)

(10)

因此，生成模型最終的目標是：

g′=G(g)≈g*

(11)

以圖4為例，在判別模型中，輸入的圖像是(a)；在生成模型中，輸入的圖像是(b)。從這里可以看出，判別模型輸入的原始數(shù)據(jù)圖像是生成模型輸入的原始數(shù)據(jù)圖像的線稿。因此，生成模型的輸入數(shù)據(jù)與判別模型的輸入數(shù)據(jù)存在著很強的相關性，而不是隨機噪聲的無關性。這使得生成對抗網(wǎng)絡具有了條件性。

上文解釋了條件生成對抗網(wǎng)絡的條件性[9，11-12]。接下來，構造網(wǎng)絡模型。在生成模型中，采用unet網(wǎng)絡；在判別模型中，則采用resnet網(wǎng)絡。

實驗目的為獲得生成模型，判別模型僅用來改善生成模型。根據(jù)生成模型，輸入一幅人體肖像，生成其對應的線稿圖。unet網(wǎng)絡在處理這樣的問題中是最為合適的網(wǎng)絡，因此采用unet網(wǎng)絡進行實驗，其結構如圖5所示。對于判別網(wǎng)絡，具有基本的圖像識別網(wǎng)絡即可。在研究中選取了resnet網(wǎng)絡作為判別網(wǎng)絡模型。

圖5 unet網(wǎng)絡結構圖

因此，構造的條件生成對抗網(wǎng)絡結構圖如圖6所示。

圖6 條件生成對抗網(wǎng)絡結構圖

3 實驗過程

該研究的目的是獲得條件生成對抗網(wǎng)絡的生成模型，即G模型。

實驗數(shù)據(jù)：收集了500組人物肖像實物圖與其對應的線稿圖，分為A組和B組，并且A組中的實物圖與B組中的線稿圖一一對應。假定圖4(b)為A組中的某一圖，則圖4(a)為B組中其對應的線稿圖。

將B組圖中的數(shù)據(jù)置標簽為1，輸入判別網(wǎng)絡(resnet網(wǎng)絡模型)。

將B組中每一批圖像對應的A組中的一組圖像輸入生成網(wǎng)絡(unet網(wǎng)絡模型)，并將生成的數(shù)據(jù)標簽置為0，然后將其送入判別網(wǎng)絡(resnet網(wǎng)絡模型)。

訓練前對數(shù)據(jù)進行上述處理是為了滿足生成模型的輸入數(shù)據(jù)與判別模型的輸入數(shù)據(jù)存在相關關系。

需要注意的是，數(shù)據(jù)預處理需要將圖片尺寸調整為256×256，因為該研究中采用的生成模型為unet256網(wǎng)絡模型。

在對數(shù)據(jù)進行預處理后，即可開始進行網(wǎng)絡訓練。

實驗的最終結果是獲得生成模型G，并利用生成模型G，通過輸入一張人體肖像圖片，得到人體肖像線稿圖。圖7展示了實驗的一組結果圖。

(a) (b)圖7 實驗結果圖

4 實驗結果

在整個實驗過程中，對500組照片進行了2 000個epoch的訓練。圖8展示了訓練過程中識別準確率的變化趨勢圖。其中D_real表示在判別模型中，對真實的線稿圖識別正確的準確率;D_fake表示判別模型將生成模型G生成的偽線稿圖識別正確的準確率。X軸標值i表示第i×100個epoch的訓練結果。可以看出，在前500個epoch周期內，D_real的識別準確率從0.9左右逐漸下降到了0.55左右，D_fake的識別準確率在該周期內則從0.1左右逐漸提升到了0.4左右。這表明生成模型確實學到了相關性信息，近似地實現(xiàn)了式(11)的要求。在第500到2 000個epoch周期中，D_real的識別準確率在0.55到0.65之間波動，D_fake的識別準確率則在0.3到0.35之間波動，這樣的波動趨于穩(wěn)定，且D_real值穩(wěn)定于0.60，D_fake值穩(wěn)定于0.35。理想狀態(tài)下，D_fake與D_real的值應當穩(wěn)定于0.5。未出現(xiàn)這樣的結果，主要由以下原因導致：

(1) 數(shù)據(jù)集的不充分。

(2) 訓練網(wǎng)絡存在的固有問題。

(3) 網(wǎng)絡參數(shù)的設定。

(4) 非可預見性問題。

但是，從圖8中可以看出，D_real和D_fake可以認為是在嘗試逼近0.5。

圖8 訓練過程識別準確率圖

在該實驗中，只需要獲得條件生成對抗網(wǎng)絡中的生成模型即可。圖9展示了將一幅人體肖像輸入生成模型中，輸出的對應線稿圖。

(a) (b)圖9 人體肖像與線稿

圖9(a)是待輸入生成的原始圖片,(b)是生成網(wǎng)絡根據(jù)輸入的圖像生成的線稿圖。觀察圖9的線稿圖，與實體圖進行比對，實體圖中人體肖像的眼睛、眉毛、鼻子、嘴巴五官都在線稿圖中充分地展現(xiàn)了出來，具體可見鼻子處鼻孔的線條、眉毛的刻畫、眼睛線條的眼角處。值得注意的是，線稿圖將頭發(fā)處的紋理甚至衣物的線條和隨身佩戴的項鏈也刻畫了出來。這些在傳統(tǒng)的邊緣檢測方法中是難以實現(xiàn)的。

表1列出了實驗相關的數(shù)據(jù)。在該研究中，生成的模型大小為207.6 MB，處理一幅圖片的時間代價為7～25 ms，采用的深度學習框架為Pytorch。生成模型大小是該實驗中仍需要改進的關鍵點。

表1 實驗相關指標

5 結 語

現(xiàn)在社會中存在著大量的圖像處理娛樂軟件，例如美圖app、天天p圖等。但是在這些軟件中并不存在根據(jù)用戶拍照的肖像，生成用戶的肖像線稿圖功能。而在市場中確實存在著獲取個人肖像線稿進行相關娛樂的需求。因此，本文提出基于條件生成對抗網(wǎng)絡生成人體肖像線稿，并將其應用到移動設備端。下一步還需壓縮生成模型，使得生成模型的大小適合于移動設備端。