吳巍

(中海油能源發(fā)展裝備技術(shù)有限公司， 天津 300452)

0 引言

隨著人工智能的興起，計(jì)算機(jī)視覺迎來了新的關(guān)注度[1-3]。隨著機(jī)器學(xué)習(xí)在視覺處理中的應(yīng)用的不斷深入，圖像生成已經(jīng)成為計(jì)算機(jī)視覺和人工智能領(lǐng)域的一個(gè)熱門研究課題[4-6]。如何讓計(jì)算機(jī)自主創(chuàng)作一副圖像。如何讓計(jì)算機(jī)創(chuàng)作的圖像更接近人類畫作。這些都是圖像創(chuàng)作中的問題。目前現(xiàn)有的方法是通過讓計(jì)算機(jī)學(xué)習(xí)大量的樣本，來模擬人類創(chuàng)作。但由于大量樣本的學(xué)習(xí)勢(shì)必會(huì)耗費(fèi)更多運(yùn)算時(shí)間[7]。雖然生成性對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)可以從一組樣本中學(xué)習(xí)，并生成模仿訓(xùn)練樣本的新圖像[8-9],然而，需要一個(gè)大的訓(xùn)練數(shù)據(jù)集來訓(xùn)練穩(wěn)定的GAN。此外，生成的圖像分辨率通常受到計(jì)算資源的限制。為此，本研究探討了如何通過小樣本進(jìn)行圖像創(chuàng)作，這項(xiàng)工作的重點(diǎn)是通過學(xué)習(xí)一個(gè)非常小的數(shù)據(jù)集來創(chuàng)建卡通圖像。該方法的核心主要是基于VGG-16網(wǎng)絡(luò)以及改進(jìn)的自組織映射(Self Organizing Maps，SOM)算法——兩層同時(shí)自組織映射(Simultaneous Two-Level Self Organizing Maps，S2L-SOM)算法。并且該方法無需進(jìn)行人工手工標(biāo)注。

1 框架概述

提出的框架如圖1所示。

圖1 提出的框架流程示意圖

該系統(tǒng)以區(qū)域邊界清晰的卡通圖像為輸入。

如圖1所示，系統(tǒng)分析輸入圖像的區(qū)域,構(gòu)造了一個(gè)區(qū)域關(guān)系樹來描述每個(gè)圖像中區(qū)域的拓?fù)浣Y(jié)構(gòu)。由于在此沒有對(duì)訓(xùn)練圖像進(jìn)行人工標(biāo)注，因此系統(tǒng)沒有每個(gè)區(qū)域的語義信息。例如，系統(tǒng)不知道哪些區(qū)域?qū)?yīng)于身體區(qū)域、頭部區(qū)域和腿部區(qū)域,因此，對(duì)所有訓(xùn)練圖像進(jìn)行聚類以將相似區(qū)域組合在一起。對(duì)于圖2中所示的綿羊示例，希望所有身體區(qū)域都分組到一個(gè)集群中，所有腿部區(qū)域都分組到另一個(gè)集群中。聚類的目的是根據(jù)所構(gòu)建的樹來分離不同的構(gòu)件，并將構(gòu)件之間的關(guān)系聯(lián)系起來。該系統(tǒng)利用區(qū)域關(guān)系樹信息和聚類結(jié)果，在不需要人工標(biāo)注信息的情況下，根據(jù)訓(xùn)練圖像的結(jié)構(gòu)生成新的圖像。

2 自主學(xué)習(xí)過程

在本節(jié)中，將解釋如何分析輸入圖像的區(qū)域并學(xué)習(xí)要生成的卡通人物的結(jié)構(gòu)。

2.1 區(qū)域分割與區(qū)域關(guān)系樹構(gòu)建

首先利用統(tǒng)計(jì)區(qū)域合并(Statistical Region Merging，SRM)[10]將輸入的卡通圖像分割成不同的區(qū)域。然后，設(shè)計(jì)了一種非循環(huán)圖表示分割區(qū)域之間關(guān)系的機(jī)制。每個(gè)區(qū)域被視為區(qū)域關(guān)系樹中的一個(gè)節(jié)點(diǎn),如圖2所示。

(a) 區(qū)域標(biāo)記

樹是通過以下步驟自動(dòng)生成的。根據(jù)分割結(jié)果，計(jì)算每個(gè)區(qū)域的鄰域個(gè)數(shù)。選擇相鄰區(qū)域數(shù)最多的區(qū)域作為根節(jié)點(diǎn)。從根節(jié)點(diǎn)開始，系統(tǒng)將節(jié)點(diǎn)的相鄰區(qū)域標(biāo)記為其子節(jié)點(diǎn)。廣度優(yōu)先搜索(Breadth First Search，BFS)用于查找每個(gè)節(jié)點(diǎn)的所有子節(jié)點(diǎn)。例如，在圖2(a)中，區(qū)域9具有最大數(shù)量的相鄰區(qū)域。因此，它被選為根。區(qū)域3、4、5、6和8是區(qū)域9的相鄰區(qū)域，因此被視為區(qū)域9子區(qū)域。在根的所有子區(qū)域中，區(qū)域8有3個(gè)鄰居，分別是區(qū)域0、1和7。最后，區(qū)域0將區(qū)域2作為其鄰居。通過這種方法，可以構(gòu)造一棵樹來描述卡通圖像中各個(gè)組件的拓?fù)浣Y(jié)構(gòu)。構(gòu)造的樹如圖2(b)所示。

2.2 區(qū)域聚類

系統(tǒng)自動(dòng)將所有訓(xùn)練數(shù)據(jù)集的分割區(qū)域分為不同的組。為了進(jìn)行聚類，從每個(gè)區(qū)域提取特征。以ImageNet[11]為主要特征向量，從VGG-16卷積神經(jīng)網(wǎng)絡(luò)中提取第一個(gè)全連接層。第一全連接層的維數(shù)為4 096。采用主成分分析法將維數(shù)降到32。除了VGG-16中的32維特征外，還包括來自區(qū)域關(guān)系樹的以下信息：樹中節(jié)點(diǎn)的深度、子節(jié)點(diǎn)的數(shù)量、區(qū)域的大小以及區(qū)域中心點(diǎn)的Y坐標(biāo)。

系統(tǒng)沒有任何有關(guān)群集數(shù)量的先驗(yàn)信息。由于不同類型的訓(xùn)練圖像所需的簇?cái)?shù)目不同，因此使用固定的預(yù)定義數(shù)目是不可行的。因此，系統(tǒng)需要根據(jù)輸入的數(shù)據(jù)自動(dòng)確定合適的簇?cái)?shù),同時(shí)采用S2L-SOM算法估計(jì)聚類數(shù)。

雖然S2L-SOM算法可以產(chǎn)生聚類結(jié)果，但只使用它來估計(jì)聚類數(shù)。其原因是當(dāng)特征向量相對(duì)復(fù)雜，數(shù)據(jù)量較小時(shí)，S2L-SOM聚類結(jié)果不夠好。根據(jù)估計(jì)的聚類數(shù)，應(yīng)用K-means++得到聚類結(jié)果。然而，S2L-SOM和K-means++每次都會(huì)生成不同的聚類結(jié)果。為了利用S2L-SOM和K-menas++中的隨機(jī)性，在此引入了一種利用重復(fù)采樣的多重嘗試方案來增強(qiáng)聚類結(jié)果[12]。先進(jìn)行了若干次試驗(yàn)，然后使用Davies-Bouldin指數(shù)(DBI)[13]從試驗(yàn)中選擇最佳結(jié)果，DBI是評(píng)價(jià)聚類結(jié)果的一個(gè)指標(biāo)。

3 創(chuàng)造新圖像

聚集區(qū)域是要為圖像創(chuàng)建選擇的候選組件。但是，分割的區(qū)域通常在輪廓上有凹陷的部分，如圖3所示。

圖3 確定輪廓上需要修補(bǔ)的凹陷部分

系統(tǒng)將首先嘗試執(zhí)行對(duì)稱輪廓補(bǔ)全。凹陷部分的端點(diǎn)根據(jù)水平或垂直對(duì)稱軸進(jìn)行鏡像操作。對(duì)稱輪廓完成過程旨在找到一個(gè)水平或垂直對(duì)稱部分，其端點(diǎn)與凹陷部分的鏡像端點(diǎn)大致相同，如圖4所示。

圖4 對(duì)稱輪廓填補(bǔ)示例

如果可以找到對(duì)稱部分，則將其水平或垂直翻轉(zhuǎn)。然后，使用翻轉(zhuǎn)段來修補(bǔ)凹陷部分。翻轉(zhuǎn)部分的端點(diǎn)將調(diào)整到凹陷部分的位置，并對(duì)該段執(zhí)行插值以符合調(diào)整。如果無法應(yīng)用對(duì)稱輪廓完成，則系統(tǒng)使用簡單的凸完成來修復(fù)輪廓，如圖5所示。

圖5 凸完成修復(fù)示例

創(chuàng)建新圖像如圖6所示。

圖6 創(chuàng)造一個(gè)新圖像

包括以下步驟。首先，從訓(xùn)練圖像中隨機(jī)選擇區(qū)域關(guān)系樹作為參考拓?fù)洹?duì)于樹中的每個(gè)節(jié)點(diǎn)，系統(tǒng)隨機(jī)選擇與節(jié)點(diǎn)位于同一集群中的一個(gè)區(qū)域。根據(jù)參考拓?fù)鋵⑦@些選定區(qū)域放在一起，重新組合新圖像，如圖6(a)所示。執(zhí)行基于文獻(xiàn)[14]的優(yōu)化以將組件協(xié)調(diào)到所創(chuàng)建圖像中的優(yōu)化尺寸和位置。為了在生成的圖像上產(chǎn)生更多的變化，在區(qū)域上使用移動(dòng)最小二乘進(jìn)行剛性變形,選擇多尺度曲率上具有局部極值的輪廓點(diǎn)作為剛性變形的控制點(diǎn)。用隨機(jī)位移放置控制點(diǎn)以創(chuàng)建變形區(qū)域，如圖6(b)所示。

4 實(shí)驗(yàn)

在本節(jié)中，將演示區(qū)域關(guān)系樹構(gòu)建、聚類和圖像創(chuàng)建的結(jié)果。不同類型卡通人物構(gòu)建的區(qū)域關(guān)系樹示例,如圖7所示。

圖7 區(qū)域關(guān)鍵樹的構(gòu)建

系統(tǒng)不需要知道輸入卡通圖像類型的先驗(yàn)知識(shí)。根據(jù)輸入圖像的結(jié)構(gòu)自動(dòng)建立拓?fù)浣Y(jié)構(gòu)。

以卡通羊?yàn)槔?，描繪了S2L-SOM迭代次數(shù)對(duì)簇估計(jì)數(shù)的影響,如圖8所示。

圖8 S2L-SOM迭代次數(shù)與簇之間關(guān)系

從圖8中可知，當(dāng)?shù)螖?shù)大于1 000次時(shí)，估計(jì)的集群數(shù)量為5的百分比達(dá)到40%,在隨后的多次試驗(yàn)方案中，聚類結(jié)果將足夠穩(wěn)定。迭代次數(shù)越大，結(jié)果變化越小，但計(jì)算復(fù)雜度越高。因此，S2L-SOM的迭代次數(shù)被選擇為1 000,如圖9所示。

(a) 原始輸入圖像

圖9(b)比較了使用不同特征和聚類方法的聚類結(jié)果。圖9(b)顯示了使用傳統(tǒng)等高線距離直方圖作為每個(gè)區(qū)域形狀特征的聚類結(jié)果。從這可以看到，一些區(qū)域沒有被分組到所需的集群中。并且還可以從圖9(c)中觀察到，與使用重復(fù)采樣的S2L-SOM加K-means++相比，使用S2L-SOM聚類算法會(huì)導(dǎo)致更多的錯(cuò)誤。從圖9(d)中，可以看到從CNN和所提出的區(qū)域關(guān)系樹中提取的特征將產(chǎn)生更好的聚類結(jié)果。此外，通過采用多個(gè)試驗(yàn)方案，利用DBI進(jìn)行試驗(yàn)選擇，聚類結(jié)果更加準(zhǔn)確和穩(wěn)定。

比較了由本研究提出的框架和GAN為每種卡通人物使用50個(gè)輸入圖像生成的卡通圖像,如圖10所示。

(b) GAN網(wǎng)絡(luò)生成的圖像結(jié)果

圖10(a)由提出的框架生成，圖10(b)由GAN生成?？梢杂^察到，由于訓(xùn)練集較小，GAN產(chǎn)生的圖像不令人滿意。然而，該方法可以自動(dòng)學(xué)習(xí)不同類型卡通人物的拓?fù)浣Y(jié)構(gòu)，并在訓(xùn)練數(shù)據(jù)相同的情況下生成像樣的圖像,同時(shí)，該方法生成的圖像分辨率也大大提高,在這里的實(shí)驗(yàn)中，該方法生成500×500大小的圖像，GAN生成128×128大小的圖像。

5 總結(jié)

本研究提出了一種以非常小的數(shù)據(jù)集自動(dòng)生成卡通圖像的有效框架,提出了一種無需人工標(biāo)注的區(qū)域關(guān)系圖自動(dòng)學(xué)習(xí)算法。同時(shí)，設(shè)計(jì)了一種無聚類數(shù)先驗(yàn)知識(shí)的改進(jìn)聚類方法。該框架具有計(jì)算時(shí)間短、數(shù)據(jù)集小、硬件資源少等優(yōu)點(diǎn)。用戶可以收集少量的訓(xùn)練數(shù)據(jù)，使用該系統(tǒng)生成質(zhì)量和種類都不錯(cuò)的新圖像。與基于生成性對(duì)抗網(wǎng)絡(luò)的方法相比，該框架能夠在有限的資源下生成更好的卡通圖像。