盛慶杰 蘇銳丹 涂仕奎 徐 雷

人臉素描圖像生成是指將給定的人臉照片生成相應的素描圖像.對此類問題的研究可協助縮小犯罪嫌疑人的范圍，并且隨著科技的發(fā)展，該研究成果也出現在一些數字產品中，如特色人物肖像圖生成.迄今發(fā)展起來的方法可粗略分為兩類：數據驅動方法和模型驅動方法[1].數據驅動方法的核心在于人臉照片切片和素描圖像切片的相似度搜索，從訓練集上的素描圖像切片集合中，選定與人臉照片相似的切片進行線性組合，合成最終的素描圖像[2-3].模型驅動方法的核心在于學習一種從人臉照片映射到素描圖像的模型，直接獲得生成結果[4-7].

2.7 果實采收 根據市場要求及果實成熟度適時采收，為保證果實品質可以適當晚采。采收后嚴格分級，統(tǒng)一果個、顏色、果形，及時入庫貯藏。

Tang等[8]提出基于特征變換的數據驅動方法，通過主成分分析將測試照片映射到訓練圖像集的特征空間中，再通過這個映射將訓練素描集進行加權線性組合，生成最后的素描圖像.Liu等[9]將整個人臉照片細分為方形切片，各切片與鄰近切片部分重疊，再通過近鄰相似度搜索，使用歐氏距離，在切片級別上計算加權線性組合，生成素描圖像.Wang等[1]采用馬爾可夫隨機場模型，并考慮近鄰一致性.

考慮到上述方法中相似度搜索的過程效率很低，Song等[2]提出SSD(Spatial Sketch Denoising)，將人臉素描圖像生成問題視為一種素描空間降噪問題并進行處理.Wang等[3]提出RSLCR(Random Sampling with Locality Constraint for Face Sketch Synthesis Me-thod)，采用隨機采樣策略搜索最近鄰切片.這兩種方法將生成一幅素描圖像的效率提升到可接受的層級，但相比那些沒有類似相似度搜索機制的模型驅動方法，仍存在很大差距.Zhu等[10]提出DPGM(Learning Deep Patch Representation for Probabilistic Graphical Model)，利用深度神經網絡統(tǒng)一提取圖像切片的特征，采用離線的候選切片索引方法加速切片相似度的搜索過程.Zhu等[11]提出基于知識蒸餾的模型，從大規(guī)模數據集上學習人臉照片知識和素描圖像知識，傳遞給素描圖像生成模型，提高生成圖像質量.

傳統(tǒng)的模型驅動方法基于CNN網絡學習一個由人臉照片直接到素描圖像的生成模型.Zhang等[4]提出FCN(Fully Convolutional Network)，采用7層的完全全連接網絡，結合最小平方誤差損失函數構造生成模型.Zhang等[6]提出分支的完全全連接網絡模型，一分支生成臉部結構，另一分支生成臉部紋理，再根據人臉解析的結果組合兩者.近期，學者們開始關注基于生成對抗網絡(Generative Adver-sarial Network， GAN)[12]的模型，以求生成更高質量的人臉素描圖像.相比數據驅動方法和傳統(tǒng)模型驅動方法，基于GAN的模型可擴展網絡并結合其它機制[13-14]，提高生成素描圖像的質量，減少污點和變形，視覺感受更自然.Isola等[15]提出pix2pix，能適應多種有成對訓練樣本的圖像到圖像轉換問題，如圖像風格轉換[16]、標簽到街道場景圖像、語義分割等.Zhu等[17]提出CycleGAN，是一種無監(jiān)督學習模型，由2個循環(huán)組成，分別是X→Y→X和Y→X→Y,目標是讓2個循環(huán)的輸入和最終輸出保持一致.Wang等[5]提出BP-GAN，結合條件GAN與反向投影策略，進一步提升生成素描圖像的質量.Wan等[18]提出一種細節(jié)損失函數，加強素描圖像生成的細節(jié)表現.Zhang等[19]提出由多重特征生成器與級聯低階表示以優(yōu)化不同光照條件下的人臉素描圖像生成方法.Li 等[20]提出基于正則化的廣義學習系統(tǒng)，當提取的特征映射節(jié)點不足時，無需重新訓練便可重構生成網絡.Yu等[7]提出SCA-GANs(Stacked Composition-Aided GAN),擴展pix2pix框架，以人臉圖像中組成部位的結構信息指導素描圖像的生成，并采用結構性損失[6,21]增強人臉各部位和結構的信息，結合感知損失和網絡堆疊策略，表現較優(yōu).

針對以上情況，我們結合自身經驗研制了一種新型的椎弓根螺釘定位導向置釘一體器，臨床使用療效確切，現匯報如下。

然而，上述數據驅動方法由于采用相似素描圖像切片線性組合的生成方式，導致最終合成的圖像過于平滑，與畫師繪制的人臉素描圖像差異較大，而且在測試階段，相似度搜索的過程較耗時，不利于實際應用.模型驅動方法在人臉素描圖像生成領域的研究和應用較突出，但較早的研究考慮到網絡的訓練難度和效率，采用相對簡單的網絡模型，相比畫師繪制的人臉素描，生成的素描圖像質量較差、污點較多，在細微的結構和紋理上有所欠缺，存在扭曲變形的問題，仍有較大的改進空間.Yu等[7]和Johson等[22]引入感知損失(Perceptual Loss)和人臉解析機制，提高網絡表現，但通常需要在大型數據集上進行預訓練，受限于本身的數據集與輔助數據集之間數據模式和分布的差異，應用場景改變后可能不再對模型起正向作用，并且這些輔助的大型數據集收集成本較高，實際應用門檻較高.

為了克服這些問題，使模型在不依賴輔助數據集的同時，依然具有良好表現，本文基于Lmser(Least Mean Square Error Reconstruction)[23],構建內外嵌套的深度雙向學習模型，即Lmser-in-Lmser雙向網絡.進而提出基于Lmser-in-Lmser雙向網絡的人臉素描圖像生成方法.首先，Lmser-in-Lmser雙向網絡結合內部神經元對偶(Duality in Paired Neurons， DPN)前向傳遞和外部DPN反饋傳遞信息的特性，強化人臉照片到素描圖像的生成效果.引入并改進感知損失機制，以素描圖像的特征一致性正則化約束素描圖像生成網絡，提高生成性能.直接采用模型本身的子網絡作為感知網絡以提取素描圖像的特征，使模型不再依賴額外數據集，可應用性較強.

1 預備知識

1.1 Lmser及其DPN特性

西南地區(qū)煤炭礦區(qū)規(guī)劃環(huán)境影響評價指標體系在考慮自然環(huán)境、生態(tài)環(huán)境、資源利用和社會經濟等基礎上，針對區(qū)域環(huán)境特點又增加了資源、環(huán)境承載力等指標，同時基于國家對污染物排放總量控制的要求，增加了主要污染物排放總量控制指標，使評價內容更加全面完善，但在礦區(qū)開發(fā)的過程中是否滿足宏觀管理的需要，還有待在礦區(qū)開發(fā)過程中進一步檢驗。

圖1 AE和Lmser結構對比

Lmser是AE的進一步發(fā)展，如圖1右圖所示，將AE沿著中間編碼層Y對折得到.對折使神經元融合后同時承擔編碼和解碼兩個角色，因此具有多種對偶特性[25].例如，它的神經元具有編碼和解碼的雙重特性，稱為DPN對偶性.早期的Lmser相關研究是在全連接網絡上展開的，然而受限于算力和數據，僅實現含一個隱層的Lmser網絡.最近，學者們回顧和擴展Lmser[25-26]，不僅實現為深度神經網絡[26]，還拓展到卷積神經網絡[27]中.Lmser能利用DPN在不同方向上、在一個或多個網絡層的連接上擴展網絡功能，成功應用到圖像修復[27]、圖像超分辨率[28]、圖像分割[29-30]等研究.這些研究結果驗證Lmser被提出時認為具有的各種功能，包括圖像聯想、記憶等[23].

Lmser的DPN特性可視為編碼器和解碼器之間對應神經元的雙向短路連接.如圖2所示，圖中箭頭表示全連接神經網絡的連接方向(修改自Xu[25]的圖1).DPN使對應神經元可相互融合信息，所在特征層可互相傳遞信息.研究結果表明，DPN特性是有效的信息交換、融合機制，可提升深度神經網絡的表示學習能力.本文采用的Lmser就是基于卷積神經網絡設計的，并通過內外嵌套兩種層次的DPN特性以強化信息的融合、共享，達到提高模型魯棒性和表現的目的.

圖2 Lmser的DPN特性

1.2 條件生成對抗網絡

傳統(tǒng)的GAN由一個生成器G和一個判別器D組成，G和D均由神經網絡實現.GAN結構如圖3所示.

圖3 生成對抗網絡結構圖

Ex～pdata(x)[lnD(x)]+Ez～pz(z)[ln(1-D(G(z)))].

Ex,y[lnD(x,y)]+Ez,y[ln(1-D(G(z),y))].

Isola等[15]針對圖像轉換問題進一步擴展cGAN，生成器G的輸入不再是隨機噪音，而是特定的圖像數據，達到通過給定圖像生成期望圖像的目的.為了使生成的圖像具有多樣性，在生成器G的隱空間中也引入隨機噪音z.

圖4 條件生成對抗網絡結構

2 基于Lmser-in-Lmser雙向網絡的人臉素描圖像生成方法

2.1 Lmser-in-Lmser雙向網絡整體結構

本文提出Lmser-in-Lmser雙向網絡，整體結構如圖5所示.

圖5 Lmser-in-Lmser雙向網絡結構圖

2.4 優(yōu)化算法步驟

內部DPN位于內部的2個Lmser網絡中，具體表現為從特征圖的收縮路徑到對應的擴展路徑上的跳躍連接，以往相關工作絕大部分采用拼接式的跳躍連接，而預實驗結果表明，加性和拼接式方式在圖像生成能力上幾乎相同.本文為了讓內部DPN更好地適配外部DPN，在每個Lmser網絡中采用加性跳躍連接.

為滿足幼果快速膨大的營養(yǎng)需求，追施一定量大量、中微量元素肥料很有必要，以有效促進棗果膨大，減少落果。根據大量田間栽培經驗及科學研究顯示，幼果期（綠豆粒大?。┦怯坠虼笞贩实淖罴褧r期，追施含有一定量氮、磷及中微量元素的高鉀型肥料，能夠快速膨大棗果，有效減少落果，保證果型周正、亮麗。

外部DPN是指在G-Lmser和F-Lmser中，施加在兩者之間匹配的網絡塊上的一致性約束：

(2)加強部門設置，遵循專業(yè)表決。 地方國有平臺公司需要完善部門的設置，在明確各類業(yè)務事項分類、責任歸屬的基礎上，施行定崗定編機制，由各部門負責部門業(yè)務的決策表決，做到‘專業(yè)人表專業(yè)事’，同時公司要明確牽頭組織，在進行重大決策期間，要以財務部門、法務部門和內控部門的意見為主要參考意見。

其中，Ψi、Φi分別表示G-Lmser和F-Lmser中對應的第i層特征圖(如圖5中淺綠色雙向箭頭所示)，|S|表示隱藏層S的集合大小，注意輸入層和輸出層不包含在S中.

2.2 F-Lmser和G-Lmser

本文將人臉照片數據表示在RGB色彩空間中，素描圖像數據表示在灰度色彩空間中.G-Lmser網絡結構見圖5上面的子網絡，F-Lmser與G-Lmser具有相同的結構但方向相反，見圖5下面的子網絡.以G-Lmser為例，包括解碼器和編碼器兩個部分，圖5中G-Lmser左側黃色部為解碼器，包括5個殘差模塊(ResDown塊)，右側藍色部為解碼器，也包括5個殘差模塊(ResUp塊).ResDown塊和ResUp塊具體網絡結構見圖5下方2個虛線框，分別用Di/j和Ui/j表示，在ResDown塊中使用斜率為0.2的ReLU激活函數，i為輸入通道數，j為輸出通道數，Lmser具體如下：

支氣管哮喘是由嗜酸粒細胞、T淋巴細胞、肥大細胞等多種炎癥細胞介入的氣道慢性炎癥,簡稱哮喘?；颊叩呐R床表現包括胸悶、咳嗽、呼氣性呼吸困難、反復喘息等,多于清晨或夜間發(fā)作,經治療后緩解[1]。本文選取我院2016年5月~2017年5月之間收治的20例支氣管哮喘患者,對其臨床治療觀察分析如下。

Din/128→D128/256→D256/512→D512/512→D512/1024→

U1024/512→U512/512→U512/256→U256/128→U128/out.

網絡使用2個對抗式判別器DY和DX.DY用于區(qū)分素描圖像是生成網絡生成的還是畫師所畫的真素描圖像，即區(qū)分{x,G(x)}與{x,y}，DX用于區(qū)分人臉照片是生成網絡生成的還是真正的照片,即區(qū)分{y,F(y)}與{y,x}.判別器DX和Dy均沿用Isola等[15]提出的70×70 patchGAN(Patch-Based GAN)結構.

2.3 損失函數

1)FID(Fréchet Inception Distance)[38].衡量真實圖像與生成圖像在特征上的推土機距離(Earth Mover′s Distance， EMD).越低的FID數值意味著真實圖像與生成圖像之間的分布和感知特征越接近.

其中Φ5表示網絡中間隱藏層提取的特征圖.

在兩個映射模型中，采用LSGAN(Least Squares GAN)[33].具體實現時，本文將LSGAN與條件GAN結合應用，使網絡更容易收斂，表現也更優(yōu).由于本文目的在于生成確定的素描圖像，所以不再引入條件GAN中的隨機噪音.以G-LmserG∶X→Y和其對應的判別器DY為例，損失函數可表示為

Ladv(G,DY,X,Y)=Ex，y[(1-D(x,y))2]+
Ex[(D(x,G(x)))2].

參考文獻[7]和文獻[15]，本文還采用L1損失激勵“假”輸出擬合“真”樣本的分布，即

3 關注產品重金屬含量2008年WHO（世界衛(wèi)生組織）要求所有的GMP廠家在其產品上標注其重金屬含量。對中國家長來說，需要側重關注的是小寶寶服用的魚肝油。

完整的損失函數如下：

L(G,DY,X,Y)=Ladv(G,DY,X,Y)+λLL1(G,X,Y)+

簡而言之，教育是塑造美的藝術、思維和精神實踐。教育的根本目標是培養(yǎng)人的審美能力，使受教育者能夠擁有一雙善于發(fā)現美的眼睛。高中語文教育的情感價值目標包括學生的審美品位和能力。散文是一種具有強烈情感和藝術實力的文學體裁，對培養(yǎng)學生的審美素養(yǎng)和審美能力起著重要作用。

βLdpn(G,F,X,Y)+αLc(G,F,X,Y),

L(F,DX,Y,X)=Ladv(F,DX,Y,X)+λLL1(F,Y,X),

其中，λ、β、α表示權重因子，實驗設置λ=10，β=1，α=5.最終目的在于求解以下問題：

康熙十四年十月十三日，幸盤山諸寺，皆賜金。 智樸和尚呈《接駕詩二首》?？滴醵迥晔乱蝗?，康熙再次幸臨盤山盤谷寺，賜詩，智樸作《丙寅季冬一日駕幸青溝應制詩》如下：

pix2pix沒有這種平滑的問題，然而生成的結果污點很多.SCA-GANs是基于pix2pix框架，并結合人臉結構解析和感知損失機制的方法，而人臉結構解析和采用的感知損失方法均依賴不同的輔助大型數據集.SCA-GANs改進效果較明顯，生成的素描圖像人臉細節(jié)較豐富、清晰，但在一些細微的結構和紋理上仍存在不足，如眼鏡框部位和人臉腮部紋理.本文方法能生成視覺上更真實的人臉素描圖像，特別是在人臉細微之處.以圖6結果來說，Lmser-in-Lmser雙向網絡能生成完整的眼鏡框(AR、XM2VTS數據集上的取樣)、臉部皺紋(AR數據集上的取樣)、細致豐富的臉部紋理(CUHK、XM2VTS數據集上的取樣)，并且扭曲和變形更少(CUFSF數據集上的取樣).這是由于本文網絡的結構和機制更優(yōu)，外部DPN中的一致性約束增強模型的魯棒性，從而最終的表現更優(yōu).

本文采用雙對數模型來分析中國乳制品的需求價格彈性。雙對數模型的優(yōu)點是可以使數據更為平穩(wěn)且消除異方差。價格因素用中國乳制品的進口價格來表示。將影響乳制品進口的因素代入彈性公式中，為了簡單起見，我們可將Q=f(P)表達為對數形式:

算法Lmser-in-Lmser雙向網絡優(yōu)化算法

輸入訓練照片和素描圖像的集合，

迭代步數t=0,最大迭代步數T

當t

step 1 隨機挑選一組訓練樣本.

step 2 估計生成素描圖像和生成人臉照片:

step 3 估計重建人臉照片：

step 4 更新DX,DY:

step 5 更新G,F:

結束循環(huán)

算法中訓練照片和素描圖像的集合表示為二元素形式，如[1幅人臉照片x,1幅匹配的素描圖像y].

3 實驗及結果分析

3.1 實驗設置

實驗在使用單個顯卡(Nvidia Titan X型號)的服務器上進行，運行環(huán)境為Anaconda,python 3.6,詳細代碼和數據公布在GitHub上.

例6：《國民經濟與社會發(fā)展第十三個五年計劃綱要》是2016-2017年中國經濟社會發(fā)展的宏偉藍圖，其制定過程如下：黨的十八屆五中全會審議通過制定“十三五規(guī)劃的建議”→國家發(fā)改委啟動“共繪新藍圖→我為規(guī)劃建言獻策”活動→政府依據《建議》和民意編制“十三五”規(guī)劃綱要→“十三五”規(guī)劃綱要提交全國人大、全國政協審議討論，最終由全國人大表決通過。

在CUFS[1]、CUFSF數據集[34]這2種廣泛應用和開源的公共數據集上進行實驗.CUFS數據集共包含606對人臉照片和素描圖像，由3個子數據集組成，分別是CUHK student數據集[35](188對)、AR人臉數據集[36](123對)和XM2VTS數據集[37](295對).CUFSF數據集共包含1 194對人臉照片和素描圖像.由于此數據集中的人臉照片是在多種光照條件下采集，并且素描圖像有較劇烈的變形和夸張元素，因此更具挑戰(zhàn)性.

為了與代表性方法進行對比，本文遵循Wang等[3]的數據集劃分方式.將CUHK student數據集上的88對、AR人臉數據集上的80對和XM2VTS數據集上的100對人臉照片和素描圖像用于訓練，其余用于測試.對于CUFSF數據集，250對人臉照片和素描圖像用于訓練，其余用于測試.

所有患者都實施常規(guī)治療與護理,如控制患者血壓、血糖,抗感染治療,早期進行康復訓練,包括肢體擺放、體位變換、定時翻身、肢體被動運動。待患者基礎體征穩(wěn)定48h后行康復治療。運用Bobath技術及本體神經肌肉促進技術,逐步進行從體位轉移、平衡訓練到步行訓練、抗痙攣訓練、脊柱功能訓練、肢體主動訓練、關節(jié)活動訓練等ADL訓練的治療。訓練為1次/d,5次/周,每次30min,療程為3個月。訓練時有專人負責。訓練強度以第二日患者無疲勞、肢體酸痛等癥狀為宜。觀察組50例患者在上述治療同時進行中醫(yī)治療。針對疾病不同階段及病癥,制定個體治療方案,實施康復訓練聯合中醫(yī)辨證施治。

為了驗證本文方法的有效性，采用如下3種普遍使用的測試指標進行定量分析.

本文將F-Lmser用作感知網絡，從y和G(x)中提取高層特征.然后，采用一致性損失讓兩者對應的特征相互趨近.此做法與文獻[7]和文獻[22]類似.不同的是，文獻[7]和文獻[22]是使用一個預訓練好的網絡提取人為指定的多層特征圖，在訓練過程中保持這部分網絡參數不變.這類方法采用的感知網絡都由其它大規(guī)模數據集預訓練所得，通常在圖像數據的模式上與當前訓練集兼容性較差，并不能總提高模型的表現.另外，本文還考慮感知網絡輸出層的一致性，將感知損失和輸出層的一致性損失融合為一個損失函數：

本文從兩個角度驗證Lmser-in-Lmser雙向網絡的魯棒性：1)測試不同尺寸大小照片的輸出結果；2)測試不同數據模式下的輸出結果.在CUFS數據集上訓練本文方法，進行如下實驗.

3)NLDA(Null-Space Linear Discriminant Analy-sis)[3].人臉識別是人臉素描圖像生成問題的一個重要應用.Wang等[3]使用NLDA進行人臉識別實驗，本文同樣采用NLDA評估真實素描與生成素描的人臉識別準確率.

3.2 消融實驗結果

針對Lmser-in-Lmser雙向網絡中的各種不同模塊進行消融實驗，評估各模塊對網絡的影響.針對網絡中不同的組件及其組合，分別進行6組實驗.在CUFSF數據集上的消融實驗結果如表1所示，Baseline表示以加性內部DPN實現的生成器G結合pix2pix框架組成的基本模型，concat表示以拼接式跳躍連接方式實現的內部DPN，global DPN表示引入外部DPN，Lvgg表示Yu等[7]采用的傳統(tǒng)感知損失，Lc為本文2.3節(jié)定義的損失.

表1 各模塊在CUFSF數據集上的消融實驗結果

由表1可見，只采用pix2pix框架時，Lmser-in-Lmser雙向網絡中的內部DPN采用加性和傳統(tǒng)拼接式跳躍連接的表現幾乎相同.在引入外部DPN之后，性能獲得明顯提升，FID值從15.2降至14.0.由此可驗證外部DPN確實會實現通過F-Lmser達到正則化約束G-Lmser的目的，強化2個Lmser生成器之間的信息流動，以間接方式實現信息共享，從而使G-Lmser從另一方得到支持和增強.

相比Yu等[7]采用傳統(tǒng)的感知損失，Baseline+Lc將FID值從15.2降至14.3，但是Baseline+Lvgg將FID值從15.2增至17.7，這是因為Yu等[7]采用的感知網絡由VGGFace數據集預訓練所得，此數據集上人臉照片的樣式與CUFSF數據集上的樣式存在較大差異，訓練的感知網絡不能有效提取CUFSF數據集上的數據特征.

在2種DPN特性基礎上引入本文采用的感知損失之后，性能得到進一步改進，FID值從14.0降至13.6.這意味著本文的感知損失有助于提升Lmser-in-Lmser雙向網絡的性能，并且由于直接在Lmser-in-Lmser雙向網絡上實現，未引入額外的感知網絡，整個網絡的參數量更少.

3.3 實驗結果對比

本文選擇如下方法進行對比實驗.1)數據驅動方法：SSD[2]、RSLCR[3]、BP-GAN[5]、DGFL(Deep Graphical Feature Learning)[40].2)模型驅動方法：SCA-GANs[7]、DPGM[10]、pix2pix[15].

各方法在2個數據集上的指標值對比如表2所示，表中黑體數字表示最優(yōu)值.由表可見，本文方法取得最小的FID值.另外，相比其它方法，本文方法在FSIM值和NLDA值上也具有競爭力.值得一提的是，在更具挑戰(zhàn)性的CUFSF數據集上，本文方法改進更明顯，魯棒性更強，可應對更復雜的情形.

表2 各方法在2個數據集上的指標值對比

各方法在CUFS、CUFSF數據集上一些圖像樣本生成的素描圖像如圖6所示.由圖可看出，數據驅動方法，如SSD、RSLCR，和一些結合神經網絡模塊的數據驅動方法，如DGFL、BP-GAN、DPGM，生成的人臉素描較平滑.BP-GAN、DPGM生成的素描圖像有較清楚的輪廓和結構，但FID值相對較高，FSIM值也相對較低，可見素描圖像的平滑程度是與圖像的感知相似度密切相關的.

(a)真實照片

(b)真實素描圖像

(c)SSD

(d)RSLCR

(e)DGFL

(f)BP-GAN

(g)pix2pix

(h)DPGM

(i)SCA-GANs

(j)Lmser-in-Lmser雙向網絡

為了優(yōu)化方法，本文先交替使用梯度下降法訓練DX和DY，再訓練G和F.使用Adam(Adaptive Moment Estimation)優(yōu)化器，批大小為1，生成器的學習率為0.000 1，判別器的學習率為0.000 2.優(yōu)化算法步驟如下所示.

3.4 魯棒性測試

2)FSIM(Feature Similarity)[39].以圖像相位一致性和梯度幅值衡量真實圖像與生成圖像一致性的指標.

為了驗證Lmser-in-Lmser雙向網絡在不同分辨率圖像上的魯棒性，對CUFS數據集上的測試數據進行下采樣和上采樣處理后再作為輸入，模擬不同分辨率的情況，結果如圖7所示.由圖可知，相比正常尺寸，分辨率為125×100的輸出結果較模糊，損失較多的細節(jié)信息，生成效果不夠理想.分辨率為500×400的輸出結果在視覺上清晰度較高，仍保持輪廓和紋理信息，但一些區(qū)域引入污點，生成效果也低于分辨率為250×200的結果.

(a)照片 (b)標簽

(c)125×100 (d)250×200

(e)500×400

以在光照、姿態(tài)、場景等數據模式上與訓練集差異較大的圖像作為輸入，驗證本文方法的魯棒性.本文采集一些符合要求的圖像數據，并簡單裁剪處理成方法需要的250×200的尺寸，不做幾何校正.圖像及其測試結果如圖8所示.

在對原始數據的處理上，本文采用Yu等[7]的設置，對原始數據集上未對齊的數據，根據雙眼和嘴唇中間三點進行幾何校正，然后將所有圖像裁剪至250×200尺寸.由上述方式得到的圖像無法直接輸入方法中，需要進一步調整.在pix2pix[15]中，直接將圖像數據調整到256×256尺寸，但會從一定程度上破壞原圖像中人臉的結構，對實驗結果有一定干擾.本文采用先填充再裁剪的數據預處理方式，即先將圖像環(huán)繞填充到286×286尺寸，并且在訓練中為了增強數據，以隨機方式裁剪到256×256尺寸，而在測試時裁剪中央尺寸為256×256的部分.Yu等[7]使用0值(即黑色)填充，在本文實驗中發(fā)現，相比采用255值(即白色)填充，這樣設置會使生成的圖像產生更多的污點，所以本文采用255值環(huán)繞填充.

由圖8可知，圖像a、b是在極端光照條件下的照片.圖像c～e是在網絡上采集的3張人物照片，這3張人臉照片未經過三點幾何校正，姿態(tài)也有所差異.圖像f、g為2種不同寵物犬的照片，圖像h、i為2個不同場景的建筑照片.這些照片與訓練集上的數據模式差別都較大，雖然不是人類的照片，但本文方法仍能有效工作.

(a)照片

(b)素描圖像

3.5 在圖像轉換問題上的應用

pix2pix是應用在圖像轉換問題上的.為了驗證Lmser-in-Lmser雙向網絡在圖像轉換問題上的表現也較優(yōu)，同時也為了觀察Lmser-in-Lmser雙向網絡在較大規(guī)模數據集上的表現，開展pix2pix中與本課題相似的鞋類照片→邊緣圖的圖像轉換實驗.實驗在Edges2shoes數據集上進行.該數據集上，訓練集共49 825對樣本，測試集共200對樣本.訓練時的圖像尺寸均為256×256，鞋類照片表示在RGB色彩空間中，鞋類邊緣圖表示在灰度空間中.

本文方法和pix2pix在Edges2shoes數據集上的轉換結果如圖9所示.由圖可見，相比目標邊緣圖，pix2pix生成的邊緣圖只有輪廓部分較完整，缺少內部的細節(jié)線條.而本文方法生成的結果包含更細致準確的特征，內部線條更豐富.由此可見，G-Lmser經過F-Lmser的激勵之后，生成能力更出色，這表明Lmser-in-Lmser雙向網絡能有效工作在具有不同規(guī)模數據集的任務上.

同時，以本文方法在CUFS數據集上訓練的模型進行魯棒性測試，結果見圖9(e)，由于訓練集數據的模式差異，生成的結果素描色彩較濃重.

應該說，中國神話的大趨勢是走向歷史化，原始的生態(tài)神向子生態(tài)神進化。在討論中國古代神話演變的基本趨勢時，李炳海先生總結了三個方面：世俗化的趨勢、夫妻的傾向和衰老的趨勢?？偨Y的十分精辟。然而，與同期的北方神話和后來的神話相比，楚神話的非歷史傾向是顯而易見的。我們在歷史和神話中通過對羿的不同形象來說明這個問題。羿是中國神話中最有爭議的形象，往往置于善惡的兩端。

鞋類照片→邊緣圖轉換實驗的FID值如下：pix2pix為72.7，本文方法為66.4，魯棒性測試結果為336.5.這也從客觀上說明本文方法更優(yōu).

(a)輸入圖像

(b)標簽

(c)pix2pix

(d)Lmser-in-Lmser雙向網絡

(e)魯棒性測試

4 結 束 語

本文針對人臉素描圖像生成問題，提出Lmser-in-Lmser雙向網絡,用于人臉素描圖像的生成.融合內部DPN和外部DPN這兩種Lmser中對偶特性的變種，實現信息的前向傳遞和反饋傳遞.內部DPN采用加性跳躍連接，將編碼器提取的特征前向傳遞到解碼器，促進內部Lmser子網絡的學習，同時外部DPN又激勵G-Lmser與F-Lmser中的網絡塊保持一致性傾向，將F-Lmser的高層語義特征和底層細節(jié)信息間接反饋給G-Lmser.這不僅加強局部和全局方式的信息流，而且讓模型直接實現一種新形式的感知損失機制，進一步提高模型的表現.在CUFS、CUFSF數據集上的實驗說明，Lmser-in-Lmser雙向網絡可合成高質量的人臉素描圖像，改進效果較明顯.此外，Lmser-in-Lmser雙向網絡不依賴其它大型數據集補充信息，雙向網絡可在缺乏大型數據集輔助或大型數據集收集成本難以承受的情況下較好的工作.今后考慮嘗試引入Lmser網絡的其它對偶特性，如網絡權重對偶特性，提高模型性能.