尹甜甜，劉 婷，郭一娜

(太原科技大學(xué) 電子信息工程學(xué)院，太原 030024)

1 引 言

在出土文物中，經(jīng)常會(huì)出現(xiàn)古漢字的遮擋與損失現(xiàn)象，手工復(fù)原無法完成，文字內(nèi)容成謎，而單通道盲去卷積旨在從單通道卷積混合信號(hào)中分離和解卷積源信號(hào)[1]，在圖像，語音，音頻的去噪和修復(fù)中都有重要研究意義.在僅有一張古漢字與遮擋的混合圖像時(shí)，即僅有單通道的混合物可用，此時(shí)，沒有關(guān)于混合矩陣的先驗(yàn)知識(shí)，源古漢字圖像信號(hào)和混合矩陣都需要估計(jì)[2]，傳統(tǒng)的源分離方法分為基于分解的方法和基于回歸的方法，許多基于分解的方法都是較為簡單的模型，例如非負(fù)矩陣分解法(Nonnegative Matrix Factorization，NMF)和獨(dú)立成分分析法(Independent Component Correlation Algorithm，ICA)，這種方法通常用一種解線性方程組的方式求解源信號(hào)，僅解決線性混合問題，而與神經(jīng)網(wǎng)絡(luò)相比，這些簡單模型并沒有足夠的能力表示各種源信號(hào).基于回歸的方法則通過深度神經(jīng)網(wǎng)絡(luò)能夠?qū)?fù)雜的映射關(guān)系進(jìn)行建模，但是需要混合矩陣與源信號(hào)進(jìn)行訓(xùn)練，如果測試數(shù)據(jù)中的混合矩陣與訓(xùn)練數(shù)據(jù)中的混合矩陣分布不同，由于在測試數(shù)據(jù)中看不到混合矩陣類型，導(dǎo)致分離效果不佳[3].

在最近關(guān)于單通道盲去卷積的研究中，Stoller[4]、Subakan 和Smaragdis[5]、Fan[6]等人都先后提出使用生成對抗網(wǎng)絡(luò)(Generative Advesarial Network，GAN)來解決源分離問題，但這些方法都假定已知單通道盲去卷積問題中的混合矩陣.針對此類問題，本文提出一種基于深度卷積生成對抗網(wǎng)絡(luò)的單通道盲去卷積算法(DCSS)，與傳統(tǒng)的基于回歸方法相比[7]，DCSS算法使用深度卷積生成對抗網(wǎng)絡(luò)(Deep convolution generating adversarial network，DCGAN)以生成方式解決此類問題.DCSS可以估計(jì)源信號(hào)和混合矩陣，而常規(guī)的回歸方法則無法估計(jì)混合矩陣.DCSS算法中，使用DCGAN對古漢字與遮擋圖像集進(jìn)行訓(xùn)練預(yù)處理，在分解過程中，通過最小化混合物的重建誤差來獲得源信號(hào)和卷積混合過濾器[8].此外，在該算法中，將單通道盲去卷積[9]中去卷積問題轉(zhuǎn)為貝葉斯最大后驗(yàn)(Bayesian Maximum posterior estimation，MAP)估計(jì)，這是一個(gè)受約束的非凸優(yōu)化問題，為了解決該非凸優(yōu)化問題，用不同的初始化重復(fù)分解可以顯著提高欠定的單通道盲去卷積性能.基于古漢字與遮擋圖像數(shù)據(jù)集做欠定的單通道盲去卷積實(shí)驗(yàn)，以證明DCSS算法的有效性.

2 單通道盲去卷積

在單通道盲去卷積中，單通道混合信號(hào)x(t)由各個(gè)源信號(hào)sk(t)與未知混合矩陣ak(t)以及未知噪聲n(t)組成，其中x(t)，sk(t)，ak(t)，n(t)∈L2(Ω)，t∈Ω，k=1，2，...，K，空間Ω可以是歐幾里得空間Rd，k，d分別表示信號(hào)源的數(shù)量和維數(shù)，可用公式(1)表示：

(1)

古漢字與遮擋混合圖像為觀測到的單通道卷積混合圖像信號(hào)x(t)可用公式(2)表示：

x(t)=(a1*s1)(t)+(a2*s2)(t)

(2)

符號(hào)“*”表示卷積運(yùn)算：

(3)

在單通道信號(hào)盲分離和去卷積問題涉及從單通道混合物x(t)分離和解卷積單個(gè)信號(hào)源sk(t)，而混合矩陣ak(t)同樣未知.在下文討論中，分別將x(t)，sk(t)，ak(t)的形式簡化為x，sk和ak.

3 DCSS算法

在古漢字圖像修復(fù)問題中，基于深度卷積生成對抗網(wǎng)絡(luò)的單通道盲去卷積算法(DCSS)主要分為兩步，首先使用DCGAN對古漢字與遮擋圖像集進(jìn)行訓(xùn)練預(yù)處理，將貝葉斯最大后驗(yàn)概率估計(jì)(MAP)中的約束問題轉(zhuǎn)為優(yōu)化問題；其次在單通道盲去卷積時(shí)，DCGAN中生成器G是非線性映射，因此用基于梯度的優(yōu)化方法，通過多次重建，選擇誤差最小的分離結(jié)果.

3.1 貝葉斯最大后驗(yàn)概率估計(jì)(MAP)

(4)

其中x為公式(1)中所提及的信號(hào)源{s1，s2，…，sk}和混合濾波器{a1，a2…ak}的集合，即x={s1，s2…sk，a1，a2…ak}.

公式(4)由貝葉斯法則可得：

(5)

在公式(5)中Pr(yc|xc)是數(shù)據(jù)圖像中類別定義為c的似然函數(shù)，Pr(xc)為先驗(yàn)概率，重建后信號(hào)為：

(6)

其中求和是一個(gè)高斯過程，因此給定估計(jì)信號(hào)時(shí)，觀測到的信號(hào)可能性如公式(7)所示：

(7)

在單通道盲去卷積中信號(hào)源和混合矩陣都是未知的，假設(shè)源信號(hào)和混合矩陣是相互獨(dú)立的，Pr(xc)可以表示為：

(8)

則源信號(hào)和混合矩陣的估計(jì)為：

(9)

在古漢字修復(fù)問題中，僅研究古漢字與遮擋兩路混合圖像信號(hào)，所以kmax=2.

3.2 DCSS算法優(yōu)化估計(jì)

在單通道盲去卷積中，由于源信號(hào)sk和混合矩陣ak未知，導(dǎo)致上節(jié)中公式(9)存在約束性，DCSS算法將該問題轉(zhuǎn)化為無約束的優(yōu)化問題，首先使用DCGAN訓(xùn)練預(yù)處理古漢字與遮擋圖像集，DCGAN由生成器G和判別器D組成，生成器G主要實(shí)現(xiàn)高斯分布噪聲與源信號(hào)實(shí)際分布之間的映射，生成器G生成的樣本欺騙判別器D，判別器D通過訓(xùn)練將生成的假樣本與訓(xùn)練數(shù)據(jù)集中的真實(shí)樣本區(qū)分開來.圖1為深度卷積生成對抗網(wǎng)絡(luò)(DCGAN)的工作原理圖.

圖1 深度卷積生成對抗網(wǎng)絡(luò)工作原理圖Fig.1 Working principle of deep convolution generating adversarial network

深度卷積生成對抗網(wǎng)絡(luò)(DCGAN)的損失函數(shù)為：

Εx～ρdata(s)[logD(x)]+Εz～ρz(z)[log(1-D(G(z)))]

(10)

其中ρdata為實(shí)際數(shù)據(jù)的概率密度，DCGAN的訓(xùn)練算法如表1所示.

表1 DCGAN訓(xùn)練算法Table 1 DCGAN training algorithm

DCGAN訓(xùn)練結(jié)束后，為解決上節(jié)公式(9)中的局限問題，訓(xùn)練預(yù)處理生成的數(shù)據(jù)zk代替源信號(hào)sk，進(jìn)而將sk的優(yōu)化問題轉(zhuǎn)為對zk的優(yōu)化問題.將Pr(sk)近似為：

(11)

對公式(9)取對數(shù)，優(yōu)化問題如公式(12)所示：

(12)

3.3 分解單通道混合信號(hào)

在深度卷積生成對抗網(wǎng)絡(luò)(DCGAN)中，生成器G為非線性映射，分解單通道卷積混合信號(hào)為非凸問題，為了解決該問題，使用基于梯度的優(yōu)化方法多次迭代達(dá)到局部誤差最小，定義τ為生成源信號(hào)zk和混合矩陣ak的集合，則可以通過公式(13)計(jì)算τ的梯度：

(13)

最終結(jié)果通過多次重建選擇初始化之后誤差最小的一個(gè)以達(dá)到最好的分離效果.

4 實(shí)驗(yàn)分析

實(shí)驗(yàn)設(shè)置：為驗(yàn)證DCSS算法的有效性，實(shí)驗(yàn)從華文字庫古漢字圖像集中隨機(jī)抽取5組古漢字圖像集，其中每組訓(xùn)練集有4096張圖片，古漢字與遮擋圖片分別2048張，測試集512張圖片，古漢字與遮擋分別256張，完成單通道盲去卷積.圖2為數(shù)據(jù)集樣本.

圖2 古漢字與遮擋數(shù)據(jù)集樣本Fig.2 Samples of ancient Chinese characters and occlusion datasets

4.1 DCGAN訓(xùn)練預(yù)處理源信號(hào)

DCGAN采用深度卷積網(wǎng)絡(luò)對生成器G建模.生成器G網(wǎng)絡(luò)具有4個(gè)轉(zhuǎn)置卷積層，特征圖數(shù)量分別為512，256，128和1，在每個(gè)轉(zhuǎn)置卷積層之后應(yīng)用批處理歸一化，使用ReLU作為激活函數(shù)防止梯度消失，移除全連接層，以使該網(wǎng)絡(luò)為完全卷積網(wǎng)絡(luò).圖3為DCGAN網(wǎng)絡(luò)結(jié)構(gòu)圖.

圖3 DCGAN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 DCGAN network structure diagram

DCGAN輸入是一個(gè)維度為100的隨機(jī)噪聲向量，服從高斯分布，區(qū)間為[0，1].生成器G的輸出是與訓(xùn)練數(shù)據(jù)中的圖像具有相同尺寸大小的圖像，判別器D將假的或真實(shí)的圖像作為輸入并判定其真?zhèn)?DCGAN通過5000次迭代對源信號(hào)sk訓(xùn)練預(yù)處理生成結(jié)果zk.DCGAN訓(xùn)練預(yù)處理源信號(hào)結(jié)果如圖4所示.DCGAN判別器D訓(xùn)練_loss如圖5所示.

圖4 DCGAN訓(xùn)練預(yù)處理源信號(hào)結(jié)果圖Fig.4 DCGAN training preprocessing source signal result

圖5 DCGAN判別器D訓(xùn)練_lossFig.5 DCGAN Net D training _loss

4.2 單通道盲去卷積

單通道盲去卷積中混合矩陣ak和每個(gè)源信號(hào)sk都需要估計(jì).依據(jù)古漢字圖像特點(diǎn)，研究兩路混合信號(hào)s1，s2，的盲去卷積問題.圖6顯示了DCSS算法的單通道盲去卷積結(jié)果，第

圖6 單通道盲去卷積Fig.6 Single-channel blind deconvolution

1列為信號(hào)源s1分離信號(hào)的分離信號(hào)s11，第2列為去卷積得混合矩陣a22，第3列為信號(hào)源s2分離信號(hào)s22，第4列為去卷積得混合矩陣a22.

本文實(shí)驗(yàn)使用峰值信噪比(PSNR)評(píng)估單通道盲去卷積質(zhì)量，較高的峰值信噪比表明質(zhì)量較好.PSNR定義：

(14)

其中MAXI表示無噪聲圖像的最大值，MSE表示兩個(gè)圖像A和B之間的均方誤差，其中圖像A、B的大小為m×n：

(15)

5組古漢字與遮擋混合圖像作為觀測信號(hào)，進(jìn)行單通道盲去卷積實(shí)驗(yàn)并計(jì)算PSNR，結(jié)果如圖7所示.

圖7 PSNRFig.7 PSNR

本文實(shí)驗(yàn)使用同樣的古漢字與遮擋圖像數(shù)據(jù)集，分別對比非負(fù)矩陣分解法(NMF)，卷積非負(fù)矩陣分解法(convolu-tive NMF)和S-D方法[12](synthesizing-decomposition)并計(jì)算比較PSNR，結(jié)果如表2所示.

表2 多種算法的PSNR比較Table 2 Different methods of single channel blind deconvolution PSNR

5 結(jié) 論

本文提出基于深度卷積生成對抗網(wǎng)絡(luò)的單通道盲去卷積方法(DCSS).使用DCGAN網(wǎng)絡(luò)建立源的生成模型，用生成的信號(hào)源代替真實(shí)的信號(hào)源，將貝葉斯最大后驗(yàn)概率估計(jì)(MAP)中的約束問題轉(zhuǎn)為優(yōu)化問題；在單通道盲去卷積時(shí)，優(yōu)化混合濾波器和信號(hào)源，最大程度減少混合物的重建誤差在實(shí)驗(yàn)中共采用5組古漢字與遮擋圖片數(shù)據(jù)集，每組分別4096張圖片作為訓(xùn)練集，512張圖片作為測試集，最終實(shí)驗(yàn)結(jié)果在古漢字圖像修復(fù)峰值信噪比(PSNR)為29.2dB，在單通道盲去卷積方面具有最佳性能.