王 杰，王讓定，嚴(yán)迪群，林昱臻

（寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江寧波315211）

0 引言

隨著計(jì)算機(jī)和信息技術(shù)快速發(fā)展，信息隱藏技術(shù)受到越來越多的關(guān)注與研究。隱寫術(shù)是信息隱藏的重要分支，它以公開的數(shù)字媒體作為載體，將秘密信息嵌入其中，以達(dá)到隱藏秘密消息的目的。隱寫分析是與隱寫術(shù)相對(duì)抗的技術(shù)，它的目的是對(duì)可疑的載體進(jìn)行分析檢測，判斷是否存在秘密信息，進(jìn)一步破壞甚至提取秘密信息，防止隱寫術(shù)的濫用，從而保護(hù)數(shù)字內(nèi)容或者網(wǎng)絡(luò)通信的安全。

回聲隱藏是一種音頻時(shí)域隱寫算法，Bender 等［1］在1996年首次提出傳統(tǒng)回聲隱藏算法，該算法通過在音頻中引入回聲來嵌入秘密信息，相較于其他隱寫算法，回聲隱藏算法具有不增加新的噪聲、難以察覺、隱藏效果較好的優(yōu)點(diǎn)，同時(shí)也具有一定的魯棒性。之后，Oh 等［2］、Kim 等［3］對(duì)其進(jìn)行了改進(jìn)，目前回聲隱藏算法已經(jīng)廣泛應(yīng)用于秘密通信和版權(quán)保護(hù)等方面。在回聲隱藏算法不斷發(fā)展的同時(shí)，針對(duì)回聲隱藏算法的隱寫分析的研究也得到了研究者的廣泛關(guān)注。Zeng等［4］提出一種基于功率倒譜和貝葉斯分類器的隱寫分析方法，通過提取音頻功率倒譜峰值作為特征，使用貝葉斯分類器進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，該方法針對(duì)傳統(tǒng)回聲隱藏算法的檢測率可以達(dá)到80%以上。楊榆等［5］提出一種基于倒譜和差分方差統(tǒng)計(jì)量（Variants of Difference of Sum of Cepstrum，VDSC）隱寫分析方法，通過構(gòu)造VDSC 來反映隱寫對(duì)自然音頻的影響，并通過不斷變換分段的大小和偏置條件來設(shè)定閾值，從而判定是否進(jìn)行過回聲隱藏隱寫。實(shí)驗(yàn)結(jié)果表明，該方法針對(duì)傳統(tǒng)回聲隱藏算法檢測率為88%。Xie 等［6］提出一種基于峰位聚集指數(shù)（Peak Location Aggregation Index，PLAI）的隱寫分析方法，使用滑動(dòng)窗記錄倒譜系數(shù)峰值出現(xiàn)的位置，如果有很大概率出現(xiàn)在相同位置，則判斷為有隱寫過；但該算法會(huì)受到回聲嵌入位置的影響。實(shí)驗(yàn)結(jié)果表明，針對(duì)不同回聲隱藏算法，該方法的檢測率都在85%左右。王昱潔等［7］提出一種基于功率倒譜統(tǒng)計(jì)特征的隱寫分析方法，以平均功率倒譜的差分方差和平坦度作為統(tǒng)計(jì)特征，并使用支持向量機(jī)進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，針對(duì)三種不同回聲隱藏算法，該方法的準(zhǔn)確率有較大的提升。但是在回聲隱藏算法的回聲幅度較低時(shí)，以上這些基于手工提取特征的方法的檢測準(zhǔn)確率并不理想。

近年來，隨著深度學(xué)習(xí)的不斷發(fā)展，為音頻信息隱藏領(lǐng)域的研究帶來了新的契機(jī)。在音頻取證領(lǐng)域，Chen 等［8］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）音頻操作檢測方法，設(shè)計(jì)了一個(gè)CNN 框架，并使用音頻改進(jìn)離散余弦變換（Modified Discrete Cosine Transform，MDCT）系數(shù)作為網(wǎng)絡(luò)的輸入數(shù)據(jù)。在音頻隱寫領(lǐng)域，Chen 等［9］提出一種基于CNN 的wav 音頻隱寫分析方法，在他們的CNN 網(wǎng)絡(luò)框架中加入了一個(gè)固定卷積層用于計(jì)算輸入數(shù)據(jù)殘差，并且使用了Lin等［10］提出的1×1的卷積層方法。Wang等［11］提出一種基于CNN 的mp3 音頻隱寫的檢測方法，使用了mp3 音頻的量化改進(jìn)離散余弦變換（Quantified Modified Discrete Cosine Transform，QMDCT）系數(shù)作為網(wǎng)絡(luò)的輸入數(shù)據(jù)，并使用高通濾波器對(duì)數(shù)據(jù)進(jìn)行處理。除此之外，還有文獻(xiàn)［12］提出了基于CNN 的高級(jí)音頻編碼（Advanced Audio Coding，AAC）檢測方法，文獻(xiàn)［13］提出了基于自編碼器（Autoencoder）的AMR（Adaptive Multi-Rate）雙壓縮檢測方法。以上這些基于深度學(xué)習(xí)的檢測方法得到的結(jié)果與傳統(tǒng)方法相比有了很大的提升。

基于以上的背景，本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)的回聲隱藏隱寫分析方法。首先，使用短時(shí)傅里葉變換（Short-Time Fourier Transform，STFT）得到音頻的幅度譜系數(shù)矩陣作為分類的淺層特征；然后，在此基礎(chǔ)上構(gòu)建了一個(gè)包含四個(gè)卷積模塊以及三層全連接層的CNN 模型用于提取深度特征以及分類；最后，在三種經(jīng)典的回聲隱藏算法上對(duì)提出的方法進(jìn)行了隱寫分析實(shí)驗(yàn)評(píng)估。實(shí)驗(yàn)結(jié)果表明，本文方法在三種回聲隱藏算法的檢測性能上與傳統(tǒng)的基于手工特征的方法和基于深度學(xué)習(xí)的方法相比都有較明顯的提升。

1 經(jīng)典回聲隱藏算法

1.1 傳統(tǒng)回聲隱藏算法

Bender等［1］最早提出了傳統(tǒng)回聲隱藏算法（記作K1）。該算法嵌入密信的方法是：將音頻載體s(n)分段，每段長度從幾毫秒到幾十毫秒，每段用于嵌入1 bit的密信；然后構(gòu)造2個(gè)分別代表密信“0”和“1”的不同回聲核?；芈暫耸腔芈曤[藏算法最重要的部分，傳統(tǒng)回聲核如圖1所示?；芈暫说幕芈暦圈烈话阒等?.6～0.9，用2 個(gè)不同的延遲時(shí)長d0、d1來代表不同密信比特，一般延遲時(shí)長為0.5～2 ms。當(dāng)密信比特為0 時(shí)，該段加上代表“0”的回聲核；密信比特為1 時(shí)，該段加上代表“1”的回聲核。回聲核的回聲幅度需要精心挑選：當(dāng)回聲幅度過小時(shí)，會(huì)出現(xiàn)提取失敗的問題；但當(dāng)回聲幅度過大時(shí)，又會(huì)使隱藏的效果大大降低。

傳統(tǒng)回聲核可表示為：

圖1 傳統(tǒng)回聲核示意圖Fig.1 Schematic diagram of echo hiding with traditional kernel

式中：h(n)表示回聲核，δ(n)表示單位脈沖信號(hào)，α 為回聲幅度，d為回聲延遲。

1.2 雙極性回聲隱藏算法

目前對(duì)傳統(tǒng)回聲隱藏算法的研究集中在對(duì)回聲核的改造，研究的關(guān)鍵是如何使回聲核的回聲幅度α 可以盡量選取較小的值，以此達(dá)到更好的隱藏效果，同時(shí)還要保證準(zhǔn)確提取秘密信息。

Oh等［2］在傳統(tǒng)回聲隱藏算法的基礎(chǔ)上提出了雙極性回聲隱藏算法（記作K2），使用初始狀態(tài)不同的正負(fù)兩種極性的回聲核，雙極性回聲核如圖2 所示。實(shí)驗(yàn)結(jié)果表明K2 增強(qiáng)了隱藏效果，在低頻區(qū)域比原始回聲核表現(xiàn)得更加平滑。

圖2 雙極性回聲核示意圖Fig.2 Schematic diagram of echo hiding with positive and negative kernels

雙極性回聲核可表示為：

式中：α1、d1和α2、d2分別表示兩個(gè)初始狀態(tài)相反的正負(fù)極性回聲的回聲幅度和延遲時(shí)長。

1.3 雙向回聲隱藏算法

Kim 等［3］在傳統(tǒng)回聲隱藏算法的基礎(chǔ)上提出了雙向回聲隱藏算法（記作K3），雙向回聲核如圖3所示。

圖3 雙向回聲核示意圖Fig.3 Schematic diagram of echo hiding with backward and forward kernels

人耳除了存在時(shí)域后掩蔽效應(yīng)之外，還存在前掩蔽效應(yīng)。K3就是同時(shí)使用這兩種掩蔽效應(yīng)，在分段后的載體音頻前后分別加入延遲時(shí)長相同的回聲，使得密信提取的正確率提高，增強(qiáng)了魯棒性。雙向回聲核可表示為：

式中：αδ(n-d)表示后向回聲，αδ(n+d)表示前向回聲。

2 基于CNN的回聲隱藏隱寫分析方法

2.1 淺層特征幅度譜系數(shù)提取

在已有的基于手工提取特征的隱寫分析方法中，例如文獻(xiàn)［4-7］都提取了音頻的倒譜系數(shù)作為特征進(jìn)行分類，而音頻提取倒譜系數(shù)時(shí)首先需要提取音頻的幅度譜系數(shù)，再進(jìn)行相應(yīng)的操作得到倒譜系數(shù)，因此可以認(rèn)為原始音頻與使用回聲隱藏算法隱寫后的音頻之間在幅度譜系數(shù)上已經(jīng)存在差異。基于此，比較并分析了它們兩者在頻域上的差異。使用STFT將音頻從時(shí)域轉(zhuǎn)換到頻域，并求幅值，得到幅度譜系數(shù)矩陣，計(jì)算過程如下：

首先對(duì)一個(gè)音頻樣本x(n)（實(shí)驗(yàn)中每個(gè)音頻樣本時(shí)長1 s，采樣頻率為16 kHz，每個(gè)樣本共16 000幀），選擇以長度為1 024 的幀長進(jìn)行分幀以保持局部的平穩(wěn)。為了提高時(shí)域特性，選擇幀移為512 的漢寧窗進(jìn)行加窗，得到分幀后的語音信號(hào)xi(n)，i表示第i幀。然后對(duì)每幀語音信號(hào)xi(n)進(jìn)行傅里葉變換的點(diǎn)數(shù)N為512的STFT，得到各幀的頻譜系數(shù)Xi(k)，即：

再分別對(duì)第i幀第j個(gè)頻率點(diǎn)求其幅值：

最后得到513×33的幅度譜系數(shù)矩陣。

隨機(jī)選取一個(gè)樣本，并對(duì)其進(jìn)行3 種回聲隱藏算法的隱寫。對(duì)每個(gè)樣本求取頻域系數(shù)矩陣，然后求取各頻率點(diǎn)幅值，最后對(duì)得到的幅度譜系數(shù)矩陣的每個(gè)頻率點(diǎn)的所有幀求取平均值，發(fā)現(xiàn)原始音頻與每種回聲核隱寫后的音頻之間存在著細(xì)微的差異，如圖4 所示。圖中橫坐標(biāo)為幅度譜系數(shù)矩陣的513 個(gè)頻率點(diǎn)，縱坐標(biāo)為在每個(gè)頻率點(diǎn)上的原始音頻與隱寫后音頻的平均幅度差值?？梢钥吹?，雖原始音頻與隱寫后音頻的差異在各個(gè)頻率點(diǎn)上都有分布，但差異并不明顯。

2.2 基于CNN的深度特征提取與分類

傳統(tǒng)隱寫分析方法在構(gòu)造分類器時(shí)需要良好的特征提取，與之不同的是深度學(xué)習(xí)的方法可以從淺層特性中獲取高層抽象的特征，從而替代手工提取。文獻(xiàn)［9］中選擇直接將音頻的原始采樣點(diǎn)作為網(wǎng)絡(luò)的輸入，文獻(xiàn)［8］和文獻(xiàn)［11］中根據(jù)音頻操作和MP3 的特性選擇將MDCT 系數(shù)和QMDCT 系數(shù)作為淺層特征輸入到網(wǎng)絡(luò)。而在2.1 節(jié)的分析中發(fā)現(xiàn)，原始音頻與進(jìn)行回聲隱藏隱寫后的音頻在幅度譜系數(shù)的每個(gè)頻域點(diǎn)的平均值上有所差異，但是差異表現(xiàn)并不突出。因此，本文根據(jù)這一回聲隱藏算法的特性，選擇以幅度譜系數(shù)矩陣作為淺層特征輸入到卷積神經(jīng)網(wǎng)絡(luò)，并進(jìn)行深度特征的提取和分類。

圖4 原始音頻與三種回聲核的頻率點(diǎn)均值差值Fig.4 Average difference of audio frequency points between original audio and three kernels

經(jīng)過實(shí)驗(yàn)與對(duì)網(wǎng)絡(luò)框架的微調(diào)，最后設(shè)計(jì)并確定了針對(duì)回聲隱藏算法的隱寫分析CNN框架如圖5所示。選擇將整個(gè)幅度譜系數(shù)矩陣（513×33）作為輸入數(shù)據(jù)，網(wǎng)絡(luò)框架中首先包含了4 個(gè)卷積模塊，每個(gè)模塊的結(jié)構(gòu)為：卷積層—Relu 激活函數(shù)—卷積層—批標(biāo)準(zhǔn)化層—Relu激活函數(shù)—平均池化層。然后將經(jīng)過卷積模塊得到的深度特征數(shù)據(jù)輸入到三層全連接層中，最后以Softmax輸出概率。

圖5 本文提出的CNN框架Fig.5 Proposed CNN framework

2.2.1 卷積層

卷積層是使用卷積核對(duì)輸入的數(shù)據(jù)矩陣進(jìn)行卷積操作，卷積層具有局部感知和權(quán)值共享的特點(diǎn)：局部感知減少了網(wǎng)絡(luò)參數(shù)的個(gè)數(shù)，權(quán)值共享是指卷積核在卷積過程中權(quán)重不會(huì)改變。卷積操作的數(shù)學(xué)表達(dá)式為：

2.2.2 池化層

池化層作為一種下采樣的方法通常用于減少特征維數(shù)，以保留輸入數(shù)據(jù)的主要屬性并減少訓(xùn)練參數(shù)。它分為兩種：最大池化和平均池化，其中最大池化適用于保留紋理信息，而平均池化適用于保留平滑信息。在大部分的卷積神經(jīng)網(wǎng)絡(luò)框架中使用了最大池化層，但在實(shí)驗(yàn)結(jié)果中發(fā)現(xiàn)針對(duì)回聲隱藏算法的檢測，使用平均池化的效果更好。因此本文將平均池化層的內(nèi)核大小設(shè)置為3×3，步長為2。

2.2.3 批標(biāo)準(zhǔn)化層

當(dāng)網(wǎng)絡(luò)框架的層數(shù)過深時(shí)會(huì)導(dǎo)致網(wǎng)絡(luò)收斂速度變慢，并且在反向傳播時(shí)會(huì)出現(xiàn)梯度消失的現(xiàn)象。批標(biāo)準(zhǔn)化［14］的引入一定程度上解決了這兩個(gè)問題，對(duì)數(shù)據(jù)進(jìn)行批標(biāo)準(zhǔn)化后輸出的結(jié)果的均值為0、方差為1。除此以外，在網(wǎng)絡(luò)框架中加入批標(biāo)準(zhǔn)化后，允許我們?cè)O(shè)定較高的學(xué)習(xí)率，減少正則化以及Dropout 的使用。因此，在網(wǎng)絡(luò)框架的每個(gè)卷積模塊以及全連接層中都加入了一層批標(biāo)準(zhǔn)化層，以防止過擬合。

2.2.4 激活函數(shù)

激活函數(shù)的引入使得網(wǎng)絡(luò)中增加了非線性因素，因此網(wǎng)絡(luò)可以逼近非線性函數(shù)。本文的網(wǎng)絡(luò)框架使用了ReLU［15］激活函數(shù)，數(shù)學(xué)表達(dá)為：

ReLU 是一個(gè)線性的、非飽和形式的激活函數(shù)，能夠節(jié)省計(jì)算時(shí)間，加快網(wǎng)絡(luò)的收斂，在一定程度上可以緩解梯度消失的情況。它會(huì)使得輸出小于0的神經(jīng)元最后的輸出結(jié)果為0，這樣的設(shè)定使網(wǎng)絡(luò)擁有了稀疏性，同時(shí)減少參數(shù)的相互依存關(guān)系，緩解了過擬合問題。

2.2.5 全連接層

在本文的網(wǎng)絡(luò)框架中，4 個(gè)卷積模塊用于提取特征，而3層全連接層則是實(shí)現(xiàn)分類，將所有局部特征重新進(jìn)行組裝。3層全連接層中第一層有1 024 個(gè)神經(jīng)元，第二層有512 個(gè)神經(jīng)元，第三層有2 個(gè)神經(jīng)元對(duì)應(yīng)于樣本分類數(shù)，最后以Softmax輸出分類結(jié)果，Softmax的數(shù)學(xué)表達(dá)式為：

其中：z 為原始向量，σ(z)為壓縮后的向量。它將原始向量壓縮到另外一個(gè)向量中，并使其中每個(gè)元素的范圍都在（0，1）內(nèi)。

2.3 隱寫分析方法流程

在訓(xùn)練階段，提取訓(xùn)練樣本的幅度譜系數(shù)矩陣作為CNN模型的輸入數(shù)據(jù)，并訓(xùn)練CNN 模型；在測試階段，提取測試樣本的幅度譜系數(shù)矩陣輸入到訓(xùn)練完成的CNN 模型進(jìn)分類；將CNN 模型的分類結(jié)果與已知的正確標(biāo)簽進(jìn)行對(duì)比，最后得到準(zhǔn)確率。隱寫分析方法流程如圖6所示。

圖6 基于CNN的回聲隱藏隱寫分析方法流程Fig.6 Flowchart of echo hiding steganalysis method based on CNN

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

在TIMIT 語音庫［16］上進(jìn)行了實(shí)驗(yàn)。首先從TIMIT 語音庫獲取語音段（采樣頻率為16 kHz，脈沖編碼調(diào)制（Pulse Code Modulation，PCM）編碼精度為16 位），并將每段語音分割為1 s 長的一段，這樣一共得到15 000 個(gè)樣本。對(duì)于傳統(tǒng)回聲隱藏（K1）、雙極性回聲隱藏（K2）和雙向回聲隱藏（K3），為了進(jìn)行對(duì)比實(shí)驗(yàn)，參考文獻(xiàn)［7］對(duì)嵌入密信時(shí)的分段長度、回聲核的延遲時(shí)長和回聲幅度進(jìn)行設(shè)置，并用隨機(jī)生成的密信嵌入到15 000 個(gè)音頻樣本，3 種回聲隱藏的回聲核參數(shù)設(shè)置如表1所示。

按不同回聲核及不同回聲幅度一共得到了9 個(gè)隱寫音頻數(shù)據(jù)集，并在每個(gè)隱寫數(shù)據(jù)集中加入未隱寫的15 000 個(gè)音頻樣本，最后得到的每個(gè)數(shù)據(jù)集中就有30 000個(gè)音頻樣本。

本文網(wǎng)絡(luò)使用Adam 優(yōu)化器，學(xué)習(xí)率初始化為0.000 1，以二元交叉熵作為損失函數(shù)，批處理大小設(shè)置為128。在網(wǎng)絡(luò)的訓(xùn)練過程中，以分類準(zhǔn)確率作為評(píng)價(jià)指標(biāo)，如果網(wǎng)絡(luò)迭代2次準(zhǔn)確率也沒有提升時(shí)，學(xué)習(xí)率減少一半。使用早停策略監(jiān)測訓(xùn)練損失率，如果網(wǎng)絡(luò)迭代5 次損失率也沒有優(yōu)化時(shí)，停止網(wǎng)絡(luò)，保存訓(xùn)練過程中最優(yōu)模型。

表1 回聲核參數(shù)設(shè)置Tab.1 Parameter setting of echo kernels

3.2 實(shí)驗(yàn)結(jié)果與對(duì)比

分別使用每個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，其中24 000 個(gè)音頻樣本作為訓(xùn)練樣本，6 000 個(gè)音頻樣本用作驗(yàn)證與測試樣本，最后得到在測試樣本上的準(zhǔn)確率，同時(shí)也選擇了文獻(xiàn)［7］和文獻(xiàn)［9］的方法與本文方法進(jìn)行對(duì)比，結(jié)果準(zhǔn)確率如表2所示。

其中文獻(xiàn)［7］中使用的是基于手工提取特征的隱寫分析方法，文獻(xiàn)［9］方法是目前最先進(jìn)的wav 音頻隱寫分析檢測框架。從結(jié)果中可以看到，針對(duì)以上3 種回聲隱藏算法，除了在回聲幅度為0.3 的K3 回聲核的條件下本文方法的結(jié)果略差于文獻(xiàn)［7］方法，其余結(jié)果普遍優(yōu)于其他兩種方法，并且本文方法的準(zhǔn)確率即使在回聲幅度較低的情況下也能達(dá)到90%以上。其中回聲幅度為0.1 的K3 回聲核檢測效果最差，低于95%，該條件下的訓(xùn)練準(zhǔn)確率如圖7 所示。其中：橫坐標(biāo)為Epochs，表示對(duì)所有訓(xùn)練樣本訓(xùn)練的次數(shù)；縱坐標(biāo)為準(zhǔn)確率。從圖7 所示訓(xùn)練過程可以看到，從第6 個(gè)Epoch 開始，在測試集上準(zhǔn)確率并沒有明顯的提升，而訓(xùn)練集中的準(zhǔn)確率仍在上升，這說明網(wǎng)絡(luò)的訓(xùn)練已經(jīng)開始出現(xiàn)了過擬合的情況。我們認(rèn)為，可能的原因是網(wǎng)絡(luò)的輸入數(shù)據(jù)在原始音頻和隱寫后的音頻差異上的變化還不夠明顯，網(wǎng)絡(luò)的訓(xùn)練到達(dá)了瓶頸。

3.3 調(diào)整網(wǎng)絡(luò)框架實(shí)驗(yàn)結(jié)果

為了得到更優(yōu)化網(wǎng)絡(luò)框架以及結(jié)果，在實(shí)驗(yàn)中對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了大量的嘗試與調(diào)整，例如對(duì)網(wǎng)絡(luò)深度、激活函數(shù)等進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果準(zhǔn)確率如表3所示。

表2 三種算法的準(zhǔn)確率對(duì)比Tab.2 Accuracy comparison of three methods

圖7 回聲幅度0.1的K3核訓(xùn)練準(zhǔn)確率Fig.7 Training accuracy of K3 kernel with echo amplitude of 0.1

表3 不同網(wǎng)絡(luò)結(jié)構(gòu)的準(zhǔn)確率對(duì)比Tab.3 Accuracy comparison of different network structures

3.3.1 增加網(wǎng)絡(luò)深度

多層網(wǎng)絡(luò)是深度學(xué)習(xí)的一大特征，但是過度增加網(wǎng)絡(luò)深度時(shí)可能會(huì)出現(xiàn)梯度消失。嘗試增加一個(gè)卷積數(shù)量為1 024的卷積模塊，在回聲幅度0.1 的K3 核的訓(xùn)練準(zhǔn)確率如圖8 所示?？梢钥闯?，在嘗試增加一個(gè)卷積數(shù)量為1 024的卷積模塊后，不僅準(zhǔn)確率有所下降，并且網(wǎng)絡(luò)變得不穩(wěn)定，因此4 層卷積模塊已經(jīng)滿足深度要求。

圖8 增加網(wǎng)絡(luò)深度時(shí)回聲幅度0.1的K3核訓(xùn)練準(zhǔn)確率Fig.8 Training accuracy of K3 kernel with 0.1 echo amplitude when increasing network depth

3.3.2 修改激活函數(shù)

結(jié)構(gòu)中使用的ReLU 激活函數(shù)是目前普遍使用的激活函數(shù)，而在ReLU 出現(xiàn)之前，Tanh 在網(wǎng)絡(luò)結(jié)構(gòu)中使用較多，因此，也對(duì)Tanh 進(jìn)行了考察。從結(jié)果可以看到，Tanh 的結(jié)果與ReLU相比較差。

3.3.3 移除權(quán)重初始化

使用均值為零、標(biāo)準(zhǔn)偏差為0.01 的高斯分布初始化所有權(quán)重，這是一種較為常見的初始化方式，權(quán)重的初始化對(duì)于網(wǎng)絡(luò)的訓(xùn)練很重要，不好的初始化參數(shù)會(huì)導(dǎo)致梯度傳播問題，降低訓(xùn)練速度。當(dāng)去除權(quán)重初始化時(shí)，結(jié)果準(zhǔn)確率變低，所以這個(gè)條件是必須的。

3.3.4 增大卷積核尺寸

當(dāng)把卷積核大小增加到7×7 時(shí)，網(wǎng)絡(luò)的訓(xùn)練時(shí)間增加，不僅如此，從結(jié)果可以看到準(zhǔn)確率降低。這是因?yàn)樵龃缶矸e核的尺寸意味著更大的感受野，但也同時(shí)增加了更多的參數(shù)。

3.4 交叉實(shí)驗(yàn)結(jié)果

考慮到在實(shí)際應(yīng)用中，隱寫分析者往往不知道隱寫者使用的是回聲隱藏算法的情況下，也不知道回聲核的種類以及相應(yīng)的回聲幅度，對(duì)實(shí)驗(yàn)策略進(jìn)行了調(diào)整。固定一種回聲核的一種回聲幅度的數(shù)據(jù)集作為訓(xùn)練集用于訓(xùn)練網(wǎng)絡(luò)，將訓(xùn)練好的網(wǎng)絡(luò)用于檢測其他回聲核或者相同回聲核不同回聲幅度的數(shù)據(jù)集，即進(jìn)行交叉實(shí)驗(yàn)，結(jié)果如表4 所示（其中不涉及交叉實(shí)驗(yàn)的用“—”表示）。

表4 交叉實(shí)驗(yàn)的準(zhǔn)確率對(duì)比Tab.4 Accuracy comparison of cross-over testing

從交叉結(jié)果中可以得到以下結(jié)論：第一，在同種回聲核、不同回聲幅度的情況下，使用回聲幅度較小的數(shù)據(jù)集進(jìn)行訓(xùn)練，網(wǎng)絡(luò)會(huì)提取更深層次的特征，對(duì)回聲幅度較大的數(shù)據(jù)集進(jìn)行測試也有較高的準(zhǔn)確率；第二，在不同回聲核的情況下，使用K3數(shù)據(jù)集進(jìn)行訓(xùn)練，得到的網(wǎng)絡(luò)模型對(duì)其他兩種回聲核的檢測也具有一定泛化能力。所以在實(shí)際應(yīng)用中，可以使用K3回聲核，在回聲幅度盡量小的數(shù)據(jù)集進(jìn)行訓(xùn)練，然后對(duì)音頻進(jìn)行隱寫分析。

4 結(jié)語

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的回聲隱藏隱寫分析方法，提取音頻的幅度譜系數(shù)矩陣作為淺層特征，并在這個(gè)基礎(chǔ)上設(shè)計(jì)了一個(gè)針對(duì)回聲隱藏算法的隱寫分析卷積神經(jīng)網(wǎng)絡(luò)框架，進(jìn)行深度特征提取與分類。本文方法在對(duì)3 種回聲隱藏算法不同回聲幅度的條件下得到的準(zhǔn)確率都在93%以上，這樣的結(jié)果與傳統(tǒng)手工提取特征的隱寫分析方法相比有了很大的提升。最后，我們調(diào)整了實(shí)驗(yàn)的策略，進(jìn)行了交叉實(shí)驗(yàn)，結(jié)果表明以雙向回聲隱藏算法作為訓(xùn)練數(shù)據(jù)得到的網(wǎng)絡(luò)模型泛化能力較強(qiáng)。

不足的地方是雙向回聲隱藏算法在回聲幅度較低時(shí)的檢測準(zhǔn)確率與其他兩種回聲隱藏算法檢測準(zhǔn)確率相比不夠高。我們認(rèn)為比較可行的方法是增加類似文獻(xiàn)［9］和文獻(xiàn)［11］的固定卷積層進(jìn)行殘差的方法。在未來的工作中，我們會(huì)針對(duì)雙向回聲隱藏算法進(jìn)行隱寫分析的研究。