孫子文，李 慧

江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122

采用SVR模型進(jìn)行嵌入率估計(jì)的隱寫分析方法

孫子文，李 慧

江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122

隨著信息技術(shù)的快速發(fā)展，隱寫術(shù)作為信息隱藏的重要分支，得到了快速的發(fā)展和廣泛的應(yīng)用。隱寫分析是隱寫術(shù)的對(duì)抗技術(shù)，并成為了信息隱藏領(lǐng)域的一個(gè)研究熱點(diǎn)。目前有多種隱寫分析算法能夠有效地檢測(cè)出隱寫圖像[1-3]，但研究不止于此，隱寫分析進(jìn)一步檢測(cè)嵌入信息的長(zhǎng)度，最終提取隱寫信息。目前只有少數(shù)文獻(xiàn)[4-9]提出了能估計(jì)嵌入信息才長(zhǎng)度的隱寫分析算法，而且多數(shù)是針對(duì)專用隱寫術(shù)的專用隱寫分析算法[4-7]。

針對(duì)±k隱寫算法，F(xiàn)ridrich等采用建模思想，應(yīng)用高通濾波器和最大似然準(zhǔn)則法估計(jì)秘密信息的長(zhǎng)度[4]。結(jié)果顯示該方法能準(zhǔn)確估計(jì)JPEG隱寫圖的秘密信息長(zhǎng)度。Jena等提出了針對(duì)LSB隱寫的隱寫分析算法[5]，根據(jù)改進(jìn)的差分圖像直方圖的統(tǒng)計(jì)結(jié)果建立方程，進(jìn)一步計(jì)算LSB隱寫圖像的嵌入率，結(jié)果表明該方法比RS分析法和其他一般差分圖像直方圖方法更有效。Yu等研究了基于QIM的隱寫算法，發(fā)現(xiàn)隱寫圖像的直方圖跳躍點(diǎn)隨著嵌入量變化，跳躍點(diǎn)間的間距隨著量化步長(zhǎng)變化，據(jù)此提出能檢測(cè)隱寫算法和估計(jì)隱寫信息長(zhǎng)度的方程[6]。Yang等針對(duì)MLSB隱寫算法提出了新的能估計(jì)嵌入信息長(zhǎng)度的隱寫分析算法，根據(jù)位平面的重要性的優(yōu)先級(jí)依次對(duì)隱寫圖的每層位平面用SPA算法估計(jì)信息嵌入改變率，得到的估計(jì)值比典型的SPA算法更準(zhǔn)確[7]。

Fridrich等采用辨別統(tǒng)計(jì)函數(shù)估計(jì)秘密長(zhǎng)度的思想[8]提出了能估計(jì)嵌入率的通用隱寫分析方法。根據(jù)隱寫圖的極值點(diǎn)：凈圖s(0)和最大嵌入量的隱寫圖s(mmax)等求得辨別統(tǒng)計(jì)函數(shù)s(m)的相關(guān)參數(shù)，用s(m)的值估計(jì)嵌入信息的長(zhǎng)度。Fridrich等結(jié)合文獻(xiàn)[2]中的特征，利用線性最小二乘回歸（Ordinary Least Square Regression，OLSR）和支持向量回歸（Support Vector Regression，SVR）分別學(xué)習(xí)圖像特征和相關(guān)嵌入改變率之間的映射關(guān)系并建立模型[9]，并得到隱寫長(zhǎng)度。

為提高建模效率和估計(jì)值準(zhǔn)確性，本文提出了采用新的特征提取方法和應(yīng)用多重交叉驗(yàn)證法，改進(jìn)文獻(xiàn)[9]算法，得到新的可估計(jì)嵌入信息長(zhǎng)度的通用隱寫分析算法。從隱寫圖中提取全面反映分塊離散余弦變換（Block Discrete Cosine Transform，BDCT）系數(shù)矩陣的塊內(nèi)、塊間系數(shù)相關(guān)性的特征作為輸入自變量，相關(guān)隱寫圖的嵌入改變率作為輸出變量；結(jié)合SVR訓(xùn)練隱寫圖的特征和嵌入改變率，并利用多重交叉驗(yàn)證法尋找SVR的最優(yōu)參數(shù)，建立隱寫圖特征和嵌入改變率的最佳映射模型。仿真結(jié)果顯示：改進(jìn)的隱寫分析方法能準(zhǔn)確估計(jì)不同容量的F5、outguess和MB隱寫的信息嵌入改變率；特征的提取速度快、維數(shù)少，節(jié)省了建模時(shí)間。

1 本文隱寫分析算法

隱寫圖的有效特征隨嵌入改變率的變化而變化，從而可根據(jù)圖像特征估算隱寫圖的信息嵌入改變率。本文通過SVR建立圖像統(tǒng)計(jì)特征和嵌入改變率之間的映射模型實(shí)現(xiàn)隱寫分析。

1.1 SVR模型用于隱寫分析原理

SVR的目標(biāo)是尋找一個(gè)能準(zhǔn)確預(yù)測(cè)目標(biāo)變量分布的平面[10]。設(shè)有一組訓(xùn)練數(shù)據(jù)：S={(x1，y1)，(x2，y2)，…，(xm，ym)，xi∈Rn，yi∈R}，其中xi表示輸入特征，yi表示特征所對(duì)應(yīng)的目標(biāo)回歸值，m為樣本數(shù)目。將訓(xùn)練數(shù)據(jù)輸入SVR，得到線性映射函數(shù)：

對(duì)每個(gè)xi而言，如果φ(xi)和 yi的值相近則認(rèn)為函數(shù)φ(x)能從x預(yù)測(cè)y值，此w即為SVR所要尋找的預(yù)測(cè)平面。

本文隱寫分析方法的主要思想是：利用SVR找到一個(gè)滿足隱寫圖樣本特征和嵌入改變率之間映射關(guān)系的函數(shù)。其中 xi=f(ci)表示第i個(gè)隱寫圖樣本ci的特征，yi為ci的嵌入改變率，yi∈[0，1]，SVR尋找滿足式（2）的映射函數(shù)：

其中，e是損失函數(shù)，描述預(yù)測(cè)值和真實(shí)值誤差的一個(gè)度量，F(xiàn)是關(guān)于φ的函數(shù)組。

ε-SVR是一種最常用的支持向量回歸，它將問題（2）轉(zhuǎn)化為下列問題：

其中ε≥0，用來表示允許SVR預(yù)測(cè)值與實(shí)際值最大的差距值。

SVR將圖像特征從Rd空間模型映射到更高維向量空間Γ，將特征與嵌入改變率之間的非線性關(guān)系映射成線性關(guān)系，但樣本內(nèi)積計(jì)算繁瑣，核函數(shù)能巧妙避免維數(shù)災(zāi)難，有效地解決這個(gè)問題。

假設(shè)驗(yàn)證所得的最優(yōu)化函數(shù)組為：F={φ(x)=w·φ(x)-b|w∈Γ，b∈R}，那么核函數(shù)k(x，x′)，φ(x)和空間Γ滿足：對(duì)于?x，x′∈Rd，k(x，x′)=φ(x)，φ(x′)Γ成立，其中＜·，·＞Γ是指在Γ空間的點(diǎn)積運(yùn)算。高斯核函數(shù)（4）是常用的核函數(shù)之一：

為簡(jiǎn)單求得式（4）的優(yōu)化函數(shù)，誤差函數(shù)必須是凸函數(shù)，ε-insensitive損失函數(shù)（5）和Huber損失函數(shù)（6）是常用的誤差函數(shù)：

經(jīng)測(cè)試，ε-insensitive損失函數(shù)和Huber損失函數(shù)的結(jié)果接近，選擇其中之一即可。特征的有效性和參數(shù)的選取決定SVR回歸預(yù)測(cè)的效果。

1.2 特征提取

典型的JPEG隱寫算法會(huì)造成對(duì)DCT系數(shù)之間相關(guān)性的破壞，因此提取DCT系數(shù)相關(guān)性的特征能有效反映隱寫帶來的變化。DCT系數(shù)的塊內(nèi)和塊間三向差分?jǐn)?shù)組分別描述塊內(nèi)塊間的系數(shù)相關(guān)性作為特征和建模的輸入變量[1]。特征提取方法步驟如下：

（1）將JPEG圖像從RGB模型轉(zhuǎn)換到Y(jié)cBCr模型，讀取Y分量并進(jìn)行8×8分塊DCT變換，對(duì)各系數(shù)取絕對(duì)值。

（2）每個(gè)8×8DCT系數(shù)分塊取前21個(gè)低頻AC系數(shù)的絕對(duì)值分別沿橫向、縱向和zigzag方向掃描生成3個(gè)一維數(shù)組，由一維數(shù)組生成差分?jǐn)?shù)組，得到3個(gè)二維差分?jǐn)?shù)組。

（3）分別采用水平光柵、垂直光柵和zigzag掃描的方式掃描各BDCT塊系數(shù)絕對(duì)值，生成水平塊間、垂直塊間和zigzag方向塊間的二維差分?jǐn)?shù)組。

（4）對(duì)各方向的塊內(nèi)和塊間的二維差分?jǐn)?shù)組進(jìn)行閾值處理，并求狀態(tài)轉(zhuǎn)移矩陣，取狀態(tài)轉(zhuǎn)移矩陣的下三角作為特征。

1.3 參數(shù)選取

ε-SVR準(zhǔn)確地預(yù)測(cè)目標(biāo)值，要求調(diào)節(jié)好兩個(gè)參數(shù)：懲罰因子C和高斯核函數(shù)的核寬度g。關(guān)于參數(shù)的優(yōu)化選取，目前還沒公認(rèn)的最好方法，常用的方法是讓C和g分別用網(wǎng)格法在一定范圍內(nèi)按步長(zhǎng)取值，用多重交叉驗(yàn)證法驗(yàn)證訓(xùn)練集的預(yù)測(cè)值，選取均方誤差（MSE）最小時(shí)的參數(shù)作為最優(yōu)參數(shù)。

網(wǎng)格法的表達(dá)式如式（7）所示：

其中cbase，gbase分別表示網(wǎng)格選值的基數(shù)，[cmin，cmax]，[gmin，gmax]分別用于限定C和g的取值范圍。

多重交叉驗(yàn)證法能有效避免SVR欠學(xué)習(xí)和過學(xué)習(xí)的發(fā)生。它將原始訓(xùn)練數(shù)據(jù)平均分成K組，每一組都分別做一次驗(yàn)證集，其余K-1組則作為訓(xùn)練集。

1.4 性能指標(biāo)

為從數(shù)據(jù)上獲知預(yù)測(cè)值的準(zhǔn)確度，三個(gè)誤差函數(shù)：絕對(duì)值誤差（8）、方差（9）和絕對(duì)中值偏差（10）作為衡量預(yù)測(cè)值準(zhǔn)確性的指標(biāo)。

1.5 算法步驟

本文提出的實(shí)現(xiàn)能估計(jì)嵌入率的隱寫分析方法主要包括建立模型和測(cè)試兩部分，步驟如圖1所示。

圖1 隱寫分析器的建模和測(cè)試過程圖

（1）提取特征。根據(jù)1.2節(jié)的特征提取方法提取訓(xùn)練圖像特征和測(cè)試圖像特征。

（2）預(yù)測(cè)模型。將訓(xùn)練特征進(jìn)行歸一化預(yù)處理，并將其作為自變量，相關(guān)訓(xùn)練圖像的嵌入改變率作為因變量，輸入到SVR中用多重交叉驗(yàn)證法尋找最優(yōu)參數(shù)C和g并進(jìn)行回歸建模，得到隱寫分析模型。

（3）檢驗(yàn)?zāi)Ｐ?。將歸一化后的測(cè)試圖像特征輸入模型中，得到預(yù)測(cè)結(jié)果φ(x)，用1.4節(jié)的準(zhǔn)則計(jì)算φ(x)與真實(shí)值Y之間的誤差，判斷估計(jì)值是否準(zhǔn)確。

2 仿真結(jié)果及分析

從Jpeg-testing庫[11]隨機(jī)選取選取200幅凈圖作為載體圖像，利用F5、outguess和MB隱寫工具[12-14]將不同長(zhǎng)度的信息嵌入到凈圖中，得到隱寫圖作為測(cè)試對(duì)象。對(duì)于F5 和MB隱寫算法，本文采用的嵌入改變率為 p1={0.05，0.10，…，0.50}，對(duì)于outguess隱寫算法，p2={0.05，0.10，0.15}，共得到13組隱寫圖像，并對(duì)每組圖像提取塊內(nèi)塊間相關(guān)性特征[1]，一半特征用作訓(xùn)練數(shù)據(jù)，另一半特征用作測(cè)試數(shù)據(jù)。

利用libsvm工具箱[14]實(shí)現(xiàn)基于SVR的隱寫分析。歸一化的訓(xùn)練特征作為輸入變量，高斯核函數(shù)作為核函數(shù)，ε-insensitive為誤差函數(shù)，C和g的基數(shù)和范圍：gbase=10，cbase=2，[cmin，cmax]=[-5，5]，[gmin，gmax]=[-10，10]，步長(zhǎng)為0.1。

2.1 參數(shù)有效性

仿真結(jié)果證明，提出的隱寫分析算法能準(zhǔn)確估計(jì)隱寫圖的嵌入改變率。如F5隱寫圖的嵌入改變率為0.15，訓(xùn)練和測(cè)試樣本數(shù)量均為50時(shí)，交叉驗(yàn)證法選擇最佳參數(shù)時(shí)二維和三維變化曲線分別如圖2和圖3所示，得到最佳參數(shù)C=0.630 96，g=0.535 89，此時(shí)所得的最小交叉驗(yàn)證均方誤差CVmse=0.076 268。

圖2 參數(shù)選擇平面圖

圖3 參數(shù)選擇3D圖

經(jīng)過測(cè)試，在最佳參數(shù)條件下的估計(jì)值比隨機(jī)選取參數(shù)時(shí)所得的估計(jì)值效果好。利用嵌入改變率為0.15的F5隱寫圖訓(xùn)練樣本建立隱寫分析模型，然后分別估計(jì)訓(xùn)練樣本和測(cè)試樣本的嵌入改變率，預(yù)測(cè)結(jié)果如圖4所示。

圖4 F5訓(xùn)練集和測(cè)試集的預(yù)測(cè)回歸曲線

由于最佳參數(shù)(C，g)在訓(xùn)練集的多重交叉驗(yàn)證回歸預(yù)測(cè)中選定，測(cè)試集中的特征未參與建模，參數(shù)(C，g)的“最佳”是相對(duì)于訓(xùn)練集而言的，所以測(cè)試集的預(yù)測(cè)估計(jì)值不如訓(xùn)練集的效果好。如圖4所示，訓(xùn)練集關(guān)于嵌入改變率的回歸預(yù)測(cè)值曲線和實(shí)際嵌入改變率的曲線相對(duì)擬合度高、相關(guān)性強(qiáng)，測(cè)試集的回歸預(yù)測(cè)值曲線和實(shí)際值的曲線擬合度不如訓(xùn)練集的高，但預(yù)測(cè)值都在真實(shí)值的附近。

2.2 檢測(cè)性能

本文13組隱寫圖的訓(xùn)練樣本和測(cè)試樣本均為100，根據(jù)本文方法分別對(duì)13組隱寫圖進(jìn)行建模和測(cè)試，用1.4節(jié)的性能指標(biāo)驗(yàn)證F5、outguess和MB測(cè)試樣本的估計(jì)值，所得誤差值分別如表1、表2和表3所示。

分析表1中數(shù)據(jù)可知，對(duì)于F5隱寫圖，隨著其嵌入改變率的增加，絕對(duì)誤差和方差兩種誤差值未呈現(xiàn)遞增反而減少，預(yù)測(cè)值的準(zhǔn)確率增加。

表1 F5測(cè)試樣本的估計(jì)誤差值

表2 outguess測(cè)試樣本的估計(jì)誤差值

表3 MB測(cè)試樣本的估計(jì)誤差值

由表1至表3的數(shù)據(jù)可知，各組測(cè)試樣本預(yù)測(cè)值的三種誤差值都低于10－3階，文獻(xiàn)[9]得到的絕對(duì)誤差是10－3階，兩種方法得到的估計(jì)準(zhǔn)確率接近。

本文提出的改進(jìn)的量隱寫分析算法仿真速度快。本文采用的馬爾可夫特征提取較快、維數(shù)較少、減少了運(yùn)算量，文獻(xiàn)[9]中結(jié)合文獻(xiàn)[2]的特征采用SVR建模仿真需要一天的運(yùn)行時(shí)間，采用本文的特征只需兩小時(shí)，大幅度縮短了運(yùn)算時(shí)間。

3 結(jié)論

能估計(jì)隱寫圖中嵌入信息長(zhǎng)度的通用隱寫分析是隱寫分析領(lǐng)域一個(gè)較新的思想，本文提出的隱寫分析算法有以下優(yōu)點(diǎn)：（1）該分析算法通過圖像特征和嵌入改變率之間的映射模型估計(jì)新隱寫圖的嵌入改變率，而且不針對(duì)某一種隱寫算法，實(shí)現(xiàn)了隱寫分析的通用性；（2）用于隱寫分析的特征提取快，而且用該特征得到的估計(jì)值與真實(shí)值基本擬合，誤差??；（3）算法模式簡(jiǎn)單，較直觀，易于實(shí)現(xiàn)，而且已證實(shí)基于SVR的回歸分析是一種有效的預(yù)測(cè)方法。

[1]孫子文，紀(jì)志成.基于離散余弦變換域的塊相關(guān)性和馬爾可夫模型的圖像隱寫分析[J].信息與控制，2009，38（5）：602-607.

[2]Pevny T，F(xiàn)ridrich J.Merging Markov and DCT features for multi-class JPEG steganalysis[C]//Proc SPIE Electronic Imaging，Security，Steganography，and Watermarking of Multimedia Contents IX.San Jose，CA，USA：SPIE，2007：1-13.

[3]馮帆，王嘉禎，劉會(huì)英，等.基于PCA和希伯特包絡(luò)分析的盲隱寫分析算法[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（4）：93-96.

[4]Fridrich J，Soukal D，Goljan M.Maximum likelihood estimation of length of secret message embedded using±K steganography in spatial domain[C]//Proc of Electronic Imaging，Security，Steganography，and Watermarking ofMultimedia Contents VII.San Jose，CA：SPIE，2005：328-340.

[5]Jena S K，Krishna G V V.Blind steganalysis：estimation of hidden messagelength[J].International Journal of Computers，Communications&Control，2007：149-158.

[6]Yu Xiaoyi，Wang Aiming.Detection of quantization data hiding[C]//Proc of 2009 International Conference on Multimedia Information Networking and Security（MINES'09）.Hubei：IEEE，2009：45-47.

[7]Yang Chunfang，Luo Xiangyang，Liu Fenlin.Embedding ratio estimating foreach bitplaneofImage[C]//LNCS 5806：Proc of Information Hiding.Heidelberg：Springer，2009：59-72.

[8]Fridrich J，Goljan M，Hogea D，et al.Quantitative steganalysis of digital images：estimating the secret message length[J]. ACM Multimedia Systems Journal，Special Issue on Multimedia Security，2003，9（3）：288-302.

[9]Pevny T，F(xiàn)ridrich J，Ker A D.From blind to quantitative steganalysis[C]//Proc SPIE，Electronic Imaging，Media Forensics and Security XI.San Jose，CA：SPIE，2009：1-14.

[10]Smola A J，Sch?lkopf B.A tutorial on support vector regression[J].Statistics and Computing，2004，14（3）：199-222.

[11]Rocha A，Goldenstein S，Scheirer W，et al.The Unseen challenge data sets[C]//CVPRW'08.Anchorage，AK：[s.n.]，2008：1-8.

[12]Westfeld A.F5-a steganographic algorithm high capacity despite better steganalysis[EB/OL].（2001-05-10）.http：//www.inf. tu-dresden.de/～aw4/publikationen.html.

[13]Provos N.OutGuess universal stegano-graphy[EB/OL].（2001-10-12）.http：//www.outguess.-org/.

[14]Sallee P.Model-based steganography[C]//LNCS 2939：International Workshop on Digital Watermarking.Berlin：Springer，2004.

[15]Chang C C，Lin C J.LIBSVM：a library for support vector machines[EB/OL].[2010-09-02].http：//www.csie.ntu.edu.tw/～cjlin/ libsvm.

SUN Ziwen,LI Hui

School of Internet of Things Engineering,Jiangnan University,Wuxi,Jiangsu 214122,China

In order to solve the problem that the majority of general steganalysis methods cannot estimate the secret message length,this paper proposes an improved general quantitative steg-analysis method that can estimate secret message length.132 dimensional features describing the correlations between DCT coefficients are extracted from stego images.Support vector regression is used to learn the mapping between feature vectors and the relative embedding change rates and construct steganalyzer model.Embedding rates are estimated through new feature sets and steganalyzer model.Simulation is performed on stego images embedded with F5,MB and outguess steganographic algorithms.The results of simulation reveal that the proposed quantitative steganalysis is feasible to estimate the embedding ratio of stego images in practice.

quantitative steganalysis;support vector regression;loss function;kernel function

為解決大多數(shù)通用隱寫分析算法不能檢測(cè)秘密信息長(zhǎng)度的問題，提出了一種改進(jìn)的能估計(jì)秘密信息長(zhǎng)度的通用隱寫分析方法。從隱寫圖中提取描述DCT域系數(shù)相關(guān)性的132維特征，用支持向量回歸機(jī)學(xué)習(xí)圖像特征和相應(yīng)嵌入改變率之間的映射關(guān)系并建立模型，根據(jù)映射模型估計(jì)測(cè)試隱寫圖的嵌入改變率。使用典型的嵌入算法：F5、outguess與MB進(jìn)行測(cè)驗(yàn)，仿真結(jié)果顯示提出的秘密信息長(zhǎng)度估計(jì)算法是切實(shí)可行的。

通用隱寫分析；支持向量回歸；損失函數(shù)；核函數(shù)

A

TP391

10.3778/j.issn.1002-8331.1107-0388

SUN Ziwen,LI Hui.SVR-based steganalysis method used for estimating embedding rate.Computer Engineering and Applications,2013,49（5）：84-87.

中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助（No.JUSRP21131）。

孫子文（1968—），女，博士，副教授，主要研究領(lǐng)域?yàn)闊o線傳感器網(wǎng)絡(luò)技術(shù)及應(yīng)用、信息安全、圖像處理與模式識(shí)別；李慧（1986—），女，碩士。E-mail：sunziwen@jiangnan.edu.cn

2011-07-18

2011-08-30

1002-8331（2013）05-0084-04

CNKI出版日期：2011-11-14 http://www.cnki.net/kcms/detail/11.2127.TP.20111114.0947.042.html