葉登攀，馬方方，梅園

（武漢大學(xué)計(jì)算機(jī)學(xué)院，湖北 武漢 430072）

基于遷移學(xué)習(xí)的隱寫分析

葉登攀，馬方方，梅園

（武漢大學(xué)計(jì)算機(jī)學(xué)院，湖北 武漢 430072）

在實(shí)際應(yīng)用環(huán)境下，訓(xùn)練集和測試集往往存在分布偏差，導(dǎo)致隱寫分析檢測效果不理想。遷移學(xué)習(xí)方法旨在從一個(gè)領(lǐng)域?qū)W習(xí)到的知識，來幫助完成新領(lǐng)域中的學(xué)習(xí)任務(wù)，不要求領(lǐng)域間的同分布假設(shè)。概述了當(dāng)前隱寫分析失配問題的研究現(xiàn)狀，分析了引起隱寫分析失配的因素，在TrAdaBoost遷移算法的基礎(chǔ)上提出了一種基于遷移學(xué)習(xí)的隱寫分析算法，改善了隱寫檢測過程中出現(xiàn)的失配問題，并通過實(shí)驗(yàn)驗(yàn)證了算法的有效性。

隱寫檢測；遷移學(xué)習(xí)；基于實(shí)例

1 引言

信息隱藏作為一門新興學(xué)科，是各國研究者所關(guān)注和研究的熱點(diǎn)，其原理是利用載體中存在的冗余信息來隱藏秘密對象，以實(shí)現(xiàn)保密通信或數(shù)字簽名和認(rèn)證。信息隱藏技術(shù)的主要技術(shù)分支是隱寫術(shù)和數(shù)字水印技術(shù)。研究者們把研究出的隱寫算法發(fā)布在他們的主頁上，如F5、WOW、MB1、JPHS、HUGO等；網(wǎng)上各種隱寫軟件可以免費(fèi)下載。目前，隱寫術(shù)及隱寫分析技術(shù)的相關(guān)研究得到了學(xué)術(shù)界廣泛的重視。

傳統(tǒng)機(jī)器學(xué)習(xí)通常假設(shè)訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)服從相同的數(shù)據(jù)分布。使用傳統(tǒng)機(jī)器學(xué)習(xí)進(jìn)行隱寫分析檢測，在測試集和訓(xùn)練集同分布時(shí)，已經(jīng)取得很好的效果。然而，在實(shí)際中，訓(xùn)練集和測試集數(shù)據(jù)分布不同的時(shí)候，隱寫分析檢測效果不能得到保證。重新收集訓(xùn)練數(shù)據(jù)、重新訓(xùn)練分類器需要的代價(jià)很大，為重復(fù)利用已有的數(shù)據(jù)經(jīng)驗(yàn)知識，需要研究學(xué)習(xí)模型的遷移。

遷移學(xué)習(xí)可以學(xué)習(xí)相關(guān)領(lǐng)域的數(shù)據(jù)，將相關(guān)領(lǐng)域的有用知識“遷移”到目標(biāo)領(lǐng)域中，用以解決在目標(biāo)領(lǐng)域的學(xué)習(xí)任務(wù)。人類的成長來源于不停學(xué)習(xí)，既可以從現(xiàn)實(shí)的不同事物中學(xué)到知識，也可以把從一個(gè)事物學(xué)到的知識應(yīng)用到另一個(gè)事物。

理論和實(shí)驗(yàn)分析發(fā)現(xiàn)，失配產(chǎn)生的原因大致有2種：一是載體圖像生成過程，不同的成像設(shè)備和不同的量化表會造成失配；二是隱密圖像生成過程，隱寫方法不同或嵌入率不同會造成失配。為了解決隱寫分析檢測過程中出現(xiàn)的失配問題，本文引入了遷移學(xué)習(xí)的思想，提出了一種基于遷移學(xué)習(xí)的信息隱藏分析方法。本文采用基于實(shí)例的遷移學(xué)習(xí)方法，在隱寫分析檢測中使用遷移算法TrAdaBoost。假設(shè)輔助域中包含與目的域相同分布的圖像庫，把輔助域分為與目的域相同分布的圖像庫、與目的域不同分布的圖像庫這2部分，訓(xùn)練時(shí)不斷調(diào)節(jié)兩類圖像庫的權(quán)重，增大與目的域相同分布的圖像庫的權(quán)重。

2 隱寫分析概述

Simmons給出了隱寫術(shù)的一個(gè)通俗的闡述，即著名的“囚犯問題”。

囚犯問題模型如圖1所示，Alice和Bob被關(guān)押在獨(dú)立的房間，企圖共同謀劃一個(gè)越獄計(jì)劃，在此之前他們需要商定計(jì)劃。他們被允許通信，但他們所有的通信被看守 Wendy監(jiān)視。如果Wendy發(fā)現(xiàn)囚犯在秘密地交換信息，他將切斷通信信道，把他們單獨(dú)監(jiān)禁。囚犯們采用隱寫術(shù)作為交換越獄計(jì)劃細(xì)節(jié)的手段。注意，在“囚犯問題”中，Wendy需要達(dá)到的目標(biāo)只是檢測秘密消息的存在，而不需要知道消息的內(nèi)容。換句話說，當(dāng)Wendy發(fā)現(xiàn)Alice和Bob在進(jìn)行秘密通信時(shí)，隱寫系統(tǒng)就認(rèn)為被破解。

隱寫術(shù)是一個(gè)隱私工具，因而它會很自然地激發(fā)人們?nèi)ス羲?。開發(fā)檢測秘密消息存在性并最終提取秘密消息方法的相關(guān)研究被稱為隱寫分析。隱寫分析模型主要包括2個(gè)部分：隱寫分析特征和機(jī)器學(xué)習(xí)中的分類器算法。

圖1 囚犯問題模型

圖像隱寫分析系統(tǒng)如圖2所示。首先建立載體圖像庫和隱密圖像庫，產(chǎn)生訓(xùn)練圖像庫和測試圖像庫，分別提取訓(xùn)練圖像庫和測試圖像庫的隱寫分析特征，利用分類器對訓(xùn)練圖像庫的特征集進(jìn)行訓(xùn)練分類，形成訓(xùn)練模型，輸入測試特征集，輸出隱寫判決。

JPEG域的隱寫分析特征有CCPEV548、JRM等，Spatial空域的隱寫分析特征有SPAM686、SRM等。隱寫分析分類器常用的有SVM、隨機(jī)森林和集成分類器等。

3 研究現(xiàn)狀

隱寫分析檢測過程包括特征提取和訓(xùn)練分類模型。隱寫分析特征有 CCPEV[1,2]，SPAM[3]、SRM[4]等，使用的分類器有SVM[5]、隨機(jī)森林[6]、集成分類器[7]等?，F(xiàn)代的隱寫技術(shù)為了避免被隱寫分析檢測器檢測出來，能夠同時(shí)保持載體元素之間復(fù)雜的依賴關(guān)系不受破壞。所以為了檢測出隱密信息，隱寫分析就不可避免地需要使用高維的特征集。SRM是Fridrich等[4]提出的空域的高維特征，是目前隱寫分析檢測性能最好的特征。對單一的分類器來說，高的維度導(dǎo)致很多問題，如缺乏訓(xùn)練數(shù)據(jù)、高度復(fù)雜訓(xùn)練的不可行性、泛化能力的惡化、載體資源頑健性的缺乏、自身潛力下表現(xiàn)的飽和，Kodovsky等[7]提出了集成分類器。使用集成算法將多個(gè)分類器融合成一個(gè)集成分類器，盡管單個(gè)分類器的分類性能可能很弱，但是集成分類器的分類性能會有很大的改善。

圖2 圖像隱寫分析系統(tǒng)

基于融合訓(xùn)練的方法和基于遷移學(xué)習(xí)的方法是目前解決隱寫分析失配問題的2種主要方法。Kodovsky等[8]針對JPEG圖像隱密分析中常見的量化表失配隱密分析，提出2種融合訓(xùn)練的解決方案：Mixture融合訓(xùn)練和 Closest融合訓(xùn)練。Mixture融合訓(xùn)練方法的原理是把不同量化表進(jìn)行量化壓縮的載體和隱密圖像均勻混合作為訓(xùn)練庫，利用集成分類器進(jìn)行訓(xùn)練，訓(xùn)練出的模型對來自普通相機(jī)中非標(biāo)準(zhǔn)的量化表量化的載體圖像和對應(yīng)的隱密圖像進(jìn)行隱寫檢測。Closest融合訓(xùn)練方法的原理是把不同量化表產(chǎn)生的圖像庫，分別應(yīng)用集成分類器訓(xùn)練成多個(gè)分類模型。測試圖像庫是由普通相機(jī)的非標(biāo)準(zhǔn)量化表量化，通過量化表距離選擇量化表最近的圖像庫的分類器，進(jìn)行隱寫檢測。李肖峰等[9]提出了局部領(lǐng)域泛化（LGD）融合訓(xùn)練方法，主要思想是：首先，計(jì)算訓(xùn)練圖像庫和測試圖像庫量化表的距離，選取相差距離dis〈thread的N個(gè)訓(xùn)練庫組成局部領(lǐng)域；然后，對量化表不同的局部融合訓(xùn)練庫進(jìn)行泛化學(xué)習(xí)，學(xué)習(xí)局部領(lǐng)域中公共成分，使其在局部訓(xùn)練庫區(qū)間具有泛化能力；最后，利用局部領(lǐng)域的公共成分訓(xùn)練分類模型對待檢測圖像進(jìn)行隱寫檢測。

基于特征空間的遷移學(xué)習(xí)方法不要求訓(xùn)練集和測試集遵循相同的數(shù)據(jù)分布。對載體分布、隱寫方法、嵌入率等失配因素引起的檢測失配，基于特征空間的遷移學(xué)習(xí)方法有很好的檢測效果。李肖峰等[9,10]提出了一種基于特征空間遷移學(xué)習(xí)的隱寫分析方法，基本思想是：首先，進(jìn)行領(lǐng)域校準(zhǔn)，將源領(lǐng)域的樣本變換到一個(gè)中間域中，該中間域中的訓(xùn)練樣本與目標(biāo)域的訓(xùn)練樣本距離更接近，因此，訓(xùn)練樣本和測試樣本中存在更多可區(qū)分類別的特征集，使隱寫分析性能提升；然后，學(xué)習(xí)一個(gè)共有的映射函數(shù)來提取2個(gè)領(lǐng)域的共有特征分量，以減小2個(gè)領(lǐng)域的分布距離。

遷移學(xué)習(xí)廣泛存在于人類的生活和學(xué)習(xí)中。遷移學(xué)習(xí)是指一種學(xué)習(xí)對另一種學(xué)習(xí)的影響，人類學(xué)習(xí)一種新知識的時(shí)候，往往會受到已有知識、經(jīng)驗(yàn)、技能的影響。學(xué)習(xí)和遷移二者不可分割。遷移學(xué)習(xí)有助于提高學(xué)習(xí)的效率。機(jī)器學(xué)習(xí)中，利用遷移學(xué)習(xí)可以增強(qiáng)機(jī)器學(xué)習(xí)的適應(yīng)性，解決機(jī)器學(xué)習(xí)中負(fù)遷移、欠適配、過擬合、欠擬合的問題。

傳統(tǒng)機(jī)器學(xué)習(xí)要求訓(xùn)練集和測試集同分布，在實(shí)際的學(xué)習(xí)過程中，很難實(shí)現(xiàn)訓(xùn)練集和測試集同分布，為了解決實(shí)際問題，提出遷移學(xué)習(xí)。遷移學(xué)習(xí)就要求訓(xùn)練集和測試集的 source Domain和target Domain與領(lǐng)域相關(guān)、任務(wù)相同。

例如，在隱寫分析檢測利用機(jī)器學(xué)習(xí)分類的過程中，發(fā)現(xiàn)載體分布不同，即載體的數(shù)據(jù)來自不同的源，具體體現(xiàn)在載體量化后的噪聲分布不一致，分類的過程中會造成失配的現(xiàn)象。在隱寫分析檢測過程中，當(dāng)訓(xùn)練集和測試集隱密圖像所采取的隱寫方法或嵌入率不同時(shí)，也會產(chǎn)生失配現(xiàn)象。

遷移學(xué)習(xí)方法涉及兩類主流方法：實(shí)例權(quán)重法和特征表示法。實(shí)例權(quán)重法對輔助領(lǐng)域中的實(shí)例進(jìn)行權(quán)重調(diào)整、提升位于目標(biāo)領(lǐng)域高密度區(qū)域的輔助領(lǐng)域?qū)嵗龣?quán)重，從而更好地與目標(biāo)領(lǐng)域數(shù)據(jù)分布匹配；特征表示法試圖找到原始數(shù)據(jù)的新特征表示，使輔助領(lǐng)域和目標(biāo)領(lǐng)域的數(shù)據(jù)分布更加相似、或使領(lǐng)域相關(guān)的具體特征可以被領(lǐng)域無關(guān)的抽象特征所表示。

基于實(shí)例的遷移學(xué)習(xí)主要思想是在輔助領(lǐng)域中尋找有助于目標(biāo)領(lǐng)域?qū)W習(xí)的實(shí)例。但由于輔助領(lǐng)域有效的實(shí)例較少，為了解決這個(gè)問題，呂靜[11]提出基于半監(jiān)督的聚類集成遷移學(xué)習(xí)算法。

基于聚類遷移學(xué)習(xí)過程如圖3所示，目標(biāo)數(shù)據(jù)和輔助數(shù)據(jù)合在一起，采用多種聚類算法進(jìn)行聚類，將不同的聚類結(jié)果運(yùn)用集成算法加權(quán)投票，輸出最終的聚類結(jié)果。根據(jù)聚類投票結(jié)果，將與目標(biāo)數(shù)據(jù)聚在一起的輔助數(shù)據(jù)保留下來，刪掉沒有與目標(biāo)數(shù)據(jù)聚在一起的輔助數(shù)據(jù)。保留下來的輔助數(shù)據(jù)與目標(biāo)數(shù)據(jù)有較大的相似性，能夠幫助目標(biāo)數(shù)據(jù)進(jìn)行分類。最后，把過濾后的數(shù)據(jù)和目標(biāo)數(shù)據(jù)一起進(jìn)行分類算法。

圖3 聚類集成遷移學(xué)習(xí)算法

4 圖像失配隱寫分析

圖像隱寫分析有效判決和失效判決的過程如圖4所示，圖像庫1和圖像庫2數(shù)據(jù)分布不同，其中，圖像庫1生成訓(xùn)練圖像庫1和測試圖像庫1，圖像庫2生成訓(xùn)練圖像庫2。訓(xùn)練圖像庫和測試圖像庫使用相同的特征提取算法提取隱寫分析特征，訓(xùn)練集的特征集經(jīng)過機(jī)器學(xué)習(xí)訓(xùn)練模型。輸入測試圖像庫1的特征集，使用訓(xùn)練模型1得到有效的隱密判決，使用訓(xùn)練模型2得到失效的隱密判決，即訓(xùn)練集2和測試集1失配。

訓(xùn)練集和測試集失配包括：載體分布（量化表）不同、隱寫方法不同、嵌入量不同。

1) 載體分布（量化表）不同。JPEG載體形成過程中，使用不同的量化表進(jìn)行量化，得到的JPEG載體的數(shù)據(jù)分布是不同的。同時(shí)，隱寫方法和嵌入率相同。

2) 隱寫方法不同。訓(xùn)練集和測試集中的隱密圖像是由載體圖像使用不同的隱寫方法生成的，導(dǎo)致訓(xùn)練集和測試集中的數(shù)據(jù)分布不同。同時(shí)，訓(xùn)練集和測試集載體分布相同，隱寫嵌入率相同。

3) 嵌入率不同。訓(xùn)練集和測試集中的隱密圖像是由載體圖像使用相同的隱寫方法、不同的嵌入率生成的，導(dǎo)致訓(xùn)練集和測試集中的數(shù)據(jù)分布不同。同時(shí)，訓(xùn)練集和測試集載體分布相同。

5 算法原理

假設(shè)有少量的目標(biāo)訓(xùn)練數(shù)據(jù)（base training data），這些數(shù)據(jù)與測試數(shù)據(jù)分布相同，但是數(shù)量非常少，不足以訓(xùn)練出一個(gè)可靠的分類模型。但是存在有大量的輔助訓(xùn)練數(shù)據(jù)（auxiliary training data）。輔助訓(xùn)練數(shù)據(jù)與目標(biāo)領(lǐng)域數(shù)據(jù)來自不同的領(lǐng)域，所以它們的數(shù)據(jù)分布是不同的。本文基本思想是利用輔助訓(xùn)練數(shù)據(jù)輔助目標(biāo)訓(xùn)練數(shù)據(jù)訓(xùn)練一個(gè)分類模型，提高測試數(shù)據(jù)的隱寫檢測精度。

本節(jié)使用戴文淵等[12]提出的 TrAdaBoost遷移學(xué)習(xí)方法，該方法假設(shè)訓(xùn)練圖像包含與測試圖像相同分布的圖像庫，訓(xùn)練圖像庫包括輔助訓(xùn)練圖像庫和目標(biāo)訓(xùn)練圖像庫。其中，輔助訓(xùn)練圖像庫和測試圖像庫來自不同的領(lǐng)域，具有不同的分布，目標(biāo)訓(xùn)練圖像庫和測試圖像庫具有相同的分布。使用 Hedge(β)訓(xùn)練輔助訓(xùn)練數(shù)據(jù) Ta，使用AdaBoost算法訓(xùn)練目標(biāo)訓(xùn)練數(shù)據(jù) Tb。AdaBoost是一種迭代算法，其核心思想是針對同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器，即弱分類器，然后把這些弱分類器集合起來，構(gòu)造一個(gè)更強(qiáng)的最終分類器。算法本身是改變數(shù)據(jù)分布實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集中每個(gè)樣本的分類是否正確，以及上次的總體分類的準(zhǔn)確率，來確定每個(gè)樣本的權(quán)值。將修改權(quán)值的新數(shù)據(jù)送給下層分類器進(jìn)行訓(xùn)練，然后將每次訓(xùn)練得到的分類器融合起來，作為最后的決策分類器。

圖4 有效/失效隱密判決

AdaBoost的基本思想是調(diào)整訓(xùn)練樣本的權(quán)重，當(dāng)一個(gè)目標(biāo)訓(xùn)練樣本被誤分類后，AdaBoost會增加這個(gè)訓(xùn)練樣本的權(quán)重，這個(gè)訓(xùn)練樣本會被標(biāo)記成比較難分類的樣本。在下一次迭代訓(xùn)練中，這個(gè)訓(xùn)練樣本被誤分類的概率就會減小。AdaBoost被應(yīng)用在目標(biāo)訓(xùn)練數(shù)據(jù)中，是為了保證分類模型在目標(biāo)數(shù)據(jù)的準(zhǔn)確性。Hedge(β)算法被用在輔助訓(xùn)練數(shù)據(jù)Ta上，當(dāng)Ta被誤分類時(shí)，說明這個(gè)分錯的樣本和目標(biāo)數(shù)據(jù)差別很大，對分類模型的準(zhǔn)確度有負(fù)面的影響，所以這個(gè)訓(xùn)練樣本的權(quán)重被減小。TrAdaBoost算法機(jī)制如圖5所示。

圖5 TrAdaBoost算法機(jī)制

一次迭代后，輔助訓(xùn)練數(shù)據(jù)Ta中不符合目標(biāo)訓(xùn)練數(shù)據(jù)的訓(xùn)練樣本權(quán)重減小，于是，在若干輪迭代后，輔助訓(xùn)練數(shù)據(jù)中符合目標(biāo)訓(xùn)練數(shù)據(jù)的那些數(shù)據(jù)就會擁有相對高的權(quán)重，而那些不符合源訓(xùn)練數(shù)據(jù)的權(quán)重會降低。那些擁有相對高權(quán)重的數(shù)據(jù)將會幫助目標(biāo)訓(xùn)練數(shù)據(jù)訓(xùn)練一個(gè)更好的分類模型。

在隱寫分析中，TrAdaBoost算法實(shí)驗(yàn)步驟如下。

1) 提取特征，生成輔助訓(xùn)練集、目標(biāo)訓(xùn)練集和測試集。

2) 輸入輔助訓(xùn)練集、目標(biāo)訓(xùn)練集和集成分類器，訓(xùn)練隱寫檢測模型。

3) 輸入測試集，得到檢測結(jié)果和檢測率。

6 實(shí)驗(yàn)

在第4節(jié)圖像失配隱寫分析中，介紹了隱寫分析的3個(gè)失配因素，這里用3個(gè)實(shí)驗(yàn)分別說明它們對隱寫分析性能的影響，并使用TrAdaBoost遷移算法做對比分析，驗(yàn)證算法的有效性。

實(shí)驗(yàn)1 載體分布

圖像庫來源于Bossbase1.01圖像庫，隨機(jī)抽取1 000張圖像，使用標(biāo)準(zhǔn)量化表、不同的質(zhì)量因子進(jìn)行JPEG壓縮，質(zhì)量因子分別為65、75、85、95，使用Matlab工具處理形成4個(gè)載體圖像庫。使用隱寫算法 NsF5對載體圖像進(jìn)行隱寫，嵌入率為0.4，得到4個(gè)隱密圖像庫，實(shí)驗(yàn)中提取CCPEV特征作為檢測過程中的隱寫分析特征，采用集成分類器。實(shí)驗(yàn)結(jié)果如圖6所示。

圖6中記錄的數(shù)據(jù)為檢測失誤率，包括漏檢率和誤警率。漏檢率是指測試集中的隱密圖像沒有被檢測出來，而被當(dāng)成了載體圖像；誤警率是指測試集中的載體圖像被誤判為隱密圖像。

圖6 載體分布不同（TrAdaBoost）檢測失誤率

觀察圖6的左半部分可知，處于對角線上的數(shù)值最小，位于對角線兩側(cè)的數(shù)值偏大。因此可以得出結(jié)論，當(dāng)訓(xùn)練圖像庫和測試圖像庫的質(zhì)量因子不相同時(shí)，隱寫檢測失誤率比兩者質(zhì)量因子相同時(shí)要高。又因?yàn)楫?dāng)訓(xùn)練圖像庫和測試圖像庫的質(zhì)量因子不相同時(shí)，導(dǎo)致訓(xùn)練圖像庫和測試圖像庫中的載體和隱密圖像分布不相同。載體的分布又直接影響到隱密圖像的分布，所以從圖6可以看出，載體的分布是隱寫分析檢測失配的因素之一。圖6右半部分顯示使用TrAdaBoost遷移算法后，隱寫分析檢測失誤率明顯低于未使用TrAdaBoost遷移算法的失誤率。

實(shí)驗(yàn)2 隱寫方法

圖像庫來源Bossbase1.01圖像庫，隨機(jī)選取1 000張載體圖像。選用HUGO、WOW、S-UNIWARD這 3種隱寫算法對載體圖片進(jìn)行隱寫嵌入，嵌入率都為0.4，得到隱密圖像各1 000張。實(shí)驗(yàn)中提取SRM特征作為檢測過程中的隱寫分析特征，采用集成分類器。實(shí)驗(yàn)結(jié)果如圖7所示。

觀察圖7可發(fā)現(xiàn)，對角線上的數(shù)據(jù)最小，即當(dāng)訓(xùn)練集和測試集中的隱密圖像的隱寫方法相同時(shí)，隱寫檢測的效果最好。而當(dāng)訓(xùn)練集和測試集中的隱密圖像的隱寫方法不同時(shí)，隱寫檢測的效果就會變差。理論上說，造成隱寫檢測效果變差的原因是訓(xùn)練集和測試集中的隱密圖像數(shù)據(jù)分布不同。不同的隱寫方法造成訓(xùn)練集和測試集中的隱密圖像的分布不同，因此可以得到隱寫方法是隱寫分析檢測失配的因素之一。圖7右半部分顯示使用TrAdaBoost遷移算法后，隱寫分析檢測失誤率明顯低于未使用 TrAdaBoost遷移算法的失誤率。

實(shí)驗(yàn)3 嵌入率

以隱寫方法WOW為例，當(dāng)嵌入率不同，觀察隱寫分析的效率如何變化。圖像庫來源Bossbase1.01圖像庫，其中載體圖像1 000張，嵌入率分別為0.2、0.4和0.6的WOW隱密圖像各1 000張。使用SRM特征作為檢測過程中的隱寫分析特征，并使用TrAdaBoost算法結(jié)合集成分類器進(jìn)行分類。實(shí)驗(yàn)結(jié)果如圖8所示。

從圖8可以看出，嵌入率低的訓(xùn)練圖像庫對嵌入率高的測試圖像庫的隱寫分析檢測性能的影響是積極的，嵌入率高的訓(xùn)練圖像庫對嵌入率低的測試圖像庫的隱寫分析檢測性能的影響是消極的，產(chǎn)生失配的檢測結(jié)果。當(dāng)嵌入率為0.4時(shí)，檢測失誤率比其他低。圖 8右半部分顯示使用TrAdaBoost遷移算法后，隱寫分析檢測失誤率明顯低于未使用TrAdaBoost遷移算法的失誤率。

簡而言之，載體分布、隱寫方法和嵌入率不同會使隱寫分析檢測失配；使用遷移算法TrAdaBoost對隱寫分析檢測進(jìn)行遷移后，檢測失誤率下降。3個(gè)實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果如圖9所示，圖9(a)為實(shí)驗(yàn)1中，當(dāng)測試集質(zhì)量因子q=65時(shí)，檢測失誤率隨輔助訓(xùn)練集質(zhì)量因子變化情況；圖9(b)為實(shí)驗(yàn)2中，當(dāng)測試集嵌入率為0.2時(shí)，檢測失誤率隨輔助訓(xùn)練集嵌入率變化情況；圖 9(c)為實(shí)驗(yàn)3中，當(dāng)測試集隱寫方法為HUGO時(shí)，檢測失誤率隨輔助訓(xùn)練集隱寫方法變化情況。

圖7 隱寫方法不同（TrAdaBoost）檢測失誤率

圖8 嵌入率不同（TrAdaBoost）檢測失誤率

圖9 3個(gè)實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果

7 結(jié)束語

現(xiàn)階段，隱寫分析在理論和實(shí)驗(yàn)研究都取得了很多的成果。在現(xiàn)有的實(shí)驗(yàn)研究數(shù)據(jù)中，訓(xùn)練樣本和測試樣本都是為了方便實(shí)驗(yàn)而做的標(biāo)準(zhǔn)樣本，同時(shí)，實(shí)驗(yàn)中也做了各種假設(shè)，例如能夠獲得隱寫者的載體樣本和隱密樣本，從而訓(xùn)練樣本和測試樣本能很好地幫助進(jìn)行隱寫實(shí)驗(yàn)。而在實(shí)際應(yīng)用中，收集符合假設(shè)的訓(xùn)練樣本和測試樣本需要耗費(fèi)大量的人力、物力，也是不可能做到的。所以，就要思考如何在不滿足這些假設(shè)的情況下，進(jìn)行隱寫檢測依然能達(dá)到很好的效果，隱寫分析算法性能不會下降。但是，到目前為止，關(guān)于解決隱寫檢測失配問題方面的研究仍然很少。所以，進(jìn)行失配隱寫分析的研究，將隱寫分析由實(shí)驗(yàn)室轉(zhuǎn)移到實(shí)際中，有很重要的意義。

本文對現(xiàn)階段的圖像失配隱寫分析現(xiàn)狀進(jìn)行了總結(jié)，介紹了2種解決失配問題的方法：基于融合訓(xùn)練的方法和基于遷移學(xué)習(xí)的方法。其中，基于融合訓(xùn)練的方法依賴于訓(xùn)練圖像庫的多樣性；而基于遷移學(xué)習(xí)的方法是基于特征空間的訓(xùn)練方法，在輔助域和目的域之間找到一個(gè)中間域，對中間域和目的域進(jìn)行學(xué)習(xí)。

本文對可能引起隱寫分析失配的3種因素進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示載體分布、隱寫方法和嵌入率都是引起數(shù)字圖像隱寫分析失配的因素，而且它們引起隱寫檢測失配的程度并不相同。載體分布不同，隱寫方法和嵌入率相同時(shí)會引起訓(xùn)練圖像庫中的載體圖像和隱密圖像，與測試圖像庫中的載體圖像和隱密圖像分布不同；隱寫方法不同，載體分布和嵌入率相同時(shí)，會引起訓(xùn)練圖像庫和測試圖像庫中的隱密圖像分布不同；嵌入率不同，載體分布和隱寫方法相同時(shí)，會引起訓(xùn)練圖像庫和測試圖像庫中的隱密圖像分布不同。載體分布和隱寫方法的不同對隱寫分析檢測性能的影響是消極的，從而產(chǎn)生失配的檢測結(jié)果；而嵌入率低的訓(xùn)練圖像庫對嵌入率高的測試圖像庫的隱寫分析檢測性能的影響是積極的，嵌入率高的訓(xùn)練圖像庫對嵌入率低的測試圖像庫的隱寫分析檢測性能的影響是消極的，產(chǎn)生失配的檢測結(jié)果。

另外，本文還提出了一種基于遷移學(xué)習(xí)的隱寫分析算法，利用基于實(shí)例的遷移學(xué)習(xí)算法來解決隱寫分析檢測中的失配問題。該算法把訓(xùn)練圖像庫分為兩部分：輔助訓(xùn)練圖像庫和源訓(xùn)練圖像庫。輔助訓(xùn)練庫圖像中和測試圖像庫分布不同，而源訓(xùn)練圖像庫和測試圖像庫分布相同。算法增大輔助訓(xùn)練圖像庫中對檢測有幫助的特征的權(quán)重，使最終的訓(xùn)練模型對測試圖像庫的檢測性能提升。本文的不足之處在于需要保證源訓(xùn)練圖像庫和測試圖像庫的分布相同。

目前，機(jī)器學(xué)習(xí)應(yīng)用很廣泛，受到了很多學(xué)者的關(guān)注。而目前的機(jī)器學(xué)習(xí)存在負(fù)遷移、欠適配、過擬合、欠擬合等問題，所以遷移學(xué)習(xí)的研究需要更多的學(xué)者投入時(shí)間和精力。本文做出以下展望。

1) 目前，遷移學(xué)習(xí)已經(jīng)有了很多的研究成果，針對隱寫分析失配的問題，可以將適合的隱寫分析研究的遷移學(xué)習(xí)方法應(yīng)用到隱寫分析實(shí)驗(yàn)中來。

2) 目前隱寫分析的實(shí)驗(yàn)比較耗費(fèi)時(shí)間和精力，因?yàn)閺膱D像庫的生成、隱寫、提取特征，到檢測分析，每一步都需要很長的時(shí)間。深度學(xué)習(xí)目前發(fā)展比較迅速，而且使用深度學(xué)習(xí)可以自動提取隱寫分析特征，不用人工提取，提高效率。

[1] PEVNY T, FRIDRICH J. Merging Markov and DCT features for multi-class JPEG steganalysis[C]// The International Society for Optical Engineering(SPIE). 2007.

[2] KODOVSKY J, FRIDRICH J. Calibration revisited[C]//The 11th ACM Multimedia and Security Workshop. 2009:63-74.

[3] PEVNY T, BAS P, FRIDRICH J. Steganalysis by subtractive pixel adjacency matrix[J]. IEEE Transactions on Information Forensics & Security, 2010, 5(2):215-224.

[4] FRIDRICH J, KODOVSKY J. Rich models for steganalysis of digital images[J]. IEEE Transactions on Information Forensics & Security, 2012, 7(3):868-882.

[5] 王艦, 湯光明. 基于SVM的圖像隱寫檢測分析[J]. 計(jì)算機(jī)研究與發(fā)展, 2009, 46(z1). WANG J, TANG G M. Image steganography detection analysis based on SVM[J]. Journal of Computer Research and Development, 2009, 46 (z1).

[6] 胡東輝, 楊陽, 邵鋒,等. 一種基于隨機(jī)森林的JPEG圖像通用隱寫分析方法[C]//全國信息隱藏暨多媒體信息安全學(xué)術(shù)大會(CIHW). 2012. HU D H, YANG Y，SHAO F, et al. JPEG image steganographic analysis method based on random forest[C]//China Information Hiding And Multimedia Security Workshop(CIHW). 2012

[7] KODOVSKY J, FRIDRICH J, HOLUB V. Ensemble classifiers for steganalysis of digital media[J]. IEEE Transactions on Information Forensics and Security,7(2):432-444.

[8] KODOVSKY J, SEDIGHI V, FRIDRICH J. Study of cover source mismatch in steganalysis and ways to mitigate its impact[C]//The International Society for Optical Engineering(SPIE). 2014:96-101.

[9] 李肖峰. JPEG圖像失配隱密分析研究[D]. 大連: 大連理工大學(xué), 2014. LI X F. JPEG image mismatch secret analysis[D]. Dalian: Dalian University of Technology, 2014.

[10] LI X F, KONG X, WANG B, et al. Generalized transfer component analysis for mismatched JPEG steganalysis[C]// IEEE International Conference on Image Processing. 2013:4432-4436.

[11] 呂靜. 基于實(shí)例的遷移學(xué)習(xí)算法研究[D]. 太原: 山西財(cái)經(jīng)大學(xué), 2013. LV J. The migration learning algorithm study based on case[D]. Taiyuan: Shanxi University of Finance and Economics, 2013.

[12] 戴文淵. 基于實(shí)例和特征的遷移學(xué)習(xí)算法研究[D]. 上海: 上海交通大學(xué), 2009. DAI W Y. The migration learning algorithm study based on case and characteristics[D]. Shanghai: Shanghai jiaotong University, 2009.

Steganalysis based on transfer learning

YE Deng-pan, MA Fang-fang, MEI Yuan
(Computer School, Wuhan University, Wuhan 430072,China)

In practice, when the training set and testing set are mismatched, performance of steganalysis can not be guaranteed. The transfer learning aims at using the knowledge learned from one domain to help complete the learning task in the new domain, and does not require the same distribution assumption. A more comprehensive review of mismatched steganography research status was made and the mismatch factors were analyzed. Methods on instance-based transfer learning were presented to solve the test mismatch problem during the steganography detections. Key words: steganography, transfer learning, based on instance

TP309.7

A

10.11959/j.issn.2096-109x.2017.00116

葉登攀（1975-），男，湖北黃岡人，博士，武漢大學(xué)教授，主要研究方向?yàn)樾畔踩⑿畔㈦[藏。

馬方方（1993-），女，安徽阜陽人，武漢大學(xué)碩士生，主要研究方向?yàn)樾畔踩?/p>

梅園（1980-），女，湖北武漢人，武漢大學(xué)博士生，主要研究方向?yàn)槎嗝襟w安全。

2016-09-26；

2016-10-09。通信作者：馬方方，2698910297@qq.com

國家自然科學(xué)基金資助項(xiàng)目（No.61272453）；湖北省重大科技創(chuàng)新計(jì)劃基金資助項(xiàng)目（No.2015AAA013）；NSFC—通用技術(shù)基礎(chǔ)研究聯(lián)合基金資助項(xiàng)目（No.U1236204）

Foundation Items: The National Natural Science Foundation of China(No.61272453), Major Scientific and Technological Innovation Project of Hubei Province(No.2015AAA013), NSFC-General Technology Foundation Research United Fund (No.U1236204)