摘要:壓縮感知是研究數(shù)據(jù)采樣壓縮與重構(gòu)的信號(hào)處理新理論,近年來研究人員將深度學(xué)習(xí)運(yùn)用到圖像壓縮感知算法中,顯著提高了圖像重構(gòu)質(zhì)量.然而,圖像信息常與隱私關(guān)聯(lián),高質(zhì)量的重構(gòu)圖像在方便人們觀賞的同時(shí),帶來了隱私保護(hù)的問題.本文基于深度學(xué)習(xí)理論,提出一種對(duì)抗的圖像壓縮感知方法,該方法將壓縮理論和對(duì)抗樣本技術(shù)統(tǒng)一于同一個(gè)壓縮感知算法,通過設(shè)計(jì)損失函數(shù),聯(lián)合重構(gòu)誤差和分類誤差來訓(xùn)練壓縮感知深度神經(jīng)網(wǎng)絡(luò),使得壓縮感知重構(gòu)樣本同時(shí)也是一個(gè)對(duì)抗樣本.因此,重構(gòu)圖像在保證重構(gòu)質(zhì)量的同時(shí),也能對(duì)抗圖像分類算法,降低其識(shí)別率,達(dá)到保護(hù)圖像隱私的效果.在Cifar-10和MNIST圖像集上進(jìn)行的實(shí)驗(yàn)結(jié)果表明,和已有的壓縮感知方法相比,我們提出的對(duì)抗壓縮感知方法以損失僅10%的圖像重構(gòu)質(zhì)量為代價(jià),使得圖像分類精度下降了74%,獲得了很好的對(duì)抗性能.
關(guān)鍵詞:對(duì)抗樣本;深度學(xué)習(xí);圖像;壓縮感知
中圖分類號(hào):TP391文獻(xiàn)標(biāo)志碼:A
Method of Deep Learning Image Compressed Sensing Based on Adversarial Samples
WANG Jiliang "ZHOU Siwang17,JIN Cancan1
(1. College of Computer Science and Electronic Engineering,Hunan University,Changsha 41008 China;
2. Changsha Environmental Protection College,Changsha 41000 China)
Abstract :Compressed sensing is a new signal processing theory focusing on data sampling compression and reconstruction. In recent years,researchers have applied deep learning to image compressed sensing algorithms,which significantly improves the quality of the recovered images. However,images are often associated with personal privacy,and high-quality recovered images often bring privacy protection problems while facilitating peoplers viewing. Based on deep neural network,this paper proposes an image compressed sensing algorithm with adversarial learning. This method integrates data compression and adversary sample technique into the compressed sensing algorithm. By training the neural network with a loss function combining reconstruction loss and classification loss,the output samples,i. e.,the recovered images,become adversarial samples. The recovered images with our proposed algorithm can then be adversarial to image classifications algorithms,decreasing their recognition rate and achieving the performance of protecting image privacy while guaranteeing a reasonable image quality. Experimental results on Cifar-10 and MNIST show that,compared with the existing compressed sensing methods,the proposed adversarial algorithm achieves excellent adversarial performance,as the classification accuracy is decreased by 74% at the cost of 10% loss of image reconstruction quality.
Key words:adversarial sample;deep learning;image;compressed sensing
壓縮感知是研究數(shù)據(jù)采樣壓縮與重構(gòu)的信號(hào)處理新理論[1-3].壓縮感知理論突破了奈奎斯特采樣定理的限制,能降低圖像獲取成本、節(jié)省圖像的存儲(chǔ)空間和傳輸開銷,在圖像處理領(lǐng)域已經(jīng)取得了成功應(yīng)用.迄今為止,已有多種圖像壓縮感知算法被提出,目標(biāo)是獲得更高的圖像重構(gòu)質(zhì)量.經(jīng)典的圖像壓縮感知重構(gòu)算法包括基于消息傳遞AMP框架的算法[4-5]、應(yīng)用于二進(jìn)制圖像的壓縮感知算法[6]、自適應(yīng)壓縮感知算法[7].我們則提出了基于分塊的圖像壓縮感知算法[8,9].壓縮感知理論有著嚴(yán)謹(jǐn)、完備的數(shù)學(xué)基礎(chǔ),但圖像重構(gòu)算法復(fù)雜度高,運(yùn)行時(shí)間長(zhǎng).
受深度學(xué)習(xí)研究進(jìn)展的鼓舞,近年來研究人員開始探索基于深度神經(jīng)網(wǎng)絡(luò)的圖像壓縮感知算法[10-12].深度學(xué)習(xí)壓縮感知利用深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力,在有標(biāo)簽的訓(xùn)練集中學(xué)習(xí)從原始輸入樣本到重構(gòu)樣本的映射,實(shí)現(xiàn)壓縮感知重構(gòu).ReconNet是較早提出的壓縮感知深度網(wǎng)絡(luò)模型[13],文獻(xiàn)[14]對(duì)此網(wǎng)絡(luò)模型做了改進(jìn),通過聯(lián)合學(xué)習(xí)測(cè)量進(jìn)程和重構(gòu)進(jìn)程來優(yōu)化壓縮感知測(cè)量矩陣,在低采樣率下有更好的重構(gòu)性能.受分塊壓縮感知算法的啟發(fā),文獻(xiàn)[15-16]提出CSNet網(wǎng)絡(luò)結(jié)構(gòu),圖像壓縮采用分塊方法,但用一個(gè)深度網(wǎng)絡(luò)實(shí)現(xiàn)整體圖像重構(gòu),從而提高了圖像重構(gòu)質(zhì)量.我們對(duì)CSNet做了深入研究,根據(jù)圖像各塊的重要性自適應(yīng)分配采樣率,進(jìn)一步提高了CSNet的重構(gòu)效果[17].和傳統(tǒng)壓縮感知方法相比,深度學(xué)習(xí)算法有顯著更快的重構(gòu)速度,在低采樣率時(shí)有更好的圖像重構(gòu)效果.
然而,高質(zhì)量的重構(gòu)圖像更容易被圖像分類算法自動(dòng)識(shí)別,帶來了隱私保護(hù)問題.圖像識(shí)別是指通過特征提取算法提取圖像樣本的特征,再通過分類器將圖像樣本劃分到一定的類別中,從而實(shí)現(xiàn)自動(dòng)分類.Hinton和A.Krizhevsky設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)AlexNet是機(jī)器識(shí)別發(fā)展的一個(gè)里程碑[18].在此基礎(chǔ)上,VGG[19]、ResNet[20]和EfficientNet[21]等深度網(wǎng)絡(luò)陸續(xù)被提出,獲取了更高的分類識(shí)別精度.以人臉圖像識(shí)別為例,目前分類算法的識(shí)別精度已經(jīng)超過了人類本身,“刷臉”進(jìn)站、“刷臉”支付等極大地方便了人們的生活.然而,圖像自動(dòng)識(shí)別是一把“雙刃劍”.更高的圖像識(shí)別率往往意味著更多的圖像隱私被暴露.圖像被隱藏于網(wǎng)絡(luò)中的機(jī)器模型自動(dòng)識(shí)別,帶來安全隱患.
本文研究圖像壓縮感知中的安全問題.我們注意到深度學(xué)習(xí)模型存在某種程度的脆弱性.在文獻(xiàn)[22]中,一個(gè)“鯨魚”圖像樣本被對(duì)抗算法修改,雖然視覺上依然是“鯨魚”,但識(shí)別算法失效了,“鯨魚”樣本被誤識(shí)別成了“烏龜”.對(duì)抗算法的核心思想是擾動(dòng)樣本,生成對(duì)抗樣本,迷惑圖像分類模型,使之失效[23-24].從中受到啟發(fā),本文提出對(duì)抗的圖像壓縮感知方法,利用機(jī)器模型的脆弱性來保護(hù)圖像重構(gòu)樣本.我們提出的壓縮感知方法同時(shí)兼具壓縮和對(duì)抗的功能,其生成的重構(gòu)圖像也是一個(gè)對(duì)抗樣本,在保證圖像質(zhì)量的同時(shí),能對(duì)抗圖像分類算法,保護(hù)圖像隱私.
本文的主要內(nèi)容組織如下:第1節(jié)提出一種基于對(duì)抗樣本的圖像壓縮感知方法;第2節(jié)設(shè)計(jì)實(shí)驗(yàn)以驗(yàn)證所提方法的性能;在第3節(jié)給出結(jié)論.
1基于對(duì)抗樣本的圖像壓縮感知方法
我們的目標(biāo)是將安全性融入壓縮感知網(wǎng)絡(luò),使得壓縮感知算法同時(shí)兼具壓縮和對(duì)抗兩項(xiàng)功能.壓縮感知算法的安全性通過對(duì)抗樣本技術(shù)加以實(shí)現(xiàn),重構(gòu)圖像不會(huì)影響視覺效果,但能對(duì)抗圖像分類算法,降低圖像分類算法的識(shí)別率,客觀上起到保護(hù)圖像隱私的效果.
1.1壓縮感知深度網(wǎng)絡(luò)模型
現(xiàn)有的深度學(xué)習(xí)壓縮感知方法通常用一個(gè)壓縮子網(wǎng)來實(shí)現(xiàn)圖像的采樣壓縮,再用一個(gè)重構(gòu)子網(wǎng)實(shí)現(xiàn)圖像重構(gòu).一般地,壓縮感知算法的深度網(wǎng)絡(luò)模型如圖1所示.
網(wǎng)絡(luò)由壓縮子網(wǎng)S和重構(gòu)子網(wǎng)G組成.壓縮子網(wǎng)S以原始景象xi為輸入,輸出采樣測(cè)量值si:
S(xi)=si(1)
重構(gòu)子網(wǎng)則努力由采樣測(cè)量值Si恢復(fù)原始景象xi,即
G(si)=xi'(2)
1.2基于對(duì)抗樣本的壓縮感知深度網(wǎng)絡(luò)
在現(xiàn)有壓縮感知深度網(wǎng)絡(luò)模型的基礎(chǔ)上,本小節(jié)提出一種對(duì)抗策略,使得重構(gòu)子網(wǎng)G生成的壓縮感知重構(gòu)圖像xi'成為一個(gè)對(duì)抗本.
1.2.1針對(duì)圖像分類模型C的對(duì)抗模型
設(shè)C代表某一個(gè)圖像分類網(wǎng)絡(luò).針對(duì)C,我們?cè)O(shè)計(jì)相應(yīng)的壓縮感知網(wǎng)絡(luò)對(duì)抗模型,命名為Adv-G-C,如圖2所示.Adv-G-C的目標(biāo)是G網(wǎng)絡(luò)生成的重構(gòu)
圖像xi'能對(duì)抗模型C.換句話說,模型C能正常識(shí)別一般的圖像,但不能識(shí)別xi'.
正式地,針對(duì)圖像分類模型C的壓縮感知重構(gòu)網(wǎng)絡(luò)的對(duì)抗模型可定義為一個(gè)神經(jīng)網(wǎng)絡(luò):
Adv-G-C:si→xi′(3)
式中“→”指神經(jīng)網(wǎng)絡(luò)的輸出操作.該模型由壓縮感知重構(gòu)子網(wǎng)絡(luò)G和一個(gè)已知的分類模型C組成.模型的輸入是壓縮感知測(cè)量值si,輸出則是重構(gòu)圖像xi'.在這里,C是預(yù)訓(xùn)練好的分類網(wǎng)絡(luò),C本身不參與對(duì)抗模型的訓(xùn)練.從另一角度說,我們提出的對(duì)抗模型Adv-G-C對(duì)圖像分類模型沒有額外的要求,即不需要改變現(xiàn)有的圖像分類模型來適應(yīng)本節(jié)提出的對(duì)抗模型.
Ladv=αLG-βLC(4)
式中:α和β表示損失函數(shù)中LG和LC的相對(duì)重要性. LG表示重構(gòu)子網(wǎng)G的重構(gòu)損失,定義為
式中:d(·,·)為距離函數(shù).最小化LG將保證圖像的重構(gòu)質(zhì)量.LC是分類損失,定義為
式中:lce(·,·)表示計(jì)算交叉熵的函數(shù),Yi是圖像xi對(duì)應(yīng)的真實(shí)分類值.
注意式(4)中的“減”號(hào),這使得分類損失LC越大,Ladv越小.這就保證了在對(duì)抗模型Adv-G-C下,G網(wǎng)絡(luò)會(huì)盡力輸出一種重構(gòu)圖像,試圖讓圖像分類模型C識(shí)別出錯(cuò).也就是說,重構(gòu)圖像同時(shí)也是針對(duì)圖像分類模型C的一個(gè)對(duì)抗樣本.
2.2.2生成對(duì)抗模型
在Adv-G-C的基礎(chǔ)上,本小節(jié)提出一種更一般化的生成對(duì)抗模型Adv-G.Adv-G不只是針對(duì)模型C,而是能對(duì)抗任意的圖像分類模型.
Adv-G模型如圖3所示.在此模型中,壓縮感知G網(wǎng)絡(luò)稱為重構(gòu)樣本的生成網(wǎng)絡(luò),生成重構(gòu)圖像.同時(shí),我們引入一個(gè)新的被稱為區(qū)分網(wǎng)絡(luò)的D網(wǎng)絡(luò).D 網(wǎng)絡(luò)由子網(wǎng)絡(luò)Drec和子網(wǎng)絡(luò)Drf組成,Drec和Drf有相同的前面一部分卷積層,最后一層則由各自專屬.D網(wǎng)絡(luò)有兩個(gè)設(shè)計(jì)目標(biāo):一是區(qū)分真圖和假圖,真圖是訓(xùn)練集中的圖像xi,假圖是生成網(wǎng)絡(luò)G網(wǎng)絡(luò)輸出的重構(gòu)圖像xi′;二是區(qū)分真圖和假圖的標(biāo)簽,將真圖分類到正確的類別中,但將假圖歸類為錯(cuò)誤的類別.也就是說,D網(wǎng)絡(luò)一方面讓G網(wǎng)絡(luò)生成高質(zhì)量的重構(gòu)圖像,另一方面則讓該圖像被分類錯(cuò)誤,從而實(shí)現(xiàn)對(duì)抗.在本文的實(shí)驗(yàn)部分,Drec和Drf的網(wǎng)絡(luò)層結(jié)構(gòu)各自設(shè)計(jì)成4層,卷積核大小為5×5.
為此,Adv-G模型中D網(wǎng)絡(luò)的損失函數(shù)Ltot定義為
式中:λD和γD分別表示網(wǎng)絡(luò)Drec和Drf在整個(gè)損失函數(shù)中所占的比重.在式(7)中,子網(wǎng)Drf的損失函數(shù)定義為
式中:1代表真圖,0代表假圖,lce(·,·)的定義和式(6)相同.子網(wǎng)Drec的損失函數(shù)則定義為
即Drec將真圖歸類為真實(shí)標(biāo)簽Yi的概率.
Adv-G模型中G網(wǎng)絡(luò)的損失函數(shù)定義為正是我們?cè)O(shè)計(jì)Adv-G模型的目的.不像Adv-G-C模型,Adv-G模型不針對(duì)任何特定的圖像分類網(wǎng)絡(luò),希望Drec和Drf的引入能實(shí)現(xiàn)泛化的效果.為此,在訓(xùn)練過程中,G網(wǎng)絡(luò)、Drec、Drf交替訓(xùn)練,努力保證圖像重構(gòu)質(zhì)量,同時(shí)讓Drec網(wǎng)絡(luò)分類錯(cuò)誤,達(dá)到對(duì)抗的目的.
2實(shí)驗(yàn)與分析
以最新的深度學(xué)習(xí)壓縮感知算法CSNet[16]為例,本小節(jié)闡述對(duì)抗模型Adv-CSNet-C和生成對(duì)抗模型Adv-CSNet的對(duì)抗性能.在實(shí)驗(yàn)中,兩個(gè)經(jīng)典的分類網(wǎng)絡(luò)VGG-16和ResNet-110被用來測(cè)試原始圖像和相應(yīng)對(duì)抗樣本的識(shí)別率.更低的識(shí)別率表明更高的對(duì)抗性能,從而達(dá)到更好的圖像隱私保護(hù)效果.為敘述簡(jiǎn)單起見,后續(xù)描述中分別略去了這兩個(gè)分類網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)16和110.實(shí)驗(yàn)平臺(tái)采用Tensorflow1.1 硬件配置為NVIDIA GeForce GXT 1070 單GPU,Intel Core i7-4790K 4.00GHz 單處理器,配備32GB內(nèi)存.
2.1訓(xùn)練過程
訓(xùn)練數(shù)據(jù)集為MNIST和Cifar-10數(shù)據(jù)集.MNIST 數(shù)據(jù)集是由手寫數(shù)字圖像和它們相對(duì)應(yīng)的標(biāo)簽共同組成,共10個(gè)類別,分別對(duì)應(yīng)阿拉伯?dāng)?shù)字的0~9. MNIST一共包含55 000張訓(xùn)練圖像和10 000張測(cè)試圖像,每張圖像為28×28大小的灰度圖.Cifar-10數(shù)據(jù)集則包含10個(gè)類別的圖像,分別是“飛機(jī)”“汽車”“鳥”“貓”“鹿”“狗”“青蛙”“馬”“船”和“卡車”.Cifar- 10數(shù)據(jù)集用50 000張圖像用于網(wǎng)絡(luò)模型的訓(xùn)練集,剩下的10 000張圖像用于模型的測(cè)試集.基于本實(shí)驗(yàn)平臺(tái),在Cifar-10數(shù)據(jù)集上訓(xùn)練一個(gè)Adv-G-C模型約需12 h,其中訓(xùn)練一個(gè)采樣率完成2個(gè)epoch需要1 min,模型大約訓(xùn)練500個(gè)epoch,耗時(shí)約4 h,共訓(xùn)練了3個(gè)采樣率,總計(jì)3×4=12 h.訓(xùn)練Adv-G模型的時(shí)間類似.
為了便于圖像壓縮性能和圖像分類性能的比較,所有訓(xùn)練圖像均處理成灰度圖,并且將其原始標(biāo)簽采用熱編碼形式表示.我們也對(duì)網(wǎng)絡(luò)的輸入進(jìn)行了統(tǒng)一的處理,將輸入進(jìn)網(wǎng)絡(luò)的圖像進(jìn)行歸一化處理,使灰度值范圍從[0,255]區(qū)間線性映射到[0,1]區(qū)間.為公平比較性能,CSNet網(wǎng)絡(luò)分別用MNIST和Cifar-10重新訓(xùn)練,且訓(xùn)練過程中超參數(shù)的設(shè)置與文獻(xiàn)[16]保持一致.同樣地,我們用這兩個(gè)數(shù)據(jù)集重新訓(xùn)練了兩個(gè)分類網(wǎng)絡(luò)VGG和ResNet,獲取這兩個(gè)網(wǎng)絡(luò)對(duì)原始圖像的初始分類準(zhǔn)確率.
對(duì)于2.2.1小節(jié)式(4)中的α和β參數(shù),均設(shè)置為 式(7)中的參數(shù)λD設(shè)為1而γD設(shè)為0,式(10)中的α、λC和γC則分別設(shè)置為1、1和0.1.本實(shí)驗(yàn)設(shè)置α=β= 原因是本文將圖像重構(gòu)效率和識(shí)別效率看成同等重要,因此設(shè)置了相同大小.我們?cè)O(shè)置α=λC=1但γC=0. 將D網(wǎng)絡(luò)對(duì)G網(wǎng)絡(luò)的影響降低了一個(gè)數(shù)量級(jí),主要是考慮D網(wǎng)絡(luò)和G網(wǎng)絡(luò)在對(duì)抗訓(xùn)練時(shí)能逐漸增強(qiáng),以達(dá)到訓(xùn)練效果.在對(duì)抗模型Adv-CSNet-Ck的訓(xùn)練過程中,我們預(yù)先訓(xùn)練好CSNet模型參數(shù),以避免對(duì)抗模型陷入局部最優(yōu)解.實(shí)驗(yàn)使用Adam優(yōu)化器,其中兩個(gè)參數(shù)beta1和beta2分別設(shè)置為beta1=0.9,beta2=0.999.使用Cifar-10數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí),訓(xùn)練周期設(shè)置為300,每個(gè)周期迭代200次,批量大小為250.前125個(gè)周期的學(xué)習(xí)率設(shè)置為0.00 126到225個(gè)周期的學(xué)習(xí)率設(shè)置為0.000 "剩下的訓(xùn)練周期學(xué)習(xí)率設(shè)置為0.000 01.使用MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí),訓(xùn)練周期設(shè)置為500,每個(gè)周期迭代220次,批量大小為250.前200個(gè)周期的學(xué)習(xí)率設(shè)置為0.00 201到350個(gè)周期的學(xué)習(xí)率設(shè)置為0.000 "剩下的訓(xùn)練周期學(xué)習(xí)率設(shè)置為0.000 01.對(duì)于MNIST的訓(xùn)練,我們先將式(4)中的α和β參數(shù)均設(shè)置為 待訓(xùn)練過程中訓(xùn)練集的分類準(zhǔn)確率降低到0.1之下,再修改α為 β為0. 目的是將MSE重構(gòu)loss和交叉熵分類loss平衡在一個(gè)數(shù)量級(jí)上,這有利于穩(wěn)定重構(gòu)圖像質(zhì)量.
2.2實(shí)驗(yàn)結(jié)果
表1給出了重構(gòu)圖像的平均識(shí)別精度對(duì)比結(jié)果,數(shù)據(jù)集為Cifar-10,識(shí)別率數(shù)值是VGG和ResNet的識(shí)別率平均值,值越小表示對(duì)抗性能越好.從表1可以看出,我們提出的對(duì)抗方案有明顯更低的識(shí)別率,而Adv-CSNet則有最低的識(shí)別精度.這表明我們提出的兩種對(duì)抗學(xué)習(xí)方案均獲得了預(yù)期的對(duì)抗性能.其中,生成對(duì)抗模型Adv-CSNet因?yàn)椴会槍?duì)指定的識(shí)別算法,平均識(shí)別率下降了74.7%,獲得了更好的對(duì)抗性能.
表2測(cè)試對(duì)抗模型Adv-CSNet-C和Adv-CSNet的泛化能力,評(píng)價(jià)指標(biāo)是識(shí)別精度,測(cè)試數(shù)據(jù)集為Cifar-10.從表2可以看出,對(duì)抗識(shí)別算法VGG的模型Adv-CSNet-VGG在ResNet上也有很低的重構(gòu)圖像識(shí)別率,表明該模型能遷移到不同的識(shí)別算法中,具有泛化性.但是,對(duì)抗ResNet的模型Adv-CSNet- ResNet在VGG上的重構(gòu)識(shí)別率卻明顯高于ResNet,這說明模型Adv-CSNet-C的泛化能力受到限制.從表2也容易看出,生成對(duì)抗模型Adv-CSNet對(duì)VGG 和ResNet都取得了很低的識(shí)別率度,即Adv-CSNet比Adv-CSNet-C有更好的泛化性能.
表3對(duì)比CSNet和相應(yīng)對(duì)抗方案的重構(gòu)圖像質(zhì)量,數(shù)據(jù)集為Cifar-10.從表3中的數(shù)據(jù)可以看出,相比于原始的CSNet,我們提出的對(duì)抗方案Adv- CSNet-C 和Adv-CSNet在重構(gòu)質(zhì)量方面均有所降低.相比之下,生成對(duì)抗模型降低幅度稍大,為10.6%.這表明,我們提出的方案在取得對(duì)抗性能的同時(shí),損失了一定的圖像重構(gòu)質(zhì)量.
圖4和圖5展示對(duì)抗模型重構(gòu)圖像的視覺效果.圖4以對(duì)抗模型Adv-CSNet-ResNet為例,數(shù)據(jù)集為手寫數(shù)字MNIST,圖5則是Adv-CSNet生成的重構(gòu)圖像,數(shù)據(jù)集為Cifar-10.采樣率均為0.1.從圖4可以看見,我們提出的對(duì)抗方案也能清晰地重構(gòu)出手寫數(shù)字,視覺效果完全可以接受.從圖4可以看出,本文提出的Adv-CSNet重構(gòu)圖像的視覺效果則略差于原始的CSNet模型,這與表3的結(jié)果基本一致.
從上述實(shí)驗(yàn)結(jié)果可以看出,相比于原始的CSNet,本文提出的對(duì)抗模型達(dá)到了預(yù)期的對(duì)抗性能.主要原因是我們?cè)谠O(shè)計(jì)對(duì)抗模型時(shí)將對(duì)抗損失通過損失函數(shù)反向傳播給生成網(wǎng)絡(luò),使得生成網(wǎng)絡(luò)在訓(xùn)練的過程中自動(dòng)學(xué)習(xí)對(duì)抗性能,從而達(dá)到對(duì)抗的效果.這樣,模型生成的圖像能夠欺騙識(shí)別算法,使之識(shí)別錯(cuò)誤,從而達(dá)到圖像隱私保護(hù)的效果.
3結(jié)論
我們將安全性融入壓縮感知重構(gòu)算法,算法生成的重構(gòu)圖像同時(shí)也是一個(gè)對(duì)抗樣本,對(duì)抗機(jī)器分類模型.本文基于對(duì)抗樣本的思想,提出了一種新的深度學(xué)習(xí)圖像壓縮感知方法.降低分類模型的識(shí)別率,從而起到保護(hù)圖像隱私的效果.也就是說,分類模型會(huì)識(shí)別錯(cuò)誤,從而起到保護(hù)圖像隱私的效果.實(shí)驗(yàn)結(jié)果表明,我們提出的對(duì)抗模型在Cifar-10數(shù)據(jù)集中有10.6%重構(gòu)圖像PSNR下降,但獲得了74.7% 的對(duì)抗性能提升.同時(shí),我們提出的對(duì)抗模型體現(xiàn)出了較好的泛化能力,能對(duì)抗不同的分類模型.
參考文獻(xiàn)
[1]DONOHO D L. Compressed sensing [J]. IEEE Transactions on Information Theory,2006,52(4):1289-1306.
[2]戴瓊海,付長(zhǎng)軍,季向陽.壓縮感知研究[J].計(jì)算機(jī)學(xué)報(bào),201 34(3):3425-3434.
DAI Q H,F(xiàn)U C J,JI X Y. Research on compressed sensing [J]. Chinese Journal of Computers,201 34(3):3425-3434.(In Chinese)
[3] JIANG Q R,LI S,ZHU Z H,et al. Design of compressed sensing system with probability-based prior information [J]. IEEE Transactions on Multimedia,2020,22(3):594-609.
[4] METZLER C A,MALEKI A,BARANIUK R G. From denoising to compressed sensing[J] . IEEE Transactions on Information Theory,2016,62(9):5117-5144.
[5] MA Y T,ZHU J N,BARON D. Approximate message passing algorithm with universal denoising and Gaussian mixture learning [J]. IEEE Transactions on Signal Processing,2016,64 (21):5611-5622.
[6] AHN J H.Compressive sensing and recovery for binary images [J] . IEEE Transactions on Image Processing,2016,25(10):4796-4802
[7] WARNELL G,BHATTACHARYA S,CHELLAPPA R,et al. Adaptive-rate compressive sensing using side information [J] . IEEE Transactions on Image Processing,2015,24(11):3846- 3857
[8] ZHOU S W,XIANG SZ,LIUXT,et al. Asymmetric block basedcompressive sensing for image signals [C]//2018 IEEE International Conference on Multimedia and Expo(ICME). San Diego,CA,USA:IEEE,2018:1-6.
[9] ZHOU S W,CHEN Z N,ZHONG Q,et al. Block compressed sampling of image signals by saliency based adaptive partitioning [J]. Multimedia Tools and Applications ,2019,78(1):537-553 .
[10] METZLER C A,MOUSAVI A,BARANIUK R G. Learned D- AMP:principled neural network based compressive image recovery [C]//Proceedings of the 31st International Conference on Neural Information Processing Systems(NIPS). 2017:1770-1781.
[11] ZHANG J,GHANEM B. ISTA-net:interpretable optimization- inspired deep network for image compressive sensing[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City,UT,USA. IEEE:2018:1828-1837.
[12] YANG Y,SUN J,LI H B,et al. ADMM-CSNet:a deep learning approach for image compressive sensing[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,42 (3):521-538.
[13]KULKARNI K,LOHIT S,TURAGA P,et al.ReconNet:non- iterative reconstruction of images from compressively sensed mea- surements[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Las Vegas,NV,USA:IEEE,2016:449-458.
[14] LOHIT S,KULKARNI K,KERVICHE R,et al.Convolutional neural networks for noniterative reconstruction of compressively sensed images[J].IEEE Transactions on Computational Imaging,2018,4(3):326-340.
[15] SHI W Z,JIANG F,ZHANG S P,et al.Deep networks for compressed image sensing[C]//2017 IEEE International Conference on Multimedia and Expo(ICME).Hong Kong,China:IEEE,2017:877-882.
[16] SHI W Z,JIANG F,LIU S H,et al.Image compressed sensing using convolutional neural network[J].IEEE Transactions on Image Processing,2020,29:375-388 .
[17] ZHOU S W,HE Y,LIU Y H,et al.Multi-channel deep networks for block-based image compressive sensing[J].IEEE Transactions on Multimedia,202 23:2627-2640.
[18] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM,2017,60(6):84-90.
[19] SIMONYAN K,ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [C]//Proceedings of the International Conference on Learning Representations (ICLR). 2015.
[20] HE K M,ZHANG X Y,REN S Q,et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas,NV,USA:IEEE,2016:770-778.
[21] TAN M X,LE Q V.EfficientNet:rethinking model scaling for convolutional neural networks[EB/OL].2019:arXiv:1905.11946 [cs.LG].https://arxiv.org/abs/1905.11946
[22] MOOSAVI-DEZFOOLI S M,F(xiàn)AWZI A,F(xiàn)ROSSARD P.Deep- Fool:a simple and accurate method to fool deep neural networks [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas,NV,USA:IEEE,2016:2574- 2582.
[23]張思思,左信,劉建偉.深度學(xué)習(xí)中的對(duì)抗樣本問題[J].計(jì)算機(jī)學(xué)報(bào),2019,42(8):1886-1904.
ZHANG S S,ZUO X,LIU J W.The problem of the adversarial examples in deep learning[J].Chinese Journal of Computers,2019,42(8):1886-1904.(In Chinese)
[24] WU Y F,YANG F,XU Y,et al.Privacy-protective-GAN for privacy preserving face de-identification[J].Journal of Computer Science and Technology,2019,34(1):47-60.
湖南大學(xué)學(xué)報(bào)·自然科學(xué)版2022年4期