王馨雅，華光，江昊，張海劍

（武漢大學(xué)電子信息學(xué)院，湖北 武漢 430072）

0 引言

隨著計(jì)算資源和大數(shù)據(jù)的普及和發(fā)展，深度學(xué)習(xí)技術(shù)在社會(huì)多領(lǐng)域取得了巨大成功，為社會(huì)產(chǎn)業(yè)升級(jí)和科學(xué)技術(shù)發(fā)展提供了強(qiáng)勁驅(qū)動(dòng)力。然而，成功地訓(xùn)練一個(gè)深度學(xué)習(xí)模型通常需要付出巨大的人力物力代價(jià)。首先，訓(xùn)練過程依賴大量準(zhǔn)確標(biāo)注的優(yōu)質(zhì)數(shù)據(jù)。大數(shù)據(jù)的獲取本身并非易事，而對(duì)數(shù)據(jù)實(shí)現(xiàn)有效的清洗和標(biāo)注則是更加煩瑣的工作。例如，著名的ImageNet[1]圖像分類數(shù)據(jù)庫(kù)以眾包的模式借助世界范圍用戶的力量進(jìn)行人工標(biāo)注，耗時(shí)3年才得以成型。其次，為了訓(xùn)練得到有效的神經(jīng)網(wǎng)絡(luò)模型，往往需要分配大量的計(jì)算資源以調(diào)整網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)以及超參數(shù)，而目前較先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)的權(quán)重?cái)?shù)量日趨龐大，可輕易超過億數(shù)量級(jí)。例如，用于自然語(yǔ)言處理的GTP-3模型[2]，其參數(shù)數(shù)量已達(dá)到1 750億。因此，經(jīng)過精心訓(xùn)練的高性能神經(jīng)網(wǎng)絡(luò)模型理應(yīng)被視作數(shù)據(jù)和模型擁有者的勞動(dòng)成果，應(yīng)該擁有專屬的知識(shí)產(chǎn)權(quán)。

除優(yōu)質(zhì)的標(biāo)注數(shù)據(jù)和充足的計(jì)算資源以外，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型還需要一定的專業(yè)知識(shí)，并非是每個(gè)人都能夠完成的任務(wù)。在這種情況下，銷售訓(xùn)練好的模型已經(jīng)成為一種商業(yè)模式。例如，IBM公司提出了深度學(xué)習(xí)服務(wù)概念（DLaaS，deep learning as a service）[3]，利用常用的TensorFlow和PyTorch等深度學(xué)習(xí)框架在IBM Cloud上為用戶部署深度學(xué)習(xí)任務(wù)，降低了深度學(xué)習(xí)門檻。此外，亞馬遜、阿里云提供了相應(yīng)DLaaS的API供普通用戶使用。深度學(xué)習(xí)的迅猛發(fā)展以及DLaaS的逐漸普及也帶來了一些安全隱患[4-5]。例如，模型的購(gòu)買者將購(gòu)買的模型復(fù)制或篡改后對(duì)模型進(jìn)行二次分發(fā)，或盜取模型后聲稱自己對(duì)模型的所有權(quán)，都會(huì)對(duì)模型所有者的知識(shí)產(chǎn)權(quán)和經(jīng)濟(jì)利益造成損害。因此，需要一種對(duì)神經(jīng)網(wǎng)絡(luò)模型版權(quán)保護(hù)的框架，以驗(yàn)證模型所有者對(duì)模型的所有權(quán)，進(jìn)而保護(hù)模型所有者的合法權(quán)益。

近年來，深度學(xué)習(xí)模型的版權(quán)保護(hù)問題逐漸受到世界各國(guó)的關(guān)注。2017年7月，我國(guó)印發(fā)《新一代人工智能發(fā)展規(guī)劃》，強(qiáng)調(diào)要建立人工智能技術(shù)標(biāo)準(zhǔn)和知識(shí)產(chǎn)權(quán)體系。2018年11月，歐洲專利局發(fā)布了人工智能和機(jī)器學(xué)習(xí)的專利性指南。由此可見，針對(duì)深度學(xué)習(xí)模型的版權(quán)保護(hù)已成一項(xiàng)重要研究課題。

基于優(yōu)質(zhì)大數(shù)據(jù)和精密的網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)屬于其擁有者的知識(shí)產(chǎn)權(quán)，具備數(shù)字產(chǎn)品的特征?；诖?，學(xué)者將多媒體內(nèi)容版權(quán)保護(hù)的數(shù)字水印方法[6-7]引入深度學(xué)習(xí)領(lǐng)域，即在訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型中嵌入水印。2017年，Uchida等[8]首次提出了神經(jīng)網(wǎng)絡(luò)水印概念，并提出了一種將水印嵌入網(wǎng)絡(luò)損失函數(shù)的正則項(xiàng)中的方法。隨后，學(xué)術(shù)界展開了針對(duì)深度學(xué)習(xí)模型水印的廣泛研究。

總體來說，保護(hù)深度神經(jīng)網(wǎng)絡(luò)模型的方法與保護(hù)一般數(shù)字產(chǎn)品的方法相似，均借助密碼學(xué)（cryptography）[9]或水印[10]技術(shù)手段。使用密碼學(xué)的主要方式為對(duì)模型的重要數(shù)據(jù)進(jìn)行加密（encryption），并僅對(duì)得到授權(quán)的用戶分發(fā)密鑰（key）。這種方法的主要局限在于無法控制授權(quán)用戶在解密（decryption）模型后的行為。而水印技術(shù)可以很好地彌補(bǔ)其局限性，對(duì)侵權(quán)行為實(shí)施有效追溯。此外，針對(duì)深度學(xué)習(xí)中的生成式（generative）和判別式（discriminative）兩大類模型，神經(jīng)網(wǎng)絡(luò)水印的總體嵌入思想有所不同。本文在總結(jié)所有方法的同時(shí)，重點(diǎn)討論判別式模型中最常見的多分類器模型的數(shù)字水印保護(hù)方法。

目前，用于保護(hù)深度網(wǎng)絡(luò)分類器的水印方法按照水印的嵌入機(jī)制可分為兩類：基于網(wǎng)絡(luò)內(nèi)部信息的方法和基于后門的方法?；诰W(wǎng)絡(luò)內(nèi)部信息的方法直接將水印嵌入目標(biāo)模型的內(nèi)部結(jié)構(gòu)中，包括將水印嵌入權(quán)重、激活層的輸出以及在網(wǎng)絡(luò)中添加新的層作為水印等?；诤箝T的方法主要針對(duì)圖像分類的任務(wù)，通過在深度學(xué)習(xí)模型中嵌入后門，引入特殊的輸入輸出關(guān)系。當(dāng)需要驗(yàn)證模型所有權(quán)時(shí)，模型的所有者可將作為后門嵌入的特殊樣本輸入網(wǎng)絡(luò)來獲得預(yù)先設(shè)置好的特殊標(biāo)簽。由于模型的后門只有模型的所有者知曉，可通過展示這些異常的輸入輸出關(guān)系來證明自己對(duì)模型的所有權(quán)。

1 神經(jīng)網(wǎng)絡(luò)水印框架及方法分類

本節(jié)在介紹神經(jīng)網(wǎng)絡(luò)水印的基本框架以及相關(guān)概念后，進(jìn)一步對(duì)現(xiàn)有相關(guān)研究進(jìn)行分類?？紤]到現(xiàn)有多數(shù)研究工作是針對(duì)判別模型，本節(jié)以基于監(jiān)督學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)分類器為主要研究模型，同時(shí)簡(jiǎn)單介紹其他模型。

1.1 性能指標(biāo)

在嵌入水印時(shí)，需權(quán)衡水印質(zhì)量和模型本身功能之間的平衡，而嵌入水印的深度神經(jīng)網(wǎng)絡(luò)模型在分發(fā)后可能經(jīng)歷無意或惡意攻擊，在水印驗(yàn)證階段需要進(jìn)行水印提取，由此可知，對(duì)于神經(jīng)網(wǎng)絡(luò)水印存在如下性能指標(biāo)。

1) 功能不變性：水印嵌入后原始模型的性能應(yīng)盡可能不受影響。該指標(biāo)可同時(shí)用來評(píng)估水印系統(tǒng)和對(duì)水印系統(tǒng)的攻擊，即嵌入水印和針對(duì)水印的攻擊均不能以犧牲模型功能為代價(jià)，否則嵌入和攻擊將失去意義。

2) 魯棒性：嵌入的水印要能抵御可能存在的攻擊，如對(duì)模型的微調(diào)、壓縮或二次訓(xùn)練，在受到攻擊后也能可靠提?。粚?duì)于基于后門機(jī)制嵌入的水印則應(yīng)有能力抵御逃逸攻擊和歧義攻擊。

3) 嵌入容量：對(duì)于修改網(wǎng)絡(luò)內(nèi)部信息的神經(jīng)網(wǎng)絡(luò)水印方法，可嵌入的最大信息比特?cái)?shù)。

4) 安全性：嵌入神經(jīng)網(wǎng)絡(luò)內(nèi)部的水印信息或建立的后門映射關(guān)系不被攻擊者獲取的性能，主要通過嵌入密鑰實(shí)現(xiàn)。

5) 計(jì)算復(fù)雜度：神經(jīng)網(wǎng)絡(luò)水印嵌入和驗(yàn)證所需要的計(jì)算復(fù)雜度，可分開評(píng)估。如基于后門的水印在驗(yàn)證階段的計(jì)算復(fù)雜度較低，僅需對(duì)比推斷結(jié)果。

1.2 神經(jīng)網(wǎng)絡(luò)水印方法分類

現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型版權(quán)保護(hù)方法分類如圖1所示。本節(jié)首先給出判別式模型中典型的基于監(jiān)督學(xué)習(xí)的分類模型的宏觀水印框架，再簡(jiǎn)要介紹針對(duì)生成式模型和基于密碼學(xué)保護(hù)深度神經(jīng)網(wǎng)絡(luò)模型的方法。

圖1 神經(jīng)網(wǎng)絡(luò)模型版權(quán)保護(hù)方法分類 Figure 1 Classification of methods for neural network intellectual property protection

1.2.1 分類模型

深度神經(jīng)網(wǎng)絡(luò)分類模型的訓(xùn)練目標(biāo)為建立樣本空間X到標(biāo)簽空間Y的映射。假設(shè)訓(xùn)練集由N對(duì)樣本?標(biāo)簽對(duì)構(gòu)成，記為(xi,yi)，其中i∈ { 0,1,… ,N? 1}，xi∈X，yi∈Y，對(duì)模型來說，正確且有效的輸入輸出的關(guān)系用f:X→Y表示。如果用M表示模型結(jié)構(gòu)，用W表示模型權(quán)重，則模型的訓(xùn)練過程如下。

其中，W?為訓(xùn)練后的權(quán)重。對(duì)于全體訓(xùn)練集，當(dāng)正確映射關(guān)系比例大于(1 ?ε)|X|時(shí)，判定模型訓(xùn)練成功，其中ε為一個(gè)很小的正實(shí)數(shù)。

1.2.2 判別式模型保護(hù)方法

嵌入網(wǎng)絡(luò)內(nèi)部：通過修改已訓(xùn)練好網(wǎng)絡(luò)的內(nèi)部信息實(shí)現(xiàn)水印的嵌入，嵌入過程可描述為

其中，λ權(quán)衡損失的參數(shù)，損失函數(shù)左邊部分保證模型的功能不變性，右邊部分保證水印的嵌入，Mark為含密鑰的特殊映射關(guān)系，因方法不同，設(shè)計(jì)較為靈活。水印驗(yàn)證時(shí)，利用預(yù)設(shè)的密鑰以及嵌入的Mark建立函數(shù)關(guān)系，當(dāng)映射正確率滿足一定比例時(shí)認(rèn)為驗(yàn)證成功。

建立網(wǎng)絡(luò)后門：通過在訓(xùn)練集中加入觸發(fā)集訓(xùn)練，模型學(xué)習(xí)到預(yù)先設(shè)定特殊映射關(guān)系從而建立后門[11-13]。用角標(biāo) {?}T表示觸發(fā)集，則觸發(fā)樣本表示為xT,i，其對(duì)應(yīng)的標(biāo)簽為yT,i，嵌入了后門的權(quán)重可表示為

其中，損失函數(shù)左邊部分保證模型的功能不變性，右邊部分保證后門的建立。水印驗(yàn)證時(shí)，給定由 (xT,i,yT,i)組成的密鑰，當(dāng)模型推斷結(jié)果的正確比例大于(1 ?ε)|XT|時(shí)，判定驗(yàn)證成功。

值得注意的是，以上兩類嵌入方法既可基于已訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行微調(diào)實(shí)現(xiàn)，也可采取重訓(xùn)練的方式同時(shí)得到正常樣本和觸發(fā)樣本的映射關(guān)系。此外，以上方法均常用于圖像識(shí)別的分類任務(wù)，即輸入圖片得到推斷的類標(biāo)簽。

1.2.3 生成式模型保護(hù)方法

判別式模型主要學(xué)習(xí)特征與數(shù)據(jù)之間的后驗(yàn)關(guān)系，而生成式模型主要學(xué)習(xí)數(shù)據(jù)與特征的聯(lián)合分布關(guān)系或數(shù)據(jù)本身的分布情況。因此生成式模型，如生成對(duì)抗網(wǎng)絡(luò)（GAN，generative adversarial network）或變分自編碼器（VAE，variational autoencoder）可產(chǎn)生新的數(shù)據(jù)，比僅輸出后驗(yàn)分?jǐn)?shù)的判別式模型更豐富。在此情況下，攻擊者可利用模型生成大量數(shù)據(jù)用于訓(xùn)練自己的網(wǎng)絡(luò)，因此生成式模型產(chǎn)生的新數(shù)據(jù)也需要得到保護(hù)。

在計(jì)算機(jī)視覺領(lǐng)域，生成式模型一般用于各種圖像處理任務(wù)，它們的輸出不再是分類標(biāo)簽，而是經(jīng)過處理之后的圖像。針對(duì)這一類模型，Zhang等[14]最先提出在輸出圖片的空間域嵌入水印的保護(hù)方法。后來將這種方法延伸到模型具有多個(gè)發(fā)行版本時(shí)嵌入多個(gè)水印的問題中，同時(shí)提出了一種直接在網(wǎng)絡(luò)訓(xùn)練過程中完成水印嵌入的方案[15]。

但是這種方式嵌入的水印和網(wǎng)絡(luò)之間沒有直接的關(guān)聯(lián)，如果攻擊者獲知模型的內(nèi)部信息，則可以嵌入自己的水印，或者通過PS等圖像處理技術(shù)去除圖片中的水印。針對(duì)這些局限，Wu等[16]設(shè)計(jì)了一個(gè)改進(jìn)的系統(tǒng)，讓被保護(hù)的網(wǎng)絡(luò)和水印提取網(wǎng)絡(luò)一起參與訓(xùn)練，驗(yàn)證階段需要使用這個(gè)水印提取網(wǎng)絡(luò)才能夠提取出水印。

1.2.4 基于密碼學(xué)的方法

除了利用水印進(jìn)行版權(quán)保護(hù)，還有學(xué)者利用密碼學(xué)的方法對(duì)深度學(xué)習(xí)模型進(jìn)行版權(quán)保護(hù)，這種方法使用混沌加密算法給模型權(quán)重的排列位置加密，只有經(jīng)過權(quán)值解密的模型才能夠正常地進(jìn)行推斷，因此竊取一個(gè)經(jīng)過加密的模型的意義將大幅減弱，攻擊者需要重新訓(xùn)練[9]。

1.3 白盒與黑盒場(chǎng)景

現(xiàn)有研究將深度網(wǎng)絡(luò)模型的版權(quán)保護(hù)系統(tǒng)按照在驗(yàn)證階段是否需要訪問網(wǎng)絡(luò)內(nèi)部參數(shù)分成了白盒方法和黑盒方法。白盒方法以Uchida等[8]提出的水印驗(yàn)證框架為代表，水印的驗(yàn)證需要訪問模型權(quán)重?；诤箝T機(jī)制的水印系統(tǒng)則是典型的黑盒方法，這一類方法只需要通過輸入輸出關(guān)系就可以驗(yàn)證模型所有權(quán)，不需要訪問模型內(nèi)部參數(shù)或結(jié)構(gòu)。然而，在設(shè)計(jì)模型版權(quán)保護(hù)方案時(shí)，情形更為復(fù)雜，不僅要考慮水印驗(yàn)證所需要的條件，還應(yīng)該考慮到模型以不同方式分發(fā)的情形下，模型水印對(duì)各種潛在攻擊的魯棒性。

2 神經(jīng)網(wǎng)絡(luò)分類模型水印

本節(jié)重點(diǎn)介紹圖1中針對(duì)判別式模型的嵌入網(wǎng)絡(luò)內(nèi)部和建立網(wǎng)絡(luò)后門兩類水印嵌入方法。以基于卷積神經(jīng)網(wǎng)絡(luò)（CNN，convolutional neural network）的深度神經(jīng)網(wǎng)絡(luò)分類器為例，圖2展示了這些方法將水印嵌入網(wǎng)絡(luò)的情形。

圖2 深度神經(jīng)網(wǎng)絡(luò)分類模型水印嵌入方法 Figure 2 Demonstration of watermark embedding methods for DNN classifier

2.1 嵌入網(wǎng)絡(luò)內(nèi)部

（1）嵌入模型權(quán)重

嵌入權(quán)重的方法試圖將二進(jìn)制的水印比特信息B通過密鑰K嵌入部分網(wǎng)絡(luò)權(quán)重中，對(duì)應(yīng)圖2中右下角綠色方框的部分。記選取的部分網(wǎng)絡(luò)權(quán)重為V， V ?W，則嵌入的過程通過訓(xùn)練可得到新的模型參數(shù)。

其中，{?}表示內(nèi)積。式(6)是式(3)的一種具體情況。驗(yàn)證水印時(shí)，首先根據(jù)嵌入權(quán)重的位置選取部分權(quán)重，因網(wǎng)絡(luò)權(quán)重可能遭到攻擊，故記為 V′，然后提供密鑰K和嵌入信息B，當(dāng)對(duì)比結(jié)果滿足

或達(dá)到一定比例對(duì)比正確時(shí)，則判定水印驗(yàn)證成功，其中sgn{?}為符號(hào)函數(shù)。接下來，介紹基于式(6)、式(7)的一些神經(jīng)網(wǎng)絡(luò)水印方法。

Uchida等[8]提出了第一個(gè)嵌入網(wǎng)絡(luò)內(nèi)部的水印框架，通過正則化參數(shù)的方式將水印比特信息嵌入某一個(gè)中間層的權(quán)重分布中，這項(xiàng)工作是對(duì)深度神經(jīng)網(wǎng)絡(luò)嵌入水印的初次嘗試，揭示了向模型嵌入水印的潛力。但是這種方法很容易受到重寫攻擊，因?yàn)榫W(wǎng)絡(luò)的層數(shù)是有限的，攻擊者可以對(duì)每一層進(jìn)行重訓(xùn)練，這樣原始水印就會(huì)被破壞。另外，這種通過正則化參數(shù)嵌入水印的方法可能干擾模型的正常訓(xùn)練。

Chen等[17]同樣提出將水印嵌入模型權(quán)重，為了追蹤模型的使用情況，在模型分發(fā)時(shí)給每一個(gè)用戶提供一個(gè)向量編碼。這些向量編碼通過模型所有者秘密生成的投影矩陣X，在訓(xùn)練時(shí)作為水印嵌入模型中。驗(yàn)證時(shí)用戶根據(jù)自己的編碼提取出相應(yīng)的權(quán)重，然后模型所有者將其與X相乘得到預(yù)先嵌入模型的水印。

Rouhani[18]提出將水印嵌入網(wǎng)絡(luò)的動(dòng)態(tài)部分——激活層的概率分布中。在嵌入階段，水印與網(wǎng)絡(luò)一起訓(xùn)練，輸出嵌入了水印的模型和存儲(chǔ)了水印位置信息的密鑰WMkeys。在驗(yàn)證階段，需要使用這個(gè)密鑰才能夠觸發(fā)模型得到嵌入了水印的激活層的概率分布，進(jìn)而提取出嵌入的水印簽名。由于將水印嵌入了網(wǎng)絡(luò)的動(dòng)態(tài)部分，與嵌入權(quán)重的方法相比，可嵌入的水印容量更大，而且這種方法同時(shí)依賴于數(shù)據(jù)和模型，在實(shí)際應(yīng)用中更加靈活且不易被檢測(cè)。

Kuribayashi等[19]將水印嵌入全連接層的權(quán)重中，通過量化索引調(diào)制來控制嵌入水印在模型中引入的變化量大小，運(yùn)用隨機(jī)排列和抖動(dòng)調(diào)制等技術(shù)提高水印的保密性。

Feng等[20]提出了一種具有補(bǔ)償機(jī)制的模型微調(diào)方案。他設(shè)置了兩個(gè)密鑰：密鑰K0作為偽隨機(jī)算法的初始值生成n個(gè)權(quán)重嵌入的位置，密鑰K1則作為另一個(gè)偽隨機(jī)生成器的初始值，這個(gè)偽隨機(jī)生成器用來產(chǎn)生特定的噪聲模式，以對(duì)經(jīng)過正交變換的水印進(jìn)行調(diào)制。密鑰K0的存在給攻擊者實(shí)施重寫攻擊設(shè)置了障礙，因?yàn)楣粽邿o法獲知嵌入了水印的權(quán)重的位置。針對(duì)水印進(jìn)行擴(kuò)頻調(diào)制則讓水印分散地嵌入權(quán)重中，增強(qiáng)了水印的魯棒性。

將水印嵌入網(wǎng)絡(luò)參數(shù)的方法很容易受到微調(diào)攻擊，因此Tartaglione[21]提出另一種策略：讓嵌入了水印的權(quán)重不參與網(wǎng)絡(luò)訓(xùn)練時(shí)的參數(shù)更新。通過調(diào)整訓(xùn)練時(shí)的損失函數(shù)，使帶有水印信息的部分參數(shù)在網(wǎng)絡(luò)訓(xùn)練前后保持不變，這種方法對(duì)于微調(diào)攻擊有較強(qiáng)的魯棒性。

（2）嵌入新增層

上文所述各方法均保留了原有的模型結(jié)構(gòu)，僅將水印嵌入模型參數(shù)中，而Fan等[22]采用了另一種思路，即在網(wǎng)絡(luò)中增加新的層以實(shí)現(xiàn)水印的嵌入。該方法在模型的每個(gè)卷積層后面添加一個(gè)名為Passport的層（如圖2神經(jīng)網(wǎng)絡(luò)中的綠色虛線框所示），該層被專門用來嵌入水印信息B，如果將Passport層的權(quán)重表示為 WP，f(WP)表示將該層權(quán)重映射到二進(jìn)制的結(jié)果，嵌入水印后的權(quán)重可表示為

（3）嵌入網(wǎng)絡(luò)的輸出

將水印嵌入模型參數(shù)中容易受到模型提取攻擊，因此有學(xué)者提出將水印嵌入模型的輸出中。 Sebastian[23]將水印嵌入API響應(yīng)的一個(gè)子集中，提出一種動(dòng)態(tài)的對(duì)抗水印方法，動(dòng)態(tài)地改變一小部分樣本查詢的結(jié)果，而對(duì)分類準(zhǔn)確率的影響微乎其微。針對(duì)機(jī)器翻譯任務(wù)的模型，Venugopal等[24]提出一種使用哈希函數(shù)生成定長(zhǎng)序列的方法來在其輸出中嵌入水印以區(qū)分機(jī)器翻譯和人工翻譯的結(jié)果。

（4）其他

Lou等[25]利用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索將水印嵌入網(wǎng)絡(luò)結(jié)構(gòu)中。He等[26]選擇一部分網(wǎng)絡(luò)的權(quán)重和一個(gè)單層感知機(jī)進(jìn)行參數(shù)共享，將感知機(jī)的輸入作為密鑰，感知機(jī)的輸出即水印信息。

還有學(xué)者將神經(jīng)網(wǎng)絡(luò)作為水印嵌入。Lyu等[27]將神經(jīng)網(wǎng)絡(luò)本身作為水印來嵌入，提出一種作為水印使用的神經(jīng)網(wǎng)絡(luò)HufuNet，將其一半的卷積核嵌入目標(biāo)模型參數(shù)中，另一半則保留，用于所有權(quán)驗(yàn)證。

2.2 建立網(wǎng)絡(luò)后門

（1）在原有訓(xùn)練集圖片上添加擾動(dòng)

一種典型的觸發(fā)樣本的構(gòu)造方式是選取原始訓(xùn)練集中的部分圖片，在圖片上應(yīng)用某種特定的干擾模式，并隨機(jī)分配一個(gè)原始訓(xùn)練集中的標(biāo)簽（在圖2中用藍(lán)色方框表示）。如果用Kpattern來表示對(duì)圖片內(nèi)容的干擾模式，per(?)表示擾動(dòng)算法，則有

這種干擾模式可以是有意義的字符串或者Logo，或者某種特定模式的噪聲[28]。但這些經(jīng)過干擾的樣本往往在特征分布上與正常樣本有較大差異，在水印驗(yàn)證階段容易被攻擊者所識(shí)別。攻擊者可以先讓查詢樣本經(jīng)過一個(gè)后門檢測(cè)器，如果檢測(cè)器認(rèn)為這是一個(gè)查詢樣本，則拒絕輸出或隨機(jī)輸出一個(gè)標(biāo)簽，從而逃逸后門的驗(yàn)證[4]。為了提高魯棒性，Li等[29]使用自編碼器產(chǎn)生不可見的Logo，并將生成的盲水印嵌入原始圖片作為觸發(fā)集，觸發(fā)集圖片在視覺上和正常樣本沒有區(qū)別，且和正常樣本的特征分布一致，因此能夠更好地抵御上述逃逸攻擊。有學(xué)者在頻域嵌入不可見的Logo來生成觸發(fā)集[30]，頻域的水印更加具有隱蔽性，對(duì)各種信號(hào)處理方法也更加魯棒。為了降低負(fù)陽(yáng)率，Guo等[31]采用遺傳進(jìn)化算法來決定后門依賴的觸發(fā)模式。

（2）以圖片實(shí)例作為后門

還有一類后門方法并不以某種特定的觸發(fā)模式作為觸發(fā)集的構(gòu)造方式，而采用圖片實(shí)例作為后門（對(duì)應(yīng)圖2中紅色三角表示的觸發(fā)集樣本）：

Zhang等[28]將原始訓(xùn)練集中的一部分圖片替換為與此任務(wù)不相關(guān)的圖片，Yossi等[32]則使用了一組從互聯(lián)網(wǎng)上下載的圖片來構(gòu)建觸發(fā)集。此外，與現(xiàn)有大多數(shù)水印系統(tǒng)需要可信第三方完成水印驗(yàn)證的工作方式不同，他在后門水印設(shè)計(jì)過程中引入了commitment機(jī)制，同時(shí)約束了模型所有者和攻擊者，不需要引入可信第三方即可完成水印驗(yàn)證。

（3）添加新的類別標(biāo)簽

雖然以上兩種后門水印方法均未改變模型的結(jié)構(gòu)， 但Zhong等[33]認(rèn)為在圖片上疊加擾動(dòng)的方法在網(wǎng)絡(luò)中引入了錯(cuò)誤的映射關(guān)系，改變了分類網(wǎng)絡(luò)的決策邊界，進(jìn)而影響了模型的準(zhǔn)確率和魯棒性。而添加新的類別則不會(huì)對(duì)原來的分類邊界產(chǎn)生干擾。因此他在原始的標(biāo)簽空間中增加一類，讓所有的后門圖片屬于這個(gè)新的類別（在圖2中用黃色矩形表示）。

新類別的觸發(fā)集對(duì)應(yīng)的樣本為對(duì)原始訓(xùn)練樣本添加Logo標(biāo)簽后的一組新樣本。

（4）使用對(duì)抗樣本

對(duì)抗樣本是通過在原始的圖片中加入細(xì)微的干擾，能夠讓模型以高置信度輸出一個(gè)錯(cuò)誤分類的輸入[34-35]。Merrer等[36]采用對(duì)抗訓(xùn)練的方式將對(duì)抗樣本作為后門嵌入網(wǎng)絡(luò)。他選擇了一部分對(duì)抗樣本作為觸發(fā)樣本，給這些選定的對(duì)抗樣本分配分類正確的標(biāo)簽，再讓模型在這些樣本上微調(diào)。在微調(diào)過程中，模型在這些觸發(fā)樣本附近的決策邊界會(huì)發(fā)生改變。一個(gè)經(jīng)過上述微調(diào)的模型，如果再次受到觸發(fā)集中對(duì)抗樣本的觸發(fā)，將輸出正確的分類結(jié)果。在這種情況下，水印的嵌入方式不變，但驗(yàn)證方式與上述后門方案相反。該方法的觸發(fā)集和映射機(jī)制可表示為

其中， A (xi)表示對(duì)抗攻擊，但對(duì)抗攻擊后的樣本仍為正確分類。

還有一些學(xué)者依據(jù)對(duì)抗樣本的特性來進(jìn)行模型的版權(quán)驗(yàn)證。Lukas[37]和Zhao等[38]利用了對(duì)抗樣本的遷移性，即對(duì)抗樣本在相同或者相似的模型上往往具有較高的遷移性，因此在代理模型上會(huì)表現(xiàn)出高遷移性，通過將對(duì)抗樣本在可疑模型上的攻擊成功率與某個(gè)閾值進(jìn)行比較，從而判斷可疑模型是否是根據(jù)原始模型得到的代理模型。Chen等[39]提出了第一個(gè)多比特的基于后門的水印方案，他使用一種模型相關(guān)的編碼方案，將作者簽名以二進(jìn)制編碼的形式嵌入模型的預(yù)測(cè)結(jié)果中，這種方案使用定向生成的對(duì)抗樣本作為后門觸發(fā)集，并將對(duì)抗樣本和相應(yīng)的分類置信度分?jǐn)?shù)作為模型指紋分發(fā)給合法用戶（此類觸發(fā)集在圖2中用紅色矩形表示)。

（5）其他

為了讓后門方案同時(shí)與模型和用戶相關(guān)，Zhu等[40]采用這樣的方式構(gòu)造觸發(fā)集：使用兩個(gè)不予公開的哈希函數(shù)分別生成作為觸發(fā)集的圖像鏈和其對(duì)應(yīng)的標(biāo)簽。單向哈希函數(shù)無法反向構(gòu)造，因此在驗(yàn)證階段攻擊者難以實(shí)施偽造攻擊。

還有一種方法采取了類似后門的方式，但是不需要特定的觸發(fā)集[41]。這種方法采取一種可學(xué)習(xí)的圖像加密算法，將部分干凈圖像經(jīng)過加密變換之后作為觸發(fā)集，在驗(yàn)證時(shí)需要用密鑰將圖片進(jìn)行處理之后才能得到正確的推斷。

文獻(xiàn)[42]在干凈樣本和觸發(fā)集圖像上都通過隱寫技術(shù)嵌入了Logo，將水印與所有者身份信息聯(lián)系起來，便于區(qū)別于其他的企業(yè)、產(chǎn)品或服務(wù)。

深度模型水印方法分類如表1所示。

表1 深度模型水印方法分類Table 1 The classification of DNN watermarking methods

3 攻擊方法

針對(duì)現(xiàn)有的模型保護(hù)水印框架，有很多可能的攻擊策略。目前的攻擊方式主要有移除攻擊、逃逸攻擊和歧義攻擊。移除攻擊是指通過微調(diào)、剪枝或壓縮等方式去除模型中原有的水??；逃逸攻擊是指攻擊者在黑盒的驗(yàn)證階段通過一些手段逃脫水印的驗(yàn)證；歧義攻擊則是讓模型中出現(xiàn)另外一個(gè)非法水印，以混淆對(duì)于水印真實(shí)性的判斷。目前，對(duì)于后門水印方案的攻擊主要利用了神經(jīng)網(wǎng)絡(luò)的如下特性。

遺忘性：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，不可避免地會(huì)記住用于訓(xùn)練的數(shù)據(jù)，如果想要網(wǎng)絡(luò)遺忘這些數(shù)據(jù)，只需要?jiǎng)h除這些數(shù)據(jù)再進(jìn)行重新訓(xùn)練[43-44]。同樣，對(duì)于嵌入了后門的網(wǎng)絡(luò)，可以通過加入大量的新樣本對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，讓網(wǎng)絡(luò)忘記嵌入的后門，達(dá)到去除后門的目的。

不可解釋性：深度學(xué)習(xí)的模型一直被視作黑盒子，雖然學(xué)者一直在探索模型可解釋性的方法，但這項(xiàng)任務(wù)依舊面臨挑戰(zhàn)[45-47]。當(dāng)模型泛化表現(xiàn)較差時(shí)，欠擬合或者過擬合都會(huì)導(dǎo)致模型真正學(xué)習(xí)到的特征與重要性得分失去匹配。因此，有了使用對(duì)抗樣本作為后門和利用樣本空間局限性來實(shí)施攻擊的方式。

過參數(shù)性： 神經(jīng)網(wǎng)絡(luò)的過參數(shù)性也是導(dǎo)致對(duì)抗樣本存在的重要原因之一。例如，對(duì)抗樣本實(shí)現(xiàn)了僅僅修改訓(xùn)練圖片的一個(gè)或幾個(gè)像素，讓網(wǎng)絡(luò)輸出和正常分類不一樣的結(jié)果[48]。攻擊者可能會(huì)定向生成模型的對(duì)抗樣本，并把它當(dāng)作觸發(fā)圖片，在水印驗(yàn)證階段實(shí)施歧義攻擊。

樣本空間局限性： 對(duì)于對(duì)數(shù)據(jù)重度依賴的深度神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練樣本空間總體是有限的。但對(duì)于攻擊者來說，樣本空間卻是無限的，攻擊者總可以找到一種在原始樣本空間之外的樣本，或者在原始樣本中選取一些樣本并分配和模型無關(guān)的標(biāo)簽[49]。樣本空間示意如圖3所示。

圖3 樣本空間示意 Figure 3 Example space of known, unknown, and adversarial examples

該思路同樣為歧義攻擊提供了可能。下面詳細(xì)介紹一些攻擊策略對(duì)應(yīng)的具體研究工作。

3.1 水印檢測(cè)

水印檢測(cè)的目標(biāo)是檢測(cè)出模型中是否存在水印，以及存在什么形式的水印。在檢測(cè)出系統(tǒng)中存在的水印之后，攻擊者可以決定具體采取何種攻擊策略。Wang等[50]指出在文獻(xiàn)[8]的方法中由于水印嵌入改變了模型的權(quán)重分布，因此很容易被檢測(cè)。他同時(shí)展示了一種基于屬性推理的通用白盒水印檢測(cè)方法[51]。Shafieinejad等[52]也展示了一種屬性推理攻擊，使用部分訓(xùn)練數(shù)據(jù)和從網(wǎng)絡(luò)中提取的特征向量，有效地檢測(cè)出模型中是否存在基于后門機(jī)制嵌入的水印。他又提出一種對(duì)水印檢測(cè)攻擊更魯棒的水印方案：采用一種對(duì)抗訓(xùn)練的方式同時(shí)訓(xùn)練目標(biāo)模型和水印檢測(cè)網(wǎng)絡(luò)以獲得水印隱蔽性度量，并以正則化參數(shù)的形式使之參與水印的嵌入[53]。

3.2 移除攻擊

最常見的對(duì)于神經(jīng)網(wǎng)絡(luò)模型水印保護(hù)系統(tǒng)的攻擊方式是設(shè)法去除模型中嵌入的水印。移除攻擊可以通過微調(diào)[54-55]、剪枝[55-57]或者蒸餾[58]的方式實(shí)現(xiàn)。也有一些學(xué)者同時(shí)融合了微調(diào)和剪枝的策略，先對(duì)神經(jīng)元進(jìn)行剪枝，然后對(duì)模型進(jìn)行微調(diào)[55]。如果攻擊者知道水印的具體位置，還可以通過重新初始化其所在層的參數(shù)并重訓(xùn)練來去除該層的水印[8]。

目前大多數(shù)的移除攻擊針對(duì)后門水印的移除[52,54,59-61]。文獻(xiàn)[52]給出對(duì)后門水印實(shí)施攻擊的3種方式，指出在白盒場(chǎng)景時(shí)攻擊者可以通過正則化算法結(jié)合微調(diào)的方式來移除水印。文獻(xiàn)[54]通過合理地設(shè)置初始學(xué)習(xí)率和學(xué)習(xí)率的衰減參數(shù)，成功地通過微調(diào)去除了基于后門機(jī)制嵌入的水印。雖然這種微調(diào)能夠成功去除水印，但是需要一定量標(biāo)注的訓(xùn)練數(shù)據(jù)。而現(xiàn)實(shí)場(chǎng)景中攻擊者往往缺乏足夠的有標(biāo)記訓(xùn)練數(shù)據(jù)，因此文獻(xiàn)[59]進(jìn)一步提出使用未標(biāo)記數(shù)據(jù)的微調(diào)方法。具體做法是使用預(yù)訓(xùn)練模型的預(yù)測(cè)結(jié)果對(duì)從互聯(lián)網(wǎng)上下載的未標(biāo)記數(shù)據(jù)進(jìn)行標(biāo)記，并用這些數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)。

對(duì)于嵌入網(wǎng)絡(luò)內(nèi)部的水印方法，文獻(xiàn)[50]針對(duì)Uchida等提出的水印方法，使用一種水印移除算法去除網(wǎng)絡(luò)原始嵌入的水印，并同時(shí)嵌入了新的水印。

3.3 逃逸攻擊

Ryota等[57]提出可以通過修改查詢樣本的方式實(shí)施逃逸攻擊。這種方法適用于在原圖上添加擾動(dòng)而產(chǎn)生的后門樣本。如果系統(tǒng)判定一個(gè)查詢樣本為后門樣本，則使用一個(gè)自編碼器去除圖片上覆蓋的干擾信息，讓觸發(fā)樣本重新變回一個(gè)正常樣本。

此外，Hitaj等[4]提出了兩種基于盜取模型的逃逸攻擊方法，分別為集成攻擊（ensemble attack）和檢測(cè)攻擊（detector attack），均可在黑盒模式下實(shí)施，無須訪問模型內(nèi)部信息。攻擊者將盜取的模型建立為DLaaS系統(tǒng)，通過API提供服務(wù)謀取利益。集成攻擊是將多個(gè)盜取的模型組成集群，對(duì)于輸入的分類任務(wù)通過對(duì)多個(gè)模型的推斷結(jié)果采取投票機(jī)制輸出結(jié)果，可有效擾亂觸發(fā)樣本的映射結(jié)果。而檢測(cè)攻擊通過引入觸發(fā)樣本檢測(cè)機(jī)制實(shí)施逃逸攻擊。在輸入API之前先讓樣本經(jīng)過檢測(cè)器，當(dāng)檢測(cè)到觸發(fā)樣本時(shí)，系統(tǒng)刻意輸出隨機(jī)的標(biāo)簽以擾亂后門觸發(fā)機(jī)制，而對(duì)于檢測(cè)到的正常樣本，系統(tǒng)使用盜取的模型進(jìn)行正常的推斷。

3.4 歧義攻擊

歧義攻擊的目標(biāo)是讓模型中出現(xiàn)另外的非法水印，破壞水印的唯一性?；谏疃葘W(xué)習(xí)模型的過參數(shù)化特性，一個(gè)模型中可以同時(shí)存在多個(gè)后門。攻擊者可以使用對(duì)抗樣本作為額外的后門，或者通過微調(diào)的方式在模型中嵌入新的后門。Guo等[62]指出將作者簽名作為后門嵌入模型的系統(tǒng)可能受到偽簽名的攻擊，如對(duì)于Yossi等[32]提出的方案，攻擊者可以通過遺傳算法生成另一組抽象圖片，在模型中形成一組新的特殊映射。

深度模型水印攻擊方法分類如表2所示。值得注意的是，基于額外訓(xùn)練的移除攻擊需要使用少量正常樣本（遠(yuǎn)少于原始訓(xùn)練所需樣本數(shù)量）對(duì)模型進(jìn)行白盒下的水印移除。對(duì)于替代模型，需要在黑盒條件下得到足夠使替代模型收斂的標(biāo)記數(shù)據(jù)從而實(shí)現(xiàn)替代攻擊。而逃逸和歧義攻擊在黑盒和白盒條件下均不需要使用正常樣本即可完成攻擊。

表2 深度模型水印攻擊方法分類Table 2 The classification of DNN watermarking attack methods

4 討論

在深度學(xué)習(xí)模型的版權(quán)保護(hù)問題中，模型的分發(fā)方式不同，會(huì)導(dǎo)致攻擊者采用不同的攻擊策略，因此在設(shè)計(jì)模型版權(quán)保護(hù)方案時(shí)，應(yīng)該將這些因素考慮在其中。從時(shí)間先后順序考慮，首先，對(duì)于模型所有者，在水印嵌入時(shí)應(yīng)只考慮白盒場(chǎng)景，即模型擁有者可利用與模型有關(guān)的任意信息（權(quán)重、結(jié)構(gòu)等）輔助水印嵌入。此后，當(dāng)攻擊者獲得分發(fā)的模型后，根據(jù)攻擊者獲得的與模型相關(guān)知識(shí)的多少可分為白盒與黑盒情況，前者假設(shè)攻擊者已知的模型信息和模型所有者相同，后者假設(shè)攻擊者僅能觀測(cè)給定樣本和其輸出的關(guān)系。最后，在模型驗(yàn)證時(shí)，存在白盒與黑盒的情況，前者需要訪問模型內(nèi)部信息，而后者只需觀測(cè)輸入輸出關(guān)系。下面分別討論各種可能的情形以及模型擁有者和攻擊者可能的應(yīng)對(duì)方式。

4.1 白盒分發(fā)

該情況意味著攻擊者可以獲知模型的結(jié)構(gòu)和參數(shù)，在攻擊時(shí)可以采用更靈活的方法。通常情況下攻擊者由于缺乏獨(dú)立訓(xùn)練模型的能力而對(duì)模型進(jìn)行竊取，或?qū)λ”Ｗo(hù)框架實(shí)施攻擊，以達(dá)到非法使用模型，或提供類似服務(wù)來牟取利益的目的。當(dāng)模型以白盒形式分發(fā)時(shí)，攻擊者需要在攻擊代價(jià)（對(duì)模型進(jìn)行微調(diào)，重訓(xùn)練）和訓(xùn)練自己的模型中做出權(quán)衡。只有當(dāng)攻擊者只擁有有限的訓(xùn)練數(shù)據(jù)，或不具備足夠的算力重新訓(xùn)練模型時(shí)，現(xiàn)有的水印方法才具備魯棒性。

基于Kerckhoffs' Principle，只有在模型結(jié)構(gòu)和水印算法同時(shí)保密的情況下，模型才可能是絕對(duì)安全的。從更嚴(yán)格的模型安全的角度考慮，應(yīng)假定攻擊者擁有和模型所有者相同的訓(xùn)練條件（足夠的訓(xùn)練數(shù)據(jù)和算力）。在這種條件下，攻擊者既可以采取和模型擁有者相同或不同的水印嵌入方式制造歧義攻擊，也可采用微調(diào)、剪枝等手段對(duì)水印進(jìn)行破壞或者移除[54-55]。在這種考慮下，不管采用何種驗(yàn)證方式，現(xiàn)有的基于水印的版權(quán)驗(yàn)證框架對(duì)于以白盒形式分發(fā)的模型來說都是無效的。因此，不論黑盒驗(yàn)證還是白盒驗(yàn)證，以白盒模式分發(fā)的模型均難以得到有效保護(hù)，而黑盒分發(fā)與黑盒驗(yàn)證模式是最有可能在實(shí)際應(yīng)用中采用的模式，值得更多研究關(guān)注。

4.2 黑盒分發(fā)

在實(shí)際應(yīng)用中，更常見的情形是各大公司通過聘請(qǐng)AI專家設(shè)計(jì)模型，花費(fèi)大量資金和人力訓(xùn)練數(shù)據(jù)，最終得到一個(gè)模型文件。這些公司對(duì)外提供機(jī)器學(xué)習(xí)服務(wù)的方式主要有兩種：一種是提供云模式的API，另一種是將模型私有地部署到用戶的設(shè)備或者數(shù)據(jù)中心的服務(wù)器上[5]。對(duì)于前者，攻擊者通過一定的遍歷算法，在反復(fù)調(diào)用云模式的API后可以在本地還原出一個(gè)與原始模型功能相同的模型，并提供相似的服務(wù)；對(duì)于后者，攻擊者通過逆向等安全技術(shù)可以將模型還原供其使用或者對(duì)模型二次售賣?？傮w來說，只有黑盒分發(fā)情況下的神經(jīng)網(wǎng)絡(luò)模型才能得到有效保護(hù)。

4.2.1 黑盒驗(yàn)證

有兩類方法可以適用于黑盒場(chǎng)景下的水印驗(yàn)證：一類是基于后門機(jī)制的模型水印方法；另一類是Rouhani等[18]所提出的水印方案。

當(dāng)模型以黑盒發(fā)放時(shí)，這兩類方法都可以達(dá)到驗(yàn)證模型版權(quán)的目的。對(duì)于攻擊者來說，由于無法訪問模型的內(nèi)部參數(shù)與結(jié)構(gòu)，也就無法對(duì)模型進(jìn)行微調(diào)或者重訓(xùn)練，這給實(shí)施移除攻擊和歧義攻擊造成了困難。在這種情況下，模型所有者可設(shè)計(jì)如Zhu等[40]的水印嵌入方法，構(gòu)建難以復(fù)制的后門機(jī)制，使攻擊者無法有效采取歧義攻擊。而攻擊者可能會(huì)實(shí)施逃逸攻擊、基于后門的歧義攻擊，或者盜取多個(gè)功能相似的模型進(jìn)行集成[4]。

4.2.2 白盒驗(yàn)證

當(dāng)模型以黑盒發(fā)放時(shí)，水印方法對(duì)于各種攻擊方法的魯棒性都增強(qiáng)了，然而，當(dāng)攻擊者將竊取的模型以API接口（黑盒）的形式部署到線上時(shí)，白盒驗(yàn)證將無法實(shí)施。此外，白盒驗(yàn)證方法難以用于嵌入式系統(tǒng)[62]。因此，白盒驗(yàn)證方案都具有應(yīng)用的局限性。

5 結(jié)束語(yǔ)

本文對(duì)近年來興起的用于保護(hù)深度神經(jīng)網(wǎng)絡(luò)版權(quán)的神經(jīng)網(wǎng)絡(luò)水印研究進(jìn)行了梳理和介紹，對(duì)現(xiàn)有方法進(jìn)行了分類和討論，其中重點(diǎn)闡述了針對(duì)判別式模型中常見的多分類神經(jīng)網(wǎng)絡(luò)版權(quán)保護(hù)的水印嵌入和驗(yàn)證方法，包括與傳統(tǒng)多媒體水印類似的嵌入模型內(nèi)部的方法和神經(jīng)網(wǎng)絡(luò)特有的基于后門的方法，對(duì)各方法的特點(diǎn)和優(yōu)劣進(jìn)行了詳細(xì)介紹；進(jìn)一步討論和總結(jié)了現(xiàn)有針對(duì)神經(jīng)網(wǎng)絡(luò)水印的一系列攻擊方法，從水印嵌入、攻擊以及驗(yàn)證3個(gè)階段分別討論了白盒與黑盒場(chǎng)景下模型所有者和攻擊者面臨的挑戰(zhàn)和可能采取的策略。

神經(jīng)網(wǎng)絡(luò)水印目前仍是一個(gè)較新的研究領(lǐng)域，還存在很多值得研究的問題。該領(lǐng)域未來的研究方向可以聚焦于如下問題。

（1）提升后門水印針對(duì)歧義攻擊的魯棒性。白盒驗(yàn)證的方法無法用于嵌入式系統(tǒng)[62]，也無法應(yīng)對(duì)攻擊者將偽造模型部署到遠(yuǎn)端的情況，有其固有的局限性。因此，基于后門機(jī)制，滿足在黑盒場(chǎng)景下驗(yàn)證的版權(quán)保護(hù)方案是目前值得研究的方向。而對(duì)于基于后門機(jī)制的嵌入方法，最常見的攻擊方式是找到模型中的異常輸入輸出關(guān)系，從而引入新的異常映射，即實(shí)施歧義攻擊。此外，由于訓(xùn)練樣本的有限性、深度神經(jīng)網(wǎng)絡(luò)模型的不可解釋性和過參數(shù)性，實(shí)際應(yīng)用中存在大量未知樣本和對(duì)抗樣本，均可作為歧義攻擊的參考樣本。因此，有必要研究對(duì)于歧義攻擊更魯棒的后門水印方案。

（2）拓展目標(biāo)模型的任務(wù)領(lǐng)域。目前的模型版權(quán)保護(hù)方案中基于后門機(jī)制的方法大多數(shù)針對(duì)圖像分類網(wǎng)絡(luò)。除了圖像分類模型之外，圖像生成和處理網(wǎng)絡(luò)也是一類非常具有應(yīng)用價(jià)值的模型，已經(jīng)有學(xué)者開始關(guān)注這一類模型的版權(quán)問題[15,64]。針對(duì)生成對(duì)抗網(wǎng)絡(luò)的水印保護(hù)方案，除了驗(yàn)證模型所有權(quán)之外，GAN水印可以用于深度偽造內(nèi)容的溯源，在其誤用時(shí)歸因于模型所有者。針對(duì)GAN模型，有學(xué)者利用圖像隱寫術(shù)在所有訓(xùn)練數(shù)據(jù)中嵌入了水印，這樣任何模型生成的圖片都攜帶了水印[65]。此外，有工作將水印技術(shù)應(yīng)用到了自然語(yǔ)言處理模型[66]、語(yǔ)音識(shí)別模型[67]，以及圖神經(jīng)網(wǎng)絡(luò)的保護(hù)中[68]，而在深度學(xué)習(xí)其他領(lǐng)域的模型保護(hù)問題依然值得進(jìn)一步研究。

（3）可逆水印。不管是將水印嵌入模型內(nèi)部參數(shù)，還是在模型中嵌入后門，都是不可逆的過程。這些水印技術(shù)只能盡可能地降低對(duì)原始網(wǎng)絡(luò)性能的影響，但模型參數(shù)卻被永久改變了?？赡嫠】梢栽谔崛∷≈蠡謴?fù)模型原始的參數(shù)，保護(hù)模型的完整性，對(duì)軍事、法律等領(lǐng)域的模型保護(hù)具有重要的意義。目前有工作將數(shù)字圖像可逆水印技術(shù)應(yīng)用到模型保護(hù)中[69]，相關(guān)工作仍有待進(jìn)一步研究。