邱寧佳，王曉霞，王 鵬，周思丞，王艷春

長春理工大學(xué) 計算機科學(xué)技術(shù)學(xué)院，長春130022

1 引言

近年來，卷積神經(jīng)網(wǎng)絡(luò)（CNN）逐漸被學(xué)者們應(yīng)用到構(gòu)建分類模型中。為提高分類的精度，Johnson R 等在CNN 卷積層中引入詞袋轉(zhuǎn)換進行文本分類[1]。周錦峰等通過堆疊多個卷積層，提取不同窗口的局部語義特征來進行分類[2]。鈕成明等利用Word2Vec 和針對長短時記憶網(wǎng)絡(luò)改進的循環(huán)神經(jīng)網(wǎng)絡(luò)的方法對中文微博情感進行分類[3]。Liao S 等通過對比基于SVM 和樸素貝葉斯算法的傳統(tǒng)分類方法對twitter 數(shù)據(jù)進行情感分類[4]，驗證了CNN具有更好的準確性。Gamb?ck B等應(yīng)用神經(jīng)網(wǎng)絡(luò)模型[5]對Twitter仇恨語音文本進行訓(xùn)練，并通過實驗驗證基于word2vec 嵌入的模型表現(xiàn)最佳。Dos Santos C等[6]使用從字符到句子級別的信息來執(zhí)行短文本的情感分析。王吉俐等[7]通過引入注意力機制得到文本類別的特征向量矩陣后，運用卷積神經(jīng)網(wǎng)絡(luò)模型完成文本的分類。

由于傳統(tǒng)機器學(xué)習(xí)方法假設(shè)訓(xùn)練集和數(shù)據(jù)集都處于統(tǒng)一特征空間并分布一致，而在實際應(yīng)用中，這種假設(shè)不太可能成立，因此學(xué)者們引入了遷移學(xué)習(xí)的思想。鄭遠攀等在圖像識別領(lǐng)域有效使用了遷移學(xué)習(xí)技術(shù)識別小樣本數(shù)據(jù)[8]。王立偉等在高光譜圖像分類中將深層殘差網(wǎng)絡(luò)運用到特征提取器中解決了樣本空間特征利用不足的問題[9]。Uguroglu S等提出了一種新的遷移學(xué)習(xí)方法來識別兩個數(shù)據(jù)集之間的變量和不變特征[10]，以此提高算法的準確性。Oquab M等利用有限數(shù)量的訓(xùn)練數(shù)據(jù)將CNN在大規(guī)模標注的數(shù)據(jù)集訓(xùn)練得到的圖像表示有效地遷移到其他視覺識別任務(wù)中[11]。張智在圖像分類模型構(gòu)建中結(jié)合遷移學(xué)習(xí)與深度學(xué)習(xí)的思想[12]來達到提高模型精度的同時節(jié)約訓(xùn)練成本的目的。Tang Y等使用基于CNN的遷移學(xué)習(xí)方法來研究歷史文字識別問題，解決了標記訓(xùn)練樣本不足的問題[13]。邢恩旭等在少量目標樣本訓(xùn)練集中使用基于遷移學(xué)習(xí)的雙層生成式對抗網(wǎng)絡(luò)模型[14]訓(xùn)練出更好的模型。么素素等提出了一種基于級聯(lián)結(jié)構(gòu)的集成遷移學(xué)習(xí)算法解決數(shù)據(jù)絕對不平衡的問題[15]。徐旭東等提出了一種基于遷移學(xué)習(xí)和CNN的控制圖識別方法，通過比對BP神經(jīng)網(wǎng)絡(luò)提高了控制圖識別準確率[16]。Ravishankar H 等通過遷移學(xué)習(xí)算法在ImageNet圖像上訓(xùn)練以執(zhí)行圖像分類，并通過調(diào)整遷移程度來提高圖像檢測分類性能[17]。周清清等利用遷移學(xué)習(xí)方法對H7N9微博主觀語料文本進行情感分類[18]，驗證了其分類效果優(yōu)于非遷移學(xué)習(xí)方法。

但傳統(tǒng)CNN需要大量有監(jiān)督的訓(xùn)練樣本才能獲得較高的分類精度，而實際上數(shù)據(jù)集很難滿足獨立同分布的條件，且數(shù)據(jù)標注成本較高。為了解決以上問題，本文提出了一種基于模型遷移的卷積神經(jīng)網(wǎng)絡(luò)（trCNN）算法。設(shè)定源域數(shù)據(jù)集為帶標注的文本分類數(shù)據(jù)集，目標數(shù)據(jù)集為人工標注的少量微博評論數(shù)據(jù)集。首先為了使數(shù)據(jù)集更好地符合遷移學(xué)習(xí)的要求，利用主成分分析法（PCA）算法和自編碼機模型對源域數(shù)據(jù)集和目標數(shù)據(jù)集進行降維處理。其次利用源域數(shù)據(jù)集中大量帶標注的數(shù)據(jù)集構(gòu)建源域神經(jīng)網(wǎng)絡(luò)模型，同時設(shè)定模型遷移規(guī)則，并部分源域模型遷移至目標域任務(wù)。最后使用少量帶標注的目標域數(shù)據(jù)集對遷移模型進行訓(xùn)練微調(diào)其神經(jīng)網(wǎng)絡(luò)參數(shù)，完成遷移模型的構(gòu)建。本文實驗結(jié)果表明，基于模型遷移的卷積神經(jīng)網(wǎng)絡(luò)具有較高的分類精度。

2 源域與目標域數(shù)據(jù)集分析

為了滿足在低維度特征空間下源域與目標域數(shù)據(jù)集具有相似的特征分布，下面對源域與目標域數(shù)據(jù)集進行特征降維處理。

2.1 源域數(shù)據(jù)集特征降維

PCA算法能夠?qū)崿F(xiàn)無監(jiān)督降維且計算速度較快，故針對本文源域數(shù)據(jù)量大的情況，采用PCA 算法挑選出主要特征，對數(shù)據(jù)集進行無監(jiān)督降維處理，使得數(shù)據(jù)降維后產(chǎn)生更小但保持數(shù)據(jù)完整性的新數(shù)據(jù)集，有效提高了數(shù)據(jù)分析效率。

PCA 算法首先選取方差最大的方向作為新的坐標軸方向，然后重復(fù)選擇與新坐標軸正交且方差最大的方向（重復(fù)次數(shù)為原始數(shù)據(jù)的特征維數(shù)）。

設(shè)原始數(shù)據(jù)樣本集為X={x1,x2,…,xm}，xi∈Rn，其中m 代表樣本數(shù)，n 代表特征維度。為了避免數(shù)據(jù)均值對坐標變換的影響，本文先對數(shù)據(jù)集進行處理，將每個特征值減去該維特征的平均值，對第i 個樣例的第j 個特征，計算公式為：

u 為第j 個特征的期望。設(shè)協(xié)方差矩陣為n×n 大小的方陣，具有n 個特征向量，計算出協(xié)方差的特征向量及對應(yīng)的特征值。將特征向量按照特征值的大小按列排放，組成矩陣u={u1,u2,…,un}，設(shè)定閾值p，k 為選擇的特征維度，n 為全部的特征維度當(dāng)滿足：

由此得到降維后的源域樣本集X={x1,x2,…,xm}，xi∈Rk，完成源域數(shù)據(jù)集的降維工作。

2.2 目標域數(shù)據(jù)集特征降維

自編碼機模型在數(shù)據(jù)降維過程中可以通過正則化項得到數(shù)據(jù)集的稀疏編碼形式，本文選用了自編碼機模型對目標域進行降維，將源數(shù)據(jù)集降維后的特征信息作為稀疏正則化因子，來指導(dǎo)目標域數(shù)據(jù)集降維，以此盡可能地保留與源域數(shù)據(jù)較為相似的特征，并完成對目標域的降維工作。

本文使用源域數(shù)據(jù)集和目標數(shù)據(jù)集的數(shù)據(jù)分布相似程度作為正則化項，但因其在原始維度下的數(shù)據(jù)分布可能無法重疊，此時的KL 散度無法計算出數(shù)據(jù)分布的差異。因此，為了得到目標域數(shù)據(jù)的稀疏特征表達，使用最小化源域與目標域數(shù)據(jù)集的分布差異的JS散度作為稀疏正則項，以此來提高模型在數(shù)據(jù)分布差異較大時的敏感性，JS散度的計算公式如下：

其中，p 為源域數(shù)據(jù)集降維后的特征分布，q 為目標域數(shù)據(jù)集降維后的特征分布。故得到自編碼機的損失函數(shù)公式如式（4）：

其中，β 為調(diào)節(jié)因子，用來調(diào)節(jié)稀疏化的強度，并通過梯度下降算法完成自編碼機降維模型的收斂。最終經(jīng)過多個編碼層后得到目標域數(shù)據(jù)低維度的特征表達形式。

3 改進卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)

3.1 trCNN模型構(gòu)建

由于卷積神經(jīng)網(wǎng)絡(luò)具有共享隱藏層矩陣和層次化特征提取的特點，故本文選擇了深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)作為遷移模型，并在此基礎(chǔ)上提出了trCNN 模型。模型構(gòu)建過程如下：

第一步，利用源域數(shù)據(jù)集訓(xùn)練一個用于文本分類任務(wù)的源域模型。設(shè)P 為源域數(shù)據(jù)Us的特征分布，Q 為目標域Ut的概率密度分布，con_pooling={con_pooling1,con_pooling2,…,con_poolingn} 為源域模型的卷積池化層。卷積神經(jīng)網(wǎng)絡(luò)對上層的特征繼續(xù)進行卷積池化操作，設(shè)n 為卷積池化層的深度，M 為提取后的特征矩陣，由此可得特征矩陣為Mn：

第二步，將源域模型中用于提取一般性句子特征結(jié)構(gòu)的卷積池化層遷移至目標域模型，并使用目標域的特征信息對遷移來的源域隱層進行微調(diào)。將源域和目標域數(shù)據(jù)集通過卷積池化層后，得到源域特征分布序列P={p1,p2,…,pn} 和目標域Q={q1,q2,…,qn} 特征分布序列，設(shè)定數(shù)據(jù)分布相似度閾值為ρ，對于當(dāng)前卷積池化層k，通過計算源域和目標域特征分布的JS散度來判定其提取的特征是否相似，當(dāng)特征分布相似度JS(P||Q)大于閾值ρ 時，遷移得到的卷積池化層對于目標域數(shù)據(jù)能提取到相似的特征矩陣，可以遷移到目標域模型中，反之則不能遷移至目標域模型中。

第三步，增加少量用于高層特征提取的隨機初始化隱藏層，完成遷移模型trCNN的構(gòu)建任務(wù)。源域與目標域數(shù)據(jù)集由于數(shù)據(jù)量不同而存在的數(shù)據(jù)集特征分布不同的問題，在隱藏層的遷移中可能會存在誤差，為了減少誤差，本文設(shè)計了一種調(diào)節(jié)因子φ 來對遷移的隱藏層權(quán)重矩陣進行細粒度調(diào)節(jié)。設(shè)a 為源域模型特征矩陣數(shù)量，p′為源域模型特征期望矩陣。b 為目標域模型特征矩陣數(shù)量，q′為目標域模型特征期望矩陣，隱藏層卷積核權(quán)重矩陣w 計算公式如下：

當(dāng)源域與目標域特征分布相近時，φ 值較大，得到較小的遷移隱藏層權(quán)重，源域?qū)δ繕擞虻奶卣饔绊戄^大；當(dāng)源域與目標域特征分布差異較大時，φ 值較小，得到較大的遷移隱藏層權(quán)重，源域?qū)δ繕擞虻奶卣饔绊戄^小。通過細粒度調(diào)節(jié)因子φ 優(yōu)化源模型隱層權(quán)重擬合目標域的特征分布，得到源域模型對應(yīng)后的遷移模型參數(shù)矩陣，即完成模型遷移工作，最終通過補全深層特征提取的隱藏層，完成整個遷移模型的構(gòu)建。

補全后的trCNN 模型為了預(yù)防訓(xùn)練數(shù)據(jù)過度擬合問題，使用Dropout 方法在訓(xùn)練時隨機選出隱藏層的神經(jīng)元將其刪除，被刪除的神經(jīng)元不再進行信號傳遞，從而有效地避免了過擬合問題。同時模型在不需要增加訓(xùn)練集數(shù)量的情況下，減少了訓(xùn)練迭代次數(shù)，提高了泛化能力。

3.2 遷移卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

通過結(jié)合數(shù)據(jù)集特征降維與改進的trCNN算法，得到了遷移卷積神經(jīng)網(wǎng)絡(luò)模型，其完整的遷移模型算法流程圖如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)模型遷移流程圖

首先，本文采用了無監(jiān)督的PCA 算法對源域數(shù)據(jù)集進行降維，得到其主要特征，以此降低了源域數(shù)據(jù)和目標域數(shù)據(jù)之間的差距。同時對目標域數(shù)據(jù)集使用帶有兩個領(lǐng)域數(shù)據(jù)分布差異JS散度作為稀疏正則項的自編碼機模型進行半監(jiān)督降維，在低維度下盡可能地減少由于分布不同而導(dǎo)致模型負遷移的可能性。

其次，使用源域數(shù)據(jù)對卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，利用JS散度將能夠提取相似特征的卷積池化層進行模型遷移，并通過公式（9）進行細粒度調(diào)整遷移模型的隱層權(quán)重矩陣，使其更適合目標域數(shù)據(jù)。將遷移的隱藏層結(jié)合初始化的卷積池化層來提取高層特征，形成完整的目標域卷積模型。模型如圖2所示。

最后，將隨機初始化的隱藏層添加到遷移模型中進行高層語義特征提取工作。由于層數(shù)較少，本文使用目標域中少量的有監(jiān)督樣本對遷移模型進行訓(xùn)練，從而完成整個模型的構(gòu)建。設(shè)定目標域模型的SoftMax 函數(shù)為樣本屬于各個情感類別的概率分布計算公式：

圖2 trCNN模型結(jié)構(gòu)圖

當(dāng)數(shù)據(jù)量較少的時候，全樣本梯度下降算法消耗的訓(xùn)練時間較短，但能較快且穩(wěn)定地將遷移模型收斂到誤差閾值范圍內(nèi)。因此本文使用了少量的目標域數(shù)據(jù)集對遷移模型進行訓(xùn)練，并采用全樣本梯度下降算法完成遷移模型的訓(xùn)練的工作，以此來達到對遷移得到的隱藏層進行微調(diào)，同時能夠訓(xùn)練隨機初始化的高層特征提取隱藏層的目的。從而來完成對trCNN 模型從源域到目標域的遷移工作。由于本文利用了本文分類數(shù)據(jù)集來構(gòu)建用于提取句子中一般性結(jié)構(gòu)信息的隱藏層，并將隱藏層遷移至目標域模型中，因此極大地降低了卷積神經(jīng)網(wǎng)絡(luò)對于訓(xùn)練集數(shù)量的需求。同時，因為遷移的隱藏層結(jié)構(gòu)提取的是一般性句子結(jié)構(gòu)信息，因此能夠有效地放置卷積神經(jīng)網(wǎng)絡(luò)僅對于某種訓(xùn)練數(shù)據(jù)集的過度擬合，增加了模型的泛化能力。

4 實驗與結(jié)果分析

4.1 實驗數(shù)據(jù)

本文采用微博API 提供的數(shù)據(jù)集與帶有標注信息的NLPCC2013 數(shù)據(jù)集作為訓(xùn)練語料庫，其中將NLPCC2013 數(shù)據(jù)集作為源域數(shù)據(jù)集，并用來訓(xùn)練源域的分類模型，數(shù)據(jù)集正負例樣本分布如表1所示。

表1 源域數(shù)據(jù)集

微博數(shù)據(jù)包含情感分類、文本分類、垃圾評論分類三種文本數(shù)據(jù)。同時選擇少量等比例的正反數(shù)據(jù)集進行人工標注，作為遷移后的訓(xùn)練數(shù)據(jù)，其余數(shù)據(jù)則作為遷移模型的測試集，對模型有效性進行驗證，詳細設(shè)置如表2。

表2 目標域數(shù)據(jù)集

4.2 實驗參數(shù)設(shè)置

本文在實驗中采用多態(tài)模式的卷積核對輸入的語義合成向量進行卷積操作，使用最大池化操作對特征進行降維。設(shè)置模型特征圖數(shù)m 為32，Mini-batch梯度下降數(shù)為50，隨機失活數(shù)p 為0.2，學(xué)習(xí)率Λ 為10?3，神經(jīng)網(wǎng)絡(luò)層數(shù)L 為6層，單層神經(jīng)網(wǎng)絡(luò)節(jié)點為128個。如表3所示。

表3 模型參數(shù)設(shè)置

4.3 實驗結(jié)果分析

實驗1 遷移模型算法可行性分析

本文使用了NLPCC2013源域數(shù)據(jù)集訓(xùn)練一個源域模型，首先將模型中可遷移隱藏層遷移至目標域模型中，然后使用帶標注目標域數(shù)據(jù)集完成目標域模型訓(xùn)練工作。設(shè)定模型迭代周期為1 000次。數(shù)據(jù)集分別選擇表2 三種數(shù)據(jù)集中1 000 條帶標注樣本來訓(xùn)練遷移模型，設(shè)定收斂閾值p ＞90%。實驗結(jié)果如圖3。

圖3 遷移模型在不同數(shù)據(jù)集下可行性分析

由圖可知，對于已完成遷移的目標域模型，將其放入處于初始化狀態(tài)的高層特征提取的卷積池化層，其分類正確率可達到75.2%，由此說明遷移來的隱藏層對于目標域數(shù)據(jù)集能夠完成底層的特征提取工作。隨著迭代次數(shù)的增加，目標域數(shù)據(jù)集開始訓(xùn)練遷移模型，其分類精度明顯上升，在350次迭代時模型分類精度最高達到94%左右。當(dāng)模型在迭代450次時，在三個領(lǐng)域數(shù)據(jù)集上的誤差均小于閾值，可以認為模型完成了收斂。由此可以得出，trCNN 的模型可以較好地完成遷移任務(wù)，從而降低了標注成本。

實驗2 遷移模型消耗帶標注樣本數(shù)量驗證

為了更直觀地展現(xiàn)模型在降低人工標注中的優(yōu)勢，本文選用了非遷移的CNN模型作為對照組。設(shè)定實驗迭代次數(shù)為5 000 次，數(shù)據(jù)集為表2 的微博情感分類數(shù)據(jù)，通過逐漸增加帶標注的數(shù)據(jù)來判斷其在測試集下的正確率，實驗結(jié)果如表4。

表4 不同樣本數(shù)量下模型正確率%

由表4可知，微博情感分類數(shù)據(jù)集為500條時，CNN的模型的分類正確率比trCNN的模型低了近30%，當(dāng)數(shù)據(jù)集樣本增加至900 條時，trCNN 的模型正確率已經(jīng)達到了85.3%，而CNN 的模型正確率僅63.9%，此時可以認為trCNN已經(jīng)完成了訓(xùn)練工作，并且取得了優(yōu)異的分類成績。實驗繼續(xù)增加訓(xùn)練樣本至7 000條時，CNN的模型分類才達到84.6%，相對于trCNN模型，增加了87%的訓(xùn)練樣本。此后再增加訓(xùn)練樣本，兩種模型都已經(jīng)趨近于收斂狀態(tài)，可以認為已經(jīng)完成了訓(xùn)練工作。同時由于源域數(shù)據(jù)自帶標注信息的公共文本數(shù)據(jù)集，預(yù)訓(xùn)練得到的模型可以用于多種目標域中。因此，改進的trCNN模型不僅可以降低大量人工訓(xùn)練的標注成本，還能降低訓(xùn)練的運算成本。

使用表2 中的垃圾評論數(shù)據(jù)集作為測試集進一步驗證訓(xùn)練完成后的模型的分類效果，實驗通過增加測試集數(shù)據(jù)驗證目標域數(shù)據(jù)量對實驗結(jié)果的影響，設(shè)定AUC為實驗結(jié)果評價指標，AUC值越大，說明模型分類效果越好。實驗結(jié)果如圖4所示。

圖4 trCNN模型分類精度ROC曲線

可以看出，當(dāng)測試集數(shù)據(jù)量由14 000 增至23 000時，AUC 的值由0.957 增至0.974，實驗達到一定的迭代次數(shù)后，模型分類性能能夠在保持較高準確度程度下趨于平穩(wěn)。隨著測試集數(shù)量的增加，垃圾評論數(shù)據(jù)集精度損失減小。因此可以得出，遷移后的神經(jīng)網(wǎng)絡(luò)模型具有較好的分類效果。

實驗3 目標域特征降維對遷移性能的影響

本文使用多層自編碼機對目標域數(shù)據(jù)集進行降維，設(shè)定源域數(shù)據(jù)集為nlpcc2013，目標域數(shù)據(jù)集為微博情感分類數(shù)據(jù)集，自編碼機采用5個隱藏層對輸入向量進行編碼，由此得到5種目標域數(shù)據(jù)集的低維度特征表現(xiàn)形式，將后一層的隱層信息看作前一層的降維結(jié)果，通過實驗，得到源域與目標域數(shù)據(jù)分布相似度和特征維度之間的關(guān)系如圖5所示。

圖5 降維對樣本集特征分布相似度影響

由圖5可以得出，降維后的源域數(shù)據(jù)與目標域數(shù)據(jù)相較于原始數(shù)據(jù)在數(shù)據(jù)分布上已經(jīng)取得了較高的相似度。微博情感分類數(shù)據(jù)在未降維的情況下與源域數(shù)據(jù)的JS散度為48%，在經(jīng)過5次特征降維后達到了86%。而垃圾評論數(shù)據(jù)集與文本分類數(shù)據(jù)集在無降維條件下，特征分布相似度僅為12%和19%，但經(jīng)過5次降維后最終達到了72%和70%的結(jié)果。這說明特征降維能夠提高數(shù)據(jù)分布的相似度。同時，本文設(shè)計了實驗來驗證數(shù)據(jù)分布相似度對遷移模型分類效果的影響，實驗結(jié)果如表5所示。

表5 樣本集降維對遷移模型性能影響 %

由表5 可以看出，在原始維度下，遷移模型的性能普遍較低，即使在特征分布較為相似的微博分類數(shù)據(jù)集上也僅僅只有40.6%的分類準確率。而隨著降維次數(shù)的增加，數(shù)據(jù)分布的相似度升高，三個數(shù)據(jù)集的分類準確率也逐步提升，在經(jīng)過第5 次降維后，三個數(shù)據(jù)集分別取得91%，86.2%，88.3%分類準確率。由此可見當(dāng)對數(shù)據(jù)進行降維后，目標域數(shù)據(jù)分別貼近于源域數(shù)據(jù)分布，得到的遷移模型能更好地貼近于目標域數(shù)據(jù)集，得到更高的分類精度，證明了遷移模型的可行性。

實驗4 調(diào)節(jié)因子對分類精度的影響

本文使用實驗3 中降維前后的垃圾評論數(shù)據(jù)集進行分類實驗，設(shè)計當(dāng)源域與目標域數(shù)據(jù)集特征分布不同時，通過調(diào)節(jié)因子對遷移的隱藏層權(quán)重矩陣進行細粒度調(diào)節(jié)，得到不同的分類效果，以此來驗證調(diào)節(jié)因子對分類精度的影響。實驗結(jié)果如圖6所示。

圖6 調(diào)節(jié)因子φ 對分類精度的影響

由圖6 可知，當(dāng)源域與目標域特征分布相差較大時，隨著φ 值的增加，垃圾評論數(shù)據(jù)集的分類效果逐漸下降；相反，當(dāng)源域與目標域特征分布相近時，數(shù)據(jù)集的分類精度也隨著φ 值的上升而增加。由此證明了通過調(diào)節(jié)因子來對遷移的隱藏層權(quán)重矩陣進行細粒度調(diào)節(jié)，減小了源域與目標域之間特征分布不同時的誤差，從而提高遷移模型的分類準確度。

5 結(jié)束語

為提高訓(xùn)練集與測試集分布不同時的分類精度，本文設(shè)計實驗對數(shù)據(jù)分布差異性進行分析，提出了trCNN模型。該模型首先利用PCA算法對源域數(shù)據(jù)集進行無監(jiān)督降維，同時利用自編碼機模型對目標域數(shù)據(jù)集進行半監(jiān)督降維，使源域數(shù)據(jù)集與目標域數(shù)據(jù)集具有較為相似的分布狀態(tài)。其次結(jié)合卷積神經(jīng)網(wǎng)絡(luò)分布特征提取的特點，針對底層特征提取的卷積池化層進行遷移，并使用初始化高層特征提取器補全CNN 模型。最后，使用降維后的帶標注目標域數(shù)據(jù)集完成遷移模型的樣本訓(xùn)練任務(wù)。本文設(shè)計實驗分別驗證了遷移模型的可行性，標注樣本消耗能力，trCNN 模型分類精度以及目標域降維對特征分布相似度的影響，通過實驗結(jié)果分析可知，本文提出的trCNN模型在訓(xùn)練集與測試集分布不同時也具有較高的分類精度，且遷移后的神經(jīng)網(wǎng)絡(luò)模型能夠在不損失較大模型精度的前提下降低標注成本。