（山東科技大學(xué)計算機科學(xué)與工程學(xué)院，山東青島 266590）

0 引言

2016 年，谷歌Alpha Go 在世界圍棋競賽中戰(zhàn)勝專業(yè)棋手，引發(fā)人們對人工智能的激烈探討，同年，“人工智能”一詞寫入中國“十三五”規(guī)劃綱要，各大互聯(lián)網(wǎng)公司也紛紛加大對人工智能領(lǐng)域的投入，自此人工智能進入高速發(fā)展階段。深度學(xué)習(xí)是人工智能的重點研究領(lǐng)域之一，其原理是建立模型模擬人類大腦神經(jīng)結(jié)構(gòu)，主要涉及神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用［1］。1958 年，第一代神經(jīng)網(wǎng)絡(luò)單層感知器由Rosenblatt［2］提出，在此后的近半個世紀(jì)中，由于相關(guān)技術(shù)的落后，尤其在各種淺層機器學(xué)習(xí)模型相繼被提出后，神經(jīng)網(wǎng)絡(luò)的研究被擱置［3］。2006 年，Hinton 等［4-5］對神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)高維度以及梯度消失等問題展開研究，此后深度學(xué)習(xí)進入快速發(fā)展期。近年來，深度學(xué)習(xí)引起越來越多人的關(guān)注，該領(lǐng)域論文發(fā)表量逐年增加，研究人員難以從眾多文獻中把握領(lǐng)域研究熱點及前沿。因此，對國內(nèi)深度學(xué)習(xí)領(lǐng)域研究熱點及前沿進行分析，以期為研究人員的深度學(xué)習(xí)理論及具體應(yīng)用研究提供參考。

在國內(nèi)深度學(xué)習(xí)研究領(lǐng)域，研究人員從深度學(xué)習(xí)主流模型及其應(yīng)用入手，論述了深度學(xué)習(xí)研究進展及未來發(fā)展方向。如孫志軍等［6］論述深度學(xué)習(xí)的興起淵源，介紹了主流學(xué)習(xí)算法及應(yīng)用現(xiàn)狀；尹寶才等［1］依據(jù)數(shù)據(jù)流向?qū)哂写硇缘纳疃葘W(xué)習(xí)算法進行歸納總結(jié)，具體論述了各種深度網(wǎng)絡(luò)的結(jié)構(gòu)及特點；張軍陽等［7］梳理深度學(xué)習(xí)模型架構(gòu)及優(yōu)化技巧，對比分析主流的深度學(xué)習(xí)軟件工具及硬件加速技術(shù)；譚笑楓等［8］在簡述深度學(xué)習(xí)研究歷史的基礎(chǔ)上，重點介紹了卷積神經(jīng)網(wǎng)絡(luò)等經(jīng)典算法及其應(yīng)用；張海等［9］利用2006-2019 年WOS 數(shù)據(jù)庫中深度學(xué)習(xí)領(lǐng)域的計算機和教育相關(guān)研究文獻進行知識圖譜分析，提出深度學(xué)習(xí)的3個主要研究熱點。本文旨在綜合運用CiteSpace 和VOS?viewer 軟件對2005-2019 年國內(nèi)深度學(xué)習(xí)領(lǐng)域期刊文獻進行知識圖譜分析，以得到深度學(xué)習(xí)領(lǐng)域研究熱點與前沿，使研究人員能更好地了解當(dāng)前國內(nèi)深度學(xué)習(xí)領(lǐng)域發(fā)展?fàn)顩r，并把握未來發(fā)展方向。

1 數(shù)據(jù)來源與研究方法

1.1 數(shù)據(jù)來源

本文采用的數(shù)據(jù)來源為中國知網(wǎng)（CNKI）期刊庫，在“高級檢索”中按以下條件進行文獻搜索，選擇“期刊”文獻，主題為“深度學(xué)習(xí)”，檢索時間段為2005-2019 年，期刊來源類別設(shè)置為“核心期刊”。檢索時間為2020 年5 月12日，共檢索得到4 643 條文獻。手動對文獻進行篩選，剔除與研究主題無關(guān)的文獻及重復(fù)文獻，最終得到4 633 條文獻。將文獻下載保存為refworks 文獻題錄格式，并以down?load_x.txt 格式保存為文本文檔，分別導(dǎo)入CiteSpace 和VOSviewer 軟件進行數(shù)據(jù)分析。

1.2 研究方法

在科學(xué)計量領(lǐng)域，CiteSpace 和VOSviewer 是兩種被研究人員廣泛使用的可視化軟件。CiteSpace 是由美國德雷賽爾大學(xué)計算與信息學(xué)院陳超美［10］開發(fā)的文獻可視化軟件，VOSviewer 是由荷蘭萊頓大學(xué)科學(xué)技術(shù)研究中心的Van 等［11］開發(fā)的文獻可視化軟件，兩者都是基于Java 環(huán)境的免費軟件，具有操作簡便、功能強大等優(yōu)點［12］。同時，兩者又各有特點，CiteSpace 是通過年輪圖表示各主題之間的聯(lián)系強弱，其中年輪大小表示研究主題的研究頻次，連線粗細表示研究主題之間的關(guān)聯(lián)強弱；VOSviewer 主要是以距離、密度情況表示聚類關(guān)系，可以清晰顯示各聚類簇中的關(guān)鍵詞［13］。

關(guān)鍵詞是對文獻的核心概括，能囊括文獻的研究方向及研究重點。本文綜合運用CiteSpace5.6 和VOSviewer 對深度學(xué)習(xí)相關(guān)文獻中的關(guān)鍵詞進行可視化分析，以得到國內(nèi)深度學(xué)習(xí)研究進展、研究熱點及前沿趨勢。將下載的文獻題錄導(dǎo)入CiteSpace 軟件進行格式轉(zhuǎn)換、文獻去重，設(shè)置時間切片為1，節(jié)點（Node Types）選擇關(guān)鍵詞（Keyword），閾值設(shè)置為TOP50，剪切方式選擇路徑搜索算法（Pathfind?er），以及路徑網(wǎng)絡(luò)簡化（Pruning Sliced Networks）和合并網(wǎng)絡(luò)簡化（Pruning the Merged Network），分別繪制關(guān)鍵詞時區(qū)視圖和關(guān)鍵詞共現(xiàn)圖譜。同樣將文獻數(shù)據(jù)導(dǎo)入VOSviewer軟件中，設(shè)置單個關(guān)鍵詞最少出現(xiàn)次數(shù)為25 次，得到114個關(guān)鍵詞，生成關(guān)鍵詞共現(xiàn)權(quán)重視圖，以展示關(guān)鍵詞之間的聚類關(guān)系。

2 研究結(jié)果與綜合分析

2.1 關(guān)鍵詞時區(qū)圖譜分析

通過對關(guān)鍵詞進行聚類分析，可得到深度學(xué)習(xí)領(lǐng)域的研究主題情況。為清晰得到深度學(xué)習(xí)領(lǐng)域各研究主題出現(xiàn)時間及演進過程，將關(guān)鍵詞共現(xiàn)圖譜按照時間進行排布，生成關(guān)鍵詞時區(qū)圖譜（Time Zone），從而得到各時間段內(nèi)熱點主題分布情況。如圖1 所示，在關(guān)鍵詞時區(qū)圖譜中，每一個縱軸對應(yīng)一個時間段，關(guān)鍵詞所在時間軸為該關(guān)鍵詞首次出現(xiàn)時間，關(guān)鍵詞節(jié)點大小代表該關(guān)鍵詞出現(xiàn)頻次高低，關(guān)鍵詞之間連線代表兩個關(guān)鍵詞共同出現(xiàn)的情況。

Fig.1 Keyword time zone map based on CiteSpace圖1 基于CiteSpace 的關(guān)鍵詞時區(qū)圖譜

由圖1 可知，深度學(xué)習(xí)領(lǐng)域的研究主題逐年增多，且不斷演變，可大致將其劃分為以下兩個階段：

（1）2005-2014 年，該階段研究主題比較分散，各關(guān)鍵詞出現(xiàn)頻次較低，以至于看似是一段空白時期，說明該階段對深度學(xué)習(xí)的研究較少且分散，未形成較為集中的研究主題。

（2）2014 年至今，是研究主題的主要增長階段。在此階段，通過卷積神經(jīng)網(wǎng)絡(luò)、計算機視覺、圖像處理、圖像分類等高頻關(guān)鍵詞，可知卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺領(lǐng)域的相關(guān)應(yīng)用最早受到研究人員關(guān)注，特征提取、機器學(xué)習(xí)和支持向量機等高頻關(guān)鍵詞表明機器學(xué)習(xí)及其相關(guān)模型也是研究熱點。隨后研究人員開始探索深度學(xué)習(xí)模型在故障診斷方面的應(yīng)用，同時開始研究利用遷移學(xué)習(xí)解決深度學(xué)習(xí)模型訓(xùn)練用時長、需要大量數(shù)據(jù)、對計算機硬件要求高等問題。循環(huán)神經(jīng)網(wǎng)絡(luò)等高頻詞的出現(xiàn)說明深度學(xué)習(xí)模型開始應(yīng)用于自然語言處理領(lǐng)域。2014 年至今，各時間段研究主題之間連線密集，說明深度學(xué)習(xí)領(lǐng)域各研究主題關(guān)聯(lián)密切，深度學(xué)習(xí)模型在不斷創(chuàng)新改進，應(yīng)用領(lǐng)域也逐漸細化。

2.2 突變詞檢測圖譜分析

突變詞檢測用于檢測在某些年份出現(xiàn)頻次驟增的詞語，無論是高頻詞或低頻詞，頻次增長率在某些年份突然增加的關(guān)鍵詞更有可能體現(xiàn)領(lǐng)域局部熱點變化，可代表該領(lǐng)域研究前沿［14］。本文利用CiteSpace 軟件中的突變算法對2005-2019 年深度學(xué)習(xí)領(lǐng)域關(guān)鍵詞進行突變檢測，選擇根據(jù)突變詞年代分布對24 個突變關(guān)鍵詞進行排序，如圖2所示。其中，Strength 列表示關(guān)鍵詞突變強度，強度越大，表示該關(guān)鍵詞在突變時間段內(nèi)出現(xiàn)頻次越高，Begin 和End列分別代表關(guān)鍵詞突變的開始及結(jié)束時間，其形成的時間段為該關(guān)鍵詞成為熱點前沿的時間。

Fig.2 CiteSpace-based mutation word detection map圖2 基于CiteSpace 的突變詞檢測圖譜

與圖1 中顯示的2015 年以來深度學(xué)習(xí)模型在圖像處理、目標(biāo)檢測及故障診斷等方面的廣泛應(yīng)用相對應(yīng)，圖2具體顯示應(yīng)用中涉及到哪些關(guān)鍵技術(shù)為當(dāng)年研究前沿。稀疏編碼、受限玻爾茲曼機和稀疏表示主要應(yīng)用于圖像處理領(lǐng)域。人類視覺信息處理系統(tǒng)可看作一種高效的圖像處理系統(tǒng)［15］，其采用稀疏編碼策略，因此改進受限玻爾茲曼機使其能學(xué)習(xí)輸入信號的稀疏表示，從而可將其更有效地應(yīng)用于圖像處理中。粒子濾波是應(yīng)用于目標(biāo)檢測跟蹤的主要算法，針對粒子濾波算法存在的問題提出各種改進方法，有利于提高目標(biāo)檢測跟蹤精度與實時性。深度置信網(wǎng)絡(luò)是用于故障診斷的主要模型，也廣泛應(yīng)用于人臉識別、語音識別、圖像識別等領(lǐng)域，至今仍是深度學(xué)習(xí)領(lǐng)域的研究熱點。

2.3 關(guān)鍵詞共現(xiàn)權(quán)重圖譜分析

在關(guān)鍵詞共現(xiàn)聚類方面，相較于CiteSpace 軟件利用節(jié)點大小顯示領(lǐng)域內(nèi)研究主題熱點，VOSviewer 軟件還可清晰展示出領(lǐng)域內(nèi)各聚類簇中的關(guān)鍵詞。本文利用VOS?viewer 軟件，選擇出現(xiàn)頻次（Occurrences）繪制深度學(xué)習(xí)領(lǐng)域的關(guān)鍵詞共現(xiàn)權(quán)重圖譜，關(guān)鍵詞出現(xiàn)頻次越高，關(guān)鍵詞節(jié)點越大，如圖3 所示。

Fig.3 Keyword co-occurrence weight map based on VOSviewer圖3 基于VOSviewer 的關(guān)鍵詞共現(xiàn)權(quán)重圖譜

圖3 中將114 個關(guān)鍵詞分為8 個聚類簇，具體特點如下：

（1）聚類1 中有23 個關(guān)鍵詞，如圖中紅色關(guān)鍵詞所示，主要包括故障診斷、無監(jiān)督學(xué)習(xí)、深度信念網(wǎng)絡(luò)等，可看出此聚類中主要涉及到深度學(xué)習(xí)模型在故障診斷等方面的應(yīng)用，以及所需的關(guān)鍵技術(shù)。

（2）聚類2 中有19 個關(guān)鍵詞，如圖中綠色關(guān)鍵詞所示，主要包括詞向量、循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力機制、自然語言處理等，該聚類包括深度學(xué)習(xí)模型在自然語言處理任務(wù)中的應(yīng)用及相關(guān)算法。循環(huán)神經(jīng)網(wǎng)絡(luò)是一種用于處理序列數(shù)據(jù)的有效模型，廣泛應(yīng)用于自然語言處理領(lǐng)域的情感分析、文本分類、推薦系統(tǒng)等。

（3）聚類3 中有16 個關(guān)鍵詞，如圖中深藍色關(guān)鍵詞所示，主要包括計算機視覺、目標(biāo)檢測、目標(biāo)識別等，該聚類主要為深度學(xué)習(xí)模型在計算機視覺領(lǐng)域的應(yīng)用。

（4）聚類4 和聚類5 中各有15 個關(guān)鍵詞，如圖3 中黃色、紫色關(guān)鍵詞所示，主要包括卷積神經(jīng)網(wǎng)絡(luò)、語義分割、人工智能、機器學(xué)習(xí)等。聚類4 和聚類5 分別展示了卷積神經(jīng)網(wǎng)絡(luò)在圖像處理及人工智能等方面的應(yīng)用。

（5）聚類6 中有11 個關(guān)鍵詞，如圖中淺藍色關(guān)鍵詞所示，主要包括圖像處理、殘差網(wǎng)絡(luò)等。殘差網(wǎng)絡(luò)通過捷徑連接的結(jié)構(gòu)改變了普通直連的神經(jīng)網(wǎng)絡(luò)層數(shù)過深導(dǎo)致的梯度消失問題，多用于圖像處理領(lǐng)域，該聚類為深度學(xué)習(xí)模型在圖像處理方面的應(yīng)用及其關(guān)鍵技術(shù)［16］。

（6）聚類7、聚類8 分別有8 個和7 個關(guān)鍵詞，如圖中橙色、褐色關(guān)鍵詞所示，主要包括模式識別、圖像識別等，這兩個聚類主要展示了深度學(xué)習(xí)模型在分類識別問題中的應(yīng)用。

3 總結(jié)與展望

本文對國內(nèi)2005-2019 年深度學(xué)習(xí)領(lǐng)域核心期刊文獻的關(guān)鍵詞進行知識圖譜分析，分別利用CiteSpace 和VOSviewer 軟件繪制關(guān)鍵詞時區(qū)圖譜、突變詞檢測圖譜和關(guān)鍵詞共現(xiàn)權(quán)重圖譜，并通過對各圖譜的分析得出深度學(xué)習(xí)領(lǐng)域研究進展及研究熱點。從關(guān)鍵詞時區(qū)圖譜和關(guān)鍵詞共現(xiàn)權(quán)重圖譜中可以看出，深度學(xué)習(xí)領(lǐng)域研究主要集中在2014 年至今，卷積神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用是研究熱點，其最早應(yīng)用于計算機視覺領(lǐng)域，隨后應(yīng)用于圖像處理及目標(biāo)檢測等相關(guān)領(lǐng)域。此外，循環(huán)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用也逐漸成為研究熱點。突變詞檢測圖譜檢測到深度學(xué)習(xí)領(lǐng)域研究重點在深度學(xué)習(xí)模型創(chuàng)新改進方面，其中深度置信網(wǎng)絡(luò)應(yīng)用廣泛，至今仍是該領(lǐng)域研究熱點。

總體而言，深度學(xué)習(xí)模型的理論研究尚待完善，各相關(guān)具體應(yīng)用也處于探索研究階段。本文還存在一定局限性，如用于研究熱點分析的2005-2019 年期刊文獻數(shù)據(jù)量偏少，軟件相關(guān)參數(shù)還有待進一步調(diào)優(yōu)等。本文僅利用文獻關(guān)鍵詞進行研究熱點前沿分析，后續(xù)研究將進行文獻引用情況等其它相關(guān)分析，以增強結(jié)論的可靠性。