王曉媛 張文濤 韓 磊

中國航天系統(tǒng)科學(xué)與工程研究院，北京 100037

隨著信息技術(shù)的不斷發(fā)展，使用手機(jī)對(duì)電腦屏幕拍照成為竊取敏感信息的便捷且隱蔽的手段[1]。近年來，因該手段導(dǎo)致的泄密事件正呈現(xiàn)逐年上升的趨勢，對(duì)網(wǎng)絡(luò)中重要信息的安全保密構(gòu)成了嚴(yán)重威脅[2]。目前現(xiàn)有的防范方法主要有3種：信息隱藏顯示法[3]僅針對(duì)于文本文件的保護(hù)，無法抵御攝像攻擊；攝像頭檢測法[4-7]主要針對(duì)長期竊拍的隱藏?cái)z像頭，目前眾多電磁信息對(duì)其影響較大；屏幕水印法[8-9]主要用于追溯，對(duì)魯棒性攻擊、幾何攻擊的抵抗性較差。綜上所述，上述3種方法均在一定程度上對(duì)待解決的問題有所妥協(xié)，而近年來國內(nèi)外在目標(biāo)檢測方面的深入研究為解決該問題提供了新思路。

傳統(tǒng)的目標(biāo)檢測法有基于SVM[10]、HOG特征[11]和DPM[12]等多種方法，隨著智能時(shí)代的來臨，目前普遍使用基于深度學(xué)習(xí)的方法進(jìn)行目標(biāo)檢測，其中，2013年首次提出的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Region-based Convolutional Neural Network，RCNN)[13]目標(biāo)檢測法是近年來應(yīng)用效果較好的方法之一，該方法結(jié)合了區(qū)域提名(Region Proposal)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)2種思想，相比于傳統(tǒng)方法，顯著提高了識(shí)別率。近年來，RCNN不斷發(fā)展與演進(jìn)，F(xiàn)ast RCNN[14]利用Multi-task loss實(shí)現(xiàn)了多任務(wù)同時(shí)訓(xùn)練，明顯加快了訓(xùn)練和測試速度；Faster RCNN[15]在Fast RCNN的基礎(chǔ)上結(jié)合區(qū)域候選網(wǎng)絡(luò)(RPN)，通過共享卷積層和特征圖譜，實(shí)現(xiàn)快速目標(biāo)識(shí)別訓(xùn)練與測試。

本文針對(duì)手機(jī)拍攝屏幕的行為特點(diǎn)，以Faster RCNN算法為基礎(chǔ)，構(gòu)建靜態(tài)圖片和動(dòng)態(tài)視頻圖片相結(jié)合的數(shù)據(jù)集，對(duì)原始圖像數(shù)據(jù)進(jìn)行特征提取后訓(xùn)練，最終達(dá)到識(shí)別手機(jī)的效果，根據(jù)識(shí)別結(jié)果做出快速響應(yīng)，阻斷手機(jī)拍攝行為，有效保護(hù)網(wǎng)絡(luò)中重要信息的安全。

1 Faster RCNN基本結(jié)構(gòu)及原理

Faster RCNN相比于RCNN和Fast RCNN等目標(biāo)檢測法，提高了檢測精度與速度，真正實(shí)現(xiàn)了端到端的目標(biāo)檢測，可快速生成候選框，因此，選取Faster RCNN算法框架識(shí)別手機(jī)，以達(dá)到屏幕防拍攝的目的。

Faster RCNN結(jié)構(gòu)示意圖如圖1所示，其可以簡單理解為3個(gè)模塊，分別為特征提取模塊、候選區(qū)域生成模塊和類別檢測模塊[16]。

圖1 Faster RCNN結(jié)構(gòu)示意圖

1)特征提取模塊：該模塊的主要作用是獲取原始圖像特征圖。首先，對(duì)原始輸入圖進(jìn)行歸一化處理，得到相同大小的圖像；然后利用基礎(chǔ)的卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)其進(jìn)行卷積和池化運(yùn)算，提取圖像邊緣、目標(biāo)邊緣等特征，最終得到空間上變小，特征深度更深的特征圖。特征圖在保留目標(biāo)在原始圖像中的相對(duì)位置的同時(shí)，在深維度上編碼原始圖片上的所有信息。

2)候選區(qū)生成模塊：該模塊的主要作用是在特征圖上生成候選區(qū)域塊。RPN網(wǎng)絡(luò)，即區(qū)域建議網(wǎng)絡(luò)，是Faster RCNN中的核心部分。前一模塊輸出的特征圖為RPN網(wǎng)絡(luò)的輸入，首先對(duì)特征圖的每個(gè)位置產(chǎn)生anchors(即候選窗口)，經(jīng)由Softmax分類器，確定anchors中是否包含目標(biāo)物體，是則保留anchors，否則判斷其為背景；然后進(jìn)行邊框回歸調(diào)整，最后輸出含有候選框的特征圖。

3)類別檢測模塊：該模塊的主要作用是判定候選區(qū)域塊的所屬類別，生成結(jié)果圖。感興趣區(qū)域池化(Region of Interest Pooling，RoI池化)和分類器是這一模塊的主要部分，前2個(gè)模塊輸出的特征圖和含候選區(qū)的特征圖均為RoI池化層的輸入，將候選框坐標(biāo)映射到特征圖上，得到相同大小的矩形候選框；最后，利用分類器確定候選框內(nèi)目標(biāo)所屬的具體類別，最后輸出目標(biāo)識(shí)別后的圖像。

在Faster RCNN算法中RPN網(wǎng)絡(luò)的應(yīng)用使算法在檢測識(shí)別的時(shí)間大大減少，算法在GPU模式下，生成候選框，識(shí)別一張圖片僅消耗10ms的時(shí)間[15]，基本上能夠?qū)崿F(xiàn)實(shí)時(shí)檢測。

2 數(shù)據(jù)采集與數(shù)據(jù)集建立

在算法和訓(xùn)練模型相同的情況下，算法效果的好壞主要依賴于訓(xùn)練數(shù)據(jù)是否恰當(dāng)，合理采集數(shù)據(jù)圖片，進(jìn)行預(yù)處理，建立圖片數(shù)據(jù)訓(xùn)練集十分重要[17]。

2.1 數(shù)據(jù)采集

為合理設(shè)計(jì)手機(jī)識(shí)別的圖片數(shù)據(jù)集，需根據(jù)手機(jī)拍照屏幕的特點(diǎn)，從以下3個(gè)方面進(jìn)行考慮：

1)手機(jī)在進(jìn)行拍照時(shí)，需要一個(gè)支撐物進(jìn)行支撐。在日常生活中、尤其在辦公環(huán)境下，人們大多采用手持的方式進(jìn)行手機(jī)拍照，采集手持手機(jī)進(jìn)行拍照的手勢動(dòng)作，可以將手機(jī)與手作為一個(gè)強(qiáng)耦合的整體進(jìn)行識(shí)別，如果屏幕中出現(xiàn)了手，就要加強(qiáng)對(duì)手周圍區(qū)域進(jìn)行手機(jī)識(shí)別，圖2為手持手機(jī)拍照動(dòng)作示意圖；

圖2 使用手機(jī)拍照的動(dòng)作示意圖

2)使用手機(jī)進(jìn)行拍照，在屏幕的可視范圍內(nèi)，有時(shí)不需要出現(xiàn)整個(gè)手機(jī)及支撐物，只要手機(jī)攝像頭出現(xiàn)，便可進(jìn)行拍照，圖3為手機(jī)攝像頭與屏幕檢測攝像頭之間的關(guān)系示意圖；

圖3 手機(jī)攝像頭與電腦屏幕間的關(guān)系示意圖

3)從拿起手機(jī)到使用手機(jī)進(jìn)行拍照是一個(gè)連續(xù)的動(dòng)作，具有時(shí)序性，在數(shù)據(jù)采集時(shí)錄制動(dòng)作視頻，用連續(xù)的圖像作為數(shù)據(jù)集。

綜上，手機(jī)識(shí)別圖片數(shù)據(jù)集包含以下3類：

1)拍照手勢動(dòng)作圖片集：包含單手和雙手2種形式，多種動(dòng)作、多角度，共采集100張靜態(tài)圖片；

2)手機(jī)圖片集：目前市場上主流的智能手機(jī)品牌有20多種，出現(xiàn)單攝、雙攝等多攝手機(jī)，后置攝像頭在外形上多為圓形或方形，位置多在手機(jī)后的上中或左上方，多個(gè)攝像頭的排列多呈現(xiàn)橫排、豎排等集中排列形態(tài)，綜合以上考慮，選取100張靜態(tài)手機(jī)圖片；

3)拍照動(dòng)作圖片集：采集100段拍照動(dòng)作視頻，每5幀保存圖片，共選取9500張圖片。

2.2 數(shù)據(jù)庫建立

Faster RCNN屬于有監(jiān)督學(xué)習(xí)，圖片集使用LabelImg工具數(shù)據(jù)標(biāo)記圖片中的信息，標(biāo)注的類別有：face(人臉)、hand(手)和phone(手機(jī))，生成XML文件，內(nèi)含圖片的位置信息、圖片的寬和高像素值、類別名稱、標(biāo)注框的坐標(biāo)點(diǎn)等信息。圖4為標(biāo)注圖片示例。

圖4 標(biāo)注圖片示例

使用深度學(xué)習(xí)方法，進(jìn)行目標(biāo)檢測與識(shí)別，多使用Pascal VOC數(shù)據(jù)集，該數(shù)據(jù)集格式規(guī)范標(biāo)準(zhǔn)，易于制作，使用方便[18]。為實(shí)現(xiàn)識(shí)別手機(jī)的任務(wù)，我們按照Pascal VOC數(shù)據(jù)集格式制作手機(jī)識(shí)別圖片數(shù)據(jù)集， JPEGImages文件夾中存放所有訓(xùn)練集與測試集圖片，Annotation文件夾中存放與圖片名稱相同的XML文件，ImageSets中的Main文件夾中存放4個(gè)txt格式文件，分別存放用來訓(xùn)練、驗(yàn)證、訓(xùn)練和驗(yàn)證以及測試的圖片的名稱。

本文使用的數(shù)據(jù)集主要有以下2種特點(diǎn)：1)增加部分標(biāo)注，在標(biāo)注整體手機(jī)的同時(shí)，標(biāo)注部分手機(jī)局部，增強(qiáng)局部特征識(shí)別，增加手機(jī)識(shí)別率；2)數(shù)據(jù)集采用靜態(tài)圖像與視頻幀圖像相結(jié)合的方式，采集多段使用手機(jī)拍照的視頻，內(nèi)含拍照動(dòng)作的時(shí)序性，增加手機(jī)拍攝的識(shí)別率。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)使用的Faster RCNN算法基于TensorFlow深度學(xué)習(xí)框架，TensorFlow支持自動(dòng)求導(dǎo)，不需要反向傳播求解梯度；加入了分布式，充分利用硬件資源，可最大化計(jì)算效率；并且具有較強(qiáng)的可移植性，編譯速度較快[19]。

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

Faster RCNN的特征提取模塊選擇VGG16基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)模型，修改目標(biāo)類別名稱參數(shù)，本文需要識(shí)別的類別為3類。

針對(duì)不同的數(shù)據(jù)集，不同大小的目標(biāo)，選擇合適的候選窗口anchor的大小和數(shù)量，是很必要的，可以加快收斂的速度，提高檢測速度[20]。其次，在對(duì)識(shí)別效果統(tǒng)計(jì)時(shí)，置信度的選擇對(duì)最終的結(jié)果影響也較大。

針對(duì)手機(jī)標(biāo)簽的識(shí)別，將測試集的實(shí)驗(yàn)結(jié)果分為如表1所示的4類，其中TP表示被識(shí)別的含手機(jī)正類樣本數(shù)(正確識(shí)別)，F(xiàn)N表示不被識(shí)別的含手機(jī)正類樣本數(shù)(錯(cuò)誤識(shí)別)，F(xiàn)P表示被識(shí)別的不含手機(jī)的負(fù)樣本數(shù)(正確識(shí)別)，TN表示不被識(shí)別的不含手機(jī)的負(fù)樣本數(shù)(錯(cuò)誤識(shí)別)。實(shí)驗(yàn)?zāi)Ｐ驮u(píng)價(jià)方面，使用準(zhǔn)確率(Accuracy，Acc)、精確率(Precision，P)和召回率(Recall)3個(gè)評(píng)價(jià)指標(biāo)進(jìn)行模型評(píng)價(jià)[21]。本實(shí)驗(yàn)中，準(zhǔn)確率是指識(shí)別正確(存在手機(jī)時(shí)正確識(shí)別出手機(jī)和不存在手機(jī)時(shí)未誤識(shí)別)的樣本數(shù)占樣本總數(shù)的比例；精確率指在所有被識(shí)別的樣本(包含誤識(shí)別)中正確識(shí)別的樣本數(shù)所占的比例；召回率指所有含手機(jī)的正類中被正確識(shí)別的樣本數(shù)所占的比例。準(zhǔn)確率和精確率越高，表示實(shí)驗(yàn)中手機(jī)樣本的識(shí)別效果越對(duì)；召回率越高，表示手機(jī)樣本的識(shí)別得越全。3個(gè)評(píng)價(jià)指標(biāo)的計(jì)算公式如表1中所示。

表1 樣本分類說明表

3.2 實(shí)驗(yàn)結(jié)果及分析

本文使用Python語言，實(shí)現(xiàn)了基于TensorFlow框架的Faster RCNN算法，對(duì)數(shù)據(jù)集中圖像數(shù)據(jù)利用Vgg16深度模型進(jìn)行特征提取，通過RPN網(wǎng)絡(luò)生成候選區(qū)域，并由Softmax分類器及全連接層實(shí)現(xiàn)對(duì)候選區(qū)域的最終分類。通過前述分析可知，phone標(biāo)簽的識(shí)別結(jié)果對(duì)屏幕防手機(jī)拍攝效果產(chǎn)生直接影響，為量化手機(jī)識(shí)別效果，本文將分別計(jì)算和統(tǒng)計(jì)準(zhǔn)確率、精確率及召回率。選取96張圖片作為測試集，并對(duì)測試圖片進(jìn)行有針對(duì)性的設(shè)計(jì)和分類，共分6種類型。如圖5所示，其中A類為手機(jī)后置、前置攝像頭正向?qū)ζ聊?；B類為屏幕中僅出現(xiàn)部分手機(jī)；C類為手機(jī)安裝手機(jī)殼；D類為手機(jī)與屏幕間存在一定角度；E類為手機(jī)大部分存在故意遮擋的情況；F類為設(shè)置書本等干擾物的情況。

新生兒氣胸是一種常見的新生兒急危重癥，主要表現(xiàn)為氣促、發(fā)紺、吸氣“三凹征”等，嚴(yán)重將引起持續(xù)性肺動(dòng)脈高壓及呼吸衰竭，危及患兒生命[1-2]。因此，及時(shí)診斷并采取有效措施治療尤為關(guān)鍵。新生兒氣胸常存在多個(gè)發(fā)生因素，本研究對(duì)氣胸新生兒及健康新生兒進(jìn)行研究，旨在探討新生兒氣胸發(fā)生的高危因素，為治療及干預(yù)提供依據(jù)。現(xiàn)報(bào)道如下。

圖5 各類測試圖片示例

測試圖片集中存在一張圖片包含多部手機(jī)或者沒有手機(jī)的情況，288張圖片中共包含手機(jī)目標(biāo)240個(gè)，具體分布如表2所示。

表2 測試集圖片類別表

試驗(yàn)中分別設(shè)定置信度區(qū)間為0.6～0.95，從0.6起每增加0.05測試一次，對(duì)測試結(jié)果分別進(jìn)行統(tǒng)計(jì)。測試結(jié)果如圖6所示。

圖6 各類測試圖片的手機(jī)識(shí)別結(jié)果示例

測試集圖片經(jīng)算法識(shí)別后，手機(jī)的識(shí)別結(jié)果統(tǒng)計(jì)如表3所示。

表3 測試集手機(jī)識(shí)別率結(jié)果表

根據(jù)表3的結(jié)果，將3個(gè)評(píng)價(jià)指標(biāo)的變化趨勢進(jìn)行分析，具體如圖7所示?？梢钥闯觯S著置信度的增大，手機(jī)目標(biāo)的正確識(shí)別數(shù)逐漸增加，直至平穩(wěn)，而隨著個(gè)別類型圖片的識(shí)別效果不佳，導(dǎo)致了精確率和準(zhǔn)確率均出現(xiàn)了一定的下滑。

圖7 評(píng)價(jià)指標(biāo)與置信度的變化趨勢折線圖

因此，從上述結(jié)果中可以分析如下：

1)基于Faster RCNN的手機(jī)識(shí)別算法對(duì)手機(jī)識(shí)別的精確率均在92.21%以上，最高可達(dá)到98.44%，說明算法對(duì)手機(jī)目標(biāo)的識(shí)別能力較高，可以準(zhǔn)確識(shí)別手機(jī)，達(dá)到屏幕防拍攝的目的。

2)隨著置信度的逐漸增加，精確率一直平穩(wěn)增加，說明識(shí)別的目標(biāo)中，正確識(shí)別的TP類數(shù)所占的比例增加，同時(shí)說明F類中誤識(shí)別為手機(jī)的FP類所占的比例減少。但當(dāng)置信度從0.85增至0.95時(shí)，精確率均在98%以上，相比前一階段精確率稍微有所下降，因?yàn)檫_(dá)到此置信度后，F(xiàn)P類數(shù)目基本不發(fā)生變化，TP類數(shù)目下降，導(dǎo)致TP類比例有所降低。

3)置信度從0.6逐漸增加到0.95時(shí)，在準(zhǔn)確率和召回率逐漸下降的過程中，可以發(fā)現(xiàn)有3個(gè)階段下降得比較明顯，根據(jù)對(duì)測試樣本的類別分類，分別統(tǒng)計(jì)這3個(gè)階段中準(zhǔn)確識(shí)別手機(jī)數(shù)量減少的影響因素：

①置信度提高至0.75時(shí)，TP數(shù)的減少主要是由于C類和D類正確識(shí)別數(shù)減少，F(xiàn)類中誤識(shí)別數(shù)減少，其余類別識(shí)別情況基本不變；

②置信度提高至0.85時(shí)，TP數(shù)的減少主要由于D類測試集的手機(jī)識(shí)別數(shù)減少，F(xiàn)類中誤識(shí)別數(shù)減少，其余類別識(shí)別情況基本不變；

③置信度提高至0.95時(shí)，TP數(shù)的減少主要由于C類和E類測試集中的手機(jī)識(shí)別數(shù)減少，尤其是E類。

綜上可知影響準(zhǔn)確率和召回率的主要因素是手機(jī)殼、角度旋轉(zhuǎn)和異物遮擋，當(dāng)置信度較低時(shí)，干擾物被誤識(shí)別為手機(jī)的概率較大。當(dāng)手機(jī)正對(duì)屏幕和僅有部分手機(jī)在畫面中時(shí)，識(shí)別效果較好。

3.3 屏幕防竊照方法對(duì)比

針對(duì)屏幕防手機(jī)拍照問題，本文的主要思想是利用計(jì)算機(jī)視覺識(shí)別出手機(jī)，并及時(shí)做出響應(yīng)。而在此之前提出的3種解決方法適用于不同的應(yīng)用背景，也有著各自的優(yōu)缺點(diǎn)。現(xiàn)將這3種屏幕防竊拍方法與本文方法進(jìn)行對(duì)比，具體情況如表4所示。

表4 屏幕防竊照方法對(duì)比表

4 總結(jié)與展望

本文利用Faster RCNN算法，實(shí)現(xiàn)了辦公環(huán)境下對(duì)手機(jī)的識(shí)別，結(jié)合識(shí)別后做出的及時(shí)響應(yīng)，最終實(shí)現(xiàn)了屏幕防手機(jī)拍照，取得了良好的效果。

但從實(shí)驗(yàn)結(jié)果數(shù)據(jù)看，識(shí)別效率還有待進(jìn)一步提高。在手機(jī)安裝手機(jī)殼、手機(jī)與屏幕角度變換以及存在異物遮擋等情況下，存在少量的漏識(shí)別和誤識(shí)別?；谶@些問題，后續(xù)研究中可繼續(xù)完善訓(xùn)練集，增加對(duì)干擾物的學(xué)習(xí)，對(duì)測試數(shù)據(jù)集進(jìn)行圖形處理，抑制復(fù)雜背景，優(yōu)化RPN網(wǎng)絡(luò)中的候選區(qū)域生成與選擇過程，增強(qiáng)對(duì)攝像頭的識(shí)別等。