夏源祥，劉 渝，楚程錢，萬永菁，蔣翠玲

（華東理工大學(xué)信息科學(xué)與工程學(xué)院, 上海 200237）

習(xí)題整理是一種有效提高學(xué)習(xí)效率的方法，但由于很多學(xué)習(xí)者無法直接獲取練習(xí)資料的電子版資源，所以在習(xí)題整理過程中，學(xué)習(xí)者往往需要花費大量時間謄抄題干，這種方式費時費力，不利于提高學(xué)習(xí)效率。試卷語義分割技術(shù)能實現(xiàn)試卷印刷體和手寫體的分離，有效提取習(xí)題題干，提升習(xí)題整理的效率。

常見的印刷體和手寫體分類工作主要在連通元[1-2]、文本行[3]、以及文本區(qū)域[4-7]上進行。由于文本區(qū)域分類模式能較好地解決連通元模式下印刷體和手寫體易粘連、以及文本行模式下同一行中印刷體和手寫體不易分類的問題，故目前大多數(shù)的方法均是在文本區(qū)域?qū)哟紊线M行分類。

隨著人工智能技術(shù)的發(fā)展，各種改進的深度神經(jīng)網(wǎng)絡(luò)模型被應(yīng)用于印刷體和手寫體文本區(qū)域的分類識別中。比如，將基于維特比解碼算法的深度神經(jīng)網(wǎng)絡(luò)模型[8]應(yīng)用于印刷體和手寫體的分類任務(wù)上，但該方法會因幀特征切割邊界不準確而影響分類結(jié)果。自Long 等[9]提出全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Network, FCN)用于語義分割以來，針對各類場景需求的語義分割算法被相繼提出，如UNet 通過編碼器-解碼器結(jié)構(gòu)和跳躍連接的設(shè)計方法，將低分辨率信息和高分辨率信息結(jié)合，從而達到精準分割的目的[10]；DeepLab-V3 設(shè)計串行和并行的空洞卷積模塊，用于挖掘不同尺度的卷積特征，以提升分割效果[11]；DeepLab-V3+在文獻[11]的基礎(chǔ)上添加一個簡單而有效的解碼模塊，通過物體邊界信息改進分割效果[12]；HyperSeg 對U-Net 網(wǎng)絡(luò)中的編碼器進行改進，使得網(wǎng)絡(luò)中的編碼器既編碼又生成解碼器的參數(shù)，有效提高內(nèi)存利用率[13]，這些研究為不同類型的語義分割問題提供了解決方案。為了提高深度網(wǎng)絡(luò)中語義分割和目標檢測算法的性能，注意力模塊也常用于提升深度卷積網(wǎng)絡(luò)對圖像中有效區(qū)域的感知能力。Hu 等[14]提出在通道維度上計算注意力特征的SE（Squeeze and Excitation）模塊，首先對特征計算每一通道的全局平均特征，其次經(jīng)過降維再恢復(fù)的方式計算注意力特征的權(quán)重，使網(wǎng)絡(luò)利用全局信息有選擇地增強有益的通道并抑制無用通道，從而達到提升網(wǎng)絡(luò)性能的目的。Wang 等[15]提出ECA（Efficient Channel Attention）模塊改進了SE 模塊中降維計算權(quán)重的方法，提出不降維的局部跨信息交互策略，進一步提高網(wǎng)絡(luò)性能。ULSAM（Ultra-Lightweight Subspace Attention Module）模塊對特征分組進行基于空間維度的注意力特征計算，采用深度可分離卷積的方式降低了模塊的計算參數(shù)，該模塊為目標檢測和圖像分割網(wǎng)絡(luò)帶來明顯的性能提升[16]。上述注意力模塊僅考慮了空間或通道上的注意力權(quán)重，對一些細粒度圖像的分割具有局限性。scSE（Spatial-Channel Sequeeze and Excitation）模塊則兼顧了空間維度和通道維度的注意力特征計算，通過融合兩個維度注意力特征的方式，以提高分割網(wǎng)絡(luò)中的性能，并提升對細粒度圖像分割的效果[17]，但是，scSE 模塊沒有考慮多尺度特征空間的相互關(guān)系，在實現(xiàn)印刷體和手寫體文本區(qū)域分類識別的試卷語義分割任務(wù)時仍會存在漏檢、誤檢問題。

為了提升試卷語義分割效果，有效分離印刷體和手寫體文本區(qū)域，本文提出一種基于多尺度子空間特征融合的試卷語義分割算法，該算法基于MaskRCNN 網(wǎng)絡(luò)構(gòu)架，在特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks, FPN）中，設(shè)計SMFF （Subspace Multiscale Feature Fusion）模塊計算特征的多維度注意力特征，通過多尺度特征融合，以增強子注意力特征間的關(guān)聯(lián)性和模型對不同尺寸文本區(qū)域的感知，提升模型對印刷體和手寫體文本區(qū)域的分類識別能力。

1 基于SMFF 模塊的試卷語義分割

1.1 整體算法架構(gòu)

本文提出的試卷語義分割算法流程包括2 個步驟，如圖1 所示，其中H、W、M分別為特征圖的高度、寬度及通道數(shù)。

圖1 基于SMFF 的試卷語義分割算法Fig.1 Algorithm for semantic segmentation of papers based on SMFF

(1)特征提?。簩㈩A(yù)處理后的樣本圖像輸入到基于SMFF 模塊的特征金字塔（Feature Pyramid Network，F(xiàn)PN）結(jié)構(gòu)中，對ResNet50 網(wǎng)絡(luò)第2 層～第5 層的輸出特征 Z(i),i∈[2,5] 經(jīng)過SMFF 模塊以增強特征信息，然后通過 1×1 卷積將特征圖的通道數(shù)統(tǒng)一為256，得到特征圖f(i),i∈[2,5] 。將特征圖f(i)的深層特征經(jīng)上采樣后與淺層特征進行融合得到融合特征圖M(i)，如式(1)所示：

式中，Upsample(·) 表示步長為2 的上采樣，最后M(i),i∈[2,5]經(jīng) 3×3 卷積獲得尺寸大小不同的特征圖（Feature Map）P(2)-P(5)。通過FPN 結(jié)構(gòu)能從特征圖中捕捉不同尺度的文本區(qū)域，在兼顧小尺寸文本區(qū)域檢測的同時，增強對大尺寸文本區(qū)域的感知。

(2)檢測和分割：將樣本圖像中的文本區(qū)域輸入到區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）中，RPN 根據(jù)文本區(qū)域的位置及大小信息計算合適的預(yù)選框，對預(yù)選框選擇合適的特征圖P(k)進行空間映射，如式(2)所示。

式中：k0=4 ，w和h分別表示預(yù)選框的長和寬。表示向下取整。

計算預(yù)選框在特征圖P(k)上對應(yīng)的位置，截取相應(yīng)的特征區(qū)域，然后通過感興趣區(qū)域?qū)R（ROIAlign）進行尺寸歸一化，最后將歸一化后的特征區(qū)域NROI在分類（Classes）、回歸(Boundary Box Regressor)以及分割(Mask) 3 條支路上進行處理。NROI首先會經(jīng)過一個全連接層（Fully Connected Layers, FC）得到特征FFC，在分類支路中，F(xiàn)FC經(jīng)過一個全連接層（FC）后，使用Softmax 函數(shù)對NROI的類別進行預(yù)測。在回歸支路中，F(xiàn)FC同樣經(jīng)過一個全連接層（FC）對NROI對應(yīng)的預(yù)選框位置進行調(diào)整，計算預(yù)選框高精度的位置參數(shù)。在分割支路中，NROI經(jīng)過兩個卷積層對NROI中的像素點進行分類，決定NROI中每個像素點屬于前景或者背景。結(jié)果生成器綜合3 條支路的輸出，得到試卷語義分割結(jié)果，對不同類別文本區(qū)域采用不同顏色區(qū)分，藍色表示印刷體區(qū)域，黃色表示手寫體區(qū)域。

1.2 改進的子空間多尺度特征融合模塊（SMFF）

以ResNet50 網(wǎng)絡(luò)中第2 層～第5 層的某一層輸出特征圖為例，將該層輸出特征圖 Z ∈RH×W×M在通道維度上進行分組，再將分組得到的子特征圖通過子空間計算其注意力特征，以減少特征圖中的空間和通道冗余。為了增強子注意力特征間的關(guān)聯(lián)性和模型對不同尺寸文本區(qū)域的感知，子注意力特征在通道維度拼接后，再進行特征融合。本文采用多尺度卷積的特征融合方式，在卷積核中融入不同擴張率的空洞卷積。空洞卷積與常規(guī)卷積方式相比，在參數(shù)量相同的情況下，能夠獲取特征圖不同感受野的特征以提高模型性能。

如圖2 所示，將特征圖 Z 輸入到SMFF 模塊中，其中M=q×C，q表示SMFF 模塊對應(yīng)的子空間數(shù)，C表示子特征圖的通道數(shù)。將輸入的特征圖 Z 按通道維度分為q個互斥的子特征圖[Z1,Z2,···,Zm,···,Zq]，其中每個子特征圖有C個通道，將Zm,m=1,2,···,q定義為其中一組子特征圖。將子特征圖輸入到子空間注意力模塊（Subspace Attention Module, SAM）中，計算子特征圖對應(yīng)的子注意力特征 Z?m。然后，將每個子空間注意力模塊的計算結(jié)果在通道維度上進行拼接（Concat），得到注意力特征圖 Z? ，如式(3)所示：

圖2 SMFF 模塊示意圖Fig.2 Diagram of the SMFF module

式中，Rc,x,y是輸出特征圖 R ∈RH×W×M中的一層特征；c=1,2,···,M為輸出通道的序號；x=1,2,···,H和y=1,2,···,W均為特征圖的空間位置坐標。Wc,n,i,j對應(yīng)第c個卷積核中第n層的參數(shù)，i,j為卷積的空間位置坐標，n=1,2,···,M為輸入通道的序號，表示注意力特征圖∈RH×W×M第n通道的特征，Dr(c,n),Dr ∈RM×M代表第c個卷積核中第n層對應(yīng)的空洞卷積的擴張率。

1.3 子空間注意力模塊（SAM）

SAM 模塊通過對空間維度和通道維度的注意力權(quán)重進行融合，提高模型的試卷語義分割性能。如圖3 所示，子特征圖 Zm輸入到SAM 模塊中的空間維度支路（Spatial branch）和通道維度支路（Channel branch）上計算注意力權(quán)重。在空間維度支路中，為了避免常規(guī)卷積參數(shù)量較大的問題，本文采用深度可分離卷積計算子特征圖的通道注意力權(quán)重張量。子特征圖 Zm首先會經(jīng)過逐通道卷積（Depthwise Convolution, DC），將子特征圖的每一層特征分別與一個尺寸大小為 1×1×1 的卷積核進行卷積，其次選用大小為 3×3 、填充像素為1 的最大池化層maxpool3×3,1對逐通道卷積的結(jié)果進行池化，最后，經(jīng)過卷積核尺寸為 1×1×C、個數(shù)為1 的逐點卷積（Pointwise Convolution, PC）操作，計算子特征圖的空間注意力權(quán)重∈RH×W×1，其中s表示空間維度支路，如式(5)所示：

圖3 SAM 示意圖Fig.3 Schematic diagram of subspace attention module

為了保證注意力權(quán)重張量的有效性，通過Softmax函數(shù)對進行歸一化，得到歸一化的空間注意力權(quán)重∈RH×W×1，其中s′表示在空間維度支路進行歸一化操作，如式(6)所示：

在通道維度支路中，對子特征圖 Zm中的每一層特征進行全局平均池化操作，得到子特征層的通道注意力權(quán)重∈RC，c表示通道維度支路，將通道注意力權(quán)重通過Softmax函數(shù)得到歸一化的通道注意力權(quán)重∈RC，c′表示在通道維度支路進行歸一化操作，如式(7)所示：

將特征注意力權(quán)重張量 Fm與子特征圖 Zm進行元素級相乘，計算得到的結(jié)果再與子特征圖 Zm進行元素級相加，得到子注意力特征，如式(9)所示：

1.4 多尺度卷積

圖4 多尺度卷積核示意圖Fig.4 Schematic diagram of multiscale convolution kernel

本文依照文獻[18]的研究結(jié)果，采用[1,2,1,4]擴張因子順序構(gòu)建多尺度卷積，與其他擴張因子順序構(gòu)建的多尺度卷積相比，[1,2,1,4]的順序保證了卷積中感受野的過度平滑，避免了不平滑的卷積可能會減少特征之間的相關(guān)性，使網(wǎng)絡(luò)性能下降的問題。在圖4 中示出的紅色、綠色、藍色方塊分別代表擴張率為1、2、4 的空洞卷積。在同一個卷積核中，卷積核每一層均由擴張率不同的 3×3 空洞卷積組成，擴張率沿通道維度按照擴張因子為[1,2,1,4]的順序交替循環(huán)。輸出特征圖 R 中的每一特征層Rc,x,y均為注意力特征圖 Z? 與對應(yīng)的第c個卷積核的計算結(jié)果，因此，多尺度卷積核的個數(shù)由輸出特征圖 R 的輸出維度決定。在不同的卷積核中，同一空洞卷積層的擴張因子沿 R 的通道維度也按照[1,2,1,4]的順序交替循環(huán)。

1.5 損失函數(shù)

在試卷語義分割網(wǎng)絡(luò)中，將損失函數(shù)L定義為各預(yù)測支路損失的總和，3 個預(yù)測支路損失比重均設(shè)置為1，如式(10)所示[19]：

其中：Lcls、Lreg、Lmask分別代表分類支路、回歸支路以及分割支路的損失。

Lcls的損失函數(shù)定義如式(11)所示：

其中：p表示分類支路預(yù)測得到類別概率分布，p=(p0,p1,···,pu,···,pk)；u表示目標真實類別的標簽。pu表示目標被預(yù)測為u的概率。

Lreg的損失函數(shù)定義如式(12)所示：

其中：tu表示預(yù)測框?qū)?yīng)類別u的回歸參數(shù)；v表示對應(yīng)目標真實框的回歸參數(shù)；和vl分別表示預(yù)選框和真實框的第l個回歸參數(shù)，每個框?qū)?yīng)的回歸參數(shù)共4 個，即l∈[1,4] 。

smoothL1損失函數(shù)是對L1 范數(shù)損失函數(shù)進行平滑處理，在 |x|＜1 范圍內(nèi)采用L2 范數(shù)損失范數(shù)，以彌補L1 范數(shù)損失函數(shù)在該范圍中不易求解的缺點，smoothL1損失函數(shù)具有穩(wěn)健性，且方便求解。

通常對分類和回歸損失進行如式(14)所示的組合計算[20]：

分割支路是根據(jù)分類支路的結(jié)果進行分割的結(jié)果。Lmask使用平均二值交叉熵損失函數(shù)，如式(15)所示，對每個像素點進行分類，采用Sigmoid 函數(shù)對像素點進行前景和背景的判定。

式中：yi和分別表示第i個像素點二值化后的預(yù)測值和真實值。

2 實驗設(shè)置與結(jié)果分析

本實驗的軟件環(huán)境為OpenCV 及Pytorch 深度學(xué)習(xí)框架，硬件環(huán)境為Intel Core i7-7700K CPU 以及NVIDIA GeForce GTX 1 080 8G 顯卡。

2.1 數(shù)據(jù)來源

本實驗數(shù)據(jù)來源于實際試卷的拍照圖像，通過對試卷圖像數(shù)據(jù)集進行預(yù)處理，包括圖像去噪、圖像二值化和尺寸歸一化，共選取1 831 幅圖像作為樣本進行實驗。按照7∶3 的比例對圖像進行分組，隨機選取1 281 個樣本圖像作為訓(xùn)練集，550 個樣本圖像作為測試集。

2.2 評價指標

在MaskRCNN 網(wǎng)絡(luò)中，網(wǎng)絡(luò)對目標檢測的結(jié)果進行語義分割，目標檢測的準確率對語義分割的結(jié)果具有一定的影響因素，因此本文實驗均從目標檢測和語義分割兩個任務(wù)進行對比。本文采用平均準確率作為主要評價指標，其中AP 代表采用不同交并比（IoU）閾值（0.50∶0.05∶0.95）下的平均準確率總和的均值。AP50代表IoU 閾值為0.50 的平均準確率，AP75代表IoU 閾值為0.75 的平均準確率；使用APs代表面積較小（A＜322）的目標物體的平均準確率，APm代表面積中等（322＜A＜962）的目標物體的平均準確率，APl代表面積較大（A＞962）的目標物體的平均準確率。由于本實驗數(shù)據(jù)集中的文本區(qū)域面積均較大，在實驗中僅對APm和APl進行比較。此外，對模型的處理時間進行比較，計算網(wǎng)絡(luò)模型對測試集樣本圖像的平均處理時間，并將其作為評價指標之一。

2.3 注意力模型對比

為了驗證本文提出的模塊對試卷語義分割任務(wù)的有效性，本文將MaskRCNN 網(wǎng)絡(luò)（MR）、MaskRCNN結(jié)合CCNet[21]（MR-CC）、MaskRCNN 結(jié)合SE[14]（MR-SE）、MaskRCNN 結(jié)合 scSE[17]（MR-sc）、MaskRCNN 結(jié)合ECA[15]（MR-ECA）、MaskRCNN 網(wǎng)絡(luò)結(jié)合ULSAM[16]（MR-UM）的模型的實驗效果與本文算法進行對比，結(jié)果如表1 所示。

表1 注意力模型的效果對比Table 1 Comparison of the effect of attention model

從表1 可以看出，與MR 進行對比，SMFF 目標檢測的AP 提升了15.8%、語義分割的AP 提升了10.2%。與結(jié)合了最新注意力模塊的MR-ECA 和MR-UM 相比，SMFF 目標檢測的AP 分別提升了4.9%和3.4%。語義分割的AP 分別提升了3.4%和3.1%。由實驗結(jié)果可知，注意力模塊對MR 網(wǎng)絡(luò)的性能提升有效，本文提出的SMFF 模塊與其他注意力模塊相比，對目標檢測和語義分割任務(wù)的性能提升最顯著。在處理時間方面，SMFF 和MR-UM 由于模型更加復(fù)雜，需要的處理時間比其他算法更長，SMFF在處理時間上比MR-UM 略快一些，且效果更好。

2.4 特征融合對比

為驗證特征融合在試卷語義分割任務(wù)上的有效性，本文對比了特征融合PSConv[18]（MR-PS）、DWConv[22]（MR-DW）、MixConv[23]（MR-Mix）在MaskRCNN 網(wǎng)絡(luò)中的性能，如表2 所示。由表2 可知，SMFF 模塊對注意力特征圖以更細粒的角度進行多尺度特征融合，相比其他3 種特征融合的方式，它在試卷語義分割任務(wù)上的性能提升更加明顯。本文算法與使用多尺度特征融合方式的MR-Mix 和MR-PS 進行對比，目標檢測的AP 分別提升了8.7%和9.1%；語義分割的AP 分別提升了和7.2%和6.1%。與其他基于特征融合改進的MaskRCNN 網(wǎng)絡(luò)在處理時間上進行比較，SMFF 的處理時間相對較長，但效果更好。

表2 特征融合模型的效果對比Table 2 Comparison of the effects of feature fusion model

2.5 分組及消融實驗對比

本文與同樣使用子空間思想的ULSAM(UM)算法進行了分組數(shù)選取的對比實驗，實驗結(jié)果如圖5 所示。

圖5 UM 與SMFF 的分組對比Fig.5 Grouping comparison of UM and SMFF

從圖5 中可知，SMFF 模塊與UM 在同組的對比中，其在目標檢測和語義分割上的指標均優(yōu)于UM，說明SMFF 模塊相比UM 在試卷語義分割任務(wù)上的性能更好。UM 的子空間數(shù)超過最佳分組數(shù)后，網(wǎng)絡(luò)性能的提升會隨子空間分組數(shù)的增加反向下降相比，但SMFF 模塊在各分組數(shù)實驗中目標檢測和語義分割的指標變化更小，說明本文算法的性能更穩(wěn)定。

為驗證特征融合對子空間性能提升的有效性，本文對SMFF 模塊進行了消融實驗，實驗結(jié)果如表3所示。基于子空間思想的MR 網(wǎng)絡(luò)的目標檢測和語義分割的AP 分別提升了12.1%和7%。SMFF 模塊在子空間的基礎(chǔ)上增加特征融合，與僅使用子空間思想的網(wǎng)絡(luò)相比，其目標檢測AP 提升了3.7%，語義分割A(yù)P 提升了3.2%，說明特征融合能夠進一步提升網(wǎng)絡(luò)的性能。在處理時間方面，盡管在MaskRCNN網(wǎng)絡(luò)中每增加一個模塊，網(wǎng)絡(luò)的處理時間都會長一些，但是網(wǎng)絡(luò)的性能卻可以得到較大提升。

如圖6 所示，在試卷常見的題型，包括選擇題、填空題、計算題上進行實驗，比較了SMFF 模塊與其他模塊在試卷語義分割上的效果（藍色和黃色分別表示印刷體和手寫體的分割結(jié)果）。在圖6 所示的實驗效果對比中，MR、MR-UM 和MR-PS 等模型在試卷語義分割中均出現(xiàn)不同程度的漏檢，如紫色標注的部分。在紅色標注的部分，MR-PS 和MR-UM 的結(jié)果中出現(xiàn)大范圍的誤檢，將同一個部分同時判定為印刷體和手寫體，而基于SMFF 模塊的網(wǎng)絡(luò)相比其他3 種網(wǎng)絡(luò)的處理效果則更好，基本沒有漏檢問題，也沒有出現(xiàn)大范圍地誤檢問題。

在基于文本區(qū)域的印刷體與手寫體分類算法中，文獻[5]和文獻[6]通過提取文本區(qū)域的時頻域特征，采用簡單的機器學(xué)習(xí)方法進行分類，文獻[7]通過馬爾可夫隨機場對文本區(qū)域的特征進行分類，文獻[8]通過維特比解碼算法的網(wǎng)絡(luò)模型對文本區(qū)域的幀特征進行分類。將本文提出的算法與上述算法進行實驗對比, 處理時間對比結(jié)果如表4 所示，算法效果圖如圖7 所示。從實驗結(jié)果可以看出，文獻[5]的處理時間最短但是其實際分類效果最差；本文算法相比文獻[6-8]在處理時間和處理效果上都更好一些。文獻[5-8]的分類算法在實現(xiàn)印刷體和手寫體分離時會出現(xiàn)大量的誤檢和漏檢問題，從而導(dǎo)致題干區(qū)域無法完整保留，答題內(nèi)容清除不干凈。本文提出的算法能夠準確地分離印刷體區(qū)域和手寫體區(qū)域，有效解決其他算法出現(xiàn)的問題。

表4 印刷體和手寫體分類算法處理時間對比Table 4 Comparison of processing time between printed and handwritten classification algorithms

圖7 算法效果對比Fig.7 Comparison of algorithm effects

使用者拍攝的試卷圖像經(jīng)過本文所提出的試卷語義分割方法處理后的結(jié)果如圖8 所示。從圖中可以看出，本文提出的方法能夠有效分割印刷體和手寫體區(qū)域，完整地保留題干區(qū)域。

圖8 實驗效果展示Fig.8 Present of experimental results

3 結(jié) 論

本文提出子空間注意力特征融合（SMFF）模塊并將其嵌入MaskRCNN 網(wǎng)絡(luò)中，在子空間中通過不同維度計算特征圖的注意力權(quán)重，減少空間和通道的冗余，并通過特征融合更好地提取注意力特征的細節(jié)信息。實驗結(jié)果表明，在試卷語義分割的印刷體和手寫體區(qū)域的分類任務(wù)上，本文算法比MaskRCNN網(wǎng)絡(luò)模型的效果更好；與其他文獻[5-8]提出的算法相比，本文算法出現(xiàn)漏檢和誤檢的現(xiàn)象更少。在目標檢測和語義分割的性能指標上，本文算法也優(yōu)于其他基于常見特征融合（PSConv、DWConv、MixConv）或注意力模塊（CCNet、SE、scSE 等）的網(wǎng)絡(luò)模型，在試卷語義分割任務(wù)上表現(xiàn)出更好的性能。