付鵬斌 徐宇 楊惠榮

（北京工業(yè)大學(xué) 信息學(xué)部，北京 100124）

手寫數(shù)學(xué)公式識別在教育領(lǐng)域、科學(xué)文獻(xiàn)領(lǐng)域、辦公自動化領(lǐng)域都有廣泛的應(yīng)用。數(shù)學(xué)公式的存儲形式可以分為聯(lián)機(jī)和脫機(jī)兩種［1］。其中聯(lián)機(jī)形式是數(shù)據(jù)的動態(tài)表示，它包含了公式點(diǎn)序列的時序信息；脫機(jī)形式則將公式保存為二維圖像，是數(shù)據(jù)的靜態(tài)表示。

數(shù)學(xué)公式識別技術(shù)主要有兩類：一類基于語法驅(qū)動；另一類則基于深度學(xué)習(xí)技術(shù)?；谡Z法驅(qū)動的模型通常包含3個主要步驟，即符號分割、符號識別和結(jié)構(gòu)分析［2］。常用的方法包括SVM［3］、K-means［4］、隨機(jī)森林［5］、決策樹［6］等?；谡Z法驅(qū)動的方法對前一階段正確的符號分割和符號識別結(jié)果非常依賴，同時需要大量的預(yù)定義知識和先驗(yàn)內(nèi)容?；谏疃葘W(xué)習(xí)的方法通常采用編解碼框架，并與注意力機(jī)制相結(jié)合［7-8］。如Zhang 等［9-10］采用端到端的模型架構(gòu)，同時引入注意力機(jī)制提升識別效果，主導(dǎo)了當(dāng)前手寫數(shù)學(xué)公式識別的趨勢。Zhang等［11］設(shè)計(jì)了多尺度特征編碼方式，并使用GRU 單元作為解碼器，旨在通過解碼過程中不同尺度上下文向量的特征融合方式來增強(qiáng)模型的表現(xiàn)。Wu等［12-13］提出了一種配對對抗學(xué)習(xí)以學(xué)習(xí)特征空間中手寫體和打印體數(shù)學(xué)公式之間的語義不變特征。然而，由于引入了鑒別器，模型的復(fù)雜度也隨之增加。Le［14］引入了對偶損失函數(shù)降低了模型復(fù)雜度，為了進(jìn)行輔助訓(xùn)練，采用了額外的LaTeX語料庫來渲染生成打印體圖像。Zhao 等［15］采用Transformer單元作為解碼器，使用正向和逆向序列處理注意力對齊的問題，但未考慮到數(shù)學(xué)公式中字符尺度變化可能會導(dǎo)致識別不確定性的問題。Bian等［16］在模型中引入了深度互學(xué)習(xí)模型［17］，但僅在正向和逆向序列之間的訓(xùn)練過程中相互補(bǔ)充了信息。

針對以上問題，本文提出了一個基于多尺度特征融合的互學(xué)習(xí)模型。首先在編碼器階段引入多尺度特征融合的方法，以提升模型對公式中細(xì)粒度信息和整體語義信息的提取能力；在解碼階段分別計(jì)算手寫體、打印體與LaTeX標(biāo)簽之間的交叉熵?fù)p失函數(shù)，同時引入互學(xué)習(xí)機(jī)制計(jì)算手寫體、打印體之間的KL 散度，作為二者之間的上下文匹配損失，以更好地捕捉二者之間的語義不變性；同時，在已有的針對粘連字符分割處理［18］的基礎(chǔ)上采用基于端到端的識別方式，以避免由于前期單字符分割和識別錯誤而導(dǎo)致的錯誤傳遞問題，并在已有的成果上進(jìn)行延伸與擴(kuò)展；最后通過實(shí)驗(yàn)驗(yàn)證該方法的最終識別率。

1 編碼器-解碼器基礎(chǔ)框架

1.1 CNN編碼器

編碼器部分采用DenseNet［19］提取二維圖像中的特征， 這與DenseWAP［11］模型的設(shè)置相同。DenseNet的核心思想是在特征維度上通過拼接操作增強(qiáng)層與層之間的信息傳遞。具體來說，在第i層接收前面所有層的特征映射，也就是將x0，x1，…，xi-1作為輸入：

這里的Hi為第i層的卷積函數(shù)，提取的特征大小為H×W×C，其中H、W分別為特征圖的高和寬，C為通道數(shù)。

由于Transformer［20］對位置不敏感，即編碼器、解碼器的輸入對所有時間步的向量距離都是相等的，因此需要對輸入向量進(jìn)行位置編碼。在這里采用與BTTR［15］模型同樣的單詞位置編碼以及圖像位置編碼方式。

將圖像特征信息與對應(yīng)的圖像位置編碼相加、單詞特征信息與對應(yīng)的單詞位置編碼相加。相加的結(jié)果作為輸入，傳入Transformer解碼器進(jìn)行后續(xù)的計(jì)算。

（1）單詞位置編碼：采用Transformer 中的絕對位置編碼［20］。

式中，采用正余弦位置編碼方式，l為序列長度的位置，d為向量維度，j為序列對應(yīng)的特征維度。

（2）圖像位置編碼：采用二維歸一化位置編碼，與文獻(xiàn)［21-23］的處理方式相同。首先計(jì)算每個維度的正弦位置編碼，然后將兩個維度進(jìn)行拼接。假設(shè)要編碼的圖像高H、寬W，圖像中的某像素點(diǎn)為（x，y），利用和上述單詞位置編碼一樣的維度d進(jìn)行位置編碼計(jì)算，僅利用正弦位置編碼公式即可。

1.2 Transformer解碼器

使用Transformer單元作為解碼器，由于依托于自注意力機(jī)制，不需要像RNN 那樣依賴前一步的狀態(tài)，因此具有良好的并行化性質(zhì)。這不僅能在訓(xùn)練階段節(jié)省大量時間，而且在解碼時，每一個標(biāo)簽字符都可以相互建立一對一的連接來計(jì)算相關(guān)性，從根本上解決了RNN 因?yàn)殚L期依賴導(dǎo)致信息丟失的問題。隨著序列的增長，句子中越靠前面的信息丟失得越嚴(yán)重，引入注意力機(jī)制能夠幫助模型對輸入序列的每部分賦予不同的權(quán)重，以區(qū)分輸入的不同部分對輸出的影響。因此，本文使用以Transformer［20］單元為解碼器的模型替換了以RNN 單元為解碼器的模型。

1.2.1 注意力機(jī)制

Transformer采用Q、K、V特征圖的方式構(gòu)建自注意力機(jī)制模塊。K、V代表鍵和值，不同的鍵對應(yīng)不同的值；Q為查詢向量，與所有的K度量一個相似性，并仿照最相似的K對應(yīng)的V，產(chǎn)生最終的注意力特征圖A：

假設(shè)源序列為x1，x2，…，xm，而目標(biāo)序列為y1，y2，…，yn。若兩個不同序列做注意力機(jī)制，源序列x1，x2，…，xm對應(yīng)的Q矩陣為q1，q2，…，qm，目標(biāo)序列y1，y2，…，yn對應(yīng)的K、V矩陣長度相同，為k1，k2，…，kn以及v1，v2，…，vn。自注意力機(jī)制為源序列與目標(biāo)序列長度相同的特殊情況，此時Q、K、V矩陣維度相同。

1.2.2 多頭注意力機(jī)制

為將特征映射到不同子空間，采用多頭注意力機(jī)制以捕獲更豐富的特征信息。將A中的Q、K、V矩陣與不同的參數(shù)矩陣相乘。假設(shè)頭的數(shù)量i=1，2，…，h，計(jì)算時每個頭之間的數(shù)據(jù)獨(dú)立，不產(chǎn)生交叉。最終需要模型學(xué)習(xí)一個權(quán)重矩陣WO得到最終編碼層輸出O。

2 多尺度特征融合的互學(xué)習(xí)模型

2.1 多尺度特征融合機(jī)制

由于手寫數(shù)學(xué)公式中的符號比例變化非常大，因此在提取特征映射時，細(xì)粒度的細(xì)節(jié)變得尤為重要。然而在低分辨率的特征映射中，這些細(xì)節(jié)很容易丟失。如圖1所示，方框中的符號比例比相鄰符號小很多，經(jīng)過多層池化層之后，小數(shù)點(diǎn)部分的特征信息就容易丟失，導(dǎo)致欠解析問題。類似的情況還有上下角標(biāo)、逗號、求導(dǎo)符號等。這些細(xì)節(jié)信息的識別不僅影響單個字符識別的正確率，而且影響整體數(shù)學(xué)公式的結(jié)構(gòu)分析。

圖1 可能導(dǎo)致欠解析問題的未捕獲特征圖中的細(xì)粒度細(xì)節(jié)Fig.1 Failure to capture fine-grained details in feature maps may lead to under-parsing problems

受到“Dense+MSA”［11］的啟示，本文嘗試在編碼器階段獲取到兩個尺度的特征信息，設(shè)計(jì)了兩種不同的特征融合方式。第1 種如圖2（a）所示，將DenseNet 提取的多尺度特征同時送入解碼器單元進(jìn)行損失值計(jì)算，得到兩個尺度下的損失值，取二者平均值后進(jìn)行下一階段的梯度更新。第2種如圖2（b）所示，DenseNet提取的多尺度特征在送入解碼器之前，將低分辨率的特征圖上采樣到和高分辨率特征圖尺度相同，然后進(jìn)行特征融合，最終只計(jì)算一個損失值。

圖2 多尺度特征融合機(jī)制Fig.2 Multi-scale feature fusion mechanism

2.2 互學(xué)習(xí)機(jī)制

手寫數(shù)學(xué)公式識別過程中，每個人的手寫風(fēng)格差異增加了識別的難度。如圖3所示，同一標(biāo)簽所對應(yīng)的內(nèi)容有很多種不同的書寫風(fēng)格，但是這些不同風(fēng)格的書寫方式卻能夠共享特征，代表相同的語義信息。同時，有良好標(biāo)注信息的手寫數(shù)學(xué)公式數(shù)據(jù)集較少，需要人工進(jìn)行LaTeX標(biāo)簽標(biāo)注，耗費(fèi)大量人力資源和時間成本。相較而言，打印體數(shù)學(xué)公式可以直接通過LaTeX標(biāo)簽渲染成圖像提供額外的輔助信息，因此可以使用這部分易于獲取的打印體圖像來提升手寫體的識別效果。該模型不僅學(xué)習(xí)手寫體、打印體各自的LaTeX語法，而且學(xué)習(xí)手寫體和打印體之間的語義不變性。

圖3 同一標(biāo)簽對應(yīng)不同手寫風(fēng)格示例Fig.3 An example of same label corresponding to different handwriting styles

本文引入的互學(xué)習(xí)模型成對輸入手寫體、打印體圖像，同時每種類型的數(shù)據(jù)采用與文獻(xiàn)［15］相同的方式構(gòu)建正向、逆向兩個序列。傳統(tǒng)自回歸模型在推理階段從左到右依次產(chǎn)生預(yù)測的字符，這會導(dǎo)致不平衡的輸出，前綴比后綴更精確。如果采用兩個獨(dú)立的解碼器分別進(jìn)行兩個方向的訓(xùn)練，就會增加模型的復(fù)雜度，帶來更多的參數(shù)和更長的訓(xùn)練時間。由于Transformer模型本身并不關(guān)心輸入符號的順序，因此可以使用單個解碼器進(jìn)行雙向語言建模。正向序列y→和逆向序列y←定義如下：

式中，第t個時間步的標(biāo)簽Yt是獨(dú)熱編碼的矩陣。假設(shè)字典表中有K個類別，Yt=（a1，a2，…，aK），其中ak∈｛0，1｝。 SOS 和 EOS 分別代表開始和結(jié)束標(biāo)簽。具體而言，對于單個訓(xùn)練樣本，從目標(biāo)LaTeX序列生成正向LaTeX 和逆向LaTeX 兩個序列，并在同一個批次中計(jì)算損失函數(shù)，由此實(shí)現(xiàn)了在不犧牲模型簡潔性的情況下，使用單個解碼器訓(xùn)練雙向語言模型。對于長度為T、共K個類別的字符串，第k個類別的softmax概率計(jì)算如下：

解碼器損失LDec包含正向以及逆向序列的損失：

同時，引入互學(xué)習(xí)中的KL 散度作為指標(biāo)，衡量手寫體、打印體之間的概率分布距離。在softmax輸出的概率分布熵相對較低的情況下，負(fù)標(biāo)簽的值都非常接近0，對損失函數(shù)的貢獻(xiàn)很小。引入溫度［24］這個變量之后產(chǎn)生更平滑的概率分布。當(dāng)溫度S=1時，就是標(biāo)準(zhǔn)的softmax公式。其中，解碼過程中第t個符號的軟概率被定義為

將手寫體、打印體各自對應(yīng)的正向、逆向序列的概率分布拼接到一起，參數(shù)type代表數(shù)學(xué)公式的形式。最終，互學(xué)習(xí)模型中引入KL 散度作為額外的指標(biāo)：

計(jì)算KL 散度時，溫度S能夠軟化標(biāo)簽，為網(wǎng)絡(luò)提供更多信息。同時用print 即打印體作為教師，使用hand 即手寫體模仿打印體的后驗(yàn)分布，以學(xué)習(xí)二者在不同空間的語義不變性，從而提高模型對不同書寫風(fēng)格的魯棒性。

2.3 訓(xùn)練策略

為了學(xué)習(xí)語義不變性的特征，采用與Dual Loss［14］相同的訓(xùn)練策略，給定N對訓(xùn)練樣本（Xhand，Xprint），最終的代價函數(shù)L包括解碼器的損失函數(shù)以及上下文匹配損失：

式中，LDec為目標(biāo)標(biāo)簽與正向、逆向序列的交叉熵?fù)p失函數(shù)，LKL為手寫體、打印體之間的KL散度，λ為超參數(shù)，以平衡KL 散度的損失，整體結(jié)構(gòu)如圖4所示。

圖4 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.4 Overall network structure

編碼器采用DenseNet進(jìn)行特征提取后獲得各自的特征融合向量，然后送入Transformer單元的解碼器中，進(jìn)行序列與標(biāo)簽的交叉熵?fù)p失函數(shù)計(jì)算以及手寫體和打印體上下文向量匹配計(jì)算。

如果能夠使得LKL的值盡可能小，則表示手寫體、打印體之間的語義不變性能夠被較好地捕捉到，此時解碼器可以通過打印體數(shù)學(xué)公式來學(xué)習(xí)手寫體數(shù)學(xué)公式，反過來也可以通過手寫體數(shù)學(xué)公式學(xué)習(xí)打印體數(shù)學(xué)公式。由此額外引入的打印體數(shù)學(xué)公式能夠作為橋梁將不同的手寫風(fēng)格映射到相同的特征子空間，提高了模型對于不同書寫風(fēng)格方面的魯棒性。訓(xùn)練目標(biāo)是最小化式（18）中的損失函數(shù)，同時采用Adadelta 算法進(jìn)行參數(shù)學(xué)習(xí)，超參數(shù)ρ=0.9，ε=10-6，權(quán)重衰減設(shè)置為10-4。平衡KL 散度的超參數(shù)λ=0.1。當(dāng)詞錯誤率RWER在15個輪次內(nèi)沒有下降時將降低學(xué)習(xí)率，訓(xùn)練批次大小設(shè)置為16，序列生成的最大長度設(shè)置為200。測試階段使預(yù)測的LaTeX序列的概率最大化，同時采用集束搜索的解碼策略，設(shè)置束寬為10。實(shí)驗(yàn)過程中使用Pytorch 框架搭建模型，在NVIDIA GeForce RTX 3090 24 GB的GPU上進(jìn)行模型訓(xùn)練。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

本文采用CROHME 2014 競賽的數(shù)據(jù)集進(jìn)行模型訓(xùn)練，并根據(jù)訓(xùn)練集中的手寫體數(shù)據(jù)引入成對的打印體圖像。使用CROHME 2014/2016/2019 測試集進(jìn)行測試，共111 類數(shù)學(xué)符號，具體構(gòu)成如表1所示。

表1 CROHME數(shù)據(jù)集Table 1 CROHME dataset

后續(xù)在HME100K 數(shù)據(jù)集上進(jìn)行了對比試驗(yàn)，該數(shù)據(jù)集共24 607 張圖片、144 類符號。由于模型輸入需要成對的打印體圖像，而該數(shù)據(jù)集存在utf-8格式字符，無法根據(jù)標(biāo)準(zhǔn)LaTeX語法生成對應(yīng)打印體圖像，故選取了HME100K 的子集進(jìn)行訓(xùn)練，原始數(shù)據(jù)集以及選定的子集構(gòu)成如表2所示。

表2 HME100K數(shù)據(jù)集Table 2 HME100K dataset

在數(shù)據(jù)預(yù)處理階段，手寫體圖像根據(jù)對應(yīng)的LaTeX 標(biāo)簽生成匹配的打印體圖像，如圖5 所示。構(gòu)造的打印體數(shù)學(xué)公式使用統(tǒng)一的字體。后續(xù)使用成對的圖像進(jìn)行訓(xùn)練。

圖5 成對數(shù)學(xué)公式圖片構(gòu)造過程Fig.5 Paired mathematical expression construction process

3.2 網(wǎng)絡(luò)參數(shù)

在編碼器部分，采用與DenseWAP 網(wǎng)絡(luò)相同的特征提取器以保證對比的公平性。一共設(shè)置了3個DenseBlock塊，每個塊深度D=16。每個DenseBlock塊中由Transition 層相連接，以壓縮特征圖通道大小。增長因子為24，Transition 層的壓縮超參數(shù)θ=0.5。

解碼器部分采用Transformer模型中的解碼器部分，其中解碼層數(shù)為3，模型維數(shù)以及嵌入層維度dmodel=256，多頭注意力機(jī)制中的頭數(shù)h=8，全連接層的維度dff=1024，神經(jīng)元隨機(jī)失活率設(shè)置為0.3，以防止過擬合。

3.3 結(jié)果對比與分析

采用兩個評價指標(biāo)來評估模型。①表達(dá)式級別：Acc、Err1、Err2，分別表示表達(dá)式全部識別正確、表達(dá)式中存在小于等于1 個、2 個結(jié)構(gòu)或符號識別錯誤的識別精度。②詞級別：詞錯誤率Wer，如式（19）所示。

3.3.1 多尺度特征融合機(jī)制實(shí)驗(yàn)

首先對多尺度特征融合機(jī)制進(jìn)行驗(yàn)證，選定BTTR模型作為基準(zhǔn)模型。在編碼器階段（在DenseNet網(wǎng)絡(luò)中提取兩個尺度的特征信息），采用不同的方式進(jìn)行特征融合。

表3 所示為兩種不同編碼方式在CROHME 2014/2016/2019測試集上的表達(dá)式正確率Acc的對比結(jié)果。BTTR-MSLoss分別計(jì)算兩個尺度的損失值并梯度更新，兩個尺度的特征向量沒有進(jìn)行融合；BTTR-MS為編碼器階段的特征圖直接進(jìn)行融合。綜合考量模型的復(fù)雜度以及識別的正確率，最終選BTTR-MS作為后續(xù)的模型進(jìn)行改進(jìn)。

表3 多尺度特征融合機(jī)制實(shí)驗(yàn)Table 3 Experiment on multi-scale feature fusion mechanism

如表4所示，選定了具有代表性的案例進(jìn)行對比，引入BTTR-MS 機(jī)制后模型對于圖像細(xì)粒度的視覺信息有更好的捕捉效果，同時對公式整體信息有更好的提取能力。

表4 多尺度特征融合案例對比Table 4 Multi-scale feature fusion case comparison

3.3.2 互學(xué)習(xí)機(jī)制實(shí)驗(yàn)

訓(xùn)練過程中，將手寫體、打印體成對送入編碼器。在解碼過程中引入KL 散度作為衡量指標(biāo)，使二者的概率分布更接近，學(xué)習(xí)二者的語義不變性以克服手寫風(fēng)格不一、數(shù)據(jù)量少等問題，以此提升對公式整體信息的理解能力。

表5 為引入KL 散度作為額外損失函數(shù)后，在CROHME 2014/2016/2019 測試集上Acc的對比結(jié)果。Dual Loss［14］采用GRU 單元作為解碼器，引入均方誤差（MSE）損失函數(shù)衡量手寫體、打印體之間的差異，同時引入了額外的LaTeX 語料庫訓(xùn)練語言模型；BTTR-MSE使用MSE函數(shù)匹配二者的語義不變性；BTTR-KL使用KL散度度量二者的語義不變性。最終選定BTTR-KL作為后續(xù)的模型進(jìn)行改進(jìn)。

表5 互學(xué)習(xí)機(jī)制實(shí)驗(yàn)Table 5 Experiment on mutual learning mechanism

3.3.3 消融實(shí)驗(yàn)

如表6 所示，對BTTR 單模型在CROHME 2014/2016/2019 測試集上進(jìn)行了消融實(shí)驗(yàn)。評價指標(biāo)包括Acc、Err1、Err2以及Wer。其中，-MS 代表在編碼器階段進(jìn)行多尺度特征融合；-KL 代表使用KL散度度量上下文向量之間的距離；Ours 為將MS 機(jī)制和KL機(jī)制同時引入到模型中。

表6 多尺度特征融合機(jī)制以及互學(xué)習(xí)機(jī)制實(shí)驗(yàn)Table 6 Multi-scale feature fusion mechanism and mutual learning mechanism experiments%

3.3.4 對比實(shí)驗(yàn)

如表7所示，對當(dāng)前主流的一些手寫數(shù)學(xué)公式模型進(jìn)行了橫向比較，并分別在CROHME 2014/2016/2019測試集上進(jìn)行了評估。這些主要的模型包括WAP［9］、DWAP［11］、DWAP-MSA［11］、DWAP-TD［25］、PAL［12］、PAL-v2［13］、Dual Loss［14］、BTTR［15］、ABM［16］、SAN［26］。本研究在Ours模型中引入了多尺度特征融合機(jī)制和互學(xué)習(xí)機(jī)制，而Ours*則在Ours模型的基礎(chǔ)上對原始的CROHME 2014訓(xùn)練集進(jìn)行了數(shù)據(jù)增強(qiáng)，即將數(shù)據(jù)從原本的8 836條增加到53 106條，并使用該增強(qiáng)數(shù)據(jù)進(jìn)行訓(xùn)練，得到了更好的結(jié)果。

表7 CROHME數(shù)據(jù)集對比實(shí)驗(yàn)Table 7 CROHME dataset comparison experiment %

后續(xù)在HME100K-sub 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，如表8 所示。由表8 可知，隨著數(shù)學(xué)公式復(fù)雜度提升、難度增高，模型識別準(zhǔn)確率也隨之降低。

表8 HME100K-sub數(shù)據(jù)集實(shí)驗(yàn)Table 8 HME100K-sub dataset experiment%

4 結(jié)語

手寫數(shù)學(xué)公式二維結(jié)構(gòu)復(fù)雜，其中，字符尺度多變以及書寫風(fēng)格不一都會增大識別難度。針對以上問題，本研究提出了多尺度特征融合的互學(xué)習(xí)模型方法，并取得了較好的效果，在表達(dá)式正確率以及詞錯誤率等評價指標(biāo)上效果均優(yōu)于其他算法。經(jīng)實(shí)驗(yàn)證明，本文提出的方法能夠有效提取公式中不同尺度下的特征，同時增強(qiáng)了在有限數(shù)據(jù)集下不同手寫風(fēng)格的魯棒性；并在實(shí)驗(yàn)室已有的成果上進(jìn)行了延伸以及擴(kuò)展。后續(xù)對于高質(zhì)量數(shù)據(jù)集的擴(kuò)充以及注意力機(jī)制的改進(jìn)為主要的研究方向。