喬詩(shī)展, 陳逸倫

(西北工業(yè)大學(xué) 航天學(xué)院, 西安 710072)

命名實(shí)體識(shí)別, 指在一張圖像或一段文字中提取出特定的名詞, 如人名、地名、企業(yè)名稱(chēng)等. 而隨著相關(guān)智能手機(jī)軟件, 如美團(tuán)、大眾點(diǎn)評(píng)的發(fā)展, 用戶(hù)直接使用手機(jī)拍照并實(shí)時(shí)獲得企業(yè)和店鋪相關(guān)信息或?qū)⒊蔀槲磥?lái)一段時(shí)間智能手機(jī)軟件的發(fā)展趨勢(shì). 此外, 企業(yè)命名實(shí)體識(shí)別也為工商備案網(wǎng)站查找違建、非法營(yíng)業(yè)企業(yè)等提供了便利.

識(shí)別企業(yè)命名實(shí)體首先需要檢測(cè)出圖片中包含的命名實(shí)體, 目前現(xiàn)有的目標(biāo)檢測(cè)框架主要有YOLOv5[1]端對(duì)端目標(biāo)檢測(cè)架構(gòu), 該算法將候選區(qū)域生成及物體分類(lèi)集成至單網(wǎng)絡(luò)中, 并使用Efficient Net[2]的策略將網(wǎng)絡(luò)縮放至5個(gè)不同大小, 以獲得不同精度的區(qū)域重合度IOU (Intersection Over Union) 準(zhǔn)確率和分類(lèi)準(zhǔn)確率, 其最小的模型推理一張圖片僅需0.007 s, 且在COCO數(shù)據(jù)集上的mAP達(dá)到了45%. 此外, 如Faster-RCNN[3]、Mask-RCNN[4]等兩步目標(biāo)檢測(cè)/分割網(wǎng)絡(luò)也得到了廣泛應(yīng)用, 其基本思路是使用全卷積神經(jīng)網(wǎng)絡(luò)作為候選區(qū)域的提取網(wǎng)絡(luò), 并使用VGG16[5]、ResNet18[6]等物體分類(lèi)網(wǎng)絡(luò)進(jìn)行分類(lèi), 從而分步獲取物體邊界矩形框及物體的類(lèi)別. 而除了針對(duì)廣泛目標(biāo)檢測(cè)的網(wǎng)絡(luò),專(zhuān)門(mén)應(yīng)用于文字檢測(cè)的網(wǎng)絡(luò)如EAST[7], 采用并行式端對(duì)端的架構(gòu), 通過(guò)特征提取全卷積神經(jīng)網(wǎng)絡(luò)、非極大值抑制等方法, 直接預(yù)測(cè)文本行位置.

對(duì)于檢測(cè)后的文本, 則還需要進(jìn)行識(shí)別, 基于傳統(tǒng)算法的Tesseract框架[8]使用直方圖閾值分割文字及背景, 并使用霍夫變換的方法將傾斜文本進(jìn)行旋轉(zhuǎn), 隨后通過(guò)模板匹配的方法進(jìn)行識(shí)別, 對(duì)英文字體達(dá)到了97.3%的識(shí)別準(zhǔn)確率, 而對(duì)中文字體則支持較差. 而目前基于神經(jīng)網(wǎng)絡(luò)的主流的文本識(shí)別框架如Attention-OCR[9]、CRNN[10]等, 均采用了LSTM (Long Short-Term Memory networks)結(jié)合CTC (Connectionist Temporal Classification)或Attention機(jī)制的方法, 進(jìn)行圖像大小更改、特征提取等步驟, 使文本識(shí)別準(zhǔn)確率提高, 但其存在泛化性能較差、需要至少100萬(wàn)數(shù)據(jù)量進(jìn)行訓(xùn)練、難以遷移學(xué)習(xí)等特點(diǎn).

由于企業(yè)命名實(shí)體識(shí)別任務(wù)具有多學(xué)科交叉、處理過(guò)程繁瑣等特點(diǎn), 因此本文提出將機(jī)械設(shè)計(jì)中常用的并行子空間優(yōu)化方法(Concurrent SubSpace Optimization, CSSO)[11]應(yīng)用于該任務(wù)中. 該方法與單級(jí)的多學(xué)科優(yōu)化(Multidisciplinary Design Optimization, MDO)方法[12]步驟相類(lèi)似, 二者均通過(guò)數(shù)學(xué)模型進(jìn)行優(yōu)化求解, 結(jié)合了并行化設(shè)計(jì)的思想, 但CSSO方法首先通過(guò)對(duì)系統(tǒng)級(jí)進(jìn)行優(yōu)化, 又再次對(duì)系統(tǒng)中的多學(xué)科進(jìn)行并行優(yōu)化, 比單級(jí)的多學(xué)科優(yōu)化更能適應(yīng)系統(tǒng)的復(fù)雜性.

因此, 本文考慮到企業(yè)命名實(shí)體識(shí)別任務(wù)的復(fù)雜性, 首先通過(guò)建立系統(tǒng)的目標(biāo)-約束方程的方法對(duì)系統(tǒng)進(jìn)行約束層面上的優(yōu)化. 在滿(mǎn)足系統(tǒng)約束的條件下, 對(duì)其中涉及的學(xué)科通過(guò)實(shí)驗(yàn)比對(duì)、算法優(yōu)化等方法進(jìn)行學(xué)科級(jí)并行優(yōu)化, 并綜合考慮不同目標(biāo)檢測(cè)框架的優(yōu)缺點(diǎn), 最后通過(guò)實(shí)驗(yàn)結(jié)果判別系統(tǒng)的性能優(yōu)劣. 此外,本文還通過(guò)實(shí)拍及標(biāo)注原創(chuàng)中文企業(yè)命名實(shí)體數(shù)據(jù)集(Naming-649)[13], 作為本文的實(shí)驗(yàn)數(shù)據(jù)集.

1 系統(tǒng)架構(gòu)

1.1 系統(tǒng)目標(biāo)-約束方程

企業(yè)命名實(shí)體識(shí)別任務(wù)的目標(biāo)-約束方程如式(1)所示.

其中, 該任務(wù)首要保證的是識(shí)別系統(tǒng)的準(zhǔn)確率P, 其次,系統(tǒng)的延遲D應(yīng)小于0.1 s以減少用戶(hù)等待的時(shí)間. 而在不引入新模型的情況下, 系統(tǒng)的約束為不同模型的延時(shí)di、 區(qū)域重合度IOUi、 識(shí)別準(zhǔn)確率pi, 此外還需考慮多級(jí)模型間的信息交互延時(shí)dinfo. 而在目前可選模型(包括目標(biāo)檢測(cè)模型和文字識(shí)別模型)中, 延時(shí)最小的為YOLOv5-S模型, FPS (Frame Per-Second)達(dá)到了140, 因此系統(tǒng)總延遲D應(yīng)大于YOLOv5-S模型的延遲0.007 s[1]. 區(qū)域重合度及網(wǎng)絡(luò)最高準(zhǔn)確率不會(huì)超過(guò)準(zhǔn)確率上限100%, 此外, 區(qū)域重合度IOUi與網(wǎng)絡(luò)識(shí)別準(zhǔn)確率pi成正相關(guān), 即當(dāng)區(qū)域重合度過(guò)低時(shí), 網(wǎng)絡(luò)就無(wú)法識(shí)別出正確的文字. 并且, 若采用并行化設(shè)計(jì), 則由于樣本和模型不一定獨(dú)立, 因此系統(tǒng)的準(zhǔn)確率并不是不同子系統(tǒng)的準(zhǔn)確率pi之和, 而是呈某種函數(shù)關(guān)系.

對(duì)于目標(biāo)/文字檢測(cè)模塊, 選取主流檢測(cè)框架在COCO數(shù)據(jù)集[14]上進(jìn)行多次測(cè)試取平均值的結(jié)果如圖1所示.

圖1 主流目標(biāo)檢測(cè)框架對(duì)比

圖1中YOLOv5模型均小于系統(tǒng)最大許可延遲,在測(cè)試圖中使用目標(biāo)點(diǎn)(0,1)計(jì)算各模型的歐氏距離,從而得到計(jì)算模型的性能, 如式(2)所示.

其中,Ei為 計(jì)算模型的性能,di為目標(biāo)點(diǎn)到各模型的歐式距離. 隨后, 將各模型的性能進(jìn)行排序, 最終本文選取了YOLOv5-X模型為目標(biāo)檢測(cè)子系統(tǒng), 以進(jìn)行命名實(shí)體的檢測(cè).

對(duì)于文字識(shí)別模塊, 由于各模型性能較為平均, 為了進(jìn)一步提高模型的精度及降低模型延時(shí), 最終采用了CSSO中并行化設(shè)計(jì)的方法, 采用多個(gè)模型, 將模型預(yù)先部署于服務(wù)器中.

由于各服務(wù)器均可以進(jìn)行獨(dú)立計(jì)算, 因此識(shí)別算法僅需考慮平均延時(shí)最長(zhǎng)的子識(shí)別模塊, 其余模塊不受影響. 此外進(jìn)行訓(xùn)練和測(cè)試時(shí)僅有圖像大小的信息分發(fā), 大大節(jié)省了時(shí)間, 該部分延時(shí)參見(jiàn)式(3).

長(zhǎng)征途中，中國(guó)共產(chǎn)黨領(lǐng)導(dǎo)的中國(guó)工農(nóng)紅軍，“轉(zhuǎn)戰(zhàn)十余省，其中百分之九十的路程行進(jìn)在少數(shù)民族地區(qū)，”[2]為了揭露國(guó)民黨反動(dòng)派和地方軍閥的欺騙宣傳，加深少數(shù)民族對(duì)黨和紅軍的認(rèn)識(shí)，讓少數(shù)民族更好地了解黨的民族政策和抗日救國(guó)的主張，提高他們的思想覺(jué)悟，黨把民族工作放在了重要地位，認(rèn)真開(kāi)展民族工作，非常注重做好對(duì)少數(shù)民族的宣傳工作，較早的展示出我們黨的少數(shù)民族政策基本思想，對(duì)我們黨的民族觀形成、民族工作開(kāi)展、民族政策制定方面做出了重大貢獻(xiàn)，對(duì)我們認(rèn)識(shí)中國(guó)多民族的國(guó)情，鞏固和發(fā)展社會(huì)主義民族關(guān)系產(chǎn)生了十分重大影響，積累了重要的民族工作經(jīng)驗(yàn)。

1.2 系統(tǒng)架構(gòu)

系統(tǒng)主要架構(gòu)如圖2所示, 主要?jiǎng)澐譃閮杉?jí). 其中第一級(jí)為文字檢測(cè)模塊, 主要任務(wù)是將圖像中的命名實(shí)體所在的邊界矩形框提取出來(lái). 本文中, 文字檢測(cè)模塊使用YOLOv5-X架構(gòu), 并使用Naming-649數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí).

隨后, 一、二級(jí)銜接部分主要包括圖像的裁剪、灰度化、直方圖、圖像二值化、霍夫變換等方法, 首先通過(guò)裁剪方法, 對(duì)命名實(shí)體所在的區(qū)域進(jìn)行提取, 并對(duì)圖像進(jìn)行灰度化以便清除無(wú)用信息. 隨后, 為了擴(kuò)大圖像的樣本數(shù)和識(shí)別準(zhǔn)確率, 采用了動(dòng)態(tài)直方圖閾值,對(duì)于含有文字的圖像而言, 企業(yè)店鋪的文字一般為同一顏色, 背景為其他顏色, 因此在文字出現(xiàn)的位置及背景出現(xiàn)的位置在直方圖上會(huì)呈現(xiàn)出兩個(gè)波峰, 而文字和背景分離的關(guān)鍵就是取兩個(gè)波峰中的波谷位置即最優(yōu)閾值, 此外, 由于文字所對(duì)應(yīng)的位置不確定, 因此閾值可能有偏差, 所以要對(duì)閾值信息進(jìn)行反相、增加、減少等操作, 才可生成一系列經(jīng)過(guò)不同閾值處理后的多張二值圖像. 最后, 通過(guò)霍夫變換, 將文字進(jìn)行旋轉(zhuǎn),以便讓文字識(shí)別模塊可以更容易地識(shí)別.

文字識(shí)別模塊主要包括幾種目前主流的文字識(shí)別框架, 包括基于多分類(lèi)的DenseNet[15], 基于CNN特征提取、RNN語(yǔ)義信息提取, 并使用CTC損失的CRNN架構(gòu), 基于模板匹配的Tesseract, 以及可同時(shí)提取圖像特征及語(yǔ)義特征并引入注意力機(jī)制的ConvLSTM[16].其采用并行式設(shè)計(jì), 在一二級(jí)銜接的文字處理模塊完成后, 對(duì)應(yīng)圖片會(huì)拷貝4份, 分別通過(guò)TCP/IP協(xié)議傳輸給預(yù)先部署在不同服務(wù)器上的模型. 當(dāng)模型計(jì)算完成后, 對(duì)應(yīng)輸出將通過(guò)TCP/IP協(xié)議傳輸給原服務(wù)器.當(dāng)所有服務(wù)器計(jì)算完成后, 使用豎向?qū)R算法, 對(duì)不同模型識(shí)別出的文字進(jìn)行進(jìn)一步對(duì)齊和處理, 清除文字中的標(biāo)點(diǎn)符號(hào)和特殊字符, 最終輸出識(shí)別完成的文字.

1.3 豎向?qū)R算法

由于文字識(shí)別模塊的每個(gè)模型的獨(dú)立性不好判別, 因此采用了一種豎向?qū)R方法來(lái)輸出文字. 如圖3所示.

由于企業(yè)命名實(shí)體一般不包含標(biāo)點(diǎn)符號(hào)和生僻字,因此可對(duì)每個(gè)文字識(shí)別模型進(jìn)行去標(biāo)點(diǎn)及生僻字處理.而由于每個(gè)模型的性能不相同, 因此對(duì)每行輸出進(jìn)行加權(quán)操作, 如式(4)所示.

其中, 對(duì)于在先驗(yàn)數(shù)據(jù)集上測(cè)試準(zhǔn)確率為pi的模型i,輸出長(zhǎng)度為length(i)的文字, 每一行長(zhǎng)度的眾數(shù)記為Mo(i), 為修正因子. 可以看出, 該公式保證了準(zhǔn)確率pi越高, 輸出長(zhǎng)度越接近平均值的模型輸出的文本行所占的權(quán)重越大.

隨后, 使用s=2的滑動(dòng)窗口分別選中s列, 考慮到模型性能不齊, 因此直接計(jì)算滑動(dòng)窗口中某文字的眾數(shù)會(huì)產(chǎn)生誤差, 因此需要按照式(5)計(jì)算每個(gè)文字的加權(quán)數(shù):

其中,wordi表示每行滑動(dòng)窗口中第i個(gè)文字. 其表明,計(jì)算每個(gè)文字的加權(quán)數(shù)只需將每行中滑動(dòng)窗口中的每個(gè)文字乘上該行對(duì)應(yīng)行的權(quán)重. 最后, 對(duì)滑動(dòng)窗口中文字進(jìn)行排序操作, 取加權(quán)數(shù)最大的文字, 作為該文字的輸出, 即保證了準(zhǔn)確率pi越大的模型輸出的文字權(quán)重也越大, 可以提高文字的識(shí)別準(zhǔn)確率.

2 實(shí)驗(yàn)和結(jié)果分析

2.1 數(shù)據(jù)集

由于網(wǎng)絡(luò)上的場(chǎng)景文字識(shí)別數(shù)據(jù)集中不僅包括企業(yè)命名企業(yè)實(shí)體, 還包括商家的描述等任務(wù)無(wú)關(guān)信息,因此通過(guò)實(shí)地拍攝方式, 原創(chuàng)了Naming-649數(shù)據(jù)集,包含649張訓(xùn)練集和50張測(cè)試集, 其標(biāo)注格式為標(biāo)準(zhǔn)COCO格式, 即采用(class, centerX, centerY, width,height)的格式標(biāo)注, 由于只有企業(yè)命名實(shí)體一個(gè)類(lèi)別,因此class=0, (centerX, centerY)表示邊界矩形框中心點(diǎn)對(duì)應(yīng)的歸一化坐標(biāo), (width, height)表示邊界矩形框?qū)?yīng)的歸一化寬度及高度, 數(shù)據(jù)集中部分圖片如圖4所示.

圖4 Naming-649數(shù)據(jù)集樣本

2.2 訓(xùn)練策略

由于本系統(tǒng)具有多個(gè)子系統(tǒng), 且訓(xùn)練集樣本較少,從頭訓(xùn)練較為困難, 因此采用了遷移學(xué)習(xí)的方法, 使用COCO數(shù)據(jù)集上訓(xùn)練的YOLOV5-X模型在Naming-649上進(jìn)行微調(diào)訓(xùn)練10 Epoch, 使用在Synthetic Chinese String Dataset上訓(xùn)練10 Epoch的各文字識(shí)別模塊, 使用經(jīng)過(guò)裁剪、二值化等操作后的Naming-649數(shù)據(jù)集上進(jìn)行微調(diào). 本文使用搭載2塊RTX-2070Ti的服務(wù)器進(jìn)行GPU訓(xùn)練, 并使用CUDNN加速.

訓(xùn)練結(jié)束后, 將模型分別部署于搭載1塊RTX-1050Ti、2塊RTX-2070Ti、1塊RTX-1060Ti、2塊RTX-2070Ti共4臺(tái)服務(wù)器上, 使用其中1臺(tái)搭載2塊RTX-2070Ti的服務(wù)器作為目標(biāo)檢測(cè)和數(shù)據(jù)發(fā)送/接收的主服務(wù)器, 其余3臺(tái)服務(wù)器共4塊GPU用于文字識(shí)別模塊的分布式計(jì)算.

考慮到測(cè)試集樣本數(shù)有限, 因此為了擴(kuò)張樣本數(shù),將測(cè)試集進(jìn)行反色、裁剪等處理可得到約400張測(cè)試集圖片.

2.3 系統(tǒng)性能對(duì)比分析

對(duì)系統(tǒng)每個(gè)模塊和其他同類(lèi)系統(tǒng)使用GitHub上的已訓(xùn)練模型, 隨后通過(guò)Synthetic Chinese String Dataset中文識(shí)別數(shù)據(jù)集獲取中文標(biāo)簽和特征, 最后在Naming-649數(shù)據(jù)集上采用學(xué)習(xí)率為1 0-4以進(jìn)行微調(diào), 所用的訓(xùn)練批次batchsize=16, 統(tǒng)一訓(xùn)練10輪. 在測(cè)試集上進(jìn)行測(cè)試的結(jié)果如表1所示.

表1 不同模型性能對(duì)比

從表1中可知, 相比端對(duì)端的FOTS模型, 本系統(tǒng)所用時(shí)間相對(duì)較長(zhǎng), 但是準(zhǔn)確率提升了約9%, 而對(duì)比其他傳統(tǒng)兩步方法, 即文字檢測(cè)+文字識(shí)別方法, 所用時(shí)間較短, 識(shí)別準(zhǔn)確率也是最高的. 這是由于YOLO等目標(biāo)檢測(cè)框架運(yùn)行速度較快, 而對(duì)于本系統(tǒng)而言, 可將YOLOv5-X替換為其他的YOLOv5系列模型, 其性能指標(biāo)變化如表2所示.

從表2中可見(jiàn), 相比于FOTS的權(quán)重大小(417 MB),YOLOv5的權(quán)重相對(duì)較小, 推斷速度較快, 因此可為識(shí)別模塊的并行計(jì)算提供時(shí)間上的預(yù)留, 同時(shí)也為滿(mǎn)足系統(tǒng)的約束提供了支持. 此外, 不同YOLOv5模型之間的準(zhǔn)確率變化波動(dòng)較小, 性能相近, 因此可根據(jù)實(shí)際系統(tǒng)的需求選擇不同YOLOv5模型作為文字的檢測(cè)模塊. 對(duì)于文字識(shí)別模塊, 系統(tǒng)采用了并行識(shí)別的方式,而對(duì)于其中的單個(gè)文字識(shí)別的方法, 對(duì)系統(tǒng)性能的影響參見(jiàn)表3.

表2 YOLO系列文字檢測(cè)模塊對(duì)比

表3 文字識(shí)別模塊對(duì)比

可以發(fā)現(xiàn), 4種模型所使得系統(tǒng)達(dá)到的準(zhǔn)確率各不相同, 但由于獨(dú)立性, 最終使用的4種模型并行計(jì)算所能達(dá)到的準(zhǔn)確率較高, 這也表明實(shí)際訓(xùn)練中可以采用多個(gè)低級(jí)分類(lèi)器聚合為一個(gè)高級(jí)分類(lèi)器的隨機(jī)森林思想.

2.4 系統(tǒng)優(yōu)化分析

經(jīng)實(shí)驗(yàn)可知, 本系統(tǒng)的自身具體性能和約束分析如表4所示.

表4 系統(tǒng)優(yōu)化指標(biāo)列表

從表4中可知, 對(duì)于2.1節(jié)提出的系統(tǒng)約束, 系統(tǒng)均滿(mǎn)足, 并且留有部分余量. 可行性方面, 由于分布式/并行計(jì)算上早有如SETI＠home[19]等項(xiàng)目的先例, 因此無(wú)需購(gòu)買(mǎi)多臺(tái)服務(wù)器, 只需構(gòu)建網(wǎng)站, 并且運(yùn)營(yíng)網(wǎng)站邀請(qǐng)用戶(hù)參與項(xiàng)目, 因此成本上消耗實(shí)際較低, 成本構(gòu)成包括數(shù)據(jù)傳輸成本、內(nèi)存/顯存消耗成本、運(yùn)營(yíng)成本等.擴(kuò)展性方面, 由于系統(tǒng)所用相關(guān)庫(kù)如PyTorch、Tesseract框架等均有C/C++版本, YOLOv5權(quán)重大小較低, 因此可部署于嵌入式設(shè)備如51單片機(jī)、智能手機(jī)中, 擴(kuò)展性較強(qiáng).

3 結(jié)論

本文針對(duì)企業(yè)命名實(shí)體識(shí)別的任務(wù), 結(jié)合并行子空間優(yōu)化的思想, 構(gòu)建了兩步模型, 通過(guò)建立系統(tǒng)目標(biāo)和約束進(jìn)行模型的選取, 最終選擇YOLOv5-X和并行識(shí)別計(jì)算的方法, 獲得了準(zhǔn)確率為64.3%, 總延時(shí)為73.4 ms的優(yōu)化模型, 滿(mǎn)足系統(tǒng)目標(biāo)及約束的基本要求,可在實(shí)際檢測(cè)與識(shí)別中使用.