鄒山青

摘要：文中通過(guò)分析特種設(shè)備原始記錄采集過(guò)程中遇到的問(wèn)題，提出一種基于CNN卷積神經(jīng)網(wǎng)絡(luò)和NCNN高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架的圖像文字識(shí)別方法的應(yīng)用，通過(guò)對(duì)識(shí)別的結(jié)果進(jìn)行近義詞分析、數(shù)據(jù)分類及數(shù)值規(guī)約保證了數(shù)據(jù)的準(zhǔn)確性及識(shí)別結(jié)果的高可用性，從而有效提高檢驗(yàn)人員現(xiàn)場(chǎng)采集原始記錄的效率。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架；近義詞分析；原始記錄

Design and Application of an NCNN-Based Efficient Collection Method for Original Records of Special Equipment

ZOU Shanqing

（Fujian Special Equipment Inspection and Research Institute， Fuzhou 350008， Fujian， China）

Abstract： By analyzing the problems existing in the collection process of original records of special equipment， it proposes the application of an image text recognition method based on CNN convolutional neural network and NCNN high-performance neural network forward computation framework. This approach ensures data accuracy and recognition result availability through the analysis of semantic proximity， data classification， and numerical statute validation. The method effectively improves the efficiency of inspectors' on-site collection of original records， enhancing overall operational efficiency.

Key Words： Convolutional neural network; High-performance neural network forward computation; Synonyms; Original record

0 引言

近年來(lái)，隨著我國(guó)經(jīng)濟(jì)持續(xù)發(fā)展，特種設(shè)備的數(shù)量與種類也在日益增長(zhǎng)，人機(jī)比矛盾日益突出，因此如何在傳統(tǒng)檢驗(yàn)過(guò)程中應(yīng)用新技術(shù)來(lái)提高檢驗(yàn)檢測(cè)的效率、提升檢驗(yàn)檢測(cè)的質(zhì)量，一直是各檢驗(yàn)機(jī)構(gòu)努力的方向。

在傳統(tǒng)的檢驗(yàn)過(guò)程中，檢驗(yàn)人員的工作流程一般是到現(xiàn)場(chǎng)執(zhí)行檢驗(yàn)任務(wù)，對(duì)照現(xiàn)場(chǎng)的技術(shù)資料和設(shè)備檢驗(yàn)情況在紙質(zhì)的檢驗(yàn)原始記錄上進(jìn)行填寫(xiě)，在結(jié)束檢驗(yàn)后根據(jù)檢驗(yàn)原始記錄進(jìn)行檢驗(yàn)報(bào)告的出具。這種模式存在較多可改進(jìn)空間，第一是檢驗(yàn)過(guò)程中無(wú)法查閱相關(guān)檢規(guī)、調(diào)閱特種設(shè)備的參數(shù)信息及歷史檢驗(yàn)數(shù)據(jù)，無(wú)法為檢驗(yàn)員的現(xiàn)場(chǎng)判斷提供幫助；第二是紙質(zhì)的檢驗(yàn)原始記錄在檢驗(yàn)完成后需要再次錄入系統(tǒng)，增加了檢驗(yàn)人員的工作量，而且在手工錄入的過(guò)程中還可能由于人為因素引起誤差或錯(cuò)誤；第三是紙質(zhì)的原始記錄在檢驗(yàn)質(zhì)量管理或是歷史數(shù)據(jù)追溯的過(guò)程中，均不便于檢索，打印的大量紙質(zhì)原始記錄也存在資源的浪費(fèi)。

為了解決以上問(wèn)題，潘健鴻提出了基于Microsoft Office Excel的特種設(shè)備電子原始記錄采集方法，有效地解決了紙質(zhì)原始記錄編輯效率低、浪費(fèi)資源、歷史數(shù)據(jù)檢索不便的問(wèn)題[1]；2020年，朱繼青基于國(guó)家標(biāo)準(zhǔn) GB/T 33190-2016《電子文件存儲(chǔ)與交換格式版式文檔》的開(kāi)放版式文檔 （Open Fixed-layout Document，簡(jiǎn)稱 OFD）實(shí)現(xiàn)了基于信創(chuàng)的國(guó)產(chǎn)自主可控的原始記錄采集方法[2]。2020年底，邱夢(mèng)華提出了一種基于Android的特種設(shè)備檢驗(yàn)系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)方案[3]實(shí)現(xiàn)了現(xiàn)場(chǎng)電子原始記錄的編輯、上傳，該系統(tǒng)支持在現(xiàn)場(chǎng)查看設(shè)備基礎(chǔ)信息、特種設(shè)備安全技術(shù)規(guī)范、相關(guān)法律法規(guī)及收費(fèi)標(biāo)準(zhǔn)等信息，結(jié)合智能錄入和校驗(yàn)功能極大地提高了檢驗(yàn)人員現(xiàn)場(chǎng)錄入原始記錄的效率。該系統(tǒng)還支持離線編輯、自動(dòng)生成報(bào)告、電子簽章、現(xiàn)場(chǎng)生成檢驗(yàn)意見(jiàn)通知書(shū)等功能，基本上解決了傳統(tǒng)檢驗(yàn)過(guò)程中遇到的問(wèn)題。

然而在此基礎(chǔ)上，仍有亟待解決的問(wèn)題和改進(jìn)的空間。特種設(shè)備檢驗(yàn)中最常見(jiàn)的兩種檢驗(yàn)類型為監(jiān)督檢驗(yàn)和定期檢驗(yàn)，監(jiān)督檢驗(yàn)指的是特種設(shè)備的安裝、改造、重大修理過(guò)程中進(jìn)行的檢驗(yàn)，定期檢驗(yàn)指的是特種設(shè)備在日常使用過(guò)程中，在安全檢驗(yàn)合格有限期屆滿前一個(gè)月進(jìn)行的檢驗(yàn)。其中定期檢驗(yàn)原始記錄可以從首次的監(jiān)督檢驗(yàn)原始記錄或上一次的定期檢驗(yàn)原始記錄中獲取歷史數(shù)據(jù)，進(jìn)行數(shù)據(jù)的填充和現(xiàn)場(chǎng)比對(duì)完善，然而安裝或制造監(jiān)督檢驗(yàn)對(duì)于檢驗(yàn)員來(lái)說(shuō)往往是白紙一張，許多設(shè)備的參數(shù)要從現(xiàn)場(chǎng)的設(shè)備銘牌及廠家提供的紙質(zhì)資料中獲取和填寫(xiě)。一份檢驗(yàn)原始記錄包括設(shè)備基礎(chǔ)信息、檢驗(yàn)儀器信息、檢驗(yàn)項(xiàng)目結(jié)果、不合格內(nèi)容、觀測(cè)數(shù)據(jù)等內(nèi)容，填寫(xiě)數(shù)據(jù)量達(dá)幾百余項(xiàng)，導(dǎo)致檢驗(yàn)員的工作非常繁重。為了緩解檢驗(yàn)人員的工作壓力，提高現(xiàn)場(chǎng)數(shù)據(jù)采集的效率，文中提出了一種基于NCNN的圖像識(shí)別方法，用于快速識(shí)別和提取廠家提供的紙質(zhì)資料和現(xiàn)場(chǎng)拍照獲取的設(shè)備銘牌中的數(shù)據(jù)，可有效提升特種設(shè)備原始記錄的現(xiàn)場(chǎng)數(shù)據(jù)采集效率。

1 圖像文字識(shí)別技術(shù)的發(fā)展與選擇

圖像文字識(shí)別技術(shù)的研究早在1950年就已經(jīng)開(kāi)始了，一般是識(shí)別字母、數(shù)字和符號(hào)，從印刷文字識(shí)別到手寫(xiě)文字識(shí)別。早期的圖像識(shí)別技術(shù)是手動(dòng)提取圖像特征，通常采用SIFT（Scale Invariant Feature Transform）或SURF（Speeded-Up Robust Features）等算法進(jìn)行圖像特征提取和匹配，但是手動(dòng)特征提取的局限性在應(yīng)用中也逐漸顯現(xiàn)。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，人們開(kāi)始探索更加自動(dòng)化的特征提取方法，其中卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network CNN）成為主流。在卷積神經(jīng)網(wǎng)絡(luò)模型中通過(guò)學(xué)習(xí)和使用卷積核對(duì)圖像進(jìn)行特征提取和分類，其解決了傳統(tǒng)圖像識(shí)別技術(shù)無(wú)法應(yīng)對(duì)大規(guī)模數(shù)據(jù)的問(wèn)題，并且在準(zhǔn)確性和效率上表現(xiàn)出色。例如在ImageNet大規(guī)模視覺(jué)識(shí)別比賽中，使用卷積神經(jīng)網(wǎng)絡(luò)的方法取得了顯著的優(yōu)勢(shì)。而現(xiàn)在，越來(lái)越多的機(jī)器學(xué)習(xí)方法，例如循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network RNN）、深度學(xué)習(xí)（Deep Learning）等都被應(yīng)用在圖像識(shí)別上，并不斷推動(dòng)著圖像識(shí)別技術(shù)的發(fā)展[4]。

文中所采用的圖像文字識(shí)別技術(shù)是基于開(kāi)源項(xiàng)目Chineseocr_lite，該項(xiàng)目在開(kāi)源項(xiàng)目Chineseocr的基礎(chǔ)上進(jìn)行了改進(jìn)，采用了輕量級(jí)的主干網(wǎng)絡(luò) PSENet、輕量級(jí)的 CRNN 模型和行文本方向分類網(wǎng)絡(luò) AngleNet，實(shí)現(xiàn)了中文自然場(chǎng)景文字檢測(cè)及識(shí)別的超輕量級(jí)中文OCR。該項(xiàng)目提供了基于NCNN的JVM開(kāi)發(fā)包及安卓開(kāi)發(fā)包，支持在PC端及鴻蒙/安卓手機(jī)/平板端調(diào)用，完全可以滿足原有系統(tǒng)架構(gòu)的需求。NCNN是一個(gè)為手機(jī)端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架，無(wú)第三方依賴，支持跨平臺(tái)。通過(guò)使用NCNN，開(kāi)發(fā)者能夠?qū)⑸疃葘W(xué)習(xí)算法輕松移植到手機(jī)端高效執(zhí)行。

2系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

通過(guò)在原有的基于鴻蒙/安卓端的特種設(shè)備檢驗(yàn)系統(tǒng)的編制記錄模塊中增加“智能識(shí)別”功能，進(jìn)行現(xiàn)場(chǎng)拍照或選擇圖片的方式輸入要識(shí)別的圖片，然后調(diào)用基于NCNN的圖像識(shí)別方法進(jìn)行圖像文字識(shí)別，對(duì)識(shí)別出來(lái)的結(jié)果結(jié)合開(kāi)源中文近義詞工具包Synonyms進(jìn)行識(shí)別和歸類，對(duì)識(shí)別出的數(shù)值按照特種設(shè)備的類型和參數(shù)規(guī)范進(jìn)行數(shù)值修約，得出的最終數(shù)據(jù)以參數(shù)窗口的形式展現(xiàn)，由現(xiàn)場(chǎng)檢驗(yàn)員進(jìn)行確認(rèn)，確認(rèn)后的數(shù)據(jù)寫(xiě)入原始記錄數(shù)據(jù)文件，完成現(xiàn)場(chǎng)數(shù)據(jù)采集。

2.1圖片采集

在基于鴻蒙/安卓端的特種設(shè)備檢驗(yàn)系統(tǒng)投入使用后，檢驗(yàn)人員赴現(xiàn)場(chǎng)檢驗(yàn)過(guò)程中均配備了平板電腦，可在現(xiàn)場(chǎng)通過(guò)拍照的方式采集特種設(shè)備的銘牌、標(biāo)簽，以及安裝單位提供的紙質(zhì)技術(shù)資料。識(shí)別的目標(biāo)以印刷體的中文字符及數(shù)字、字母、符號(hào)單位為主，不需要考慮手寫(xiě)體的識(shí)別。影響識(shí)別效果的主要因素在于采集的環(huán)境可能造成圖片的變形、傾斜或遮擋；已投用時(shí)間較長(zhǎng)的特種設(shè)備銘牌上可能有劃痕、油污、灰塵、印刷體褪色等問(wèn)題，拍攝前應(yīng)清潔銘牌表面，并盡量避免反光、遮擋或傾斜，盡量保證拍攝圖片的清晰度，以提升識(shí)別的準(zhǔn)確率。

2.2文本檢測(cè)與識(shí)別

首先通過(guò)YOLO V3進(jìn)行多尺寸特征目標(biāo)檢測(cè)，然后采用Non-Maximum Suppression（NMS）非極大值抑制技術(shù)保留得分最高的檢測(cè)框，再根據(jù)文本碎片框及其得分、圖像尺寸，使用文本線構(gòu)造法獲得文本行及其得分，保留得分最高的文本行，進(jìn)行進(jìn)一步的文本識(shí)別。文本識(shí)別的過(guò)程主要包括通過(guò)CNN提取圖像卷積特征，然后通過(guò)深層雙向LSTM網(wǎng)絡(luò)進(jìn)一步提取圖像卷積特征中的序列特征，最后通過(guò)CTC Loss引入blank字符解決訓(xùn)練時(shí)字符無(wú)法對(duì)齊的問(wèn)題。LSTM（long short-term memory）長(zhǎng)短期記憶網(wǎng)絡(luò)是RNN的一種變體，RNN由于梯度消失的原因只能有短期記憶，LSTM網(wǎng)絡(luò)通過(guò)精妙的門控制將加法運(yùn)算帶入網(wǎng)絡(luò)中，一定程度上解決了梯度消失的問(wèn)題。

文本識(shí)別的結(jié)果以鍵值對(duì)的方式進(jìn)行對(duì)應(yīng)展示，對(duì)于圖片不夠清晰或劃痕等導(dǎo)致的識(shí)別結(jié)果不準(zhǔn)確的，經(jīng)過(guò)人工確認(rèn)并修正數(shù)據(jù)，確認(rèn)后的數(shù)據(jù)可以離線保存為本地?cái)?shù)據(jù)，并在恢復(fù)在線環(huán)境時(shí)通過(guò)調(diào)用服務(wù)器接口進(jìn)行上傳。

2.3數(shù)據(jù)分類及修約

不同的特種設(shè)備生產(chǎn)廠家對(duì)于同一參數(shù)的描述和數(shù)值都可能是不一樣的，例如：額定速度，有的廠家可能描述為額定梯速或速度；額定速度有的標(biāo)識(shí)為105m/min，有的標(biāo)識(shí)為1.75m/s。且企業(yè)提供的紙質(zhì)技術(shù)資料和銘牌中的參數(shù)信息并不是全部都需要，只需要關(guān)注檢驗(yàn)原始記錄中需要填寫(xiě)的技術(shù)參數(shù)。

為了采集數(shù)據(jù)的標(biāo)準(zhǔn)化，以電梯為例，依據(jù)TSG T7001-2023中要求必須采集的設(shè)備技術(shù)參數(shù)以及原始記錄中需要采集的技術(shù)參數(shù)建立采集參數(shù)配置表，對(duì)需要采集技術(shù)參數(shù)的原始記錄模板號(hào)、參數(shù)的中英文描述、值類型、計(jì)量單位、浮點(diǎn)數(shù)小數(shù)位數(shù)進(jìn)行定義。通過(guò)采集參數(shù)配置表，使得模型能夠快速地識(shí)別出需要采集的參數(shù)。首先識(shí)別的結(jié)果通過(guò)開(kāi)源中文近義詞工具包Synonyms進(jìn)行識(shí)別和歸類，例如：額定梯速可以歸類到額定速度。然后對(duì)識(shí)別出的數(shù)值按照采集參數(shù)配置表中定義的值類型和參數(shù)規(guī)范進(jìn)行數(shù)值修約。例如：速度值105m/min可修約為1.75m/s，約定額定速度的數(shù)值為浮點(diǎn)型，保留小數(shù)點(diǎn)后兩位。

經(jīng)過(guò)處理后的數(shù)據(jù)，直接依據(jù)采集參數(shù)配置表的字段名對(duì)應(yīng)寫(xiě)入原始記錄的數(shù)據(jù)文件，檢驗(yàn)人員在原始記錄編輯時(shí)可以查看或修改。

2.4數(shù)據(jù)存檔

由于檢驗(yàn)人員現(xiàn)場(chǎng)檢驗(yàn)的環(huán)境常常處于偏遠(yuǎn)地區(qū)、坑道或封閉的機(jī)房?jī)?nèi)，信號(hào)不太穩(wěn)定，因此需要支持離線編輯功能。文中所使用的圖像識(shí)別算法支持離線進(jìn)行圖像文字識(shí)別，文本識(shí)別結(jié)果在檢驗(yàn)人員確認(rèn)保存后，會(huì)存放在本地設(shè)備中，待網(wǎng)絡(luò)恢復(fù)正常時(shí)，通過(guò)調(diào)用服務(wù)器接口進(jìn)行數(shù)據(jù)上傳，以json格式寫(xiě)入文字識(shí)別歷史數(shù)據(jù)表，與原始記錄的報(bào)告號(hào)關(guān)聯(lián)。識(shí)別的圖片通過(guò)調(diào)用服務(wù)器接口上傳到云存儲(chǔ)，接口返回的路徑寫(xiě)入文字識(shí)別歷史數(shù)據(jù)表。

識(shí)別的圖片文件和識(shí)別結(jié)果存檔的目的在于：一方面，由于紙質(zhì)資料不易存放、容易損壞，電子資料是對(duì)技術(shù)資料審查過(guò)程中的紙質(zhì)資料的備份，便于檢驗(yàn)人員后期的資料檢索和查看；另一方面，在質(zhì)量監(jiān)督過(guò)程中監(jiān)督人員需要對(duì)檢驗(yàn)人員的報(bào)告記錄進(jìn)行檢查，核對(duì)報(bào)告記錄中的數(shù)據(jù)是否正確，填寫(xiě)和操作是否規(guī)范。當(dāng)對(duì)數(shù)據(jù)內(nèi)容有疑問(wèn)的時(shí)候，通過(guò)查閱存檔的圖片文件即可獲取到最原始的信息，以達(dá)到防篡改的效果。

3 圖像識(shí)別算法的訓(xùn)練及優(yōu)化

通過(guò)收集圖像識(shí)別過(guò)程中需要人工修改識(shí)別結(jié)果的圖片集，對(duì)圖片進(jìn)行分割，將需要修改識(shí)別結(jié)果的區(qū)域進(jìn)行分割處理并編號(hào)，形成訓(xùn)練圖像集合。對(duì)于識(shí)別結(jié)果修正后的數(shù)據(jù)存儲(chǔ)為對(duì)應(yīng)的真值（ground truth）標(biāo)簽序列。通過(guò)在成對(duì)的圖像和序列上進(jìn)行端到端的訓(xùn)練，使得圖像識(shí)別算法可以快速地收斂。在120張驗(yàn)證圖片的測(cè)試情況下，兩輪訓(xùn)練結(jié)束之后準(zhǔn)確率就達(dá)到了83.5%，經(jīng)過(guò)30輪的訓(xùn)練，準(zhǔn)確率可以穩(wěn)定在97.2%左右。針對(duì)特種設(shè)備銘牌及參數(shù)表中文字序列搭配較為固定和規(guī)范的場(chǎng)景下，經(jīng)過(guò)訓(xùn)練后的模型在真實(shí)圖像上表現(xiàn)得很好。

4 結(jié)語(yǔ)

文中基于日益成熟的OCR技術(shù)應(yīng)用提出一種基于NCNN的圖像識(shí)別方法，有效提升了特種設(shè)備原始記錄的現(xiàn)場(chǎng)數(shù)據(jù)采集效率，解決了大量人工輸入問(wèn)題，速度快、準(zhǔn)確率高。通過(guò)對(duì)識(shí)別的數(shù)據(jù)進(jìn)行分類和規(guī)約實(shí)現(xiàn)了數(shù)據(jù)采集的程序化與標(biāo)準(zhǔn)化。通過(guò)電子資料存檔，實(shí)現(xiàn)了記錄數(shù)據(jù)的可追溯和不可篡改。

隨著科學(xué)技術(shù)的進(jìn)步，檢驗(yàn)現(xiàn)場(chǎng)的數(shù)據(jù)采集也一定會(huì)有進(jìn)一步優(yōu)化的空間。譬如，在特種設(shè)備檢驗(yàn)檢測(cè)的工具及測(cè)量?jī)x器實(shí)現(xiàn)了數(shù)字化輸出時(shí)，可以通過(guò)制定傳輸協(xié)議標(biāo)準(zhǔn)，實(shí)現(xiàn)與各類檢測(cè)工具的信息交互，完全實(shí)現(xiàn)數(shù)據(jù)自動(dòng)采集。這一階段需要注意的問(wèn)題是，檢測(cè)工具測(cè)出的數(shù)據(jù)必須經(jīng)過(guò)校準(zhǔn)與可靠性測(cè)試，自動(dòng)采集上來(lái)的數(shù)據(jù)要與原設(shè)備實(shí)驗(yàn)數(shù)據(jù)定期或周期性比對(duì)，以保證電子數(shù)據(jù)的可靠性。

參考文獻(xiàn)

[1]潘健鴻.基于通用Office的機(jī)電類特種設(shè)備智能檢驗(yàn)

系統(tǒng)的實(shí)現(xiàn)[J].質(zhì)量技術(shù)監(jiān)督研究.2009（06）：32-36.

[2]朱繼青.基于OFD的特種設(shè)備檢驗(yàn)原始記錄采集和

編輯系統(tǒng)的設(shè)計(jì)[J].中國(guó)電梯.2021，32（11）：40-

42+45.

[3]邱夢(mèng)華.基于Android的特種設(shè)備現(xiàn)場(chǎng)檢驗(yàn)系統(tǒng)設(shè)

計(jì)[J].機(jī)電技術(shù).2022（06）.16-18.

[4]賀小琳.OCR文字識(shí)別在人行征信查詢服務(wù)中的應(yīng)用

探析[J].金融科技時(shí)代. 2023，31（01）：60-64.