摘要：借助圖像識(shí)別技術(shù)，我們不僅可以通過圖片搜索更快地獲取信息，還可以產(chǎn)生一種新的與外部世界交互的方式，甚至?xí)屚獠渴澜绺又悄艿剡\(yùn)行。本文通過對題庫建設(shè)中采集題庫的現(xiàn)狀進(jìn)行分析，給出了基于移動(dòng)端圖像識(shí)別的題庫建設(shè)方案。

關(guān)鍵詞：圖像識(shí)別；OCR；題庫采集；移動(dòng)終端；特征建模

中圖分類號：G434 文獻(xiàn)標(biāo)識(shí)碼：A 論文編號：1674-2117（2016）12-0075-04

● 采集題庫的現(xiàn)狀

隨著經(jīng)濟(jì)和社會(huì)的發(fā)展、“互聯(lián)網(wǎng)+”的廣泛應(yīng)用及教育觀念的更新，我們迫切需要科學(xué)、方便、完善的網(wǎng)絡(luò)型題庫管理系統(tǒng)。試題庫建設(shè)是教育現(xiàn)代化的需要，是考教分離、最大限度提高辦學(xué)效益的需要，因此，進(jìn)行區(qū)域網(wǎng)絡(luò)試題庫系統(tǒng)的建設(shè)和研究具有十分重要的意義。

受限于教材版本和區(qū)域應(yīng)用層面的需求，采購商業(yè)化的題庫并不能完全滿足教育教學(xué)的實(shí)際要求。手握大量紙質(zhì)試卷的老師們，迫切需要一個(gè)錄入神器，方便快捷地將其錄入到題庫系統(tǒng)里。

利用基于移動(dòng)終端的圖像文字識(shí)別技術(shù)將文字和圖片迅速錄入題庫是我們在移動(dòng)端系統(tǒng)開發(fā)的應(yīng)用亮點(diǎn)。它能夠大幅提高對質(zhì)量不高圖像的識(shí)別率，其關(guān)鍵算法對圖像的噪聲、亮度明暗不一致和規(guī)格凌亂的問題進(jìn)行了很好的處理。它能夠?qū)D像上傳到服務(wù)器進(jìn)行在線識(shí)別，在識(shí)別過程中先對圖像進(jìn)行消噪，然后對亮度進(jìn)行均衡處理及對圖像閾值分割，提高了圖像識(shí)別的成功率。

● 題庫采集系統(tǒng)工作流程

題庫采集主要分為圖像采集、圖像識(shí)別和標(biāo)注三個(gè)過程。整體的工作流程包括：①系統(tǒng)啟動(dòng)，進(jìn)入主界面，可選擇開始拍攝閱卷或讀取設(shè)備中已有的圖像，如選擇拍攝題目，進(jìn)入圖像采集模塊，調(diào)用移動(dòng)設(shè)備的攝像頭進(jìn)行拍攝，拍攝成功后，跳轉(zhuǎn)至識(shí)別界面，如選擇讀取相冊已有圖像也跳轉(zhuǎn)至識(shí)別界面。②在識(shí)別界面上顯示出拍攝或者讀取的相冊圖像，首先調(diào)用圖像預(yù)處理模塊對圖像進(jìn)行預(yù)處理，輸出預(yù)處理后的圖像，然后調(diào)用圖像校正模塊對預(yù)處理圖像進(jìn)行校正，輸出校正圖像，最后調(diào)用圖像識(shí)別模塊對校正圖像進(jìn)行識(shí)別，輸出識(shí)別結(jié)果。③調(diào)用標(biāo)注模塊對識(shí)別結(jié)果進(jìn)行分類管理，為題目添加系統(tǒng)屬性，如學(xué)科、章節(jié)、知識(shí)點(diǎn)類目、題型、難度系數(shù)等標(biāo)簽。圖1為題庫采集系統(tǒng)工作流程示意圖。

● OCR智能模型設(shè)計(jì)思路

在人工智能領(lǐng)域，模擬人類圖像識(shí)別活動(dòng)的計(jì)算機(jī)程序，人們提出了不同的圖像識(shí)別模型——模板匹配模型。這種模型認(rèn)為，識(shí)別某個(gè)圖像，必須在過去的經(jīng)驗(yàn)中有這個(gè)圖像的記憶模式，又叫特征模型。當(dāng)前的刺激如果能與大腦中的模型相匹配，這個(gè)圖像也就被識(shí)別了。例如，有一個(gè)字母A，如果在腦中有個(gè)A模板，字母A的大小、方位、形狀都與這個(gè)A模板完全一致，字母A就被識(shí)別了。圖像識(shí)別中的模型識(shí)別（Pattern Recognition）利用計(jì)算機(jī)和數(shù)學(xué)推理的方法對形狀、模式、曲線、數(shù)字、字符格式和圖形自動(dòng)完成識(shí)別、評價(jià)的過程。

那么如何通過模型的學(xué)習(xí)提高OCR的智能判斷水平呢？我們主要從以下三個(gè)方面做了實(shí)踐研究。

1.采集識(shí)別優(yōu)化

（1）二值化處理

二值圖像在數(shù)字圖像處理中占重要地位，其在處理實(shí)際圖像過程中地位更加突出。要應(yīng)用二值圖像，掃描文檔之后的第一步就是對灰度圖像根據(jù)所選閾值進(jìn)行二值化處理。二值圖像是像素值為0或255的像素點(diǎn)集合，如此一來，圖像的數(shù)據(jù)量大大減少，但圖像的基本輪廓信息得以保留。此項(xiàng)的關(guān)鍵是所選取的閾值是否得當(dāng)，不當(dāng)則會(huì)減弱二值圖像的處理效果。常用的閾值選取方法有固定閾值法、平均閾值法、直方圖法、Means法四種。

谷歌公司在HP公司Tesseract光學(xué)字符識(shí)別引擎的基礎(chǔ)上做了深度加工，其中對閾值的自適應(yīng)分類器和兩步矯正法的應(yīng)用大大提高了文本的識(shí)別效率。近幾年來，百度針對商業(yè)運(yùn)用開發(fā)了自然場景OCR API服務(wù)，依托百度的OCR算法，提供了整圖文字檢測、識(shí)別、整圖文字識(shí)別、整圖文字行定位和單字圖像識(shí)別等功能。目前火熱的作業(yè)幫APP就是基于百度識(shí)別API做的延伸產(chǎn)品（如圖2）。

（2）圖像去噪與矯正

任何一幅原始圖像，在其獲取和傳輸?shù)倪^程中，都會(huì)受到各種噪聲的干擾，使圖像質(zhì)量下降，淹沒其特征，對圖像分析非常不利。為抑制噪聲、改善圖像質(zhì)量所進(jìn)行的處理被稱為圖像平滑或去噪。

圖像平滑是用于突出圖像的寬大區(qū)域和主干部分（低頻部分）或抑制圖像噪聲和干擾（高頻部分），使圖像平緩漸變，減小突變梯度，改善圖像質(zhì)量的圖像處理方法。它屬于圖像增強(qiáng)的一部分，主要的圖像平滑方法有均值濾波、中值濾波、灰度形態(tài)學(xué)濾波、小波濾波、高斯低通濾波以及統(tǒng)計(jì)方法濾波。

已獲得的文本圖像有些不可避免地會(huì)發(fā)生傾斜，這樣會(huì)給后面文字的行切分和列切分以及文字的識(shí)別帶來困難，所以需要對獲取的圖像進(jìn)行傾斜校正。圖像的傾斜校正最關(guān)鍵的是傾斜角的檢測，我們主要采用平行四邊形法進(jìn)行文本圖像的校正（如圖3）。根據(jù)拍攝者給出的一系列文件位置點(diǎn)，用位置點(diǎn)的坐標(biāo)結(jié)合模型擬合出文本線，根據(jù)文本線與水平線之間的差距進(jìn)行精確恢復(fù)，以得到水平分布的文本行。

2.特征提取與建模

特征提取是圖像識(shí)別的重要步驟，為了保證后續(xù)處理的質(zhì)量，生成的特征要具備描述物體的典型特性，如獨(dú)特性、完整性、幾何變換下的不變性、靈敏性以及抽象性。我們設(shè)計(jì)的系統(tǒng)的特征模型包括文字特征、圖片特征、公式特征等。

提取圖像特征關(guān)系可以有兩種方法：一是對圖像進(jìn)行合理地分割，劃分出圖像中所包含的對象或區(qū)域，然后根據(jù)這些區(qū)域提取圖像特征，并建立索引；二是簡單地將圖像均勻地劃分為若干規(guī)則子塊，然后對每個(gè)圖像子塊提取特征，并建立索引。

圖像特征建模的基本原則是根據(jù)圖像的視覺內(nèi)容和可獲得的指導(dǎo)信息來確定對應(yīng)的文本語義描述。在圖像標(biāo)注任務(wù)中會(huì)涉及兩種不同的媒體：一是圖像，二是文本。這兩種媒體具有良好的互補(bǔ)性，可以協(xié)作傳遞信息，正所謂“圖文并茂”。由這兩種媒體可以產(chǎn)生4種關(guān)系，即圖像間關(guān)系（IIR）、詞間關(guān)系（WWR）、由圖像到詞的關(guān)系（IWR）和由詞到圖像的關(guān)系（IR）。

3.基于標(biāo)注模型的學(xué)習(xí)與訓(xùn)練

我們通常采用兩兩圖像之間的視覺相似性（pairwise similarity）來建立以圖像為節(jié)點(diǎn)的相似圖，但這種方式由于沒有考慮到數(shù)據(jù)集或某個(gè)數(shù)據(jù)子集內(nèi)的結(jié)構(gòu)分布信息，效果不能令人滿意。因此我們引入了第二個(gè)以詞為節(jié)點(diǎn)的圖學(xué)習(xí)過程，用來實(shí)現(xiàn)對圖像標(biāo)注的改善。

最常見的是屬性相關(guān)性，如“李白”是“古詩文”的關(guān)系。除此之外，詞匯之間還存在多種相關(guān)性，如“凸透鏡”與“光”之間有著很強(qiáng)的聯(lián)系，這種相關(guān)性不依賴于特定數(shù)據(jù)集，它是人們在生活中大量知識(shí)的積累和反映。當(dāng)一幅圖像已被標(biāo)為“凸透鏡”“光”等詞匯后，初中物理作為該圖像標(biāo)注詞匯的概率就會(huì)相應(yīng)提升。為了獲取這種相關(guān)信息，一種方法是從訓(xùn)練數(shù)據(jù)集中利用已標(biāo)注詞匯間的共生概率來計(jì)算詞匯間的關(guān)系。該方法基于已標(biāo)注信息，相對準(zhǔn)確，但它不能反映更廣義的人的知識(shí)。于是，我們可以采用另一種方法，利用具有大量詞匯的、包含了人的知識(shí)的結(jié)構(gòu)化電子詞典來計(jì)算詞匯間的關(guān)系。與統(tǒng)計(jì)方法相比，詞典包括了更加完整的大數(shù)據(jù)關(guān)聯(lián)信息。由此我們設(shè)計(jì)了基于標(biāo)注的模型學(xué)習(xí)體系（如下頁圖4），通過提取題目圖像的特征點(diǎn)綁定其隱形屬性，再與拍攝者提供的顯性屬性做比對，進(jìn)行數(shù)據(jù)建模，并引導(dǎo)系統(tǒng)修正其三大特征庫（文字、圖片、公式），實(shí)現(xiàn)自我學(xué)習(xí)。

需要注意的是，基于標(biāo)注信息描述由圖到標(biāo)簽的關(guān)系，更適合按照多標(biāo)記分類（multilabel classification）問題來解決。具體而言，假設(shè)標(biāo)注詞匯服從多項(xiàng)式分布，由此將圖像標(biāo)注歸為多類別分類問題，而題庫的分類方式恰恰符合這樣的多標(biāo)記模型（相對固定是顯性標(biāo)簽：學(xué)科、學(xué)段、知識(shí)點(diǎn)、章節(jié)、難度等）。

● 注意事項(xiàng)

1.基于API方式的接入能使產(chǎn)品得到快速開發(fā)

例如，當(dāng)前百度通過專業(yè)服務(wù)分發(fā)平臺(tái)APIStore開放百度文字識(shí)別技術(shù)，讓開發(fā)者可以零成本使用基于移動(dòng)應(yīng)用的OCR技術(shù)，為開發(fā)者創(chuàng)新應(yīng)用提供了更多的選擇。

2.題庫特征建模要考慮學(xué)科特征

實(shí)踐證明，文科和理科的題目有著截然不同的特征屬性，如語文更注重詞匯與語法方面的訓(xùn)練，而數(shù)學(xué)包含了大量的公式和二維化的圖像。往往數(shù)學(xué)在小學(xué)和中學(xué)階段的題目也會(huì)表現(xiàn)出不同的特征屬性，在建模的同時(shí)要注意抽取。

3.未來的方向是要構(gòu)建基于題庫圖像模型的題庫推送規(guī)則

當(dāng)題庫的建構(gòu)達(dá)到一定數(shù)量之后，我們要將圖像和翻譯成的題目都保存下來，再根據(jù)拍攝者的需求做相關(guān)的推送，根據(jù)其使用的情況（如點(diǎn)擊率、評價(jià)等）再對模型進(jìn)行修正。

從目前的技術(shù)發(fā)展角度看，突破性來自于機(jī)器語言翻譯方面的研究成果：通過一種遞歸神經(jīng)網(wǎng)絡(luò)（RNN）將一種語言的語句轉(zhuǎn)換成向量表達(dá)，并采用第二個(gè)RNN將向量表達(dá)轉(zhuǎn)換成目標(biāo)語言的語句。而谷歌將以上過程中的第一種RNN用深度卷積神經(jīng)網(wǎng)絡(luò)CNN取代，這種網(wǎng)絡(luò)可以用來識(shí)別圖像中的物體。此種方法可以實(shí)現(xiàn)將圖像中的對象轉(zhuǎn)換成語句，對圖像場景進(jìn)行描述。概念雖然簡單，但實(shí)現(xiàn)起來十分復(fù)雜，科學(xué)家表示，目前實(shí)驗(yàn)產(chǎn)生的語句合理性不錯(cuò)，但還遠(yuǎn)談不上“完美”，這項(xiàng)研究目前還處于起步階段。相信在不久的將來此項(xiàng)發(fā)明將應(yīng)用于教學(xué)領(lǐng)域，那么基于云模式下的圖像識(shí)別系統(tǒng)將得到一個(gè)質(zhì)的飛躍，它也將使圖像識(shí)別與深度學(xué)習(xí)更加緊密地聯(lián)系在一起，最終實(shí)現(xiàn)系統(tǒng)對互聯(lián)網(wǎng)上教育資源摘取和自學(xué)習(xí)的強(qiáng)大功能。

參考文獻(xiàn)：

[1]黃明明.圖像局部特征提取及應(yīng)用研究[D].北京：北京科技大學(xué)，2016.

[2]劉淼，楊鎮(zhèn)豪，謝韻玲，謝冬青，唐春明.Android圖文同步識(shí)別系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014（06）.

[3]李龍卓.基于形狀特征的圖像檢索技術(shù)研究[D].青島：青島科技大學(xué)，2015.

[4]付蘆靜，錢軍浩，鐘云飛.基于漢字連通分量的印刷圖像版面分割方法[J].計(jì)算機(jī)工程與應(yīng)用，2015（05）.

[5]陳珍，夏靖波，柏駿，徐敏.基于進(jìn)化深度學(xué)習(xí)的特征提取算法[J].計(jì)算機(jī)科學(xué)，2015（11）.

作者簡介：黃毅晟，教育信息化研究員，研究方向?yàn)榻逃龖?yīng)用系統(tǒng)開發(fā)、教育技術(shù)應(yīng)用研究。