張林，吳振強(qiáng)

（1.商洛學(xué)院數(shù)學(xué)與計算機(jī)應(yīng)用學(xué)院，陜西商洛726000；2.陜西師范大學(xué)計算機(jī)學(xué)院，陜西西安710062）

基于OpenCV的圖像特征智能識別系統(tǒng)設(shè)計

張林1，吳振強(qiáng)2

（1.商洛學(xué)院數(shù)學(xué)與計算機(jī)應(yīng)用學(xué)院，陜西商洛726000；2.陜西師范大學(xué)計算機(jī)學(xué)院，陜西西安710062）

對于圖像監(jiān)控而言，多數(shù)監(jiān)控只是簡單的捕捉圖像、處理圖像，最后再通過人工進(jìn)行識別，缺少智能監(jiān)控，特別是針對某一特定需求的特征識別。本文設(shè)計一種基于OpenCV的圖像智能識別系統(tǒng)，利用攝像頭采集圖像，通過OpenCV的相關(guān)函數(shù)進(jìn)行特征圖像的識別。針對食品藥品加工過程中的特定問題進(jìn)行模擬，實驗表明，該系統(tǒng)具有較好的識別速度和識別效率，具有一定的實用性。

OpenCV；視頻圖像；人臉識別；特征圖像

隨著國家經(jīng)濟(jì)建設(shè)持續(xù)快速發(fā)展，人民生活水平日益提高，人們對食品藥品質(zhì)量安全的要求越來越高。這就需要在食品藥品生產(chǎn)環(huán)節(jié)中加大監(jiān)管力度，以保證生產(chǎn)環(huán)節(jié)安全規(guī)范，這一趨勢，促使市場對監(jiān)控產(chǎn)品的需求不斷增加。這些需求促進(jìn)著現(xiàn)有的監(jiān)控系統(tǒng)的不斷完善和發(fā)展，并向智能化、網(wǎng)絡(luò)化的方向不斷邁進(jìn)。

現(xiàn)階段無論是在教育，交通，生產(chǎn)和安保等領(lǐng)域的大多數(shù)監(jiān)控系統(tǒng)僅僅是簡單的捕捉圖像、處理圖像、傳播和儲存圖像，采集的信息多數(shù)需要人工進(jìn)行識別。人在不同的疲勞程度下，工作的效率會有顯著差別，因而人工識別往往容易出現(xiàn)錯誤、或者遺漏的情況。隨著監(jiān)控范圍的不斷擴(kuò)大，采集的信息不斷增加，對生產(chǎn)過程的管理更加嚴(yán)格，人工識別的方式已經(jīng)滿足不了市場的需求。此時就需要借助計算機(jī)進(jìn)行智能監(jiān)控，使計算機(jī)像人一樣對監(jiān)控范圍內(nèi)的特征物品進(jìn)行智能識別。計算機(jī)具有識別準(zhǔn)確，標(biāo)準(zhǔn)統(tǒng)一，不疲勞和處理速度快的特點，能夠處理大量的信息，因此視頻監(jiān)控系統(tǒng)的智能化成為了人們的迫切需求。

就目前來看，已有的智能監(jiān)控系統(tǒng)功能都比較單一，僅限于現(xiàn)場視頻錄制、事后回放、實時監(jiān)測等；對于違規(guī)事件的發(fā)現(xiàn)，通常需要持續(xù)不斷的人工監(jiān)視，手工回放查找，效率低下，容易造成巨大的人力浪費(fèi)；而且沒有一種針對某一特定行業(yè)的圖像特征智能識別算法可以滿足特定工作間監(jiān)控的需求。本文從圖像的特征入手，針對食品藥品生產(chǎn)監(jiān)控中的一些違規(guī)現(xiàn)象，研究自動設(shè)別工作中的違規(guī)行為，并進(jìn)行報警處理，從而實現(xiàn)工作的智能化管理。在具體的系統(tǒng)設(shè)計中，利用圖像的Harr特征，采用開源的OpenCV下的分類器檢測出人眼的位置，然后對特定區(qū)域進(jìn)行檢測，確定是否有違規(guī)行為。

1　OpenCV與人臉檢測

1）OpenCV

OpenCV［1］，全稱是Open Source Computer Vision Library。OpenCV是一個基于（開源）發(fā)行的跨平臺計算機(jī)視覺庫，可以運(yùn)行在Linux、Windows和Mac OS操作系統(tǒng)上。它輕量級而且高效——由一系列C函數(shù)和少量C++類構(gòu)成，同時提供了Python、Ruby、MATLAB等語言的接口，實現(xiàn)了圖像處理和計算機(jī)視覺方面的很多通用算法。OpenCV擁有包括300多個C函數(shù)的跨平臺的中、高層API。它不依賴于其它的外部庫——盡管也可以使用某些外部庫。OpenCV為Intel? Integrated Performance Primitives（IPP）提供了透明接口。這意味著如果有為特定處理器優(yōu)化的的IPP庫，OpenCV將在運(yùn)行時自動加載這些庫。

2）人臉檢測原理

對人臉檢測的研究從上世界70年代就已經(jīng)開始，目前的人臉檢測主要集中在基于數(shù)據(jù)驅(qū)動的學(xué)習(xí)方法，如統(tǒng)計學(xué)模型方法、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法等。在實際中應(yīng)用廣泛的多為基于Adaboost算法的方法［2-3］。

人臉檢測方法是一種基于積分圖、級聯(lián)檢測器和AdaBoost算法的方法，由以下3部分組成：

①使用Harr特征表示人臉，使用“積分圖”實現(xiàn)特征數(shù)值的快速計算。

②使用Adaboost算法挑選出一些最能代表人臉的矩形特征（弱分類器），按照加權(quán)投票的方式將弱分類器構(gòu)造為一個強(qiáng)分類器。

③將訓(xùn)練得到的若干強(qiáng)分類器串聯(lián)組成一個級聯(lián)結(jié)構(gòu)的層疊分類器。級聯(lián)結(jié)構(gòu)可以提高分類器的檢測速度。

在具體的檢測過程中就是從圖片中找出所有包含人臉的子窗口，將人臉的子窗口與非人臉的子窗口分開［4］，步驟如下：

①在一個20*20的圖片提取一些簡單的特征（稱為Haar特征），如圖1所示。

圖1　Haar特征Fig.1Haar features

它的處理方法就是將白色區(qū)域內(nèi)的像素和減去黑色區(qū)域，在人臉與非人臉圖片的相同位置上，值的大小是不一樣的，這些特征可以用來區(qū)分人臉和非人臉（如圖2）。

圖2　人臉區(qū)分Fig.2Face to distinguish

②使用處理好的人臉圖片，和背景圖片一起作為訓(xùn)練樣本。在大量的訓(xùn)練樣本中，通過AdaBoost算法挑選數(shù)千個有效的Haar特征來組成人臉檢測器（如圖3）。

人臉檢測在實際中主要用于人臉識別的預(yù)處理，即在圖像中準(zhǔn)確標(biāo)定出人臉的位置和大小。AdaBoost人臉檢測雖然復(fù)雜，但是利用OpenCV提供的函數(shù)和分類器將變得很容易［5］。

圖3　Haar特征挑選Fig.3Haar feature selection

采用開源的OpenCV提供的分類器，直接檢測出人臉并框出人臉?biāo)诘木匦螀^(qū)域，屬于統(tǒng)計理論的方法。利用樣本的Haar特征進(jìn)行分類器訓(xùn)練，得到一個級聯(lián)的boosted分類器。訓(xùn)練樣本分為正樣本和負(fù)樣本，其中正樣本是指待檢目標(biāo)樣本，負(fù)樣本是指其他任意圖片，所有的樣本都被處理為同樣的尺寸。分類器訓(xùn)練完成以后，就可以應(yīng)用于采集圖像中感興趣區(qū)域的檢測。

在目標(biāo)檢測中，分類器中的級聯(lián)是指最終的分類器是由幾個簡單分類器級聯(lián)組成。在圖像檢測中，被檢測的窗口依次通過每一級分類器，這樣在最初的幾層檢測中大部分的候選區(qū)域就被排除，全部通過每一級分類檢測器的區(qū)域即為目標(biāo)區(qū)域［6］。

2　系統(tǒng)需求分析與設(shè)計

本系統(tǒng)針對食品藥品管理中的特定問題設(shè)定，主要針對一些違規(guī)的現(xiàn)象，比如進(jìn)操作間不戴口罩或者帽子等行為，能夠快速準(zhǔn)確的識別出違規(guī)行為，以正確的方式進(jìn)行報警，記錄違規(guī)行為，實現(xiàn)無人監(jiān)管，節(jié)約成本，同時提升生產(chǎn)的規(guī)范化，提高產(chǎn)品質(zhì)量。

2.1系統(tǒng)流程

系統(tǒng)數(shù)據(jù)處理流程如圖4所示。

圖4　數(shù)據(jù)處理流程圖Fig.4The flow chart of data processing

2.2系統(tǒng)的總體結(jié)構(gòu)設(shè)計

系統(tǒng)項目模塊如圖5所示。

圖5　項目功能模塊圖Fig.5The functional module chart project

2.2.1違規(guī)行為識別模塊

1）程序描述

為了描述方便，本系統(tǒng)設(shè)定正常情況下工作人員所戴的帽子和口罩是白色的。在此假設(shè)條件下，程序模塊首先對攝像頭獲取的靜態(tài)的幀圖像進(jìn)行處理，通過膚色提取找到眼睛，然后在眼睛上下區(qū)域取需要判斷特征點的區(qū)域，進(jìn)行顏色識別。如果特征點檢測為白色，即認(rèn)為工作人員著裝正常；否則識別出違規(guī)行為，即帽子、口罩佩戴異常。

2）算法

基本算法就是先將圖像中膚色部位提取出來，然后通過訓(xùn)練級聯(lián)分類器的方法，判斷人眼部位，然后在人眼上下區(qū)域取特征點判斷顏色是否為白色，最后判斷帽子和口罩的存在。

膚色區(qū)域提取主要包括兩個步驟：面部區(qū)域的選定和膚色區(qū)域的提取。面部區(qū)域的選定用到人臉檢測的方法，然后根據(jù)統(tǒng)計學(xué)的方法，基于膚色區(qū)域的聚類特性，采用大量的膚色圖片構(gòu)造出膚色模型查找表，利用這個表查找提取出膚色區(qū)域。

3）流程邏輯

違規(guī)行為識別模塊的流程邏輯如圖6所示。

圖6　違規(guī)行為識別模塊流程邏輯圖Fig.6Irregularities recognition module flow chart

4）關(guān)鍵技術(shù)

（a）圖像的獲取：通過攝像頭捕獲的視頻中截取靜態(tài)的幀圖像。

（b）預(yù)處理：人臉特征識別的預(yù)處理是首先找出人眼所在區(qū)域，然后通過判斷提取到的是否為人的眼睛，將不是人眼的錯誤點排除，再通過人眼所在區(qū)域向上和向下分別取點進(jìn)而判斷是否為特征物。因而將截取的靜態(tài)幀圖像進(jìn)行預(yù)處理是非常重要的過程，預(yù)處理過程一般包含以下3步：

①將圖像轉(zhuǎn)換為灰度圖像，并調(diào)整圖像的尺寸，得到統(tǒng)一大小的校準(zhǔn)圖像。

②圖像利用邊緣檢測canny算法，檢測出圖像的邊緣。

③直方圖均衡化，以部分消除光線和光照強(qiáng)度的影響，增強(qiáng)檢測結(jié)果的正確性。

直方圖均衡化處理是把原始圖像的灰度直方圖從比較集中的某個灰度區(qū)間變成在全部灰度范圍內(nèi)的均勻分布，以增強(qiáng)像素灰度值的動態(tài)范圍，以達(dá)到提高圖像整體對比度的效果［4］。

2.2.2違規(guī)視頻和圖片存儲模塊

此模塊是將違規(guī)行為的視頻和圖像存儲起來，即程序?qū)⑴袛酁椴淮髅弊踊蚩谡值膱D像進(jìn)行存儲，以備后期查看驗證。

2.2.3自動預(yù)警處理模塊

該模塊能夠記錄違規(guī)操作，即檢驗到有違規(guī)操作并且成功紀(jì)錄，同時在保證成功紀(jì)錄的情況下自動通知監(jiān)管人員或部門，做出相應(yīng)的處理措施。

3　系統(tǒng)實現(xiàn)

由于OpenCV 2.4.4的安裝平臺為32位XP或者64位win7，因此本系統(tǒng)在Windows7平臺上，在VC 2010下安裝OpenCV2.4.4。

3.1接口實現(xiàn)

用戶接口主要是通過圖形化的界面來將系統(tǒng)的各項功能、應(yīng)用程序和文件直觀的表現(xiàn)出來。圖形用戶接口元素包括窗口、圖標(biāo)、菜單和對話框，圖形用戶接口元素的基本操作包括菜單操作、窗口操作和對話框操作等。

用戶在系統(tǒng)運(yùn)行時可以隨時通過主界面的菜單或?qū)υ捒虻葓D形界面對各個攝像頭所拍攝的畫面以及攝像頭進(jìn)行操作；用戶同時也可以對系統(tǒng)已經(jīng)截取的圖像和已發(fā)出的警告和報警進(jìn)行一系列操作。

軟件接口：與操作系統(tǒng)的接口，windows 2000以上。

硬件接口：該系統(tǒng)與監(jiān)控的攝像頭的接口，及通過網(wǎng)絡(luò)等方式上傳數(shù)據(jù)及圖像的接口。

3.2系統(tǒng)測試

1）測試環(huán)境

操作系統(tǒng)：win7 64位操作系統(tǒng)。

應(yīng)用軟件：VC2010，OpenCV，電腦自帶攝像頭。

2）測試過程

為了簡單起見，設(shè)定不戴口罩和不戴帽子屬于違規(guī)行為，分了下面M1，M2，M3，M4 4種情況，如圖7所示。

圖7　4種違規(guī)情況Fig.7Four kinds of violations

上述4種情況，分別在單人和多人情況下進(jìn)行測試，實驗在不同的時間段，對單人和多人不同的情況進(jìn)行測試，總共進(jìn)行200次測試，如果忽略光線和設(shè)備帶來的影響，測試結(jié)果與預(yù)期結(jié)果基本一致，成功率達(dá)95%以上。測試結(jié)果如表1所示。

圖8和圖9標(biāo)示了M2和M4的測試情況，從圖上可以看出，違規(guī)的情況已經(jīng)被設(shè)別出。

4　結(jié)束語

實驗測試表明，本文提出的基于OpenCV的圖像特征智能識別系統(tǒng)，針對食品藥品管理中的特定問題，對一些典型的違規(guī)行為，能夠快速準(zhǔn)確的識別出來，在記錄違規(guī)行為的同時，以正確的方式進(jìn)行報警，從而實現(xiàn)無人監(jiān)管，可以節(jié)約成本，同時提升生產(chǎn)管理的規(guī)范化、標(biāo)準(zhǔn)化，提高產(chǎn)品質(zhì)量。由于該技術(shù)理論可行，且有比較強(qiáng)的可操作性，未來我們可以將這一技術(shù)移植與嵌入式設(shè)備之中，真正實現(xiàn)智能化數(shù)字?jǐn)z像頭。

表1　測試結(jié)果Tab.1The test results

圖8　雙人測試M2結(jié)果Fig.8Results the M2 double test

圖9　雙人測試M4結(jié)果Fig.9Results the M4 double test

［1］學(xué)習(xí)OpenCV（中文版）［M］.于仕琪，譯.北京：清華大學(xué)出版社，2009.

［2］Viola P，Jones M.Robust real-time face detection［J］.IntemationaI JournaI of Computer Visiion，2004，57（2）：137-154.

［3］儲澤楠.膚色模型的面部膚色區(qū)域提?。跩］.電腦編程技巧與維護(hù)，2009（18）：94-95. CHU Ze-nan.Extraction of facial color region based on skin color model［J］.Computer Programming Skills&Maintenance，2009（18）：94-95.

［4］胡玉峰.基于OpenCV的嵌入式人眼追蹤系統(tǒng)研究［J］.電子科技2014（9）：58-61. HU YU-feng.Research on embedded eye tracking system based on openCV［J］.Electronic Science and Technology，2014（9）：58-61.

［5］趙黎.基于OpenCV的人臉檢測系統(tǒng)設(shè)計與實現(xiàn)［J］.科技信息，2008（18）：384. ZHAO Li.A face detection system based on OpenCV design and implementation of OpenCV［J］.Science&Technology Information，2008（18）：384.

［6］唐坤.面部特征點定位算法研究［D］.大連：大連理工大學(xué)，2013.

Design of the characteristics of image intelligent recognition system based on OpenCV

ZHANG Lin1，WU Zhen-qiang2
（1.College of Mathematics and Computer Application，Shangluo University，Shangluo 726000，China；2.School of Computer Science，Shaanxi Normal University，Xi'an 710062，China）

For the image monitoring，most monitoring just simple image capture，image processing，and finally through the artificial identification，the lack of intelligent monitoring，especially aiming at the characteristics of a particular requirements for equipment，This paper design a Image intelligence equipment system based on t OpenCV，Use the camera to capture the image recognition，feature for image by OpenCV′s correlation function。The food and Drug Administration for the particular problem in simulation，the experimental resuits show this system with high recognition speed and accuracy，has a certain practicality.

OpenCV；video image；face recognition；characteristic of image

TN01

B

1674-6236（2015）20-0189-04

2014-12-29稿件編號：201412289

張林（1968—），男，陜西丹鳳人，教授。研究方向：計算機(jī)應(yīng)用，圖形處理。