上海圖書館 朱云琪 蔣 玥 張 軼

基于圖像識別的公共圖書館座位檢測系統(tǒng)研究

上海圖書館 朱云琪 蔣 玥 張 軼

隨著公共圖書館的發(fā)展與現(xiàn)實文化需求的提高，提供館內(nèi)座位信息是具有現(xiàn)實意義的基本服務(wù)課題。但在公共圖書館的信息服務(wù)上作進(jìn)一步的拓展需要有良好的技術(shù)支撐，本文即在此基礎(chǔ)上，提出了一種基于圖像識別技術(shù)的圖書館座位占用檢測算法，該算法以幀差運動檢測技術(shù)為基礎(chǔ)，利用膚色、發(fā)色的色彩模型對運動識別圖像進(jìn)行補足；可以依據(jù)現(xiàn)場情況自適應(yīng)調(diào)整判斷；并設(shè)計了能在較大尺度時間內(nèi)減少錯檢、漏檢情況發(fā)生的判定流程。經(jīng)過現(xiàn)場實驗，在光照均勻遮擋不嚴(yán)重的情況下，該方法對閱覽室座位占用情況的識別準(zhǔn)確率高于采用同等參數(shù)的幀差識別算法，可以運用在日常工作中。

圖像識別；運動目標(biāo)檢測；色彩模型；圖書館服務(wù)

0 引言

上海市正逐步加快向具有全球影響力的科技創(chuàng)新中心進(jìn)軍，公共圖書館隨之而來需要承擔(dān)的社會責(zé)任也越來越重。為了滿足日益增長的服務(wù)需求，各大公共圖書館都建立了圖書資料的信息化管理制度，但顯然在公共服務(wù)中重要的一塊——如何調(diào)配座位資源，仍然有很大的進(jìn)步空間。在實際工作中，會時常聽到讀者抱怨進(jìn)入閱覽室后才發(fā)現(xiàn)找不到座，這不僅對閱讀體驗有很大的損害，也造成了大量讀者盲目地在各個閱覽室穿行，使得環(huán)境質(zhì)量的進(jìn)一步下降。由于圖書館的座位資源在時間與空間尺度上分布不均，一般為了疏導(dǎo)讀者，會采用人工方法進(jìn)行調(diào)配，但這既耗費人力資源，也無法反饋實時的座位情況。所以，有必要在控制成本的同時，實時準(zhǔn)確的自動識別檢測閱覽室的座位占用情況，使得圖書館座位資源得到有效充分地利用。

現(xiàn)有的公共圖書館基本都能被視頻監(jiān)控所覆蓋，而隨著圖像識別技術(shù)的成熟，充分利用現(xiàn)有設(shè)施，對館內(nèi)座位資源進(jìn)行識別檢測是一項十分具有意義的課題。事實上，已經(jīng)有不少圖書館采用了座位資源自動檢測技術(shù)，例如蘇州大學(xué)圖書館利用校園卡刷卡入座，并引入人臉匹配技術(shù)與視頻監(jiān)控技術(shù)來確定人員入座情況[1]。

座位占用檢測的目標(biāo)是人，傳統(tǒng)的行人檢測方法，對于運動中的行人，人頭是最容易被識別的特征，利用膚色、發(fā)色或者輪廓信息快速確定人頭可以比較好的達(dá)到運動檢測效果[2][3]。然而座位占用檢測的條件與目的與傳統(tǒng)行人檢測技術(shù)又不完全相同：閱覽室的監(jiān)控呈斜45至60度角，只有頭部基本沒受到遮罩，但頭發(fā)與皮膚特征都不完整；人員運動幅度較小，嚴(yán)格按照書桌位置擺放；干擾物多，需要去除大量顏色、形狀接近的物體；只關(guān)注座位的占用情況；對檢測實時性的要求較高，判斷機制要簡便。所以座位占用檢測不單單具有部分行人運動檢測的特點，還兼具交通停車檢測的特點。

運用在交通事件檢測的圖像識別算法，一般有光流法、形態(tài)學(xué)邊緣檢測法以及差分法。光流法利用像素灰度變化與實際物體結(jié)構(gòu)的聯(lián)系建立光流場來檢測運動情況，其檢測精度較高，但受限與復(fù)雜程度與特殊設(shè)備要求，多運用在諸如手勢識別這樣需要高精度、低用量的場合[4]。形態(tài)學(xué)邊緣檢測法同樣計算復(fù)雜度較高。而差分法又分為背景差分和幀差分，背景差分需要預(yù)先設(shè)定背景，有利用各類數(shù)學(xué)模型提取背景圖層的，例如采用混合高斯模型計算運動概率檢測[5]，也有預(yù)先拍攝背景直接做差分的，但對拍攝要求比較高[6]；幀差法利用兩幀圖像間的區(qū)別，提取變化較大的區(qū)域作為運動目標(biāo)，常見的有5幀和3幀幀差法，5幀幀差法較為復(fù)雜但精度更高。有實驗認(rèn)為兩者在交通檢測時效果差距不大，幀差法高度依賴于采樣頻率的選取，而背景差分法則依賴于背景的更新與閾值的確定[7]。在公共圖書館的閱覽室內(nèi)，由于環(huán)境本身比較復(fù)雜，桌椅等一系列座位背景的物體并不是固定不動的，而光照變化較小，本文吸納兩種方法的優(yōu)點，設(shè)定當(dāng)前時間幀為基準(zhǔn)背景幀，計算當(dāng)前幀與之前4幀幀差已識別運動圖像。

1 人頭識別算法整體框架

根據(jù)停車檢測技術(shù)與閱覽室的一些特點，本文提出了一種基于多特征補足的幀差座位占用檢測算法，盡可能地利用頭發(fā)、皮膚與運動特征，對座位占用情況作快速檢測。傳統(tǒng)的幀差法提取運動圖像雖然可以適應(yīng)各種光照要求，檢測快速，但容易造成大量的空洞、重影等影響檢測效果的問題，尤其是在普遍運動幅度較小的閱覽室內(nèi)，更容易產(chǎn)生漏檢情況發(fā)生。而用膚色、發(fā)色模型，可以在人物關(guān)鍵位置補充圖像，增加可識別性。發(fā)色和膚色模型對不同人群都可適用，同時也降低了因室內(nèi)環(huán)境變化而造成的錯檢情況。其算法流程如圖：

圖1.1 算法流程圖

2 關(guān)鍵技術(shù)

2.1 人頭區(qū)域圖像補足

幀差法檢測運動圖像的時候，容易造成空洞、重影和虛假邊緣的出現(xiàn)。而人臉部分由于相鄰灰度值接近，且在座位上的運動幅度較小，這種空洞與不連續(xù)現(xiàn)象在人頭附近尤為明顯。為了彌補這個缺陷，本文需要先研究人頭顏色模型特征，利用人頭發(fā)色與膚色對人頭區(qū)域圖像二值化，以填補這些空洞區(qū)域的像素。

圖2.1 頭部二值圖像呈明顯殘缺

顏色空間是人為劃分的自然界顏色屬性的空間坐標(biāo)系，實質(zhì)是坐標(biāo)系統(tǒng)和子空間的闡述。位于系統(tǒng)的每種顏色都有單個點表示。最常見的RGB空間即是所有顏色空間的基礎(chǔ)。RGB（紅綠藍(lán)）空間是依據(jù)人眼識別的顏色定義出的空間，可表示大部分顏色。此外比較常用的顏色空間有YCbCr、HSV以及YUV等模型。

2.1.1 發(fā)色識別

由于人的發(fā)色大體偏深，區(qū)分度較小，而RGB空間對于近似顏色之間的辨識能力有限，本文在發(fā)色識別上選用HSV空間來對圖像進(jìn)行二值化處理。

HSV顏色空間也是比較常用的顏色空間，其中H代表色調(diào)，S代表飽和度，V代表亮度。通過實驗對比，V子空間的圖像對發(fā)色比較敏感，且值域在0、1之間，能夠比較好的反映發(fā)色與背景之間的差異[8]。

已知min為r、g、b分量中最小的值，max為r、g、b分量中最大的值。按照式(2.1)～式(2.3)轉(zhuǎn)換RGB圖像，并在V分量上以0.2為閾值轉(zhuǎn)換為二值圖，如圖2.2所示。

圖2.2 v分量上的二值圖

2.1.2 膚色識別

膚色也是人頭識別中非常重要的特征，而且膚色更具有代表性。頭發(fā)可能會受到遮罩，或者白發(fā)、禿發(fā)的影響，但膚色不會。但是膚色本身受到光照的影響就大，通過統(tǒng)計模型的識別算法很難覆蓋所有的位置的情況，尤其是在復(fù)雜的公共場所。

文獻(xiàn)[9]強調(diào)了采用多種子空間同時分割判定圖像的重要性，也就是說在單一的V空間內(nèi)進(jìn)行二值化處理膚色效果并不好。作者根據(jù)經(jīng)驗引入了一種簡單的根據(jù)RGB空間的判斷方法，其判斷公式如式(2.4)所示。

R＞95 And G＞40 And B＞20 And R＞G And R＞B And Max(R,G,B)-Min(R,G,B)＞15 And

雖然結(jié)果中含有其他非皮膚區(qū)域，但經(jīng)過腐蝕膨脹、填充空洞之后，如圖2.3所示，可以發(fā)現(xiàn)相比使用CbCr二維檢測，膚色結(jié)果圖受到背景干擾更少。

圖2.3 膚色識別判斷方式比較

2.2 運動識別

對于座位上讀者的運動方式，其運動幅度相較路上行走要小得多，所以采用傳統(tǒng)的差分法結(jié)果必然是擁有大量空洞，對檢測結(jié)果造成大量干擾。本文在傳統(tǒng)的幀差運動檢測法的基礎(chǔ)上加以改進(jìn)，5秒1幀，利用5幀進(jìn)行差分計算。

現(xiàn)將圖像灰度化后，分別進(jìn)行均值濾波、灰度均衡化處理，現(xiàn)假設(shè)以當(dāng)前幀圖像為基準(zhǔn)幀，之前4幀分別為：

再對D04、D03、D02、D01做膨脹處理，膨脹因子取3*3，可得到。經(jīng)過二值化處理后，先與再或，即：

通過再一次膨脹以及填充內(nèi)部圖像后得到最終的差分運動圖像。這樣做可以很好的提取各個圖像中相同的部分，并減少微弱運動條件所造成的干擾。

將灰度差分圖像二值化是另外一個難點。本文借助大津閾值（OSTU）對灰度圖進(jìn)行動態(tài)閾值調(diào)整。大津閾值作為比較常見的圖像分割技術(shù)，也被稱為最大類間方差法，特點即簡單快速有效。其算法過程是[10]：對于一副最大像素值為N的灰度圖像，記k為分割閾值，背景像素點數(shù)占全圖像素數(shù)的比例為，平均灰度為；運動目標(biāo)的前景像素點數(shù)占比為，平均灰度為。圖像的總平均灰度為：

類間方差可定義為：

2.3 座位占用檢測

為減少計算壓力，達(dá)到實時性的目標(biāo)，本文截取圖像中座位所在的固定區(qū)域做占用檢測。由于是固定攝像頭拍攝，在所拍到的照片圖像中分割出相應(yīng)座位的小窗口，考慮到遠(yuǎn)近透視效應(yīng)，窗口按照由近及遠(yuǎn)的順序按行從大到小切割。在此基礎(chǔ)上，該算法步驟如下：

第一步：對當(dāng)前幀的圖像做預(yù)處理（參考2.2），并分割出每個固定座位的截取圖像；

第二步：以該幀圖像為背景，將圖像灰度化并與過去4幀差分計算，利用OSTU確定分割閾值，分割出運動圖像，若運動圖像的前景像素數(shù)目占比，則不再進(jìn)行下一步，其中a監(jiān)測對象像素數(shù)，A為截取的座位圖像總像素數(shù)；

第三步：根據(jù)發(fā)色和膚色模型，分割出該幀對應(yīng)的膚色與發(fā)色二值圖，然后對二值圖中面積較小的連通區(qū)域進(jìn)行排除，減少背景噪聲。最后將運動差分圖像與發(fā)色、膚色二值圖取“或”，完成對運動圖像的補足；

第四步：計算占空比情況，由于透視現(xiàn)象，前方座位上的人員會對后方座位的占用判定造成干擾，所以在算法所得處的運動像素會偏多，那么就需要適當(dāng)?shù)靥岣哒伎毡乳撝担凑兆酪蔚倪h(yuǎn)近分別設(shè)定閾值；

第五步：為了減少結(jié)果在短時間內(nèi)反復(fù)跳變，最終的顯示結(jié)果需要比對之前2幀的狀態(tài)以作優(yōu)化，這樣的情況有如下兩種：

a.當(dāng)前幀與前兩幀結(jié)果不同，則將當(dāng)前幀對內(nèi)設(shè)定為結(jié)果待定，對外顯示結(jié)果不變，即仍與之前幀的算法結(jié)果一致；

b.當(dāng)前幀只與前兩幀結(jié)果中的一個相同，則將當(dāng)前幀設(shè)定為這三個結(jié)果中占多數(shù)的結(jié)果，即采用當(dāng)前算法結(jié)果。

圖2.4 補足利用背景幀差法得到的二值圖像

3 實驗結(jié)果分析

本次實驗場所設(shè)置在上海圖書館社科閱覽室，采用固定機位相機拍攝的方法，對閱覽室內(nèi)座位情況進(jìn)行采集，并且把研究重點放在了如圖3.1標(biāo)注的兩組桌子上，在本文實驗條件下，將窗口分辨率大致設(shè)定為450*350、350*250、300*200、250*150，前后桌椅的閾值分別為0.4、0.5。采集階段5秒拍攝一幀，持續(xù)5分鐘，最后共計采集60*3張圖像。所有算法都在matlab2015b環(huán)境下編譯并調(diào)試。

圖4.1 現(xiàn)場實驗環(huán)境

參考交通違章檢測算法，本文提出了針對座位占用檢測的評價依據(jù)有：

作為參照，本文采用傳統(tǒng)的背景差分檢測算法對座位占用情況作比較。該背景差分算法同樣采取OSTU動態(tài)閾值，但不作運動圖像的補足。其結(jié)果如下：

表3.1 實驗結(jié)果

從實驗結(jié)果來看，單純使用幀差分方法檢測座位占用情況，其錯檢率和識別率都顯著差與本文使用的算法，尤其在識別率上，一旦讀者運動幅度偏小，又沒有色彩模型做支撐，占空比的判定閾值需要設(shè)定得非常低，這就意味著動、靜情況區(qū)分度小，難以識別運動情況。另一方面由于在實驗過程中發(fā)現(xiàn)后方圖像容易被前方人員物體遮罩，造成前方的運動狀態(tài)也計入后方中去，所以對待兩桌座位的判定時需要采取不用的閾值判定，后方采用更大的閾值以便在大的時間尺度上平衡前方運動的影響。實驗結(jié)果表明，本文提出的這種算法，相較固定閾值擁有更好的實驗結(jié)果，尤其在錯檢率上，大幅度降低了前方的干擾。

4 結(jié)論

公共圖書館的服務(wù)目標(biāo)永遠(yuǎn)是盡可能地向讀者提供更多的便利信息。為了滿足這一現(xiàn)實需求，針對圖書館座位資源緊張這一問題，本文借鑒停車檢測的思路，提出了利用發(fā)色、膚色模型補足運動差分圖像的座位占用檢測算法，利用當(dāng)前幀與前4幀圖像做動態(tài)的背景差分運算，并利用OSTU自適應(yīng)調(diào)整閾值，得到微弱運動條件下的運動圖像。算法吸取了背景差分和幀差分的優(yōu)點，有效減少環(huán)境對檢測結(jié)果的影響，加強對運動區(qū)域的捕捉。最后通過三幀結(jié)果的比對，調(diào)整結(jié)果顯示策略，避免短時間內(nèi)的結(jié)果反復(fù)跳變。通過在上海圖書館的實驗，實時性上能夠完全滿足查詢需求，不需要額外設(shè)備，同時通過調(diào)節(jié)窗口分辨率與設(shè)定閾值以適應(yīng)不同復(fù)雜環(huán)境的需求，證明算法能夠在現(xiàn)實中得到推廣。與單純依靠差分檢測算法相比，判斷座位占用情況時的識別率和錯檢率都更為優(yōu)秀。本算法作為公共圖書館座位資源檢測系統(tǒng)的支撐，也能讓圖書館管理人員能夠更為有效的進(jìn)行座位和人員的調(diào)配，提升服務(wù)品質(zhì)。

[1]徐海東.基于人臉識別的座位管理系統(tǒng)的設(shè)計與實現(xiàn)[J].科技情報開發(fā)與經(jīng)濟,2015,25(20):140-141.

[2]高春霞,董寶田,王愛麗.基于人頭顏色空間和輪廓信息的行人檢測方法研究[J].交通運輸系統(tǒng)工程與信息,2015,15(4):70-77.

[3]何揚名,戴曙光.利用輪廓特征進(jìn)行人頭識別的方法[J].計算機工程與應(yīng)用,2010,46(29):164-166.

[4]PremaratneP,AjazS,PremaratneM.Hand gesture tracking and recognition system using Lucas-Kanade algorithms for control of consumer electronics[J]. Neurocomputing,2013,116: 242-249.

[5]王殿海,胡宏宇,李志慧,曲昭偉.違章停車檢測與識別算法[J].吉林大學(xué)學(xué)報(工學(xué)版),2010,40(1):42-46.

[6]張貝貝,武奇生.基于視頻的高速公路違章停車實時檢測算法[J].電子科技,2011,24(9).

[7]孫歡,尚緒鳳,朱趙龍,張賀泉.交通監(jiān)控系統(tǒng)中幀差法與背景差分法優(yōu)劣分析[J].電子科技,2012,25(10):1-4.

[8]吳華宇.基于監(jiān)控視頻的高校教室占用率統(tǒng)計系統(tǒng)[D].沈陽:沈陽工業(yè)大學(xué),2015.

[9]Peer P,KovacJ,SolinaF.Human Skin Colour Clustering for Face Detection[J].Eurocon’03 Proceedings of the IEEE Region Computer As A Tool,2003,2:144-148.

[10]Ohtsu N.A Threshold Selection Method from Gray-Level Histograms[J].IEEE Transactions on Systems Man & Cybernetics,1979,9(1):62-66.

朱云琪（1990—），江蘇南通人，碩士，現(xiàn)就職于上海圖書館上?？茖W(xué)技術(shù)情報研究所。