上海圖書館 朱云琪 蔣 玥 張 軼

基于圖像識別的公共圖書館座位檢測系統(tǒng)研究

上海圖書館 朱云琪 蔣 玥 張 軼

隨著公共圖書館的發(fā)展與現實文化需求的提高，提供館內座位信息是具有現實意義的基本服務課題。但在公共圖書館的信息服務上作進一步的拓展需要有良好的技術支撐，本文即在此基礎上，提出了一種基于圖像識別技術的圖書館座位占用檢測算法，該算法以幀差運動檢測技術為基礎，利用膚色、發(fā)色的色彩模型對運動識別圖像進行補足；可以依據現場情況自適應調整判斷；并設計了能在較大尺度時間內減少錯檢、漏檢情況發(fā)生的判定流程。經過現場實驗，在光照均勻遮擋不嚴重的情況下，該方法對閱覽室座位占用情況的識別準確率高于采用同等參數的幀差識別算法，可以運用在日常工作中。

圖像識別；運動目標檢測；色彩模型；圖書館服務

0 引言

上海市正逐步加快向具有全球影響力的科技創(chuàng)新中心進軍，公共圖書館隨之而來需要承擔的社會責任也越來越重。為了滿足日益增長的服務需求，各大公共圖書館都建立了圖書資料的信息化管理制度，但顯然在公共服務中重要的一塊——如何調配座位資源，仍然有很大的進步空間。在實際工作中，會時常聽到讀者抱怨進入閱覽室后才發(fā)現找不到座，這不僅對閱讀體驗有很大的損害，也造成了大量讀者盲目地在各個閱覽室穿行，使得環(huán)境質量的進一步下降。由于圖書館的座位資源在時間與空間尺度上分布不均，一般為了疏導讀者，會采用人工方法進行調配，但這既耗費人力資源，也無法反饋實時的座位情況。所以，有必要在控制成本的同時，實時準確的自動識別檢測閱覽室的座位占用情況，使得圖書館座位資源得到有效充分地利用。

現有的公共圖書館基本都能被視頻監(jiān)控所覆蓋，而隨著圖像識別技術的成熟，充分利用現有設施，對館內座位資源進行識別檢測是一項十分具有意義的課題。事實上，已經有不少圖書館采用了座位資源自動檢測技術，例如蘇州大學圖書館利用校園卡刷卡入座，并引入人臉匹配技術與視頻監(jiān)控技術來確定人員入座情況[1]。

座位占用檢測的目標是人，傳統(tǒng)的行人檢測方法，對于運動中的行人，人頭是最容易被識別的特征，利用膚色、發(fā)色或者輪廓信息快速確定人頭可以比較好的達到運動檢測效果[2][3]。然而座位占用檢測的條件與目的與傳統(tǒng)行人檢測技術又不完全相同：閱覽室的監(jiān)控呈斜45至60度角，只有頭部基本沒受到遮罩，但頭發(fā)與皮膚特征都不完整；人員運動幅度較小，嚴格按照書桌位置擺放；干擾物多，需要去除大量顏色、形狀接近的物體；只關注座位的占用情況；對檢測實時性的要求較高，判斷機制要簡便。所以座位占用檢測不單單具有部分行人運動檢測的特點，還兼具交通停車檢測的特點。

運用在交通事件檢測的圖像識別算法，一般有光流法、形態(tài)學邊緣檢測法以及差分法。光流法利用像素灰度變化與實際物體結構的聯系建立光流場來檢測運動情況，其檢測精度較高，但受限與復雜程度與特殊設備要求，多運用在諸如手勢識別這樣需要高精度、低用量的場合[4]。形態(tài)學邊緣檢測法同樣計算復雜度較高。而差分法又分為背景差分和幀差分，背景差分需要預先設定背景，有利用各類數學模型提取背景圖層的，例如采用混合高斯模型計算運動概率檢測[5]，也有預先拍攝背景直接做差分的，但對拍攝要求比較高[6]；幀差法利用兩幀圖像間的區(qū)別，提取變化較大的區(qū)域作為運動目標，常見的有5幀和3幀幀差法，5幀幀差法較為復雜但精度更高。有實驗認為兩者在交通檢測時效果差距不大，幀差法高度依賴于采樣頻率的選取，而背景差分法則依賴于背景的更新與閾值的確定[7]。在公共圖書館的閱覽室內，由于環(huán)境本身比較復雜，桌椅等一系列座位背景的物體并不是固定不動的，而光照變化較小，本文吸納兩種方法的優(yōu)點，設定當前時間幀為基準背景幀，計算當前幀與之前4幀幀差已識別運動圖像。

1 人頭識別算法整體框架

根據停車檢測技術與閱覽室的一些特點，本文提出了一種基于多特征補足的幀差座位占用檢測算法，盡可能地利用頭發(fā)、皮膚與運動特征，對座位占用情況作快速檢測。傳統(tǒng)的幀差法提取運動圖像雖然可以適應各種光照要求，檢測快速，但容易造成大量的空洞、重影等影響檢測效果的問題，尤其是在普遍運動幅度較小的閱覽室內，更容易產生漏檢情況發(fā)生。而用膚色、發(fā)色模型，可以在人物關鍵位置補充圖像，增加可識別性。發(fā)色和膚色模型對不同人群都可適用，同時也降低了因室內環(huán)境變化而造成的錯檢情況。其算法流程如圖：

圖1.1 算法流程圖

2 關鍵技術

2.1 人頭區(qū)域圖像補足

幀差法檢測運動圖像的時候，容易造成空洞、重影和虛假邊緣的出現。而人臉部分由于相鄰灰度值接近，且在座位上的運動幅度較小，這種空洞與不連續(xù)現象在人頭附近尤為明顯。為了彌補這個缺陷，本文需要先研究人頭顏色模型特征，利用人頭發(fā)色與膚色對人頭區(qū)域圖像二值化，以填補這些空洞區(qū)域的像素。

圖2.1 頭部二值圖像呈明顯殘缺

顏色空間是人為劃分的自然界顏色屬性的空間坐標系，實質是坐標系統(tǒng)和子空間的闡述。位于系統(tǒng)的每種顏色都有單個點表示。最常見的RGB空間即是所有顏色空間的基礎。RGB（紅綠藍）空間是依據人眼識別的顏色定義出的空間，可表示大部分顏色。此外比較常用的顏色空間有YCbCr、HSV以及YUV等模型。

2.1.1 發(fā)色識別

由于人的發(fā)色大體偏深，區(qū)分度較小，而RGB空間對于近似顏色之間的辨識能力有限，本文在發(fā)色識別上選用HSV空間來對圖像進行二值化處理。

HSV顏色空間也是比較常用的顏色空間，其中H代表色調，S代表飽和度，V代表亮度。通過實驗對比，V子空間的圖像對發(fā)色比較敏感，且值域在0、1之間，能夠比較好的反映發(fā)色與背景之間的差異[8]。

已知min為r、g、b分量中最小的值，max為r、g、b分量中最大的值。按照式(2.1)～式(2.3)轉換RGB圖像，并在V分量上以0.2為閾值轉換為二值圖，如圖2.2所示。

圖2.2 v分量上的二值圖

2.1.2 膚色識別

膚色也是人頭識別中非常重要的特征，而且膚色更具有代表性。頭發(fā)可能會受到遮罩，或者白發(fā)、禿發(fā)的影響，但膚色不會。但是膚色本身受到光照的影響就大，通過統(tǒng)計模型的識別算法很難覆蓋所有的位置的情況，尤其是在復雜的公共場所。

文獻[9]強調了采用多種子空間同時分割判定圖像的重要性，也就是說在單一的V空間內進行二值化處理膚色效果并不好。作者根據經驗引入了一種簡單的根據RGB空間的判斷方法，其判斷公式如式(2.4)所示。

R＞95 And G＞40 And B＞20 And R＞G And R＞B And Max(R,G,B)-Min(R,G,B)＞15 And

雖然結果中含有其他非皮膚區(qū)域，但經過腐蝕膨脹、填充空洞之后，如圖2.3所示，可以發(fā)現相比使用CbCr二維檢測，膚色結果圖受到背景干擾更少。

圖2.3 膚色識別判斷方式比較

2.2 運動識別

對于座位上讀者的運動方式，其運動幅度相較路上行走要小得多，所以采用傳統(tǒng)的差分法結果必然是擁有大量空洞，對檢測結果造成大量干擾。本文在傳統(tǒng)的幀差運動檢測法的基礎上加以改進，5秒1幀，利用5幀進行差分計算。

現將圖像灰度化后，分別進行均值濾波、灰度均衡化處理，現假設以當前幀圖像為基準幀，之前4幀分別為：

再對D04、D03、D02、D01做膨脹處理，膨脹因子取3*3，可得到。經過二值化處理后，先與再或，即：

通過再一次膨脹以及填充內部圖像后得到最終的差分運動圖像。這樣做可以很好的提取各個圖像中相同的部分，并減少微弱運動條件所造成的干擾。

將灰度差分圖像二值化是另外一個難點。本文借助大津閾值（OSTU）對灰度圖進行動態(tài)閾值調整。大津閾值作為比較常見的圖像分割技術，也被稱為最大類間方差法，特點即簡單快速有效。其算法過程是[10]：對于一副最大像素值為N的灰度圖像，記k為分割閾值，背景像素點數占全圖像素數的比例為，平均灰度為；運動目標的前景像素點數占比為，平均灰度為。圖像的總平均灰度為：

類間方差可定義為：

2.3 座位占用檢測

為減少計算壓力，達到實時性的目標，本文截取圖像中座位所在的固定區(qū)域做占用檢測。由于是固定攝像頭拍攝，在所拍到的照片圖像中分割出相應座位的小窗口，考慮到遠近透視效應，窗口按照由近及遠的順序按行從大到小切割。在此基礎上，該算法步驟如下：

第一步：對當前幀的圖像做預處理（參考2.2），并分割出每個固定座位的截取圖像；

第二步：以該幀圖像為背景，將圖像灰度化并與過去4幀差分計算，利用OSTU確定分割閾值，分割出運動圖像，若運動圖像的前景像素數目占比，則不再進行下一步，其中a監(jiān)測對象像素數，A為截取的座位圖像總像素數；

第三步：根據發(fā)色和膚色模型，分割出該幀對應的膚色與發(fā)色二值圖，然后對二值圖中面積較小的連通區(qū)域進行排除，減少背景噪聲。最后將運動差分圖像與發(fā)色、膚色二值圖取“或”，完成對運動圖像的補足；

第四步：計算占空比情況，由于透視現象，前方座位上的人員會對后方座位的占用判定造成干擾，所以在算法所得處的運動像素會偏多，那么就需要適當地提高占空比閾值，按照桌椅的遠近分別設定閾值；

第五步：為了減少結果在短時間內反復跳變，最終的顯示結果需要比對之前2幀的狀態(tài)以作優(yōu)化，這樣的情況有如下兩種：

a.當前幀與前兩幀結果不同，則將當前幀對內設定為結果待定，對外顯示結果不變，即仍與之前幀的算法結果一致；

b.當前幀只與前兩幀結果中的一個相同，則將當前幀設定為這三個結果中占多數的結果，即采用當前算法結果。

圖2.4 補足利用背景幀差法得到的二值圖像

3 實驗結果分析

本次實驗場所設置在上海圖書館社科閱覽室，采用固定機位相機拍攝的方法，對閱覽室內座位情況進行采集，并且把研究重點放在了如圖3.1標注的兩組桌子上，在本文實驗條件下，將窗口分辨率大致設定為450*350、350*250、300*200、250*150，前后桌椅的閾值分別為0.4、0.5。采集階段5秒拍攝一幀，持續(xù)5分鐘，最后共計采集60*3張圖像。所有算法都在matlab2015b環(huán)境下編譯并調試。

圖4.1 現場實驗環(huán)境

參考交通違章檢測算法，本文提出了針對座位占用檢測的評價依據有：

作為參照，本文采用傳統(tǒng)的背景差分檢測算法對座位占用情況作比較。該背景差分算法同樣采取OSTU動態(tài)閾值，但不作運動圖像的補足。其結果如下：

表3.1 實驗結果

從實驗結果來看，單純使用幀差分方法檢測座位占用情況，其錯檢率和識別率都顯著差與本文使用的算法，尤其在識別率上，一旦讀者運動幅度偏小，又沒有色彩模型做支撐，占空比的判定閾值需要設定得非常低，這就意味著動、靜情況區(qū)分度小，難以識別運動情況。另一方面由于在實驗過程中發(fā)現后方圖像容易被前方人員物體遮罩，造成前方的運動狀態(tài)也計入后方中去，所以對待兩桌座位的判定時需要采取不用的閾值判定，后方采用更大的閾值以便在大的時間尺度上平衡前方運動的影響。實驗結果表明，本文提出的這種算法，相較固定閾值擁有更好的實驗結果，尤其在錯檢率上，大幅度降低了前方的干擾。

4 結論

公共圖書館的服務目標永遠是盡可能地向讀者提供更多的便利信息。為了滿足這一現實需求，針對圖書館座位資源緊張這一問題，本文借鑒停車檢測的思路，提出了利用發(fā)色、膚色模型補足運動差分圖像的座位占用檢測算法，利用當前幀與前4幀圖像做動態(tài)的背景差分運算，并利用OSTU自適應調整閾值，得到微弱運動條件下的運動圖像。算法吸取了背景差分和幀差分的優(yōu)點，有效減少環(huán)境對檢測結果的影響，加強對運動區(qū)域的捕捉。最后通過三幀結果的比對，調整結果顯示策略，避免短時間內的結果反復跳變。通過在上海圖書館的實驗，實時性上能夠完全滿足查詢需求，不需要額外設備，同時通過調節(jié)窗口分辨率與設定閾值以適應不同復雜環(huán)境的需求，證明算法能夠在現實中得到推廣。與單純依靠差分檢測算法相比，判斷座位占用情況時的識別率和錯檢率都更為優(yōu)秀。本算法作為公共圖書館座位資源檢測系統(tǒng)的支撐，也能讓圖書館管理人員能夠更為有效的進行座位和人員的調配，提升服務品質。

[1]徐海東.基于人臉識別的座位管理系統(tǒng)的設計與實現[J].科技情報開發(fā)與經濟,2015,25(20):140-141.

[2]高春霞,董寶田,王愛麗.基于人頭顏色空間和輪廓信息的行人檢測方法研究[J].交通運輸系統(tǒng)工程與信息,2015,15(4):70-77.

[3]何揚名,戴曙光.利用輪廓特征進行人頭識別的方法[J].計算機工程與應用,2010,46(29):164-166.

[4]PremaratneP,AjazS,PremaratneM.Hand gesture tracking and recognition system using Lucas-Kanade algorithms for control of consumer electronics[J]. Neurocomputing,2013,116: 242-249.

[5]王殿海,胡宏宇,李志慧,曲昭偉.違章停車檢測與識別算法[J].吉林大學學報(工學版),2010,40(1):42-46.

[6]張貝貝,武奇生.基于視頻的高速公路違章停車實時檢測算法[J].電子科技,2011,24(9).

[7]孫歡,尚緒鳳,朱趙龍,張賀泉.交通監(jiān)控系統(tǒng)中幀差法與背景差分法優(yōu)劣分析[J].電子科技,2012,25(10):1-4.

[8]吳華宇.基于監(jiān)控視頻的高校教室占用率統(tǒng)計系統(tǒng)[D].沈陽:沈陽工業(yè)大學,2015.

[9]Peer P,KovacJ,SolinaF.Human Skin Colour Clustering for Face Detection[J].Eurocon’03 Proceedings of the IEEE Region Computer As A Tool,2003,2:144-148.

[10]Ohtsu N.A Threshold Selection Method from Gray-Level Histograms[J].IEEE Transactions on Systems Man & Cybernetics,1979,9(1):62-66.

朱云琪（1990—），江蘇南通人，碩士，現就職于上海圖書館上?？茖W技術情報研究所。