張國福,王 呈

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122)

我國電梯保有量每年持續(xù)增長,截止到2018年底,全國共有623萬臺電梯正常服役,并以每年60萬臺的速度快速增長。電梯故障會引發(fā)安全事故,主要故障包括門系統(tǒng)、沖頂或蹲底、溜梯等。據(jù)統(tǒng)計(jì),各類事故中由門系統(tǒng)故障導(dǎo)致的事故占比最高,約為80%[1]。電梯門系統(tǒng)發(fā)生故障的主要原因包括:(1)電梯在每次運(yùn)行之前都要至少進(jìn)行開關(guān)門兩次動作,門鎖工作頻繁,易磨損老化;(2)由于外部因素導(dǎo)致門鎖短接等故障,造成門安全回路導(dǎo)通,控制器不能正確判斷電梯門狀態(tài),從而引起電梯事故。因此,對電梯門狀態(tài)的正確檢測十分重要。電梯物聯(lián)網(wǎng)技術(shù)能夠?qū)崿F(xiàn)電梯運(yùn)行狀態(tài)的遠(yuǎn)程監(jiān)控,其實(shí)現(xiàn)方式可分為“前裝監(jiān)測”和“后裝監(jiān)測”?！扒把b監(jiān)測”指新電梯在出廠前配置的遠(yuǎn)程監(jiān)測方式,通過總線技術(shù)從電梯控制板中直接采集數(shù)據(jù)實(shí)現(xiàn)監(jiān)測電梯運(yùn)行狀態(tài)。目前,電梯控制器可以采集開關(guān)門故障,運(yùn)行中門鎖斷開、短接等故障,但各電梯主控板生產(chǎn)廠家出于安全考慮,較難對外提供數(shù)據(jù)接口協(xié)議?！昂笱b監(jiān)測”指在電梯運(yùn)營階段采用加裝傳感器和遠(yuǎn)程監(jiān)測終端的方式監(jiān)測電梯的運(yùn)行狀態(tài),無需主控商提供協(xié)議,但通常改造難度較大,同時會帶來成本、權(quán)責(zé)等系列問題。因此,利用現(xiàn)有攝像頭加裝邊緣側(cè)計(jì)算設(shè)備,在邊緣側(cè)實(shí)現(xiàn)電梯門狀態(tài)圖像檢測,能夠在降低電梯物聯(lián)網(wǎng)對網(wǎng)絡(luò)連通、帶寬以及視頻處理能力等要求的基礎(chǔ)上,進(jìn)一步有效降低后裝改造成本和風(fēng)險。

電梯門結(jié)構(gòu)呈長方形,邊緣具有直線特征,電梯門在開關(guān)過程中,邊緣直線距離在時域上呈線性變化。同時,由于電梯使用場景不同,造成電梯門打開后的背景各異,對圖像的精確識別造成干擾,例如,圖1中右側(cè)窗戶柵欄影響右側(cè)門邊緣的檢測。另外,為了美觀,電梯轎廂表面工藝也不盡相同,如圖2所示,電梯門后鑲嵌的豎直條紋影響門縫直線的定位。因此,如何降低不同使用場景、不同制造工藝對電梯門縫直線定位的影響,是進(jìn)行基于圖像處理的門狀態(tài)檢測研究的難點(diǎn)。

目前,國內(nèi)對基于圖像處理的門狀態(tài)檢測研究較少,文獻(xiàn)[2]基于圖像處理的算法針對電梯開關(guān)狀態(tài)完成判別,但未考慮電梯結(jié)構(gòu)特點(diǎn)和外部使用環(huán)境對電梯狀態(tài)判斷的干擾,以及故障狀態(tài)的判別。電梯在使用過程中由于外部原因,會導(dǎo)致電梯電氣門鎖短接或者其他誤動作,造成開門走梯等故障[3]。因此,對電梯故障的檢測尤為重要。針對識別算法,文獻(xiàn)[4]利用鏈碼法提取票據(jù)中表格框線,但該法易受噪聲干擾。霍夫直線檢測[5-7]具有較強(qiáng)的魯棒性和較高的精度,適用于提取噪聲較多圖像中的直線,文獻(xiàn)[8]對文檔圖像作行程平滑處理,然后提取文本行的邊緣像素,最后利用二級霍夫變換提取直線,得到文檔的傾角。文獻(xiàn)[9]利用霍夫變換檢測電力線,并結(jié)合決策樹分類方法將實(shí)際的電力線和虛檢的電力線分離。上述文獻(xiàn)在檢測直線時會將同一條直線分成多條短直線段,通過局部檢測完成整條直線的檢測。為了提高直線檢測正確率,文獻(xiàn)[10]利用概率霍夫變換提取車道標(biāo)識線特征點(diǎn),并采用最小二乘法對特征點(diǎn)點(diǎn)集進(jìn)行直線擬合,提升車道標(biāo)識線的檢測輸出效果。上述文獻(xiàn)只是識別了白天情況下的車道標(biāo)識線,文獻(xiàn)[11]利用拉普拉斯算子增強(qiáng)圖像邊緣,然后利用霍夫直線檢測算法檢測夜間的車道標(biāo)識線?；舴蛑本€檢測算法檢測直線時,需要人為調(diào)整參數(shù),而直線段檢測(Line segment detector,LSD)算法[12]能夠自動更新參數(shù),不需要人工干預(yù),但其相對霍夫直線檢測算法耗時較長。文獻(xiàn)[13]利用改進(jìn)LSD算法實(shí)現(xiàn)電線桿遮擋檢測。文獻(xiàn)[14]利用霍夫圓檢測算法統(tǒng)計(jì)電梯內(nèi)乘客人數(shù)。本文借鑒了上述文獻(xiàn)提取圖像中直線的思想,并在考慮外界窗戶柵欄和電梯門板后的豎直條紋對算法干擾的情況下,結(jié)合電梯門特性,對基于概率霍夫直線檢測算法和LSD算法檢測電梯門開、關(guān)和兩種故障狀態(tài)進(jìn)行了研究。

1 基于電梯門特性的直線檢測算法

電梯門處于關(guān)閉狀態(tài)時,電梯門邊緣合并,門縫可以視為相鄰很近的兩條直線;當(dāng)電梯門處于正在開啟或者完全開啟狀態(tài)時,電梯門分離,門邊緣可以視為兩條平行直線;對于電梯門故障狀態(tài)(電梯門不能完全開啟或者關(guān)閉),可認(rèn)為是門開關(guān)狀態(tài)在時域上的特征。正常狀態(tài)和故障狀態(tài)可以利用直線檢測算法檢測電梯門邊緣,結(jié)合先驗(yàn)知識進(jìn)行判斷。其中,概率霍夫直線檢測(Probability Hough transform,PHT)算法0和LSD算法是常用的直線提取算法。

在直角坐標(biāo)系xoy平面內(nèi),當(dāng)斜率存在時,直線可表示為y=kx+b;當(dāng)斜率不存在時,直線可表示為x=c。無論直線斜率是否存在,均可將直角坐標(biāo)系xoy平面內(nèi)的直線對應(yīng)到參數(shù)空間中,直線方程在參數(shù)空間中可寫成ρ=xcosθ+ysinθ,其中ρ是原點(diǎn)o到直線的距離,θ是直線y=kx+b的垂線om與x軸正向的夾角,如圖3所示。

傳統(tǒng)概率霍夫直線檢測算法的檢測精度和檢測速率受限于累加器角度的分辨率。當(dāng)分辨率設(shè)置較小時,檢測精度高,但檢測速率較低。例如當(dāng)累加器角度的分辨率設(shè)置為1°時,累加器將統(tǒng)計(jì)θ從0°到180°時的ρ,即

ρ=x0cosθ+y0sinθ

θ∈{0°,1°,2°,3°,…,178°,179°,180°}

此時檢測速率非常慢。

本文后續(xù)實(shí)驗(yàn)將算法集成到嵌入式設(shè)備,完成檢測電梯門狀態(tài)。由于邊緣側(cè)設(shè)備計(jì)算能力有限,需要降低算法復(fù)雜度,提高運(yùn)行速度。本文結(jié)合電梯門特征,提出一種改進(jìn)概率霍夫直線檢測算法,即限角概率霍夫直線檢測(Limited-angle probability Hough transform,LA-PHT)算法,通過重新設(shè)定累加器角度θ的計(jì)算范圍,提取固定角度區(qū)間內(nèi)的直線

θmin≤θ≤θmax

式中:θmin是累加器起始角度,θmax是累加器終點(diǎn)角度。計(jì)算角度θ從θmin到θmax時的ρ,即

ρji=xjcosθi+yjsinθi

2 基于直線檢測的電梯門狀態(tài)判斷

門狀態(tài)主要包括:閉合狀態(tài)、開啟狀態(tài)和故障狀態(tài)。為了正確判斷電梯門狀態(tài),需要結(jié)合先驗(yàn)知識,并考慮電梯實(shí)際使用環(huán)境和門板工藝特點(diǎn)對直線檢測算法的干擾。本文基于限角概率霍夫直線檢測算法檢測電梯門狀態(tài),并與基于概率霍夫直線檢測算法和LSD算法的結(jié)果進(jìn)行對比。

2.1 基于先驗(yàn)知識的電梯門狀態(tài)檢測方法

電梯使用場景和自身結(jié)構(gòu)(如圖1和2所示)影響電梯門邊緣的定位。采用直線檢測算法檢測時,會將窗戶柵欄和豎直條紋檢測出來,如果不對此處理,將直接影響電梯門邊緣的定位。本文根據(jù)電梯實(shí)際使用場景和結(jié)構(gòu)特點(diǎn),結(jié)合基于先驗(yàn)知識的判斷規(guī)則,設(shè)計(jì)門狀態(tài)檢測方法實(shí)現(xiàn)對電梯門狀態(tài)的實(shí)時檢測,程序流程如圖4所示。

(1)圖像預(yù)處理。首先從視頻流中等間隔截取電梯門狀態(tài)的圖像,保留圖像中電梯門上面1/3部分,后續(xù)只對此部分圖像進(jìn)行處理;然后對圖像進(jìn)行灰度化和Canny邊緣檢測[15],將灰度圖像變成邊緣特征明顯的邊緣圖像;最后對電梯門邊緣圖像進(jìn)行膨脹[16]處理,使直線段目標(biāo)增大,填補(bǔ)比較相近的兩條直線段之間的空白;

(2)霍夫圓檢測[17]。圖像預(yù)處理后,對圖像進(jìn)行霍夫圓檢測,提取豎直條紋上半部分的半圓。若檢測到圓,記錄最靠近門邊緣處兩個圓的圓心坐標(biāo);

(3)直線檢測。若檢測到圓,根據(jù)記錄的圓心坐標(biāo),只保留兩個圓之間的直線;否則,保留所有檢測到的直線;

(4)直線分類。將保留的直線按照橫坐標(biāo)從小到大的順序排序,并找到橫坐標(biāo)之間的最大間隔,根據(jù)最大間隔將檢測到的直線分為左右兩側(cè)門邊緣形成的直線;

(5)計(jì)算偏移距離。計(jì)算當(dāng)前時刻檢測到的左側(cè)門邊緣直線最大橫坐標(biāo)與電梯門關(guān)閉時左側(cè)門邊緣橫坐標(biāo)之間的距離,記為lleft(t);計(jì)算當(dāng)前時刻檢測到的右側(cè)門邊緣直線最小橫坐標(biāo)(默認(rèn)定位的是電梯門邊緣)與電梯門關(guān)閉時右側(cè)門邊緣橫坐標(biāo)之間的距離,記為lright(t);

(6)確定左右電梯門邊緣。計(jì)算lleft與lright之間的距離是否小于等于距離閾值γ,即

|lleft(t)-lright(t)|≤γ

(1)

若式(1)成立,表示檢測到電梯左右門邊緣;否則,表示未定位到電梯右側(cè)門邊緣;

(7)關(guān)閉狀態(tài)判斷。若檢測到左右電梯門邊緣,根據(jù)關(guān)閉狀態(tài)檢測算法判斷電梯門是否處于關(guān)閉狀態(tài);

(8)開啟狀態(tài)判斷。若電梯門未處于關(guān)閉狀態(tài),根據(jù)開啟狀態(tài)檢測算法判斷電梯門是否處于開啟狀態(tài);

(9)故障狀態(tài)判斷。若電梯未處于開啟狀態(tài),根據(jù)故障檢測算法判斷電梯是否處于故障狀態(tài);若電梯未處于故障狀態(tài),進(jìn)入下一幀圖像的處理。

2.2 關(guān)閉狀態(tài)檢測算法

當(dāng)電梯門關(guān)閉時,電梯門邊緣合并,門縫可以視為相鄰很近的兩條直線。滿足式(2)則電梯處于關(guān)閉狀態(tài)

|xleft(t)-xright(t)|≤Δ

(2)

式中:xleft(t)是當(dāng)前時刻左側(cè)門邊緣直線最大橫坐標(biāo),xright(t)是當(dāng)前時刻右側(cè)門邊緣直線最小橫坐標(biāo),Δ是關(guān)閉閾值。

2.3 開啟狀態(tài)檢測算法

電梯門完全開啟時,門邊緣之間的距離達(dá)到最大。滿足式(3)時表示電梯門處于完全開啟狀態(tài)

|xleft(t)-xright(t)|≥2l或者

|xleft(t)-xleft|≥l

(3)

式中:xleft是電梯關(guān)閉時左側(cè)電梯門邊緣直線最大橫坐標(biāo),l是開啟閾值。

2.4 故障狀態(tài)檢測方法

當(dāng)電梯門未處于關(guān)閉狀態(tài)或開啟狀態(tài)時,判斷電梯門是否處于故障狀態(tài)。本文研究了如下兩種故障狀態(tài):(1)電梯門在開啟或關(guān)閉過程中,卡在某一位置停止開啟或關(guān)閉動作,表現(xiàn)為電梯門卡住不動(簡稱故障1);(2)電梯門在關(guān)閉過程中,由于障礙物阻擋導(dǎo)致電梯門重復(fù)開啟和關(guān)閉輪回動作,不能完成關(guān)閉動作,表現(xiàn)為電梯門在關(guān)閉時遇到障礙物阻擋使電梯門重新開啟,再關(guān)閉時,該障礙物又導(dǎo)致電梯門重新開啟(簡稱故障2)。以左側(cè)電梯門為例,故障狀態(tài)檢測流程如圖5所示。

圖5中,err1_count和err2_count分別表示故障1計(jì)數(shù)器和故障2計(jì)數(shù)器,err1_value和err2_value分別表示故障1閾值和故障2閾值。will_close=1表示電梯門將要關(guān)閉或正在關(guān)閉過程中,will_close=0則相反。x(t)表示當(dāng)前時刻左側(cè)電梯門邊緣直線的最大橫坐標(biāo),x(t-1)表示上一時刻左側(cè)電梯門邊緣直線的最大橫坐標(biāo);x(t)-x(t-1)>0表示電梯處于正在關(guān)閉過程中,x(t)-x(t-1)<0表示電梯正在開啟過程中,x(t)-x(t-1)=0表示電梯門停止不動。

(1)電梯處于關(guān)閉狀態(tài)時,將故障1計(jì)數(shù)器、故障2計(jì)數(shù)器和will_close標(biāo)志位清0;電梯處于開啟狀態(tài)時,將will_close置1;

(2)電梯處于正在關(guān)閉過程中時,始終滿足x(t)-x(t-1)>0。當(dāng)發(fā)生x(t)-x(t-1)<0時說明發(fā)生故障2,則故障2計(jì)數(shù)器加一;當(dāng)發(fā)生x(t)-x(t-1)=0時表示發(fā)生故障1,此時故障1計(jì)數(shù)器加一。故障1計(jì)數(shù)器大于設(shè)定的故障1閾值時,發(fā)出故障1報(bào)警,否則返回“正在關(guān)閉”提示語;故障2計(jì)數(shù)器大于設(shè)定的故障2閾值時,發(fā)出故障2報(bào)警,否則返回“正在開啟”提示語;

(3)電梯處于正在開啟過程中時,始終滿足x(t)-x(t-1)<0。當(dāng)發(fā)生x(t)-x(t-1)=0時表示發(fā)生故障1,此時故障1計(jì)數(shù)器加一。當(dāng)故障1計(jì)數(shù)器大于設(shè)定的故障1閾值時,發(fā)出故障1報(bào)警,否則返回“正在開啟”提示語。

2.5 實(shí)驗(yàn)結(jié)果與分析

本次實(shí)驗(yàn)從視頻流中共截取100幀電梯關(guān)閉、開啟、開啟過程中和關(guān)閉過程中的圖像,其中相關(guān)的軟件環(huán)境為Python3.5和Opencv3.4.5計(jì)算機(jī)視覺庫;硬件環(huán)境為Broadcom BCM2837 1.2 GHz四核處理器,1G內(nèi)存;算法主要參數(shù)設(shè)置為,限角概率霍夫直線檢測算法累加器的起始角度為0°,終止角度為10°,累加器角度的分辨率為2°,概率霍夫直線檢測算法累加器角度分辨率為90°,其他參數(shù)與LA-PHT相同,LSD算法采用默認(rèn)參數(shù)。

(1)故障狀態(tài)檢測結(jié)果

利用多張電梯開關(guān)圖像模擬電梯故障1和故障2發(fā)生場景,驗(yàn)證了故障狀態(tài)檢測算法的有效性。

(a)故障1檢測結(jié)果

選取電梯關(guān)閉過程中的3幀圖像(電梯門幾乎在同一位置),模擬故障1場景。設(shè)置故障1閾值為2,則判斷出第3幀圖像中電梯門處于故障1狀態(tài),檢測結(jié)果如圖6所示。

(b)故障2檢測結(jié)果

選取電梯開啟過程中、關(guān)閉過程中和開啟的6幀圖像,將其分成2組,模擬故障2場景,即電梯重復(fù)“開啟—關(guān)閉中—開啟中”狀態(tài),重復(fù)兩次。設(shè)置故障2閾值為1,則判斷出第2組圖像中電梯“開啟中”為故障2狀態(tài),檢測結(jié)果如圖7所示。

(2)干擾情況檢測結(jié)果對比

(a)電梯花紋干擾下的檢測結(jié)果

檢測閉合狀態(tài)時,需要消除電梯門后鑲嵌的豎直花紋對電梯門縫定位的影響,利用霍夫圓檢測算法檢測出豎直條紋上的半圓,由此確定電梯門縫直線坐標(biāo)所在范圍,根據(jù)關(guān)閉狀態(tài)檢測算法判斷電梯門為關(guān)閉狀態(tài),結(jié)果如圖8所示。

(b)帶柵欄干擾的檢測結(jié)果

電梯門開啟時,右側(cè)窗戶柵欄會影響電梯右側(cè)門邊緣的定位,根據(jù)開啟狀態(tài)檢測算法,以電梯左側(cè)門邊緣為主要判定條件,判斷電梯門處于開啟狀態(tài),結(jié)果如圖9所示。

為了更全面評價上述3個算法在電梯門邊緣直線提取中的效果,本文引入查準(zhǔn)率P和查全率R,計(jì)算公式如下

式中:mT為正確幀數(shù),即在100幀圖像中正確檢測到電梯門邊緣圖像的幀數(shù);mF為誤檢幀數(shù),即將窗戶柵欄視為電梯門邊緣圖像的幀數(shù);mN為漏檢幀數(shù),即未檢測到電梯門邊緣圖像的幀數(shù),檢測結(jié)果如表1所示。由表1可知,在電梯門狀態(tài)監(jiān)測的應(yīng)用中,LSD算法擁有最高的查準(zhǔn)率和查全率,但耗時較長;限角概率霍夫直線檢測算法的查準(zhǔn)率優(yōu)于概率霍夫直線檢測算法,查全率與概率霍夫直線檢測算法接近,低于LSD算法;但LA-PHT提高了計(jì)算速率,具有更高的實(shí)時性,能夠滿足電梯物聯(lián)網(wǎng)遠(yuǎn)程監(jiān)控電梯門運(yùn)行狀態(tài)的時間要求。

表1 3種直線檢測算法電梯門狀態(tài)實(shí)驗(yàn)結(jié)果

(3)檢測耗時分析

(a)圖像預(yù)處理耗時比較

圖像預(yù)處理包括提取視頻圖像、圖像縮減、圖像灰度化、圖像濾波、Canny邊緣檢測和圖像膨脹。下面將提取視頻圖像和圖像縮減統(tǒng)稱為獲取圖像,其余部分統(tǒng)稱為圖像處理,耗時如表2所示。

表2 圖像預(yù)處理耗時

(b)直線檢測算法耗時比較

基于概率霍夫直線檢測算法、LSD算法和限角概率霍夫直線檢測算法檢測電梯門邊緣直線,并據(jù)此判斷電梯門是處于關(guān)閉還是開啟狀態(tài),耗時分別如表3-5所示。

表3 PHT算法判斷電梯門關(guān)閉和開啟狀態(tài)耗時

表4 LSD算法判斷電梯門關(guān)閉和開啟狀態(tài)耗時

表5 LA-PHT算法判斷電梯門關(guān)閉和開啟狀態(tài)耗時

由表3和表5可知,采用限角概率霍夫直線檢測算法提取電梯關(guān)閉和開啟狀態(tài)邊緣直線并判斷電梯門狀態(tài),其耗時比概率霍夫直線檢測算法減少10%。由表4和表5可知,LSD算法判斷電梯關(guān)閉和開啟狀態(tài)的耗時分別是限角概率霍夫直線檢測算法的9.1倍和13.4倍。實(shí)驗(yàn)結(jié)果表明,限角概率霍夫直線檢測算法的計(jì)算速率較高。

(c)判斷電梯狀態(tài)總耗時

概率霍夫直線檢測算法、LSD算法和限角概率霍夫直線檢測算法判斷電梯門狀態(tài)(不包括故障狀態(tài))的總耗時對比如表6所示。

表6 3種直線檢測算法判斷電梯門狀態(tài)總耗時對比

由表6可知,LSD算法判斷電梯門狀態(tài)的總耗時最長,LA-PHT算法判斷電梯門狀態(tài)的總耗時最少,比LSD算法判斷電梯門狀態(tài)速率提高了39.0%,比PHT算法提高了6.0%。圖像預(yù)處理占LA-PHT算法總耗時的89.5%,其中獲取圖像占用57.5%,耗時較多,影響響應(yīng)速度。

3 結(jié)論

本文針對電梯門狀態(tài)后裝監(jiān)測問題,設(shè)計(jì)了一種基于前置圖像處理的電梯門狀態(tài)檢測方法,提出的限角概率霍夫直線檢測算法在保證準(zhǔn)確率的情況下能夠有效減少算法時間復(fù)雜度。實(shí)驗(yàn)結(jié)果表明,限角概率霍夫直線檢測算法的查準(zhǔn)率和查全率均優(yōu)于概率霍夫直線檢測算法,比LSD算法判斷電梯門狀態(tài)速率提高了39.0%,比概率霍夫直線檢測算法提高了6.0%,具有更高的實(shí)時性,在電梯運(yùn)行監(jiān)測中具有較大應(yīng)用價值。其中獲取視頻流圖像占用算法57.5%的時間,后期將對獲取視頻流圖像的耗時進(jìn)行優(yōu)化。

本文提出的邊緣側(cè)電梯門狀態(tài)檢測方法在工程實(shí)施中具有以下優(yōu)勢:(1)更好的工程實(shí)施適應(yīng)性?？赏ㄟ^窄帶網(wǎng)絡(luò)將處理結(jié)果(開關(guān)量)上傳到服務(wù)器,降低了對網(wǎng)絡(luò)環(huán)境、帶寬和服務(wù)器性能的要求;(2)更低的成本,可滿足實(shí)時檢測要求?？稍谵I廂原攝像頭位置部署邊緣側(cè)計(jì)算設(shè)備,降低了改造成本和風(fēng)險,易于工程實(shí)現(xiàn)。