陳學(xué)軍

(1. 莆田學(xué)院機(jī)電工程學(xué)院，福建莆田 351100； 2. 重慶大學(xué)輸配電裝備及系統(tǒng)安全與新技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，重慶 400044)

0 引言

傳統(tǒng)的火災(zāi)探測(cè)方式，在大空間建筑和空氣流動(dòng)性大的場(chǎng)所，特別在戶外和野外環(huán)境下處于失效狀態(tài)，不能滿足消防探測(cè)要求。研究和解決降低大空間場(chǎng)合火災(zāi)危險(xiǎn)，一直是人們關(guān)注的熱點(diǎn)[1-2]。

隨著電子視頻技術(shù)的發(fā)展，采用視頻圖像檢測(cè)火焰得到越來(lái)越多地研究。視頻圖像不受氣流、環(huán)境等因素的影響，能夠直觀地通過(guò)圖像識(shí)別火焰，從而確定是否有火災(zāi)發(fā)生。在視頻火災(zāi)識(shí)別方面，國(guó)內(nèi)外學(xué)者提出了諸多方法和算法進(jìn)行視頻火焰識(shí)別和探測(cè)，從而降低誤報(bào)率[3-7]。在工程應(yīng)用中，往往需要定位出火焰具體位置，如文獻(xiàn)[8]在圖像型火災(zāi)探測(cè)器質(zhì)量檢驗(yàn)試驗(yàn)中需定位出火焰空間坐標(biāo)。然而，目前國(guó)內(nèi)火災(zāi)視頻探測(cè)技術(shù)還不完善，很多火災(zāi)視頻探測(cè)器還存在不足，檢測(cè)方法差別大，而且大多未對(duì)火焰坐標(biāo)定位[9-10]。

視頻攝像頭通過(guò)感光元件將現(xiàn)實(shí)環(huán)境映射到二維平面，導(dǎo)致深度信息無(wú)法存在，要逆向求解現(xiàn)實(shí)世界坐標(biāo)，不易于重構(gòu)三維空間環(huán)境。對(duì)于視覺定位方法和研究，目前主要在機(jī)器人方面有針對(duì)性研究[11-14]。文獻(xiàn)[15-17]提出了攝像機(jī)成像線性與非線性模型，給出了相應(yīng)畸變補(bǔ)償，運(yùn)用算法解方程。這些均存在隨著使用不同攝像機(jī)和安裝方式，攝像機(jī)模型中的計(jì)算參數(shù)就要重新標(biāo)定和校正，不利工程實(shí)際應(yīng)用。為此，在研制的視頻火災(zāi)探測(cè)器基礎(chǔ)上，構(gòu)建雙目攝像頭與現(xiàn)實(shí)世界空間坐標(biāo)變換模型，實(shí)現(xiàn)空間坐標(biāo)定位逆向求解，并考慮非線性畸變和雙目視差，近似定位火焰世界坐標(biāo)位置。

1 系統(tǒng)組成及其工作原理

系統(tǒng)由基于雙波段紅外視頻火災(zāi)探測(cè)器和中控服務(wù)器端組成。而前者由雙波段雙目攝像頭模塊、視頻采集處理模塊、通信聯(lián)動(dòng)模塊和中控服務(wù)器端組成，其原理框圖如圖1所示。

圖1 基于雙波段火災(zāi)探測(cè)器系統(tǒng)原理框圖

雙波段雙目攝像頭模塊包含了雙目攝像頭和特制光學(xué)結(jié)構(gòu)。其中一目攝像頭直接用于采集實(shí)際火焰場(chǎng)景圖。另外，考慮到太陽(yáng)光源以及火焰在紅外光譜段的差異，特制以4 250 nm左右濾光光學(xué)結(jié)構(gòu)作為另一目紅外IR CCD透射光范圍，來(lái)采集火焰灰度圖像。采用DM642對(duì)采集到的視頻圖像進(jìn)行火焰識(shí)別，運(yùn)用算法定位火焰中心坐標(biāo)位置，并將融合定位信息的視頻信號(hào)輸出到中控服務(wù)器端；一旦有火情，經(jīng)通信聯(lián)動(dòng)模塊啟動(dòng)中控火警。

2 空間坐標(biāo)變換模型

雙波段紅外視頻火災(zāi)探測(cè)器的最終目的是實(shí)現(xiàn)火焰定位坐標(biāo)。為此，最基本是提取視頻圖像中的火焰空間位置、形狀等幾何信息。然而攝像機(jī)采集到的圖像是二維信息，這就存在一種三維到二維空間的映射關(guān)系。涉及到幾種不同坐標(biāo)系相互變換，通過(guò)確定三維世界坐標(biāo)系與像素坐標(biāo)系的相互關(guān)系計(jì)算火焰空間位置坐標(biāo)。

攝像機(jī)空間成像可以用4個(gè)坐標(biāo)系變換來(lái)描述，其包括世界坐標(biāo)系(Ow-Xw-Yw-Zw)、攝像機(jī)坐標(biāo)系(Oc-Xc-Yc-Zc)、成像平面坐標(biāo)系(o-x-y)和像素坐標(biāo)系(o1-u-v)，它們之間示意圖如圖2所示。

圖2 攝像機(jī)成像空間坐標(biāo)變換示意圖

世界坐標(biāo)系即為現(xiàn)實(shí)世界坐標(biāo)，表征成像對(duì)象在現(xiàn)實(shí)世界中三維空間坐標(biāo)系，根據(jù)具體情況而定。攝像機(jī)坐標(biāo)系以鏡頭光心Oc作原點(diǎn)構(gòu)建三維坐標(biāo)系，其XcYc在焦平面上，與xy成像平面平行，并且zc軸重合于光軸，OcO是攝像機(jī)焦距f。xy成像平面坐標(biāo)系單位為物理量，而uv像素坐標(biāo)系以像素為單位。

現(xiàn)實(shí)世界三維空間Pw=(Xw,Yw,Zw)投影成像到二維uv像素坐標(biāo)平面上P1=(u,v)，需經(jīng)過(guò)圖2中的坐標(biāo)系進(jìn)行相互變換，其步驟如下。

2.1 世界與攝像機(jī)坐標(biāo)系相互變換

世界坐標(biāo)系與攝像機(jī)坐標(biāo)系的相對(duì)位置和姿態(tài)可由旋轉(zhuǎn)矩陣R和平移向量T來(lái)確定，如表達(dá)式(1)所示。

(1)

式中：(Xc,Yc,Zc)為Pw變換到攝像機(jī)坐標(biāo)系(Oc-Xc-Yc-Zc)中的坐標(biāo)；R為3×3旋轉(zhuǎn)正交矩陣；T為3×1平移向量，兩者決定了攝像機(jī)和世界坐標(biāo)系的關(guān)系；OT=(0，0，0)；M為4×4的矩陣。

2.2 攝像機(jī)與成像坐標(biāo)系相互變換

在攝像機(jī)坐標(biāo)系，任取一點(diǎn)P(Xc,Yc,Zc)，其投影在成像坐標(biāo)系的坐標(biāo)為P1=(x,y)。它是P點(diǎn)與光心Oc連線和成像坐標(biāo)面相交的交點(diǎn)。它們之間對(duì)應(yīng)關(guān)系見圖2，表達(dá)式為

(2)

而式(2)可用齊次矩陣表示為

(3)

2.3 成像與像素坐標(biāo)系相互變換

將成像坐標(biāo)系與像素坐標(biāo)系建立在同平面上，如圖3所示。

圖3 成像與像素坐標(biāo)系之間關(guān)系圖

成像坐標(biāo)系以光軸為坐標(biāo)原點(diǎn)；而像素坐標(biāo)系以平面左頂角為坐標(biāo)原點(diǎn)，它們之間關(guān)系可用式(4)確定。

(4)

式中:(u,v)為成像點(diǎn)位于像素坐標(biāo)系中的像素坐標(biāo)；dx、dy為每個(gè)像素位于成像坐標(biāo)系x、y軸方向上的單位長(zhǎng)度；(u1,v1)為成像原點(diǎn)坐標(biāo)位于像素坐標(biāo)系中的具體坐標(biāo)。

2.4 坐標(biāo)系空間變換

基于上述的世界坐標(biāo)系(Ow-Xw-Yw-Zw)、攝像機(jī)坐標(biāo)系(Oc-Xc-Yc-Zc)、成像平面坐標(biāo)系(o-x-y)和像素坐標(biāo)系(o1-u-v)之間的兩兩變換關(guān)系，易求已知世界三維中任一點(diǎn)映射到攝像機(jī)像素二維空間的坐標(biāo)。聯(lián)立式(1)、式(3)和式(4)，可以得到：

(5)

式中：u1、v1、f僅與攝像機(jī)結(jié)構(gòu)有關(guān)，稱為內(nèi)部參數(shù)；R和T與攝像機(jī)和世界坐標(biāo)系相對(duì)位置有關(guān)，稱為外部參數(shù)；N包含了攝像機(jī)內(nèi)部和外部參數(shù)，稱為投影矩陣。

3 現(xiàn)實(shí)定位坐標(biāo)求解

3.1 空間坐標(biāo)變換逆問(wèn)題

對(duì)于研制的雙波段紅外視頻火災(zāi)探測(cè)器可通過(guò)視頻處理方式獲取火焰成像質(zhì)心像素坐標(biāo)，而報(bào)警輸出應(yīng)顯示現(xiàn)實(shí)世界坐標(biāo)，這就需要對(duì)式(5)進(jìn)行逆向求解。而從式(5)可知，N為不可逆。因此，當(dāng)成像點(diǎn)是已知時(shí)，仍無(wú)法計(jì)算它的現(xiàn)實(shí)世界坐標(biāo)點(diǎn)。為此，假如參考平面位于世界坐標(biāo)系的Z=0平面上，即僅考慮平面坐標(biāo)成像，忽略Z坐標(biāo)參數(shù)，可得到式(6)。此時(shí)，N1矩陣則可逆，利用成像平面的像素坐標(biāo)即可求出現(xiàn)實(shí)世界坐標(biāo)系中點(diǎn)的二維平面坐標(biāo)，達(dá)到符合火災(zāi)探測(cè)器標(biāo)準(zhǔn)要求。

(6)

式中：R1為2×2旋轉(zhuǎn)正交矩陣；T1是2×1平移向量，攝像頭光軸處于世界坐標(biāo)系中的位姿由這兩個(gè)參數(shù)確定；OT=(0，0);N1為3×3的矩陣。

3.2 非線性校正模型

因攝像機(jī)制造工藝存在的缺陷和誤差等原因?qū)е禄儯@將無(wú)法使用上述線性模型表示成像關(guān)系，應(yīng)解決非線性畸變。在實(shí)際應(yīng)用中，往往各個(gè)攝像機(jī)存在的問(wèn)題不一樣，且不可確定，在精度要求可滿足的情況下，即可略忽不計(jì)。而文中提起應(yīng)用于火災(zāi)探測(cè)器，在現(xiàn)實(shí)世界坐標(biāo)逆向求解時(shí)，如果標(biāo)定平面在世界坐標(biāo)系的Z=0平面上，而實(shí)際往往攝像機(jī)的安裝均存在一定的角度，勢(shì)必造成真實(shí)平面與求解平面存在一定的角度θ，如圖4所示。為此，應(yīng)考慮因安裝角度產(chǎn)生的非線性畸變。

圖4 安裝與探測(cè)區(qū)域示意圖

圖4中，CG為攝像機(jī)的安裝高度，直線COF為光軸，平面ABW垂直于光軸交于O點(diǎn)且其為上述空間變換模型所在的物平面。而實(shí)際上平面ADW1才為世界空間物平面，視角∠ACD=β。假設(shè)點(diǎn)W(x,y)，則點(diǎn)W1(m,n)才是空間世界物點(diǎn)位置。

通過(guò)三角幾何關(guān)系，OB/FE=CO/CF，則

(7)

在△DEF中，根據(jù)正弦定理有FD/sin(∠FED)=EF/sin(∠EDF)，則

(8)

同理，推導(dǎo)DW1可得：

(9)

真實(shí)平面與求解平面上對(duì)應(yīng)點(diǎn)之間的坐標(biāo)關(guān)系可以近似表達(dá)成如式(7)和式(9)所得。

3.3 雙目視差

因研制的雙波段紅外視頻火災(zāi)探測(cè)器采用雙目攝像頭，其視覺如同人的2只眼睛。落入視角的同一個(gè)對(duì)象，在兩個(gè)視角的成像坐標(biāo)會(huì)存在偏差。構(gòu)建雙目視差模型如圖5所示。在圖5中，f是攝像頭焦距，B為雙目攝像頭之間的中心距離，O(X,Y,Z)是現(xiàn)實(shí)世界坐標(biāo)系中的一點(diǎn)坐標(biāo)。假設(shè)圖像中心在攝像機(jī)光軸上，并且有一個(gè)攝像頭坐標(biāo)系與世界坐標(biāo)系合在一起，攝像頭的成像平面平行于世界坐標(biāo)系，則Q點(diǎn)在雙目攝像頭平面坐標(biāo)系的位置分別為(x1,y1,z1)、(x2,y2,z2)，其中z1=z2=z。

圖5 雙目成像視差示意圖

當(dāng)攝像頭1與世界坐標(biāo)系重疊在一起，則空間點(diǎn)Q的X坐標(biāo)如下：

(10)

當(dāng)攝像頭2與世界坐標(biāo)系重疊在一起，則空間點(diǎn)Q的X坐標(biāo)如下：

(11)

則雙目攝像頭的坐標(biāo)系中心距離B存在如下關(guān)系：

X1=X2-B

(12)

聯(lián)立式(10)、式(11)、式(12)求解，可得：

(13)

在應(yīng)用中，便于檢測(cè)和對(duì)比，使用攝像頭參數(shù)相同，故f1=f2，則式(13)可轉(zhuǎn)化為

(14)

式(14)中，令D=x2-x1，稱為視差。當(dāng)物體與攝像頭距離Z、焦距f、基線B和視差D確定時(shí)，則可計(jì)算在視差下的世界坐標(biāo)值。在應(yīng)用時(shí)，雙目分別檢測(cè)，故最后世界坐標(biāo)可近似為X=(x1+x2)/2,Y=(y1+y2)/2。

4 實(shí)驗(yàn)與分析

根據(jù)坐標(biāo)變換求解模型，試驗(yàn)之前應(yīng)確定攝像頭視角和兩個(gè)攝像頭的基線長(zhǎng)度，安裝過(guò)程確保兩個(gè)攝像頭的X軸和Y軸重合。采用PAL制式攝像頭，像素為720×576，焦距f為6 mm，基線B為3.6 mm，水平α為42°, 垂直β為32°，安裝高度為4 m。在火災(zāi)探測(cè)器前方25 m處布置試驗(yàn)火盤，其尺寸大小為0.250 mm×0.250 mm，并使試驗(yàn)火盤處于攝像機(jī)視角內(nèi)，具體如圖6(a)所示。點(diǎn)燃火盤，待火焰穩(wěn)定后，再執(zhí)行二級(jí)防火操作，并記錄火災(zāi)坐標(biāo)值。其中，表1為試驗(yàn)定位火焰三組坐標(biāo)值，試驗(yàn)定位坐標(biāo)與實(shí)際坐標(biāo)值對(duì)比結(jié)果為|ΔX|≤0.21 m，|ΔY|≤0.37 m，滿足設(shè)計(jì)和文獻(xiàn)[8]要求。以同樣的方式，縮小試驗(yàn)燃燒盤大小，作用尺寸為0.060 mm×0.060 mm燒盤進(jìn)行一級(jí)防火操作試驗(yàn)，試驗(yàn)結(jié)果同樣滿足設(shè)計(jì)要求。同時(shí)，并有報(bào)警聯(lián)動(dòng)信號(hào)輸出，從點(diǎn)燃燒盤到發(fā)出聲報(bào)警的響應(yīng)時(shí)間小于10 s。

表1 攝像機(jī)像素和世界坐標(biāo)之間關(guān)系的試驗(yàn)數(shù)據(jù)結(jié)果

另外，為了方便試驗(yàn)調(diào)試程序和攝像機(jī)標(biāo)定，文中以蠟燭和打火機(jī)的火焰作為識(shí)別源。該火災(zāi)探測(cè)器的其中一目彩色攝頭采集到地火焰效果如圖6(b)所示。其核心DM642運(yùn)用火焰識(shí)別算法對(duì)雙波段視頻圖像分析處理和識(shí)別，并基于文中提到的坐標(biāo)變換模型將定位的火焰坐標(biāo)與彩色視頻融合輸出至消控中心，其火焰定位效果如圖6(c)所示。該火災(zāi)探測(cè)器可分辨火焰的最小成像尺寸是2×2像素。

(a)試驗(yàn)示意圖

(b)火焰彩色圖

(c)火焰中心定位圖

該試驗(yàn)表明，基于文中提出的空間變換方法可識(shí)別火焰并定位中心坐標(biāo)，同時(shí)又能聯(lián)動(dòng)火警；平時(shí)無(wú)火情時(shí)，又可用于安防視頻監(jiān)控，能滿足工程多功能應(yīng)用。

5 結(jié)論

研制的雙波段紅外視頻火災(zāi)探測(cè)器采用坐標(biāo)變換逆求解模型實(shí)現(xiàn)定位火焰世界坐標(biāo)系中位置，雖然在畸變和視差進(jìn)行了近似求解，但試驗(yàn)定位坐標(biāo)與實(shí)際坐標(biāo)值對(duì)比結(jié)果為|ΔX|≤0.21 m，|ΔY|≤0.37 m，誤差滿足設(shè)計(jì)和國(guó)標(biāo)要求，且報(bào)警響應(yīng)小于10 s。目前，已有一些基于傳統(tǒng)線性模型和非線性求解算法，但是對(duì)于攝像機(jī)的標(biāo)定要求較高，受限于每一臺(tái)攝像機(jī)參數(shù)，不利于工程應(yīng)用推廣。而采用本文提起的方法計(jì)算量小，定位誤差小。一旦攝像機(jī)確定，計(jì)算參數(shù)和標(biāo)定不隨安裝方式等變化，工程現(xiàn)場(chǎng)安裝不用過(guò)多調(diào)試，易于實(shí)現(xiàn)，即可保證定位精度要求。此外，該火災(zāi)探測(cè)器可實(shí)時(shí)輸出視頻，無(wú)火情時(shí)作為安防監(jiān)控。