劉光偉，蔡 毅,2，陳東啟，王嶺雪

專欄：〈紅外光學(xué)系統(tǒng)〉

考慮廣角鏡頭畸變的精確目標識別距離估算

劉光偉1，蔡 毅1,2，陳東啟1，王嶺雪1

（1. 北京理工大學(xué) 光電學(xué)院，光電成像技術(shù)與系統(tǒng)教育部重點實驗室，北京 100081；2. 中國兵器科學(xué)研究院，北京 100089）

人臉識別和車牌識別是智慧安防領(lǐng)域的重要內(nèi)容。人臉和車牌的特征尺度小、細節(jié)豐富，對成像系統(tǒng)的空間分辨力有較高要求，需要較大規(guī)模的探測器和高傳函、小畸變的光學(xué)鏡頭。然而，安防系統(tǒng)又要求廣域監(jiān)控，需要使用視場大但具有一定畸變的廣角鏡頭。因此，設(shè)計既能精確識別人臉和車牌目標、又能廣域監(jiān)控的成像系統(tǒng)時，應(yīng)將精確目標識別作為約束來權(quán)衡高空間分辨力和大視場的性能指標以及估計識別距離。在這樣的應(yīng)用需求下，本文提出了像素面密度對精確目標進行統(tǒng)一描述，并提出了考慮廣角鏡頭徑向畸變的精確目標識別距離估算方法，通過對存在旋轉(zhuǎn)和平移的人臉和車牌目標進行計算驗證，結(jié)果表明：考慮徑向畸變后實際識別距離較理論識別距離近，且人臉和車牌平移距離分別為1m和2m時，實際與理論的識別距離差異高達34.2%和27.5%。

識別距離；廣角鏡頭；徑向畸變；目標識別；像素面密度

0 引言

人臉識別[1-3]和車牌識別[4-5]是智慧安防[6]領(lǐng)域的重要內(nèi)容，尤其在新冠肺炎防控形勢下，人臉識別技術(shù)更是與非接觸、高靈敏的紅外測溫結(jié)合，在人流量較密集的車站、商超、醫(yī)院和學(xué)校等場所迅速檢測出體溫異常人員并通過人臉識別確認人員身份，為疫情防控提供精準數(shù)據(jù)和智能支持。人臉和車牌的特征尺度小、細節(jié)豐富，對成像系統(tǒng)的空間分辨力有較高要求，需要較大規(guī)模的探測器和高傳函、小畸變的光學(xué)鏡頭。然而，安防系統(tǒng)又要求廣域監(jiān)控，需要使用視場大但具有一定畸變的廣角鏡頭。廣角鏡頭的焦距通常介于13～38mm之間，短于標準鏡頭但長于魚眼鏡頭，對角視場角一般為60°～118°，水平視場角約為50°～110°[7]，優(yōu)點是視場大、景深大，缺點是圖像存在徑向畸變。徑向畸變[8-9]會改變圖像中目標的幾何形狀和大小，在畸變較大的圖像區(qū)域會影響目標識別距離的估算。約翰遜準則[10-11]是描述光電成像系統(tǒng)探測性能的經(jīng)典判據(jù)，主要適用于距離較遠的多類目標的識別，例如區(qū)分人的性別和車輛的類型，但不涉及人員身份和車牌號這種精細信息的識別。隨著智能化技術(shù)的發(fā)展，精確識別人臉、車牌等精細目標已經(jīng)成為智能攝像頭、智慧安防系統(tǒng)的基本功能。因此，需要將精確目標識別作為約束來權(quán)衡高空間分辨力和大視場的性能指標以及估計識別距離。為此本文提出了像素面密度對精確目標進行統(tǒng)一描述，并提出考慮廣角鏡頭徑向畸變的精確目標識別距離估算方法，通過對存在旋轉(zhuǎn)和平移的精確目標進行計算驗證。

1 人臉和車牌等精確目標的描述和識別指數(shù)

我國[12-13]使用像素數(shù)描述人臉（face）和車牌（license plate），并提出識別人臉和車牌的指數(shù)，如表1所示，規(guī)定人臉瞳孔間距占30個像素以上、車牌水平長度占100個像素以上時可以認清（identification）人員身份和車牌號；歐盟[14]和英國[15]分別使用單個像素對應(yīng)的目標長度和目標-屏幕比（target-screen ratio, TSR）描述人（person）目標，歐盟規(guī)定認清人的識別指數(shù)應(yīng)大于4mm/像素，英國則規(guī)定TSR應(yīng)大于100%，如表1所示。

表1 識別標準與識別指數(shù)

智能目標識別主要由計算機完成，不需要顯示在顯示器上由觀察者識別，且顯示器有多種尺寸和分辨率，故英國的TSR的實際操作性較差。我國和歐盟識別指數(shù)的本質(zhì)是每個像素對應(yīng)目標的水平長度，但實際上圖像傳感器每個像元對應(yīng)的是真實物理空間的二維區(qū)域，而不是水平線段。因此，本文提出使用像素面密度（單位為pixels/m2）描述人臉和車牌。根據(jù)我國成年人面部尺寸和機動車號牌的標準[16-17]，可知男性瞳孔間距為60mm，女性瞳孔間距為58mm，小型汽車號牌尺寸為440mm×140mm，將我國和歐盟的識別指數(shù)標準換算到最小像素面密度，如表2所示，其中還給出了探測、識別和認清人時所需的像素面密度。對于人目標，探測（detection）定義為能夠確定有人存在；識別（recognition）定義為能夠高度確認目標一定是人，且能分清是成人還是兒童、是男人還是女人；認清（identification）定義為能夠看到人的頭部、軀干、四肢等細節(jié)，但不一定能認清人臉并確認人的身份。從表2可看出，人臉識別的本質(zhì)是認清人的面部細節(jié)后確認人的身份，因此其所需的像素面密度是認清人的4倍。人臉和車牌識別在文字上雖然使用“識別”二字，但探測等級上相當于“認清（identification）”。

表2 識別人臉、車牌和人所需的最小像素面密度

2 考慮徑向畸變的識別距離估算

在使用約翰遜準則的遠距離目標識別中，與距離相比，廣角鏡頭徑向畸變的影響可以忽略不計，也不需要嚴格考慮目標與相機之間的位置關(guān)系。相對地，人臉和車牌識別屬于近距離精確目標識別，識別這些精確目標時需要考慮識別所需最小像素面密度，因此，定義精確目標識別距離為該目標成像后對應(yīng)的圖像像素面密度等于識別所需最小像素面密度時目標與相機之間的距離。精確目標識別需要考慮鏡頭畸變、目標與相機之間的位置關(guān)系，故需要建立目標、相機和圖像的坐標系，并進行三者之間的坐標轉(zhuǎn)換。

2.1 光學(xué)鏡頭徑向畸變建模

光學(xué)鏡頭的徑向畸變是光線的彎曲程度在透鏡邊緣大于透鏡中心導(dǎo)致的，造成的圖像畸變以透鏡中心為原點，距離原點越遠，畸變程度越大。徑向畸變有兩類，長焦鏡頭的枕形畸變和廣角鏡頭的桶形畸變，畸變示意圖如圖1所示。本文主要討論廣角鏡頭的桶形畸變。

建立徑向畸變的數(shù)學(xué)表達式為：

式中：(x,y)為不考慮徑向畸變的理論像素點坐標；(xd,yd)為考慮徑向畸變的實際像素點坐標；r為極徑，表示理論像素點與中心點的歐式距離；k1、k2、k3為徑向畸變系數(shù)，廣角鏡頭取k1、k2兩項即可滿足對徑向畸變模型的擬合要求。

2.2 目標、相機和圖像像素坐標系以及引入廣角鏡頭徑向畸變的坐標轉(zhuǎn)換

正面對人臉和車牌目標進行識別時效果最佳，目標偏轉(zhuǎn)角度越大則識別效果越差，因此，將目標正面作為標準面來等效目標，以標準面中心為原點建立目標坐標系o-o-o；以相機中心為原點，光軸方向為軸建立相機坐標系c-c-c；以圖像左上角為原點建立圖像像素坐標系-。目標、相機和圖像像素坐標系示意圖如圖2所示。

圖2 坐標系構(gòu)建

相機坐標系固定不動，改變目標坐標系，利用歐拉角(,,)描述目標相對于相機的旋轉(zhuǎn)關(guān)系，其中、、分別表示目標繞o軸、o軸和o軸正向沿順時針方向旋轉(zhuǎn)的角度。取值不影響目標成像后的像素面密度，故將其置為0。將歐拉角(0,,)轉(zhuǎn)換為旋轉(zhuǎn)矩陣以進行齊次坐標運算，轉(zhuǎn)換公式為：

利用平移向量(t,t,t)描述目標相對相機的平移關(guān)系，其中t、t、t分別表示目標沿c軸、c軸和c軸正向移動的距離。考慮式(2)的旋轉(zhuǎn)和平移，目標坐標轉(zhuǎn)換為相機坐標的公式為：

式中：(o,o,o)為目標坐標點；(c,c,c)為相機坐標點。由于相機坐標系c-c-c的原點在相機中心，所以本文討論的目標在水平和垂直方向的平移距離代表著目標偏離相機中心的距離。亦即對于相機視場，在視場中心的目標平移距離小，離視場中心越遠其平移距離越大。實際應(yīng)用中，相機視場內(nèi)通常有多個目標，使用廣角鏡頭后視場增大，可包含的目標數(shù)量更多，但由于廣角鏡頭畸變的影響，處于視場邊緣的目標通常有較大的變形。為便于將公式變量與實際應(yīng)用結(jié)合，需要注意的是本文中目標平移距離均代表實際應(yīng)用中目標偏離相機中心的距離。

減少相機坐標點的維度，將其轉(zhuǎn)換到距離相機為單位1的平面上，對相機坐標歸一化，得到：

將式(1)的徑向畸變引入式(4)，用(d,d)代替(,)作為包含徑向畸變的歸一化相機坐標。

相機內(nèi)參矩陣描述相機坐標到像素坐標的平移與縮放轉(zhuǎn)換關(guān)系，內(nèi)參矩陣為：

式中：(f,f)為相機在和方向上的像素焦距，(c,c)為相機主點位置。

引入廣角鏡頭徑向畸變的相機坐標轉(zhuǎn)換到像素坐標的公式為：

式(3)～式(6)可將精確目標成像到圖像上且可知其占據(jù)的像素數(shù)，進而得到精確目標對應(yīng)的像素面密度。將平移向量中z的值從0開始逐漸增大，計算出精確目標在不同t下對應(yīng)的像素面密度，當像素面密度值等于識別該精確目標所需最小像素面密度時，對應(yīng)的t即為該精確目標的識別距離。

3 人臉和車牌識別距離估算

3.1 估算流程

考慮廣角鏡頭徑向畸變的精確目標識別距離估算流程為：

①利用旋轉(zhuǎn)矩陣和平移向量的式(3)將目標坐標轉(zhuǎn)換到相機坐標；

②利用式(4)歸一化相機坐標并引入徑向畸變；

③利用式(5)的內(nèi)參矩陣和式(6)將包含徑向畸變的相機坐標轉(zhuǎn)換為像素坐標；

④計算目標在圖像上占據(jù)的像素數(shù)和對應(yīng)的像素面密度；

⑤通過判斷實際計算的像素面密度是否大于表2中的識別指數(shù)來估算識別距離。

3.2 估算結(jié)果

人臉和車牌識別需要的最小像素面密度分別為267289pixels/m2和51984pixels/m2，以FLIR公司型號為BB2-08s2的相機中含有的典型徑向畸變值1＝－0.6，2＝0.35作為畸變系數(shù)，估算不同視場角和分辨率的廣角相機對存在旋轉(zhuǎn)和平移的人臉與車牌目標的實際識別距離，并與不考慮畸變的理論識別距離進行比較。

廣角鏡頭水平視場角約為50°～110°，圖像傳感器長寬比例通常為16:9，常用分辨率與對應(yīng)像素數(shù)有1280×720（1M）、1920×1080（2M）、2560×1440（4M）和3840×2160（8M）這4種。目標相對相機不存在旋轉(zhuǎn)與平移，改變相機水平視場角和分辨率，得到的人臉與車牌識別距離數(shù)據(jù)如表3所示。

固定相機分辨率為1920×1080，視場角為80°，討論人臉和車牌目標存在旋轉(zhuǎn)的情況。首先目標只繞軸旋轉(zhuǎn)一定角度，其次目標同時繞軸和軸旋轉(zhuǎn)相同角度。不同旋轉(zhuǎn)角度下識別距離如圖3所示。

表3 識別距離與視場角和分辨率的關(guān)系

圖3 識別距離與旋轉(zhuǎn)角度的關(guān)系

由表3和圖3知，其他條件不變時，識別距離隨視場角增大而減小，隨分辨率增大而增大，隨目標旋轉(zhuǎn)角度增大而減小，且當目標同時沿兩軸旋轉(zhuǎn)時，識別距離的下降程度更大。旋轉(zhuǎn)角度小于70°時，能夠有效識別目標并進行距離估算，當旋轉(zhuǎn)角度較大甚至達到90°時，將無法有效識別目標。上述情況下，目標相對相機不存在平移，故目標成像在徑向畸變程度很小的圖像中心，此時考慮徑向畸變得到的實際識別距離與不考慮徑向畸變得到的理論識別距離基本相同，差異不超過1cm。

固定相機分辨率為1920×1080、視場角為80°，保證目標均處于相機視野內(nèi)，討論目標相對相機存在平移時的識別距離。不同平移距離下的識別距離如圖4所示，其中實線表示考慮徑向畸變的實際情況，在圖例中用字母d表示，虛線表示不考慮徑向畸變的理論情況，灰色平面表示識別人臉或車牌目標對應(yīng)的最小像素面密度，曲線與平面交點的距離坐標值即為最遠識別距離。

徑向畸變大小與極徑長度相關(guān)，極徑越長，徑向畸變越大。識別距離與極徑長度的關(guān)系如圖5所示，其中實線表示考慮畸變的實際情況，在圖例中用字母d表示，虛線表示不考慮畸變的理論情況。

從圖5可看出，不考慮徑向畸變的理論識別距離不受目標平移影響，人臉識別距離始終為2.22m，車牌識別距離始終為5.02m。考慮徑向畸變后，平移距離越大，極徑越長，可識別距離越近。因為平移距離越大，目標成像位置距圖像中心越遠，徑向畸變造成的成像壓縮程度越大，從而使圖像上目標的像素面密度減小，只有距離靠近才能再次滿足像素面密度要求，這也符合存在徑向畸變后可識別距離會變近的實際情況。人臉和車牌在不同平移距離下的識別距離差異如表4所示。當平移距離為1m時，人臉和車牌實際與理論識別距離差異分別為0.76m和0.26m，相差比例分別為34.2%和5.2%。當車牌平移距離為2m時，識別距離差異為1.38m，相差比例高達27.5%。可見當平移距離較大時，徑向畸變對識別距離影響也很大。

圖4 像素面密度與平移距離的關(guān)系

表4 實際識別距離與理論識別距離的差異

圖5 識別距離與極徑的關(guān)系

徑向畸變對存在平移和旋轉(zhuǎn)車牌成像后所占據(jù)的像素區(qū)域大小影響如圖6所示，其中虛線框代表不考慮徑向畸變的理論情況，實線框代表考慮徑向畸變后的實際情況。中間黑色框?qū)?yīng)的車牌不存在旋轉(zhuǎn)和平移，左上方紅色框只存在平移，左下方青色框存在平移但平移距離較紅色框短，右上方紫色框存在平移和繞軸的旋轉(zhuǎn)，右下方藍色框存在平移和同時繞、軸的旋轉(zhuǎn)。

圖6 徑向畸變效果

從圖6可知，徑向畸變的特性使得只有當物體存在平移時，畸變的存在才會影響目標成像后對應(yīng)的像素區(qū)域大小，進而改變像素面密度。根據(jù)前面的分析，引入旋轉(zhuǎn)之后，會疊加上旋轉(zhuǎn)對像素面密度的影響。同樣的，改變相機分辨率和視場角，也會在平移對像素面密度改變的基礎(chǔ)上再疊加額外的影響因素。利用本文提出的方法，可以估算出考慮徑向畸變后的實際識別距離，并得到與理論識別距離之間的差異。

4 結(jié)論

本文提出了像素面密度對人臉和車牌進行統(tǒng)一描述，并設(shè)計了考慮廣角鏡頭徑向畸變的精確目標識別距離估算方法。該方法首先建立徑向畸變的數(shù)學(xué)模型，并以目標、相機和圖像像素坐標系為基礎(chǔ)，將徑向畸變引入到目標、相機和像素坐標系統(tǒng)的轉(zhuǎn)換公式中，從而反映出徑向畸變對目標成像后對應(yīng)像素面密度的改變。通過對存在旋轉(zhuǎn)和平移的人臉和車牌目標的識別距離進行估算，并與不考慮徑向畸變的理論識別距離進行對比。結(jié)果表明：該方法能夠解決存在徑向畸變的廣角相機對精確目標識別距離進行估算的問題，得到的實際識別距離相較于理論識別距離更加符合實際，其中人臉和車牌平移距離分別為1m和2m時，實際與理論的識別距離差異高達34.2%和27.5%，這表明考慮徑向畸變對精確目標識別距離的估算至關(guān)重要。

綜上，廣角鏡頭應(yīng)用于智慧安防監(jiān)控系統(tǒng)時，雖然視場角增大、可包含的目標數(shù)量增多，但與位于視場中心的目標相比，位于視場邊緣的目標的像素面密度會減小，識別距離也會減小。因此，智慧安防領(lǐng)域的工程人員應(yīng)關(guān)注廣角鏡頭畸變對目標識別距離的影響，尤其對于視場邊緣的目標，可采用超分辨力技術(shù)、增加用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的畸變圖像樣本數(shù)量等方法來提高精確目標的識別率。

[1] Taskiran M, Kahraman N, Erdem C E. Face recognition: past, present and future (a review)[J]., 2020, 106: 102809.

[2] DING C, TAO D. A comprehensive survey on pose-invariant face recognition[J]., 2016, 7(3): 37.

[3] WANG Zhenzhou, ZHANG Xu, YU Pingping, et al. A new face recognition method for intelligent security[J]., 2020, 10(3): 852.

[4] Ahmed A U, Masum T M, Rahman M M. Design of an automated secure garage system using license plate recognition technique[J]., 2014, 6(2): 22-28.

[5] Baran R, Rusc T, Fornalski P. A smart camera for the surveillance of vehicles in intelligent transportation systems[J]., 2016, 75(17): 10471-10493.

[6] CHUNG Y N, LU T C, HUANG Y X, et al. Applying image recognition technology to intelligent security management systems[C]//(AIIE 2015), 2015: 117-120.

[7] Abramkina D E, Khatsevich T N. Analysis of optical systems of extremely wide-angle lenses for digital cameras[J]., 2020, 6(1): 3-10.

[8] Juarez-Salazar R, ZHENG J, Diaz-Ramirez V H. Distorted pinhole camera modeling and calibration[J]., 2020, 59(36): 11310-11318.

[9] WU F, WEI H, WANG X. Correction of image radial distortion based on division model[J]., 2017, 56(1): 013108.

[10] Johnson J. Analysis of image forming systems[C]//, 1958, 513(513): 761.

[11] Leachtenauer J C. Resolution requirements and the Johnson criteria revisited[J]., 2003, 5076: 1-15.

[12] 中國國家標準化管理委員會. 公共安全人臉識別應(yīng)用圖像技術(shù)要求: GB/T 35678-2017[S]. 中國標準出版社, 2017.

Standardization Administration of the People's Republic of China. Public Security Face Recognition Application Technical Requirements for Face Images: GB/T 35678-2017[S]., 2017.

[13] 中國國家標準化管理委員會.機動車號牌圖像自動識別技術(shù)規(guī)范: GA/T 833-2016[S]. 中國標準出版社, 2016.

Standardization Administration of the People's Republic of China. License plate of motor vehicle of the People’s Republic of China: GA/T 833-2016[S]., 2016.

[14] European Committee for Electrotechnical Standardization. Video surveillance Systems for Use in Security Applications - Part 4: Application Guidelines: UNE-EN 62676-4-2015[S]., 2014.

[15] Tony Mansfield.:[M]. UK: Home Office Scientific Development Branch, 2014: 4-12.

[16] 中國國家標準化管理委員會. 成年人頭面部尺寸: GB/T 2428-1998[S]. 中國標準出版社, 1998.

Standardization Administration. Head-face Dimensions of Adults: GB/T 2428-1998[S]., 1998.

[17] 中國國家標準化管理委員會. 中華人民共和國機動車號牌: GA 36-2018[S]. 中國標準出版社, 2018.

Standardization Administration. License Plate of Motor Vehicle of the People’s Republic of China: GA 36-2018[S]., 2018.

Distance Estimation for Precise Object Recognition Considering Geometric Distortion of Wide-angle Lens

LIU Guangwei1，CAI Yi1,2，CHEN Dongqi1，WANG Lingxue1

(1.,,,100081,; 2.,100089,)

Face and license plate recognition are crucial aspects in the field of intelligent security. A high-spatial-resolution imaging system with a large-format detector and low-distortion optical lens is requiredfor recognizing small-scale features and rich details in faces and license plates. However, security systemsneed to monitor wide area, which requires a wide-angle lens with a wide field of view,but with some distortion. Therefore, precise target recognition should be used as a constraint to balance the high spatial resolution and wide field of view when designing an imaging system that canrecognize details and monitor a wide area. Under such application requirements, an evaluation index based on pixel areal density is proposed. With the aid of this evaluation index, a distance estimation method for precise object recognition, considering the radial distortion of the wide-angle lens, was designed. Rotated and translated faces and license plates were used to demonstrate the estimation method. The results indicate that the recognition distance with radial distortion is less than that without radial distortion. When the translation distance is 1m and 2m, the difference between the actual recognition distance and the ideal recognition distance is 34.2% and 27.5%, respectively.

recognition distance, wide-angle lens, radial distortion, object recognition, pixel areal density

TN211

A

1001-8891(2021)12-1158-08

2021-02-01；

2021-03-08.

劉光偉（1995-），男，湖南婁底人，碩士研究生，主要從事全景成像和圖像處理的研究。E-mail：bitlgw@126.com。

王嶺雪（1973-），女，云南石屏人，副教授，博士，主要從事紅外成像、圖像處理和紅外光譜等方面的研究。E-mail：neobull@bit.edu.cn。

前言：紅外光學(xué)系統(tǒng)是紅外光電設(shè)備的眼睛，位于紅外光電設(shè)備的最前端，是紅外光電設(shè)備最重要的組成部分之一，其性能的好壞直接決定著紅外光電設(shè)備的整機性能。由于紅外光學(xué)系統(tǒng)具有被動成像、不易被干擾、識別偽裝能力強、可全天時工作、探測靈敏度高等優(yōu)點，因此廣泛應(yīng)用于光電偵察、航空航天、空間遙感、精確制導(dǎo)、火災(zāi)搜救、電力巡檢、醫(yī)學(xué)檢查等領(lǐng)域。

紅外光學(xué)系統(tǒng)涉及光學(xué)理論，像差理論，光機優(yōu)化，光學(xué)材料，紅外器件，光學(xué)制造，集成測試等多個領(lǐng)域，隨著科學(xué)技術(shù)的快速發(fā)展，紅外光學(xué)系統(tǒng)向著多次成像結(jié)構(gòu)，多視場，大相對孔徑，寬溫度范圍，多波段，一體化，小型化，集成化，輕量化等方向發(fā)展。

為了促進科研人員在紅外光學(xué)系統(tǒng)領(lǐng)域交流的最新成果，2021年12期，《紅外技術(shù)》推出了“紅外光學(xué)系統(tǒng)”專欄，共收錄8篇學(xué)術(shù)論文，內(nèi)容涉及二次成像結(jié)構(gòu)的中波紅外折反射式光學(xué)系統(tǒng)設(shè)計，大相對孔徑的長波紅外變焦無熱化光學(xué)系統(tǒng)設(shè)計，制冷型中/長紅外a雙波段一體化全反射式光學(xué)系統(tǒng)設(shè)計，考慮廣角鏡頭畸變的精確目標識別距離估算，機載小型化中波紅外連續(xù)變焦光學(xué)系統(tǒng)設(shè)計，紅外探測器集成光學(xué)系統(tǒng)低溫評價方法研究等，涉及領(lǐng)域較廣，旨在集中反映報道紅外光學(xué)系統(tǒng)領(lǐng)域的新動態(tài)和發(fā)展趨勢，為相關(guān)科研人員和廣大讀者提供學(xué)術(shù)價值參考，為紅外光學(xué)系統(tǒng)的研究發(fā)展提供一些新的思路。

最后，感謝專欄論文所有作者的卓越貢獻。

——白 瑜