呂媛媛，劉朝暉，喬文龍，周亮，孫笑敩，陳沛權，李文凱，張海洋

（1 中國科學院西安光學精密機械研究所， 西安 710119）

（2 中國科學院大學，北京 100049）

（3 中國科學院空間精密測量技術重點實驗室，西安 710119）

0 引言

事件相機作為一種新型的仿生類傳感器，可以實現對目標的高時間分辨率、高動態(tài)范圍、低帶寬、低功耗、低延遲的實時探測。傳統相機按照固定幀率成像，而事件相機對場景中每個像素的亮度變化做出異步和獨立的響應，將信息在讀出時打包為一個數據包，即“事件”。通過對事件流的圖像重建，可以實現目標探測［1］。

2006年，LICHTSTEINER P等提出了第一個商用的事件相機［2］，稱為動態(tài)視覺傳感器（Dynamic Vision Sensor，DVS），以微秒級時間分辨率響應亮度相對變化。2011年，POSCH C等提出了基于異步時間的圖像傳感器（Asynchronous Time-based Image Sensor，ATIS ）［3］，在DVS的結構基礎上，增加了一個曝光結構，讓兩個光感受器同時工作，在輸出事件的同時曝光獲取一定的灰度信息。2013年DELBRUCK T等針對ATIS在光強變化緩慢的情況下易出現曝光異常的情況提出了動態(tài)主動像素視覺傳感器（Dynamic and Active Pixel Vision Sensor，DAVIS）［4-5］，將傳統相機與事件相機相結合，利用事件相機的光感受器同步曝光，同時得到事件信息與灰度信息。到目前為止，國內外有許多商業(yè)公司致力于事件相機的發(fā)展與商用，包括韓國Samung公司、法國Prophesee公司、瑞士IniVation公司和中國芯侖科技公司等［6］。

基于事件相機獨特的優(yōu)勢，事件相機被各個領域的研究者所關注。例如在特征檢測與跟蹤領域，實現了目標高精度的實時跟蹤［7-11］，并可應用于微觀粒子的跟蹤與測速［12］。在同步定位和測繪中也成為一種流行且有前途的視覺傳感器［13-15］，在機器人、無人機中得到了廣泛的應用。事件相機同樣被用于立體匹配與深度估計［16-19］?；谑录鄼C的視覺位姿估計問題也是移動機器人領域的一個研究熱點問題，并且已經取得了顯著進展［20-22］。

隨著事件相機的發(fā)展，基于事件相機的空間目標探測逐漸被研究人員所關注。2017年COHEN G等證明了使用事件相機（借助望遠鏡）觀察空間物體的可行性［23］。2018年，CHEUNG B等實現了基于事件流數據的目標自動檢測與跟蹤［24］。同年CHIN T J等使用事件相機進行了恒星跟蹤［25］，相比于傳統傳感器具有更低的功耗和更高的運行速度，在航天領域有重大意義。2020年，BAGCHI S等提出了一種基于事件相機的恒星跟蹤處理方法［26］，對恒星場的事件流進行操作，實現了更高效準確的恒星跟蹤。事件相機在空間目標探測領域中展示了巨大的潛力，但該方面研究成果還比較少，缺乏基礎理論支撐。本文結合空間目標觀測成像過程與事件相機成像原理，分析了事件相機進行空間目標觀測的成像原理。以星等為評估標準建立了事件相機空間目標探測靈敏度模型，明確了影響事件相機空間目標成像能力的重要因素。最后進行了外場觀星實驗，對所提模型進行了驗證。

1 基于事件相機的空間目標探測靈敏度模型

空間目標觀測的成像過程是一個復雜的光電轉化過程，其觀測成像過程如圖1所示，目標信號（反射太陽光信號以及星空背景信號）經過空間傳輸后，進入光學系統，在焦平面探測器上感光，通過信號電路處理成數字圖像。

圖1 空間目標光電成像過程Fig.1 Photoelectric imaging process of space target

1.1 空間目標傳統探測能力

在光學系統一定的情況下，探測器對探測系統探測性能起決定性作用，在空間目標觀測中，較為常用的是電荷耦合器件（Charge-Coupled Device，CCD）及互補金屬氧化物半導體（Complementary Metal Oxide Semiconductor，CMOS）。

以星等為探測器空間目標成像能力的評估標準，目標光在入瞳處的極限星等表示為［27］

由式（1）可知，當光學系統固定時，探測器曝光時間與信噪比閾值是影響探測器探測靈敏度的重要因素。為了模擬仿真得到信噪比閾值設置對系統探測能力的影響，本文參考FLIR公司BFS-U3-51S5M-C相機以及CPC celestron 8′′望遠鏡參數，對空間目標探測靈敏度影響因素設置典型參數為：平均波長λ=0.55 μm，大氣透過率τ1=0.4，光學系統有效通光口徑D=0.2 m，光學系統透過率τ0=0.7，背景噪聲產生的光電子數NB=50 photon/s，CCD像元大小a=3.45 μm，光學系統造成的彌散斑直徑d=1.8a即1.8個像元大小，平均量子效率η=0.28，暗電流產生的光電子數ND= 20 photon/s，普朗克常數h=6.62×10?34J?s，光速c=3×108m/s，t0為曝光時間，Tsn為信噪比閾值。

根據上述參數模擬了不同曝光時間下，信噪比閾值與探測極限星等的關系，如圖2所示，一般情況下要求探測率大于99%，虛警率小于1%，信噪比閾值取值應大于5。

圖 2 傳統探測器信噪比閾值與極限星等的關系Fig.2 Relationship between the signal-to-noise ratio threshold and the limit magnitude of traditional detectors

由圖2可知，曝光時間增加，系統探測靈敏度變高，可探測的極限星等變高，主要因為曝光時間增加，圖像傳感器積分產生更多的電子，輸出的信號增強，信噪比增大。相應的，信噪比閾值要求降低，所需信號強度降低，探測器理論上可以探測到的星等變高。取探測器信噪比閾值為5，積分時間為50 ms時，探測器可探測到的極限星等約為10等星，與實際觀測結果一致。

1.2 事件相機目標探測機理

事件相機感光像素單元電路設計如圖3（a）所示，使用了對數光感受器、差分放大器和比較器，這樣的電路結構設計使得事件相機具有高靈敏度、高動態(tài)范圍以及低延時的特性。事件相機單個感光像素單元產生事件的過程如圖3（b）所示。將某一時刻某個感光像素單元u=(i，j)T監(jiān)測到的光照強度設為I=(u，t)，對得到的光照強度取對數運算，如果在?t范圍內的變化量超過設定的閾值Cth，即則該感光像素單元被激活并產生事件，其中?t表示同一像素地址的前一個事件與該事件發(fā)生的時間間隔，閾值Cth可人為設定。當像素單元被激活后輸出事件ek=(xk，yk，tk，pk)，其中(xk，yk)表示事件發(fā)生的像素地址，tk表示事件發(fā)生的時間，pk?{?1，1}表示事件的極性，pk=1表示變亮事件，pk=?1表示變暗事件。

圖3 事件相機單個像素單元工作原理［28］Fig.3 Diagram of the principle of the DVS pixel［28］

傳統探測器通過記錄目標光強實現目標探測，因此，增加其曝光時間可以實現弱目標檢測。事件相機針對目標光強變化而做出響應，在進行空間目標觀測時，目標光強的變化使得事件相機像素被激活輸出事件流實現目標觀測，造成目標光強變化即事件相機可以應用于空間目標觀測的主要原因有：

1） 目標與探測器的相對運動

地球不斷進行公轉與自轉，觀測系統與被觀測的空間目標存在相對運動，即目標與事件相機存在相對運動，因此探測器上不同位置的像素點不斷被激活，輸出一系列事件，通過對事件流的圖像重建，可以實現空間目標探測。

2） 大氣擾動

由于湍流大氣中折射率的隨機不均勻分布，當光線通過時，會在不均勻微元上產生折射，從而對原本穩(wěn)定傳播的光束產生擾動［29］?？諝饷芏绕鸱鼘е抡凵渎拾l(fā)生變化，折射率影響光線的傳播，因此在天文觀測領域，從地面觀察天上的星辰有明顯的閃爍現象。光強越強，由大氣擾動造成的光強波動范圍越大［30］，事件相機可以實現觀測的可能性也越大。

目標與探測器的相對運動以及大氣擾動共同造成了探測到的目標位置以及亮度發(fā)生變化，進入探測系統的空間目標光強不斷隨時間發(fā)生變化，使得探測器上的像素點不斷被激活，輸出事件，處理事件流信號可完成空間目標觀測任務。根據上述分析，目標信號光強越大，因湍流和相對運動導致的光強變化越大，事件相機越容易觀測到目標信號，因此與傳統探測系統靈敏度模型類似，可以使用極限星等作為標準進行空間目標探測靈敏度評估。

1.3 事件相機空間目標探測靈敏度模型

星等是恒星或者其他天體亮度的度量，兩個輻照度相差100倍的星體，其亮度相差5個星等，即它們的可見光波段的平均光流量密度之比E2/E1為100。將兩個恒星的亮度與星等聯系起來表示為

式中，m2、m1分別為兩顆恒星的視星等值，E2、E1分別為其照度值。此外，規(guī)定零等星在大氣層外照度值為E0=2.65×10?6lx作為計算照度的基準。由理論分析和實驗測量可知，對于可見光波段的平均波長0.555 μm的單色輻射，星等與照度之間的關系表示為

則空間目標觀測系統相機入瞳處的點目標信號等效星等表示為

若大氣透過率為τ0，光學系統透過率為τ1，通過光學系統接收的總光通量（假設照度均勻）為

則探測器單個像元上接收的光照強度為

當光照強度的對數變化值大于閾值即 |?lnI(t)|= |lnI(u，t+?t)?lnI(u，t)|≥Cth時，像素被激活并產生事件。

計算事件相機空間目標探測極限，因此考慮相對運動及大氣擾動使目標發(fā)生的最大亮度變化的情況，即初始信號強度為0，變化后光強為I。由圖3事件相機電路原理圖可知，光電感受器接收光強轉化為光電流，之后通過差分放大電路輸出電壓并與比較電路中預先設置的閾值進行比較。設β為光電轉化過程中的轉化因子，由光感受器的光電轉化效率，差分放大電路的放大倍率共同決定，即當Ip=βI≥eCth時，相機產生事件，因此可以得到系統輻照度探測靈敏度模型

將可探測的極限星等作為衡量事件相機空間目標觀測能力的標準，可以得到目標光在入瞳處的等效視星等m表示的探測靈敏度模型為

1.4 事件相機空間目標探測靈敏度影響因素分析

由式（9）可以看出事件相機所能探測到的最弱空間目標的等效星等與閾值設置成線性關系，其中光學系統性能指標如望遠鏡系統口徑、彌散斑尺寸、像元尺寸、光學系統透過率、大氣透過率以及相機硬件設置如光感受器轉化效率、差分放大電路放大倍數等決定了事件相機理論上可探測目標的極限星等，這與傳統探測器一致，其中事件相機光電轉換因子對應傳統相機的量子效率，定性分析可以得出，光學系統透過率高，大氣透過率高，光學孔徑越大、像元尺寸越大，星點光斑能量越集中，光電感受器光電轉化能力越大，系統的弱目標探測靈敏度越高。在光學系統及探測器參數確定的情況下，隨著閾值的增加，極限星等等比例降低。

本文根據芯侖科技2019發(fā)布的CelexⅤ事件相機以及CPC celestron 8′望遠鏡為例，設置典型參數如表1所示，當分析某個參數的影響時，其他參數取典型值。

表1 事件相機空間目標探測靈敏度影響因素Table 1 Factors affecting the detection sensitivity of event cameras in space

首先定量分析光學系統各主要參數對系統探測靈敏度的影響。當其他參數設置典型值時，分別分析光學系統有效通光口徑、大氣透過率、光學系統透過率以及光學系統造成的彌散斑直徑對系統極限探測星等的影響如圖4所示。

圖4 系統參數與探測極限星等的關系Fig.4 Relationship between system parameters and detection limit magnitude

由圖4可知，系統靈敏度隨著光學系統的有效通光口徑D、大氣透過率、光學系統的透過率的增大而增大，主要原因為口徑、大氣透過率、光學系統透過率的增大使得探測器能夠接收到的空間信號增加，靈敏度升高。因此，一般情況，空間目標觀測選擇較大口徑，對可見光波段具有較高的透過率的光學鏡頭，在晴朗的天氣進行觀測。如圖4（d）所示，像點彌散對探測能力、成像精度都有嚴重的影響，取彌散斑直徑范圍在一個像元到五個像元之間，模擬得到了彌散斑直徑d對空間探測靈敏度的影響，可見，彌散斑直徑每增加一個像元大小，探測極限星等減少1個星等及以上，因此，光學系統設計時，需要進行精心設計和裝調，避免產生過大的像點彌散。

根據探測模型可知，閾值是影響事件相機空間目標探測靈敏度的重要因素。當閾值增加時，事件產生所需光強變化增加，探測器靈敏度變低，系統可以探測到的極限星等降低。模擬不同口徑望遠鏡設置不同閾值時極限星等的變化情況如圖5所示。

圖5 閾值與探測極限星等的關系Fig.5 Relationship between threshold and detection limit magnitude

理論上，將相機閾值設為零時，可以達到系統最高可觀測星等，但在實際實驗中，閾值降低意味著系統對信號及噪聲探測靈敏度的同時升高，閾值降低，圖像中噪聲事件輸出增加，對數據輸出及后續(xù)圖像處理都提出了更高的要求。事實上，事件相機生產廠商往往將閾值劃分為多個等級而非準確數值，并設置最低閾值限制，并且在實際實驗中，往往不會通過降低閾值，犧牲信噪比來追求更高的探測靈敏度，一般根據目標特性，設置合適的閾值，以實現目標的合理觀測。值得注意的是，由于廠商不同，閾值等級劃分不同，因此上節(jié)所提到的靈敏度模型中的常數B往往因選用不同參數的事件相機而有不同的取值。本文以CelexⅤ事件相機為例，建立了事件相機空間目標探測靈敏度模型并對其進行標定驗證，為后續(xù)事件相機相關實驗的閾值選擇提供理論指導。

2 實驗與結果

2.1 實驗方法

在西安（東經108°51′13″，北緯34°10′13″），通過C口轉接環(huán)將CPC celestron 8″望遠鏡分別與CMOS相機BFS-U3-51S5M-C和事件相機CelexⅤ相連，進行空間目標探測實驗。

所使用望遠鏡為8″衍射極限施密特-卡塞格林式望遠鏡，焦距為2 032 mm，F數為10，副鏡直徑遮擋比為31.30%，內置GPS及自動尋星系統。將其與CMOS相機相連，相機像元尺寸為3.45 μm，像元數為2 048×2 488，因此其視場為0.196 3°×0.238 4°，瞬時視場角為0.98″。之后連接CelexⅤ與望遠鏡，相機像元尺寸為9.8 μm，像元數為800×1 200，相連后視場為0.217 8°×0.326 7°，瞬時視場角為0.345″。選擇晴朗天氣使用該系統進行實驗，考慮望遠鏡內置的自動尋星系統存在一定誤差，選擇識別度較高的星體進行實驗：1）分別使用CMOS相機與CelexⅤ事件相機對木星、土星、火星進行觀測，對比兩種相機成像結果；2）調節(jié)閾值，觀察閾值變化對目標成像的影響；3）針對該系統采用實驗方式進行靈敏度模型標定實驗，并對該模型進行實驗驗證。

2.2 結果與分析

2.2.1 行星觀測

分別使用CMOS相機與CelexⅤ事件相機對木星、土星、火星進行觀測。由于事件相機輸出的是一系列事件流，每個事件僅包含像素坐標、事件發(fā)生時間，因此不具有可視性。本文采用時間切片的方式對事件流進行可視化［31］，在短時間內對事件進行積累，形成二維事件幀圖像以便觀測。在使用事件相機對行星進行觀測時，對其40 ms內產生的事件進行時間切片得到最終結果圖。圖6展示了夜間觀測的一組示例，在觀測過程中開啟望遠鏡內置的自動跟蹤系統進行實驗。

圖6 行星觀測Fig.6 Observation of the planetary

圖6（a）是使用CMOS相機觀測木星的結果圖，可見木星整個結構狀態(tài)，但由于像素限制，原始圖像無法看清木星表面紋理。CMOS相機采用全局曝光，調整曝光時間使木星清晰成像，由于木星亮度與其衛(wèi)星亮度差別較大輸出圖像無法看清其衛(wèi)星。使用事件相機觀測木星可以看到木星輪廓，無法看清其表面紋理，可見木星衛(wèi)星。原因為行星內部部分亮度變化較為均勻，產生的事件遠少于外部邊緣，因此外圈的變化較為顯著，事件相機不存在過度曝光及欠曝光情況，因此其衛(wèi)星在事件相機圖像中同樣清晰可見。土星火星觀測圖如圖6（c）～（f）所示，由于星體邊緣亮度變化大，內部變化小，因此邊緣外圈產生事件較多，較為明顯，輸出圖像顯示星體呈環(huán)狀。

綜合以上分析，事件相機可以進行空間目標探測，其空間分辨率低于傳統相機，但事件相機動態(tài)范圍較高，當同一視場中出現多個亮度差別較大的目標時，由于傳統相機采用全局曝光的曝光方式，會出現欠曝光及過度曝光的情況，無法探測到全部目標，事件相機不受曝光方式的影響，可以對視場內所有目標進行探測。除此之外，使用事件相機成像，基于其高時間分辨率的優(yōu)勢，可以對目標運動軌跡有更準確的判斷，無運動模糊，也可以實現低功耗、低數據冗余、低延時的高速信號傳輸，在空間目標觀測領域具有重大意義。

2.2.2 閾值變化對成像的影響

分別設置事件相機閾值為69、100、200、250，對北極星進行觀測，結果如圖7所示。

閾值較低時，圖像中信號較為明顯，但噪聲事件較多，當進行弱目標觀測時，閾值過低容易造成噪聲事件與信號事件無法區(qū)分。閾值升高，系統探測靈敏度下降，信號不明顯，影響信號識別。因此在使用事件相機進行空間目標觀測時，閾值的選擇極其重要，既要保證高探測靈敏度也要避免大量噪聲事件的產生從而對信號識別產生影響。

圖 7 不同閾值下事件相機北極星成像Fig.7 Polaris imaging with Event Camera at different thresholds

2.2.3 模型標定及驗證

針對該系統，將事件相機空間目標探測靈敏度模型簡化為m=A?BCth，首先選取天空中識別度較高的五個目標如表2所示進行模型標定。

表2 標定數據Table 2 Calibration data

對該系統探測靈敏度模型進行標定得到其模型為m=40.35?0.145Cth，線性相關系數R=0.959 3，符合擬合要求，說明極限星等與閾值之間存在較好的線性性，如圖8所示。

圖8 靈敏度模型擬合結果Fig.8 Sensitivity model fitting results

針對上述得到的模型，選擇北極星、心宿二、北斗七、北斗五四個目標進行模型的實驗驗證，數據如表3所示，結果如圖9所示。

表3 驗證實驗Table 3 Validation experiment

圖9 靈敏度模型驗證結果Fig.9 Sensitivity model validation result

此次實驗由于環(huán)境及望遠鏡目標識別精度限制，得到的實驗數據較少，但均為可靠數據，得到的擬合結果平方誤差較小，精度得到了保障且進行實驗驗證時，相對誤差小于3%，驗證了該模型的準確性。根據該模型，在后續(xù)進行不同星等目標觀測時，可以選擇合適的閾值，在合理范圍內，既可以獲得較高的系統探測靈敏度，也可以盡可能地減少噪聲事件的產生，減少噪聲對目標探測的不利影響。

3 結論

本文針對事件相機的空間目標探測能力進行了理論分析，建立了事件相機空間目標探測靈敏度模型，通過CMOS相機與事件相機的共同采集實驗，證明了事件相機用于空間目標探測的可行性及其探測優(yōu)勢，通過外場觀星實驗，對系統的探測靈敏度進行了標定及驗證。結果表明，基于事件相機的空間目標觀測靈敏度模型線性擬合結果較好，平均誤差小于3%，模型準確度較高，此外，事件相機進行空間目標探測具有高時間分辨率、高動態(tài)范圍、低數據冗余、可實現低功耗、高信息傳輸速率的優(yōu)勢，在空間目標監(jiān)視中有較大的應用前景。本文明確了影響事件相機空間目標觀測能力的影響因素，重點指出了事件相機閾值設置對靈敏度的影響，為事件相機進行空間目標觀測及相應的研究提供了理論指導。