宋雪冬，馬英超，周琦，練達(dá)，余路偉，毛曉楠

（1 上海航天控制技術(shù)研究所，上海 201109）

（2 上海市空間智能控制技術(shù)重點(diǎn)實(shí)驗(yàn)室，上海 201109）

0 引言

天文導(dǎo)航技術(shù)廣泛應(yīng)用于衛(wèi)星、深空探測器等導(dǎo)航系統(tǒng)［1］，具有被動探測、自主工作、精度高等優(yōu)點(diǎn)［2］。而點(diǎn)目標(biāo)測量相機(jī)則是天文導(dǎo)航技術(shù)中的關(guān)鍵技術(shù)之一，用于測量星點(diǎn)坐標(biāo)，輔助如星敏感器等天文導(dǎo)航器得到精確的位置、姿態(tài)等信息。采用短波紅外InGaAs 焦平面探測器的點(diǎn)目標(biāo)測量相機(jī)具有小型化、低功耗、探測率高、均勻性好等優(yōu)點(diǎn)［3，4，5］。

由于制造材料和生產(chǎn)工藝等因素，短波紅外焦平面往往會存在一些壞像元［6，7］。這嚴(yán)重影響了紅外相機(jī)的成像質(zhì)量［8］，從而影響相機(jī)輸出的點(diǎn)目標(biāo)質(zhì)心坐標(biāo)精度［9］。通常，可利用測試設(shè)備對焦平面探測器壞像元進(jìn)行檢測［10，11］，當(dāng)相機(jī)工作時再根據(jù)已有的檢測結(jié)果對壞像元進(jìn)行補(bǔ)償。然而，由于紅外相機(jī)長期在軌工作，不可避免地受到太空輻照環(huán)境或高能粒子影響，會出現(xiàn)新的壞像元。紅外相機(jī)在軌運(yùn)行時需要對壞像元進(jìn)行實(shí)時的檢測與補(bǔ)償，而壞像元的漏檢和誤檢都會影響成像質(zhì)量，造成圖像信息的丟失，最終影響點(diǎn)目標(biāo)質(zhì)心的提取精度。因此，對于在軌運(yùn)行的紅外相機(jī)，準(zhǔn)確、可靠的實(shí)時壞像元檢測與補(bǔ)償算法是非常重要的圖像預(yù)處理技術(shù)之一。

2006 年，文獻(xiàn)［12］提出了一種基于場景的壞像元檢測方法，該方法對隨機(jī)出現(xiàn)的壞像元有較好的檢測效果，但是容易將小目標(biāo)誤判為壞像元，并且不利于硬件實(shí)現(xiàn)。2008 年，一種基于噪聲等效溫差和灰度最小方差的紅外焦平面陣列無效像元檢測方法被提出［13］，但是該方法需要緩存多幀圖像數(shù)據(jù)，對存儲空間要求高、計(jì)算量大，不適用于紅外相機(jī)在軌運(yùn)行實(shí)時檢測與補(bǔ)償。2014 年，文獻(xiàn)［14］針對光斑探測相機(jī)提出了一種基于灰度閾值的實(shí)時壞像元檢測與補(bǔ)償方法，無需緩存整幀圖像數(shù)據(jù)，計(jì)算量小、實(shí)時性好。但由于采用灰度閾值作為壞像元檢測條件，無法直接反映出壞像元與鄰域像元在灰度值變化趨勢上的特性，容易出現(xiàn)漏檢和誤檢，并且檢測和補(bǔ)償結(jié)果均會受相鄰壞點(diǎn)影響。2017 年，文獻(xiàn)［15］提出了基于鄰域均方差和隸屬度的滑窗檢測方法。同年，文獻(xiàn)［16］提出了基于3σ 原則的5×5 窗口盲元檢測與補(bǔ)償方法。2019 年，文獻(xiàn)［17］提出了基于鄰域均值、中值和一級梯度的壞像元滑窗檢測算法。雖然這些法有效提升了特征可分性，提升了檢測準(zhǔn)確率，但是壞像元判斷依據(jù)的計(jì)算量較大，算法實(shí)時性較差。

本文針對短波紅外相機(jī)提出了一種基于灰度梯度和稀疏視野的實(shí)時壞像元檢測與補(bǔ)償方法。該方法不僅采用了灰度梯度直接反映壞像元與鄰域像元的灰度值變化趨勢，并且利用稀疏視野有效地避免了相鄰壞像元對檢測與補(bǔ)償結(jié)果的影響，具有較好的魯棒性。同時，采用5×5 窗口滑動檢測的形式，計(jì)算量小，適用于紅外相機(jī)在軌運(yùn)行時實(shí)時的檢測壞像元并補(bǔ)償。此外，通過實(shí)驗(yàn)驗(yàn)證，灰度梯度和稀疏視野有效地改善了壞像元檢測的成功率與補(bǔ)償效果，并顯著提升了紅外相機(jī)提取點(diǎn)目標(biāo)質(zhì)心坐標(biāo)的精度。

1 壞像元的特性與影響

1.1 壞像元特性

短波紅外焦平面探測器是一種通過探測器芯片上的感光像元進(jìn)行光電轉(zhuǎn)換，電信號處理并成像的集成電路芯片，可探測目標(biāo)的短波紅外輻射。在其工作過程中，感光像元會由于環(huán)境、溫度變化等各種原因受到損壞而導(dǎo)致無法正常工作。此時，該感光像元變?yōu)閴狞c(diǎn)。短波紅外焦平面探測器壞點(diǎn)通常分為三種類型：亮點(diǎn)、暗點(diǎn)和色點(diǎn)［14］。亮點(diǎn)和暗點(diǎn)表示該感光像元無法感光，只能輸出恒定值。恒定輸出值接近飽和的壞像元為亮點(diǎn)，接近0 或遠(yuǎn)低于背景灰度值的壞像元為暗點(diǎn)。色點(diǎn)則表示該感光像元可以感光，但是輸入值和輸出值的響應(yīng)關(guān)系與正常像元區(qū)別較大，可分為亮點(diǎn)型色點(diǎn)和暗點(diǎn)型色點(diǎn)，與亮點(diǎn)或暗點(diǎn)具有相同的表現(xiàn)形式。圖1 為32×32 背景圖像中分別存在亮點(diǎn)和暗點(diǎn)的三維示意圖，縱坐標(biāo)g為8 比特量化的灰度值。圖像背景灰度值在30 附近，而亮點(diǎn)灰度值為255、暗點(diǎn)灰度值為0。

壞像元的表現(xiàn)形式主要是在灰度值與周圍鄰域像素有較大區(qū)別，圖2 和圖3 為壞像元與鄰域像元沿同一方向的灰度值變化曲線和灰度梯度值變化曲線?；叶忍荻戎的軌蛑苯臃从吵鰤狞c(diǎn)灰度與周圍鄰域像元灰度的突變程度。

1.2 壞像元對目標(biāo)質(zhì)心提取的影響

短波紅外相機(jī)采用式（1）～（3）所示的質(zhì)心公式［18］提取點(diǎn)目標(biāo)的質(zhì)心坐標(biāo)，具有高精度、高穩(wěn)定性、可隨圖像數(shù)據(jù)流實(shí)時處理的優(yōu)點(diǎn)。

式中，x、y為像元的坐標(biāo)，G(x，y)為該像元的輸出灰度值，Gaver為圖像像素灰度平均值，Tofst為閾值偏移量，Tg為判斷像素是否屬于光斑的閾值，S為屬于點(diǎn)目標(biāo)的像素集合，集合內(nèi)像元灰度值G(x，y)＞Tg且每個像元互為四連通域。若該集合中存在壞像元，則會影響到圖像灰度均值計(jì)算和質(zhì)心坐標(biāo)提取的精度。

圖4 為紅外相機(jī)探測到的星點(diǎn)圖像和其三維示意圖。當(dāng)背景或星點(diǎn)目標(biāo)中出現(xiàn)壞像元時，星點(diǎn)目標(biāo)的質(zhì)心坐標(biāo)提取將受到影響，如圖5。表1 列出了星點(diǎn)目標(biāo)質(zhì)心坐標(biāo)的提取結(jié)果?？梢钥闯?，壞像元對質(zhì)心提取的結(jié)果產(chǎn)生顯著影響，尤其是在光斑中的壞像元，x、y坐標(biāo)提取誤差達(dá)到了1.5%。因此，對紅外相機(jī)實(shí)時壞像元檢測與補(bǔ)償方法的研究是至關(guān)重要的。

表1 壞像元對星點(diǎn)目標(biāo)質(zhì)心坐標(biāo)提取的影響Table 1 The influence of bad pixels on centroid coordinate extraction of star target

2 壞像元檢測與補(bǔ)償方法

本文基于灰度梯度和稀疏視野提出了一種適用于紅外相機(jī)在軌運(yùn)行時的實(shí)時壞像元檢測與補(bǔ)償算法?；叶忍荻饶軌蛑苯臃从吵鰤狞c(diǎn)與鄰域正常像元灰度值的突變程度，而稀疏視野能夠避免鄰域內(nèi)壞點(diǎn)對灰度梯度的影響。

2.1 壞像元檢測方法

如圖6，壞像元檢測過程分為亮點(diǎn)檢測和暗點(diǎn)檢測。同時不符合亮點(diǎn)特性和暗點(diǎn)特性的像元判斷為正常像元。

檢測亮點(diǎn)時，本方法采用3×3 的檢測窗口，將待檢測像元鄰域的八個像素均分為兩個部分x11、x13、x31、x33和x12、x21、x23、x32，每個部分包含4 個領(lǐng)域像元，對應(yīng)的像元灰度值分別為g11、g13、g31、g33和g12、g21、g23、g32。對兩個部分分別進(jìn)行亮點(diǎn)檢測，使得檢測窗口的視野具有稀疏性，避免鄰域內(nèi)的壞像元影響檢測結(jié)果。具體的亮點(diǎn)檢測步驟如下：

首先，根據(jù)4 個鄰域像元判斷待檢測像元所處的位置，并選擇相應(yīng)的亮點(diǎn)檢測判斷閾值Tlht，可表示為

式中，g1、g2、g3、g4為四個領(lǐng)域像元灰度值，即g11、g13、g31、g33或g12、g21、g23、g32，Tlht為判斷亮點(diǎn)時的閾值參數(shù)，當(dāng)待檢測像元處于光斑中時取Tlhigh，處于背景中時則取Tllow。Gaver為全局灰度均值，通常取前一幀的灰度均值；Tofst為偏移量閾值。若鄰域像元的均值大于全局均值與偏移量閾值的和，則認(rèn)為待檢測像元處于光斑中，否則認(rèn)為處于背景中。

然后，按式（5）判斷是否符合亮點(diǎn)特性，若待檢測像元與判斷閾值Tlht的差大于4 個鄰域像元的灰度值中的最大值，則為亮點(diǎn)型壞點(diǎn)。

只有當(dāng)待檢測像元灰度值g22與兩部分鄰域像元g11、g13、g31、g33和g12、g21、g23、g32的檢測結(jié)果均不符合亮點(diǎn)特性，則為正常像元。

檢測暗點(diǎn)時，將待檢測像元鄰域的八個像素均分為四個部分x11、x33，x12、x32，x13、x31和x21、x23，對應(yīng)像元的灰度值分別為g11與g33、g12與g32、g13與g31和g21與g23，分別按式（6）進(jìn)行判斷，避免鄰域內(nèi)存在暗點(diǎn)影響檢測結(jié)果。

式中，g1、g2為兩個鄰域像元灰度值，Tdrk為判斷暗點(diǎn)時的閾值參數(shù)。若待檢測像元與判斷閾值Tdrk的和小于2 個鄰域像元的灰度值中的最小值，則為暗點(diǎn)型壞點(diǎn)。

最后，只有當(dāng)待檢測像元灰度值g22與四部分鄰域像元g11與g33、g12與g32、g13與g31和g21與g23的檢測結(jié)果均不符合暗點(diǎn)特性，則為正常像元。

根據(jù)式（7）可得最終的檢測結(jié)果。若待檢測像元在亮點(diǎn)檢測和暗點(diǎn)檢測中的結(jié)果均為正常像元，則判斷為正常像元。

2.2 壞像元補(bǔ)償方法

如圖7 所示，采用5×5 窗口，以滑窗的方式進(jìn)行壞像元補(bǔ)償。計(jì)算鄰域像元的灰度均值作為待補(bǔ)償像元的灰度值。具體分為兩步：

第一步，由于采用滑窗的方式，當(dāng)檢測與補(bǔ)償x22像元時，x11、x12、x13、x21均已完成檢測與補(bǔ)償。再對x23、x31、x32、x33進(jìn)行檢測。

第二步，若x22為壞像元，則根據(jù)x23、x31、x32、x33的檢測結(jié)果，按式（8）選擇相應(yīng)的鄰域像元計(jì)算灰度均值，得到x22的補(bǔ)償值。fdet(·)表示待補(bǔ)償像元的鄰域像元的檢測結(jié)果。

3 實(shí)驗(yàn)結(jié)果

本文所提出的短波紅外相機(jī)實(shí)時壞像元檢測與補(bǔ)償方法采用灰度梯度和稀疏視野，不受背景灰度值變化和鄰域壞像元的影響，具有較好的魯棒性。通過實(shí)驗(yàn)，分別驗(yàn)證灰度梯度和稀疏視野的有效性，同時驗(yàn)證本方法的性能。

3.1 灰度梯度的有效性

本方法基于像元的灰度梯度進(jìn)行檢測。通過與直接采用灰度檢測的方法對比，以證明灰度梯度的有效性。圖8 和圖9 所示不同背景下存在亮點(diǎn)，背景2 的灰度值高于背景1。采用灰度檢測方法，將灰度檢測閾值設(shè)為50，檢測結(jié)果如圖10，圖中紅色標(biāo)記表示檢測成功。而采用灰度梯度檢測方法，亮點(diǎn)檢測閾值Tlht設(shè)為20，圖11 為檢測結(jié)果。

圖10 為直接將待檢測像元的灰度值與閾值進(jìn)行判斷的檢測結(jié)果。若判斷閾值設(shè)為50，則背景2 中的亮點(diǎn)未被檢出。由于灰度閾值無法直接反應(yīng)壞像元灰度值得突變程度，所以當(dāng)壞像元所處的背景發(fā)生變化時，檢測結(jié)果受到影響。而本方法的判斷結(jié)果僅與待檢測像元灰度值的突變程度有關(guān)，與灰度值無關(guān)。如圖11 所示，不同背景下的亮點(diǎn)均能被檢測。當(dāng)紅外相機(jī)在軌運(yùn)行時，背景灰度值可能會發(fā)生變化。本方法可以有效避免背景變化對檢測結(jié)果的影響。

當(dāng)紅外相機(jī)視場中出現(xiàn)星點(diǎn)目標(biāo)時，該目標(biāo)區(qū)域內(nèi)的灰度值與背景灰度值差異較大。本方法可同時檢測出處于背景和星點(diǎn)目標(biāo)中的壞像元。圖12 中背景和星點(diǎn)目標(biāo)中均存在亮點(diǎn)，背景中亮點(diǎn)灰度值為150，星點(diǎn)目標(biāo)中亮點(diǎn)灰度值為255。此時，由于背景中的亮點(diǎn)灰度值低于星點(diǎn)目標(biāo)區(qū)域灰度值，則不存在一個灰度閾值可同時滿足大于兩個亮點(diǎn)領(lǐng)域像元的灰度值又小于亮點(diǎn)的灰度值。因此，采用灰度的檢測方法無法同時檢測處處于不同背景下的亮點(diǎn)，檢測結(jié)果如圖13（a）和（b）。而本方法的檢測結(jié)果如圖13（c），背景和星點(diǎn)目標(biāo)區(qū)域中的亮點(diǎn)均被檢測出。

3.2 稀疏視野的有效性

當(dāng)焦平面探測器出現(xiàn)相鄰壞像元時，兩個相鄰的壞像元會相互影響各自的檢測與補(bǔ)償結(jié)果。因此，本方法在檢測與補(bǔ)償過程中均采用了稀疏視野。通過實(shí)驗(yàn)證明，稀疏視野能夠有效避免相鄰壞像元的相互影響，提升壞點(diǎn)補(bǔ)償值的精度。

在檢測階段，本方法分別在亮點(diǎn)檢測時將鄰域分為兩部分，在暗點(diǎn)檢測時將鄰域分為四部分，使檢測的視野具有稀疏性。如圖14 所示，背景中存在相鄰兩個亮點(diǎn)。圖15 為采用未稀疏視野和采用稀疏視野的檢測結(jié)果。未采用稀疏視野時，由于相鄰亮點(diǎn)均處于對方的鄰域內(nèi)，則無法滿足待檢測像元與八個領(lǐng)域像元間的灰度梯度均大于檢測閾值，導(dǎo)致漏檢。而采用了稀疏視野后，能夠有效改善領(lǐng)域壞像元對檢測結(jié)果的影響，避免漏檢。

在補(bǔ)償階段，本方法采用5×5 的補(bǔ)償窗口，同樣采用稀疏視野的方式，根據(jù)待補(bǔ)償像元鄰域像元的檢測結(jié)果，選擇合適的鄰域正常像元計(jì)算均值作為補(bǔ)償值。圖16 為對圖14 采用鄰域8 個像元的均值作為補(bǔ)償值和采用的5×5 窗口基于稀疏視野的補(bǔ)償結(jié)果。未采用稀疏視野時，鄰域亮點(diǎn)對補(bǔ)償值造成了影響，該像元補(bǔ)償后依舊與正常像元之間存在明顯的突變。而采用稀疏視野顯著改善了補(bǔ)償效果，有效地避免了相鄰壞點(diǎn)的相互影響。

3.3 本方法的檢測與補(bǔ)償性能

本方法采用灰度梯度和稀疏視野對壞像元進(jìn)行實(shí)時檢測與補(bǔ)償。通過與基于3×3 窗口和灰度閾值的檢測與補(bǔ)償方法對比，證明本方法具有較好的魯棒性。如圖17 所示，圖像中存在多個壞點(diǎn)。由于采用灰度閾值無法同時檢測出處于不同灰度背景中的壞像元，考慮到光斑中壞點(diǎn)對質(zhì)心坐標(biāo)提取的影響較大。因此，灰度閾值參數(shù)設(shè)為優(yōu)先檢測光斑中壞像元。

圖18、圖19 為檢測與補(bǔ)償結(jié)果，表2 為壞像元檢測成功率，表3 為補(bǔ)償后對星點(diǎn)目標(biāo)質(zhì)心坐標(biāo)的提取結(jié)果?？梢钥闯?，對比方法和本文方法均有效改善了質(zhì)心提取結(jié)果的準(zhǔn)確性。而采用3×3 窗口的灰度閾值方法由于灰度檢測受背景灰度值變化影響的局限性從而存在漏檢情況。并且檢測和補(bǔ)償過程會受領(lǐng)域壞像元的影響，因此補(bǔ)償后圖像提取出的星點(diǎn)坐標(biāo)仍存在較大誤差。本方法則將圖中壞點(diǎn)全部成功檢測出來，檢測成功率達(dá)到100%，并且具有更好的補(bǔ)償效果，X軸與Y軸誤差降低88.8%，減小至0.2%以內(nèi)。

表2 壞像元檢測成功率Table 2 The detection accuracy of bad pixels

表3 星點(diǎn)目標(biāo)質(zhì)心坐標(biāo)提取結(jié)果Table 3 The result of extracting star's centroid coordinates

4 結(jié)論

本文通過對壞像元灰度值變化特性進(jìn)行分析，提出基于灰度梯度和稀疏視野的壞像元檢測與補(bǔ)償方法。采用窗口大小為5×5 的滑窗處理方式，對圖像數(shù)據(jù)存儲空間要求小，數(shù)據(jù)處理過程計(jì)算量小，適用于短波紅外相機(jī)在軌運(yùn)行時對壞像元進(jìn)行實(shí)時的檢測與補(bǔ)償。實(shí)驗(yàn)證明，灰度梯度和稀疏視野能夠有效提升算法的魯棒性，避免背景灰度值變化以及領(lǐng)域壞像元對檢測與補(bǔ)償結(jié)果的影響。同時，經(jīng)驗(yàn)證本方法能夠同時檢測出處于背景和星點(diǎn)目標(biāo)區(qū)域中的壞像元，檢出率達(dá)到了100%，并且顯著降低了短波紅外相機(jī)焦平面探測器上壞像元對星點(diǎn)目標(biāo)質(zhì)心坐標(biāo)提取的影響，誤差降低至0.2%以內(nèi)。