秦春霞楊珂任萍鄭潔3趙遠(yuǎn)鵬陳貴鋒

(1.西北工業(yè)大學(xué) 電子與信息學(xué)院，西安 710129； 2.西北工業(yè)大學(xué) 第365所，西安 710065;3.山西汾西重工有限責(zé)任公司，太原 030027； 4.國家電網(wǎng)陜西省電力公司檢修公司，西安 710000)

0 引言

在無人機(jī)對地偵察中，需要獲取地面感興趣目標(biāo)較為清晰的圖像數(shù)據(jù)，但空中霧霾等因素會影響獲取的圖像質(zhì)量K.M.He等提出基于暗通道先驗的圖像去霧算法，利用軟摳圖細(xì)化透射率[1]；其后K.M.He采用導(dǎo)向濾波來提高運(yùn)行效率，但該算法對空中區(qū)域的處理效果尚需改善[2]；Berman利用霧度線基礎(chǔ)上，利用不同的透射系數(shù)恢復(fù)了距離圖和無霧圖像[3]。F.Meng等提出一種有效的正則化去霧算法，通過探索固有的邊界約束來恢復(fù)無霧圖像[4]。范新南等利用亮通道先驗和模糊聚類對霧圖進(jìn)行場景分類[5]；王晗等提出信息熵與保真度相結(jié)合的單幅圖像去霧方法。雖然上述算法在去霧效果上都有各自優(yōu)勢，但需要滿足機(jī)載實(shí)時處理等應(yīng)用需求方面，需要解決相關(guān)工程應(yīng)用實(shí)現(xiàn)。針對機(jī)載視頻去霧處理系統(tǒng)需要，周曉波[6]和龔亮[7]分別采用FPGA實(shí)現(xiàn)相關(guān)去霧算法，李昂[8]和張海濱[9]利用ARM實(shí)現(xiàn)去霧算法效果。上述方法都可以得到較好的去霧效果，但存在時序和邏輯功能實(shí)現(xiàn)復(fù)雜、硬件資源和功耗要求高，外圍接口電路設(shè)計也較復(fù)雜等問題，機(jī)載視頻處理應(yīng)用得到限制。為此，本文采用具有去霧功能的ASIC芯片TS1601[10]，根據(jù)機(jī)載視頻處理需要，利用Freescale公司i.MX6嵌入式系統(tǒng)[11]設(shè)計系統(tǒng)控制初始化、去霧控制、去霧視頻壓縮處理、接口電路和指令響應(yīng)等軟件設(shè)計。

1 系統(tǒng)總體方案

系統(tǒng)機(jī)載圖像去霧處理流程：首先，采用Techwell公司TW9912芯片采集模擬數(shù)據(jù)[12]，采用Semtech公司GS2971芯片獲取數(shù)字高清數(shù)據(jù)[13]，設(shè)計BT.656/BT.1120數(shù)字視頻信號輸出；其次，采用TSSI公司專用去霧處理芯片TS1601設(shè)計相關(guān)去霧處理[10]；接著，采用i.MX6處理器完成TS1601、視頻采集和遙控遙測指令接收處理工作；最后，針對無人機(jī)信道受限情況，完成i.MX6數(shù)字視頻信號H.264的壓縮和數(shù)據(jù)組幀等工作。系統(tǒng)總體框圖如圖1所示。

圖1 圖像去霧系統(tǒng)總體框圖

此外，采用Winbond公司W(wǎng)25Q80BV芯片設(shè)計SPI Flash存儲，設(shè)計實(shí)現(xiàn)TS1601和TW9912采集芯片I2C接口控制功能、GS2971芯片GSPI接口配置和控制、遙控/遙測指令處理電路完成機(jī)載遙控接收和遙測指令回報等。

1 硬件設(shè)計

1.1 去霧芯片設(shè)計

TSSI公司的TS1601是一款高清視頻處理芯片，具有去霧處理、2D/3D圖像去噪等功能。TS1601可接收/發(fā)送BT.656和BT.1120格式等通用數(shù)字視頻信號。TS1601具有以下幾點(diǎn)：1)輸入輸出的格式：分別接收模擬視頻輸出的BT.656和數(shù)字高清視頻輸出的BT.1120；2)外圍接口：外圍接口有16個GPIO口，可被復(fù)用為I2C總線和UART等接口，還有專用SPI總線接口[6]等接口的控制和通信；3)低功耗：TS1601處理芯片具有低功耗；4)設(shè)計簡單：去霧算法參數(shù)設(shè)置可以實(shí)時調(diào)整，時序、邏輯功能、去霧參數(shù)等實(shí)現(xiàn)相對簡單。

1.2 視頻采集芯片設(shè)計

標(biāo)準(zhǔn)模擬視頻采集芯片的D1圖像分辨率為奇偶場720×288兩幅BT.656隔行數(shù)據(jù)，如果將其輸出到i.MX6的720×576逐行視頻接口，就會出現(xiàn)top和bottom兩幅720×288(奇偶幀)視頻效果。常用隔行轉(zhuǎn)逐行處理方法有以下幾種：1)對top和bottom兩場交錯生成一幀圖像處理算法；2)用top或bottom一場代替一幀圖像，但其插值算法會損害圖像清晰度；3)圖像運(yùn)動補(bǔ)償算法，算法CPU占用和處理時間較大，達(dá)不到實(shí)時要求；4)采用TW9912等芯片內(nèi)部硬件處理方法，通過內(nèi)部反交錯引擎的隔行掃描視頻轉(zhuǎn)換成逐行BT.656視頻數(shù)字信號，由硬件完成復(fù)雜的運(yùn)動補(bǔ)償?shù)葓D像處理算法，視頻采集效果最好，并且不占用系統(tǒng)處理資源，可滿足系統(tǒng)實(shí)時處理需要。因此，將TW9912設(shè)計為逐行輸出，計算其輸出像素時鐘pixclk并對i.MX6的視頻接口進(jìn)行配置。BT.656并行接口除了傳輸4:2:2的YCbCr視頻數(shù)據(jù)流外，還有行、列同步所用的控制信號。TW9912一幀PAL制式分辨率為720×576的圖像數(shù)據(jù)由一個625行、每行1728字節(jié)(1 440+280+4+4=1 728)的數(shù)據(jù)塊組成。其中，23～311行(288)是偶數(shù)場視頻數(shù)據(jù)，336～624行(288)是奇數(shù)場視頻數(shù)據(jù)，其余為垂直控制信號。根據(jù)公式：像素時鐘pixclk=行數(shù)據(jù)×行數(shù)×幀率。對于PAL制式分辨率為720×576的隔行掃描圖像數(shù)據(jù)，pixclk頻率為：PAL：(1 440+280+4+4)×625×25=27 000 000。如果采用逐行輸出方式，PAL制式的pixclk應(yīng)為54 MHz，比隔行輸出pixclk=27 MHz增大一倍，其幀數(shù)也增大一倍由PAL：25->50。此外，由于在視頻圖像的采集過程中，不同端口大小、不同階段，數(shù)據(jù)的字節(jié)順序是非常重要的。為了對圖像數(shù)據(jù)進(jìn)行靈活打包，在視頻接口軟件設(shè)計數(shù)據(jù)緩存交換空間進(jìn)行打包。

數(shù)字視頻信號芯片GS2971是一款支持標(biāo)清、高清和3 Gb/s多種速率的SDI接收器，該芯片利用SPI總線進(jìn)行初始化配置和控制。設(shè)計中，設(shè)計GS2971完成接入SDI視頻YCBCR數(shù)據(jù)轉(zhuǎn)換和BT.1120輸出，經(jīng)過匹配電阻接入i.MX6視頻處理芯片，保持視頻信號傳輸阻抗匹配。

2 軟件設(shè)計

根據(jù)系統(tǒng)功能和設(shè)計的需要，系統(tǒng)軟件采用模塊化設(shè)計，其中主程序、去霧處理算法、H.264壓縮處理、遙控指令響應(yīng)程序、遙測信息回報等軟件分別采用嵌入式平臺軟件編程。

2.1 系統(tǒng)主程序設(shè)計

系統(tǒng)主程序流程如圖2所示。主處理程序主要分為芯片初始化、芯片探測、事件發(fā)送和響應(yīng)操作和內(nèi)核循環(huán)5個模塊。根據(jù)需要，系統(tǒng)處理主程序采用嵌入式模塊化的設(shè)計思想，軟硬件有機(jī)結(jié)合構(gòu)成一個功能完整的一體化的控制模塊。具體設(shè)計如下：

上電后，程序?qū)ο到y(tǒng)進(jìn)行初始化，完成視頻接口芯片TW9912和GS2971、去霧處理芯片TS1601初始化工作、i.MX6嵌入式系統(tǒng)初始化、串口初始化、系統(tǒng)相關(guān)處理事件初始化；實(shí)現(xiàn)模塊化設(shè)計，針對系統(tǒng)各個接口和去霧處理參數(shù)配置腳本設(shè)計；系統(tǒng)初始化時，可以根據(jù)系統(tǒng)硬件設(shè)置和控制參數(shù)情況，直接調(diào)用對應(yīng)腳本文件，能夠快速、直接、準(zhǔn)確地配置模塊參數(shù)；內(nèi)核循環(huán)流程，設(shè)計無人機(jī)視頻H.264壓縮碼率受控處理軟件，解決壓縮編碼的運(yùn)動估計搜索范圍、最大關(guān)鍵幀間距、SPI接口緩沖區(qū)碼率控制機(jī)制問題，完成系統(tǒng)SPI輸出碼率受限軟件設(shè)計[12]。

圖2 系統(tǒng)處理主程序軟件流程圖

2.2 系統(tǒng)去霧遙控指令接收處理設(shè)計

無人機(jī)機(jī)載去霧處理系統(tǒng)在滿足去霧功能基礎(chǔ)上，i.MX6接收的遙控指令包括同步幀頭和控制指令等，接收和處理的遙控和遙測指令數(shù)據(jù)需要逐字節(jié)進(jìn)行解析、判斷、處理和回報。設(shè)計遙控指令的每幀指令由64個字節(jié)組成，前兩個字節(jié)為遙控指令幀頭。當(dāng)嵌入式系統(tǒng)串口接收到遙控指令后，系統(tǒng)根據(jù)遙控指令幀結(jié)構(gòu)完成相應(yīng)遙控解譯操作。其他功能設(shè)計如下：

1)機(jī)載去霧系統(tǒng)初始化：由于系統(tǒng)通過初始化完成相關(guān)TS1601去霧接口和狀態(tài)配置，因此需要關(guān)閉系統(tǒng)中斷響應(yīng)并在去霧配置完成后再根據(jù)需要開啟。

2)TS1601芯片的去霧功能初始化：根據(jù)機(jī)載視頻去霧處理要求，完成TS1601芯片的去霧處理算法參數(shù)設(shè)置(參見2.3節(jié))，系統(tǒng)采用配置腳本方式，快速準(zhǔn)確實(shí)現(xiàn)機(jī)載去霧處理模式設(shè)置。TS1601芯片初始化流程如圖3所示。

圖3 TS1601芯片初始化流程

2.3 系統(tǒng)視頻去霧參數(shù)設(shè)計

無人機(jī)機(jī)載視頻大多是場景變化緩慢對地觀測場景，應(yīng)針對機(jī)載圖像特性和實(shí)際工程情況設(shè)計去霧參數(shù)。對于機(jī)載獲取的圖像霧化主要表現(xiàn)為圖像對比度和明度減小，去霧處理上需要提高圖像對比度和明度。因此，機(jī)載視頻去霧參數(shù)系統(tǒng)采用大氣散射模型從機(jī)載圖像去霧I(x)、大氣光值A(chǔ)和透射率t(x)中恢復(fù)出圖像J(x)[1]：

(1)

(2)

式中，Ω(x)表示一塊方形區(qū)域，Ic表示含霧圖像的一個顏色通道。在求取透射率圖時使用最小值濾波并不符合機(jī)載視頻圖像景物深度基本一致的情況[1-3,5]，改進(jìn)的去霧算法復(fù)雜度較高[3-5]，不利于機(jī)載景物深度變化較大的區(qū)域透射率的實(shí)時估算。例如，超低能見度情況下地面霧霾濃度過大，圖像去霧處理時會使去霧后的圖像噪聲偏大，需要進(jìn)行不完全去霧；當(dāng)?shù)孛婺芤姸容^高霧霾濃度很低，不需要對圖像進(jìn)行去霧處理。針對機(jī)載圖像視場變化緩慢的快速去霧處理，本文提出一種機(jī)載圖像HSV分量確定透射率。

首先，機(jī)載圖像色調(diào)、飽和度和明度各分量的平均值分別為：

(4)

式中，Sum(H)，Sum(S)和Sum(V)為圖像中所有像素點(diǎn)色調(diào)分量H、飽和度分量S、明度分量V的總和，N1、N2、N3為分量值不為0的像素點(diǎn)數(shù)量，AveH，AveS和AveV為圖像中各分量的平均值。根據(jù)實(shí)驗數(shù)據(jù)測試分析，結(jié)合飛機(jī)總體設(shè)計對機(jī)載圖像去霧處理系統(tǒng)技術(shù)指標(biāo)要求，將機(jī)載含霧圖像按照如下含霧等級設(shè)定。

含霧圖像等級1：

(AveH<100)&&(AveS<0.07)&&(AveV<0.5)

(5)

含霧圖像等級2：

(AveH<125)&&(AveS<0.2)&&(AveV<0.48)

(6)

其次，根據(jù)HSV分量確定含霧圖像等級對透射率進(jìn)行調(diào)整，在含霧圖像等級為1的區(qū)域需要對透視率進(jìn)行放大，而在含霧圖像等級為2的區(qū)域需要對透視率保持不變，定義透射率為：

(7)

式中，閾值M定義為含霧圖像中對比度大于圖像HSV分量對比度閾值S(一般取S=2)的像素值個數(shù)p占總像素點(diǎn)個數(shù)n相比，即：M=p/n。無人機(jī)機(jī)載含霧圖像表現(xiàn)為對比度較差，所選取的閾值M也應(yīng)該不同：圖像中對比度區(qū)域較小的圖像選取較大的M值；圖像對比度較大選取較小的閾值M。本文按照含霧等級的去霧處理方法，不同于文獻(xiàn)[2-4]復(fù)雜參數(shù)計算方法，計算效率得到提高并且系統(tǒng)實(shí)時性也得到保障。

2.4 視頻去霧處理設(shè)計

視頻去霧處理芯片TS1601中有視頻去霧寄存器、I2C總線的寄存器、SPI總線寄存器、OSD寄存器等多種寄存器。通過設(shè)置相關(guān)去霧寄存器(DEMIST_ENABLE、DEMIST_WIN_LT等)的狀態(tài)來達(dá)到去霧的目的。其他有關(guān)圖像去噪，視頻OSD功能處理等軟件流程略。

無人機(jī)機(jī)載視頻大多是場景變化緩慢對地觀測場景，應(yīng)針對機(jī)載圖像特性和實(shí)際工程情況采用不同去霧方式和模式對視頻進(jìn)行實(shí)時去霧處理。設(shè)計視頻去霧處理軟件如下：首先進(jìn)行去霧功能的初始化，包括設(shè)置去霧最大的亮度和最大的色度；其次，根據(jù)輸入設(shè)備判定并更新相應(yīng)的腳本參數(shù)；然后，去霧系統(tǒng)根據(jù)從串口接收到的去霧指令進(jìn)行處理，獲得去霧事件的ID號和參數(shù)temp，并根據(jù)事件的ID號判斷去霧事件的類型。在去霧事件中軟件設(shè)計中：1)若temp=0，設(shè)置去霧的工作模式為關(guān)閉的狀態(tài)；2)若temp=1，設(shè)置去霧的工作模式為全雙工方式，設(shè)置去霧的工作電平為高電平有效，根據(jù)獲取的參數(shù)temp=1選擇去霧模式1并對相關(guān)的寄存器進(jìn)行設(shè)置；3)若temp=2，設(shè)置去霧的工作模式為全雙工方式，設(shè)置去霧的工作電平為低電平有效，根據(jù)獲取的參數(shù)temp=1選擇去霧模式2并對相關(guān)的寄存器進(jìn)行設(shè)置。

3 實(shí)驗測試

采用實(shí)際硬件平臺，完成相關(guān)去霧處理方法的實(shí)驗測試。實(shí)驗測試采用實(shí)際采集圖像和相關(guān)公開測試圖像進(jìn)行測試對比，圖像去霧效果對比如圖4和圖5所示。圖4(a)、(b)表示含霧等級1去霧效果圖，圖4(c)、(d)表示含霧等級2去霧效果圖。從含霧等級1結(jié)果看，由于含霧量一般，區(qū)域透射率保持不變，而含霧等級2其含霧量較大，區(qū)域透射率需要進(jìn)行調(diào)整，兩種等級去霧后的圖像都接近于自然。

圖4 去霧前和去霧后處理效果對比圖

為了更加客觀地比較含霧等級去霧處理的效果，選擇典型文獻(xiàn)[2-4]去霧方法進(jìn)行比較，并利用TenenGrad函數(shù)、方差函數(shù)、平均梯度梯度函數(shù)等3種清晰度評價函數(shù)[15]來評價去霧效果，并對得到函數(shù)值做歸一化處理，結(jié)果如表1所示。由圖5測試結(jié)果可見，根據(jù)含霧等級對透射率進(jìn)行進(jìn)行分析和加權(quán)調(diào)整，相對于文獻(xiàn)[2-4]具有良好的的適應(yīng)性。K.M.He等算法[2]對于大部分圖像具有良好的去霧效果，所提暗通道先驗方法存在對大氣光近似目標(biāo)場景估計不足等問題，缺乏層次感，去霧圖像整體亮度偏暗并存在失真情況，圖5(b)第二幅圖像左上角還會出現(xiàn)不均勻色塊情況；Berman等[3]算法整體亮度和色彩對比度上有所提升，但是某些圖像的邊緣出現(xiàn)偽輪廓，如圖5(c)第一幅圖像遠(yuǎn)處的模糊場景并沒有清晰恢復(fù)；F.Meng等[4]算法對于弱光照區(qū)域會出現(xiàn)對比度和亮度偏低的情況，如圖5(d)第三幅圖像所示天空區(qū)域圖像信息丟失并出現(xiàn)色塊。由表1可見，本文算法絕大多數(shù)情況下各項評價指標(biāo)是最優(yōu)的，D.Berman等[3]和F.Meng等[4]算法分別在圖5(c)第二幅圖和圖5(d)第一幅圖TenenGrad函數(shù)指標(biāo)客觀評價要優(yōu)于本文方法，但本文方法在保持去霧優(yōu)良效果的同時還保持較快處理速度，進(jìn)一步增強(qiáng)算法的實(shí)用性。

圖5 文獻(xiàn)方法和本文方法去霧前和去霧后處理效果對比圖

4 結(jié)束語

本文提出一種無人機(jī)機(jī)載圖像去霧處理系統(tǒng)設(shè)計。系統(tǒng)可根據(jù)機(jī)載含霧圖像等級進(jìn)行去霧圖像參數(shù)化分析，完成相關(guān)圖像壓縮、遙控遙測指令接收和發(fā)送、機(jī)載實(shí)時去霧

表1 去霧性能客觀評價結(jié)果

等處理工作，滿足機(jī)載視頻圖像去霧系統(tǒng)實(shí)時性處理需要。實(shí)驗測試結(jié)果表明，該系統(tǒng)滿足無人機(jī)機(jī)載視頻去霧處理的需求，可有效降低圖像去霧處理復(fù)雜度，具有功耗小、易實(shí)現(xiàn)和適應(yīng)性強(qiáng)等特點(diǎn)，滿足無人機(jī)機(jī)載圖像實(shí)時性去霧處理要求。