張金城，廖守億，張作宇，蘇德倫，閆循良

?

電阻陣列非均勻性校正實時性改進

張金城1，廖守億1，張作宇1，蘇德倫2，閆循良1

（1. 第二炮兵工程大學精確制導與仿真實驗室，陜西 西安 710025；2. 中國人民解放軍96111部隊，陜西 韓城 715400）

電阻陣列作為紅外景象投射器必須進行非均勻性校正，而校正方法的實時性又必須滿足系統(tǒng)幀頻要求。通過設(shè)計實時性評估軟件，對以往耗時較長的CPU數(shù)據(jù)處理方法進行改進，提出基于CUDA的GPU并行數(shù)據(jù)處理方法，并應(yīng)用PBO技術(shù)做進一步優(yōu)化。測試結(jié)果表明，該方法能夠大幅提升數(shù)據(jù)處理速度，理想的系統(tǒng)實時性為后續(xù)更大規(guī)模的電阻陣列數(shù)據(jù)處理提供了時間余度。

電阻陣列；非均勻性；GPU；CUDA；實時性

0 引言

電阻陣列是一種動態(tài)紅外景象投射器件，可以用于紅外成像制導系統(tǒng)的效能評估。電阻陣列通過控制流經(jīng)各電阻元的電流實現(xiàn)不同程度的紅外輻射[1]。理想情況下，當控制電流相同時，各電阻元紅外輻射亮度應(yīng)該相同。但實際情況是：由于材料特性、加工工藝等差異，電阻元具有不同的響應(yīng)特性，這種非均勻性成為制約電阻陣列發(fā)展使用的難題。國外從20世紀90年代開始研究電阻陣列的非均勻性校正問題，研究成果不斷發(fā)展并付諸應(yīng)用，目前校正后殘余非均勻性可達到1%左右[2-4]。國內(nèi)從1994年才開始跟蹤電阻陣列技術(shù)[5]，在電阻陣列非均勻性校正方面更是起步晚，研究單位少[6]。

目前國內(nèi)較為普遍采用的是基于CPU進行非均勻性校正數(shù)據(jù)處理的方法[6-9]，該方法耗時較長，僅在當前像元規(guī)模電阻陣列系統(tǒng)中能勉強滿足200Hz幀頻要求，且有部分超時幀，制約了系統(tǒng)的發(fā)展應(yīng)用。本文以256×256電阻陣列、200Hz紅外圖像生成系統(tǒng)為研究對象，分析校正計算過程和實時性影響因素，設(shè)計實時性評估軟件，著眼更大像元規(guī)模、高實時性指標要求，對目前采用的數(shù)據(jù)處理方法進行改進。

1 計算過程分析

紅外景象投射系統(tǒng)的主要過程包括：紅外圖像的GPU渲染、圖像數(shù)據(jù)處理和圖像數(shù)據(jù)傳輸。上述3個過程的實時性均表現(xiàn)為是否能在幀頻要求下，在規(guī)定的時間內(nèi)完成規(guī)定的計算量。

1.1 紅外圖像的GPU渲染

系統(tǒng)采用開放的紅外視景仿真軟件Vega的Sensor Vision模塊，在NVIDIA顯卡的GPU中完成紅外圖像的實時生成。圖像渲染計算量主要集中在目標表面紅外輻射亮度的計算和目標三維模型的驅(qū)動兩個方面[10]。紅外輻射計算通過對目標三維模型頂點組成的每個面元（多邊形）實現(xiàn)，頂點數(shù)量決定了模型驅(qū)動時的計算量，相應(yīng)地，多邊形的數(shù)量也體現(xiàn)了目標三維模型的精細程度。所以，目標三維模型的精細程度是影響圖像渲染計算時間的主要因素。

1.2 圖像數(shù)據(jù)處理

數(shù)據(jù)處理從GPU結(jié)束圖像渲染開始，包括從GPU的幀緩沖區(qū)中取出像素數(shù)據(jù)、灰度數(shù)據(jù)轉(zhuǎn)換為輻射亮度數(shù)據(jù)、非均勻性校正、非線性校正和DA輸入量化5個過程。數(shù)據(jù)處理流程如圖1所示。

圖1 數(shù)據(jù)處理流程圖

1.3 圖像數(shù)據(jù)傳輸

圖像數(shù)據(jù)傳輸是指處理后的圖像數(shù)據(jù)通過光纖反射內(nèi)存網(wǎng)絡(luò)從圖形工作站到電阻陣列驅(qū)動控制系統(tǒng)的傳輸過程，傳輸路徑如圖2所示。

由于反射內(nèi)存節(jié)點間為內(nèi)存實時映射共享機制，相鄰節(jié)點傳輸延遲僅為70ns，且光纖帶寬可達170MB/s，因此反射內(nèi)存節(jié)點間的數(shù)據(jù)傳輸時間可忽略不計，即可認為圖形工作站的圖像數(shù)據(jù)通過PCI總線寫入本地反射內(nèi)存節(jié)點的同時亦寫入驅(qū)動控制系統(tǒng)的反射內(nèi)存節(jié)點，則圖像數(shù)據(jù)的發(fā)送時間即數(shù)據(jù)通過PCI總線寫入本地反射內(nèi)存的時間。

圖2 圖像數(shù)據(jù)傳輸路徑

2 實時性影響因素分析

圖像渲染的速度取決于GPU的加速能力和模型的精細程度，在仿真中采用細節(jié)層次技術(shù)（Levels Of Detail，LOD），在不影響畫面視覺效果的條件下省略不必要的模型細節(jié)，可以提高圖像渲染的速度。

由圖1分析可知，每個像元的數(shù)據(jù)處理要進行6次浮點數(shù)乘加運算，每幀圖像要完成256×256×6次乘加運算，且運算量將隨像元規(guī)模擴大成幾何級數(shù)增加，所以數(shù)據(jù)處理是系統(tǒng)主要耗時環(huán)節(jié)。如果這所有的計算量在CPU中完成，那么數(shù)據(jù)處理將嚴重依賴CPU資源。另一方面，由于圖像生成系統(tǒng)運行平臺為非實時的Windows系統(tǒng)，后臺組件對CPU資源的隨機搶占勢必對數(shù)據(jù)處理速度造成影響，大幅度超時還會引起丟幀現(xiàn)象，這也對系統(tǒng)實時性帶來威脅。

數(shù)據(jù)傳輸時間即為PCI總線讀寫操作時間，相對穩(wěn)定。

3 評估軟件設(shè)計

試驗評估軟件運行環(huán)境為WindowsXP SP3，開發(fā)環(huán)境為Visual Studio 2008和Vega SensorVision模塊，硬件環(huán)境包括一塊GE FANUC VMIC PCI- 5565PIORC反射內(nèi)存卡和相應(yīng)的驅(qū)動軟件包，設(shè)計流程如圖3所示。

由圖可知，軟件通過對圖像渲染、數(shù)據(jù)處理和數(shù)據(jù)傳輸3個過程分別進行時間測試，考量現(xiàn)行投射系統(tǒng)總體設(shè)計和數(shù)據(jù)處理方法是否滿足200Hz幀頻要求。軟件采用對話框形式，界面設(shè)計如圖4所示。

界面左半部分為繪圖區(qū)，可進行128×128、256×256和512×512三種像元規(guī)模紅外圖像的實時渲染，右半部分為設(shè)置和參數(shù)測試區(qū)，包括圖像格式和運行方式的控制以及時間參數(shù)測試的實時顯示。

圖3 實時性評估軟件設(shè)計流程

4 實驗評估

非均勻性校正過程中，數(shù)據(jù)處理算法是一致的，都要進行圖1所示的6次浮點乘加運算，但不同的硬件平臺、數(shù)據(jù)處理方式將導致不同的實時性效果。根據(jù)第2章分析，由于圖像渲染時間可以簡化、數(shù)據(jù)傳輸時間基本穩(wěn)定，本文中試驗評估軟件主要對數(shù)據(jù)處理時間和圖像幀周期進行測試，測試樣本為5000幀，測試的硬件平臺如表1所示。

圖4 實時性評估軟件界面設(shè)計

表1 測試硬件平臺配制

4.1 基于CPU進行數(shù)據(jù)處理的實時性評估

對當前常用的CPU數(shù)據(jù)處理方法進行實時性測試，測試結(jié)果如圖5所示。

圖5 基于CPU進行數(shù)據(jù)處理的實時性測試

Fig.5 Real-time estimating of CPU data processing

測試結(jié)果的統(tǒng)計數(shù)據(jù)如表2所示。

表2 基于CPU進行數(shù)據(jù)處理的實時性測試統(tǒng)計數(shù)據(jù)

測試結(jié)果表明，Windows系統(tǒng)后臺組件對CPU資源的隨機搶占導致測試結(jié)果的劇烈震蕩，雖然幀周期大致在3.5ms至4.5ms之間波動，基本滿足200Hz幀頻要求，但5000幀樣本中依然有15幀周期超過5ms，這會在實時仿真中導致丟幀問題，而且隨著像元規(guī)模向512×512、1024×1024的增大，數(shù)據(jù)計算量成幾何級數(shù)增長，幀周期必將大于5ms。

4.2 基于CUDA的GPU數(shù)據(jù)并行處理改進

CUDA（Compute Unified Device Architecture，統(tǒng)一計算設(shè)備架構(gòu)）是由NVIDIA（顯卡廠商）推出的通用并行計算架構(gòu)，通過在顯卡設(shè)備硬件平臺上提供軟件開發(fā)環(huán)境，可將高度并行的數(shù)據(jù)處理過程分發(fā)到GPU的眾多內(nèi)核中，實現(xiàn)單指令多線程（Single Instruction Multi Thread，SIMT）的并行計算。由于紅外圖像各像元數(shù)據(jù)處理算法完全相同，具有高度并行特征，所以系統(tǒng)對像元數(shù)據(jù)進行GPU并行加速處理。

GPU硬件上的大規(guī)模并行是通過重復設(shè)置多個相同的通用構(gòu)件塊——流多處理器（Stream Multiprocessor，SM）實現(xiàn)的，GPU的硬件結(jié)構(gòu)如圖6所示。

并行算法的每個計算分支被CUDA定義為一個線程（thread），SM通過調(diào)度器控制其多個計算核心（Core）執(zhí)行相同的指令，每個計算核心可以處理不同的數(shù)據(jù)，以此實現(xiàn)多線程并行數(shù)據(jù)處理。

圖6 GPU硬件結(jié)構(gòu)圖

CUDA軟件模型中根據(jù)并行算法的線程總數(shù)，將所有線程組織成網(wǎng)格（Grid）和線程塊（Block）兩級封裝結(jié)構(gòu)，每個線程塊里的所有線程在同一個SM內(nèi)執(zhí)行，一個SM可被調(diào)度執(zhí)行一個或多個線程塊，因此可通過SM內(nèi)的共享內(nèi)存實現(xiàn)高速的數(shù)據(jù)交互。本系統(tǒng)對256×256個數(shù)據(jù)線程的并行架構(gòu)配置如圖7所示。

圖7 GPU數(shù)據(jù)處理的并行架構(gòu)配置

為便于圖像數(shù)據(jù)處理，Block和Grid的配置全部為16×16二維形式，每個線程通過坐標索引與像元Pixel(,)形成一一對應(yīng)關(guān)系。

編譯環(huán)境方面，CUDA提供了NVCC編譯器，在Windows下，NVCC支持VC＋＋8.0及以后版本編譯器，本系統(tǒng)基于Visual Studio 2008編譯環(huán)境開發(fā)CUDA并行計算的數(shù)據(jù)處理軟件。

數(shù)據(jù)傳輸流程如圖8所示，從GPU的幀緩存中讀取的灰度數(shù)據(jù)不再由CPU計算，而是再次傳送到GPU中進行并行處理，最終量化DA電壓值通過PCIE總線回傳至系統(tǒng)內(nèi)存。測試結(jié)果如圖9所示。

測試結(jié)果的統(tǒng)計數(shù)據(jù)如表3所示。

與CPU數(shù)據(jù)處理相比，均值和標準差的大幅降低表明GPU數(shù)據(jù)并行處理的速度和時間穩(wěn)定性都得到良好改善，然而仍存在一個超時幀，這是數(shù)據(jù)處理的隨機超時導致的。

圖8 數(shù)據(jù)傳輸流程

圖9 基于CUDA的GPU數(shù)據(jù)并行處理實時性測試

Fig.9 Real-time testing of GPU data processing collaterally based on CUDA

表3 基于CUDA的GPU數(shù)據(jù)并行處理測試結(jié)果統(tǒng)計

4.3 基于PBO技術(shù)的進一步改進

由圖8分析可知，采用GPU并行處理圖像數(shù)據(jù)時，主機和顯卡設(shè)備間要進行三次數(shù)據(jù)傳輸，這主要是PCIE總線對顯卡幀緩存和顯存的讀寫操作，而幾乎所有的CUDA并行計算都會受到存儲帶寬限制，不難預測，盡量減少主機和設(shè)備間的數(shù)據(jù)傳輸，可以進一步提高數(shù)據(jù)處理速度。

灰度數(shù)據(jù)通過OpenGL接口實現(xiàn)顯卡幀緩存到主機內(nèi)存之間的傳遞，而OpenGL提供的像素緩沖對象（Pixel Buffer Object，PBO）技術(shù)，可以實現(xiàn)數(shù)據(jù)在設(shè)備內(nèi)部的交互，其過程如圖10所示。

系統(tǒng)采用PBO技術(shù)做進一步改進，將數(shù)據(jù)處理始終放在設(shè)備內(nèi)部運行，最終量化DA數(shù)據(jù)傳輸?shù)街鳈C內(nèi)存。這樣，一幀圖像數(shù)據(jù)處理只需進行一次PCIE總線數(shù)據(jù)傳輸，測試結(jié)果如圖11所示。

圖10 基于PBO的設(shè)備內(nèi)部數(shù)據(jù)讀取

圖11 基于PBO的實時性測試結(jié)果

Fig.11 Real-time testing data based on PBO

測試結(jié)果統(tǒng)計數(shù)據(jù)如表4所示。

表4 基于PBO技術(shù)的數(shù)據(jù)并行處理測試結(jié)果統(tǒng)計

測試結(jié)果驗證了改進方案的可行性，數(shù)據(jù)處理時間和幀周期得到進一步改善，幀周期最大值僅為3.216ms，很好地滿足了5ms的系統(tǒng)幀頻要求。

5 結(jié)論

對紅外圖像生成系統(tǒng)的計算過程分析表明，數(shù)據(jù)處理是主要耗時環(huán)節(jié)。通過設(shè)計實時性評估軟件，針對基于CPU進行數(shù)據(jù)處理耗時長的不足，提出基于CUDA的GPU數(shù)據(jù)并行處理和應(yīng)用PBO技術(shù)的改進思路。測試結(jié)果表明，改進方案較為理想地滿足了系統(tǒng)200Hz幀頻要求，為后續(xù)更大規(guī)模電阻陣列的投入使用提供了時間余度。

由于圖像生成系統(tǒng)運行在非實時的Windows系統(tǒng)，且實時性評估軟件采用CPU計數(shù)器測時，后臺組件對CPU資源的隨機搶占直接導致測試結(jié)果劇烈震蕩、標準差較大，下一步將考慮采用Linux等實時性好的操作系統(tǒng)，進一步提高系統(tǒng)的實時性和測試結(jié)果的置信度。

[1] 李守榮, 梁平治, 屈新萍. 紅外微輻射源的研制[J]. 紅外與毫米波學報, 2003, 22(4): 277-280.

[2] Leszek Swierkowski, Williams O M. Advanced flood nonuniformity correction for emitter array infrared projectors[C]//, 2002, 4717: 108-119.

[3] Leszek Swierkowski, Robert A J, Williams O M. Rsistor array infrared projector nonuniformity correction: search for performance improvement IV[C]//, 2009, 7301: 73010M.

[4] 李艷, 孟慶虎, 吳永剛. 國外電阻陣列非均勻性校正技術(shù)概述[J]. 紅外技術(shù), 2010, 32(8): 453-456.

[5] 肖云鵬, 馬斌, 梁平治. 國產(chǎn)電阻陣列動態(tài)紅外景象投射器研制進展[J]. 紅外技術(shù), 2006, 28(5): 266-270.

[6] 蘇德倫, 廖守億, 張金生, 等. 電阻陣列紅外景象投射器非均勻性實時校正[J]. 紅外技術(shù), 2014, 36(7): 521-526.

[7] 蘇德倫, 廖守億, 張金生, 等. 電阻陣列非均勻性校正[J]. 紅外與激光工程, 2009, 38(增刊): 311-315.

[8] 蘇德倫, 廖守億, 張金生, 等. 電阻陣列非均勻性校正算法實時性研究[J]. 紅外技術(shù), 2009, 31(11): 634-638.

[9] 吳永剛, 王旌, 周博. 電阻陣紅外景象投影儀非均勻性校正方法學[J]. 航空兵器, 2010(6): 63-66.

[10] 蘇德倫, 王仕成, 廖守億, 等. 基于CIG的動態(tài)紅外圖像實時生成系統(tǒng)[J]. 紅外技術(shù), 2009, 31(9): 549-552.

Real-time Improvement for Resistor Array Nonuniformity Correction

ZHANG Jin-cheng1，LIAO Shou-yi1，ZHANG Zuo-yu1，SU De-lun2，YAN Xun-liang1

(1.,’710025,; 2. 96111,715400,)

The nonuniformity of resistor array must be corrected in the infrared scene projecting, besides, the real-time of correction methods must satisfy the frame frequency index. By means of designing real-time estimating software, the previous time-consuming data processing method based on CPU was improved, and the GPU collateral data processing method based on CUDA was proposed, meanwhile, the PBO technology was applied for further optimizing. Testing results indicate that the improved method can substantially advance the data processing speed, and the ideal real-time provides time redundancy for the larger resistor array follow-up.

resistor array，nonuniformity，GPU，CUDA，real-time

TN216

A

1001-8891(2015)11-0921-05

2015-07-22；

2015-09-11.

張金城（1990-），男，河北滄州人，碩士研究生，研究方向為導航、制導與仿真。

中國博士后科學基金項目，編號：2013M532125、2014T70974。