彭檢貴+張良+李維良+李林華+周佳雯

摘要：介紹了桌面遙感影像處理系統(tǒng)對高性能計算的需求及其現(xiàn)狀，針對多核CPU與GPU這兩種當(dāng)前單機(jī)系統(tǒng)中最重要計算資源的結(jié)構(gòu)與功能差異，總結(jié)不同并行架構(gòu)所具有的運算特點及適用范圍，以遙感影像多項式幾何校正為例，對比分析了同時代多核CPU與GPU在進(jìn)行高計算密集度且運算邏輯較簡單算法的高性能處理之間的性能差異，探討了并行處理架構(gòu)選擇的實踐準(zhǔn)則。

關(guān)鍵詞：并行架構(gòu)；遙感圖像處理系統(tǒng)；多核CPU；CUDA

中圖分類號：TP317.4

文獻(xiàn)標(biāo)識碼：A

文章編號：16727800（2017）004020104

0引言

面向桌面級應(yīng)用的遙感影像高性能計算，從本質(zhì)上講，是充分利用現(xiàn)有單機(jī)系統(tǒng)所提供的計算資源來提高遙感影像處理運算效率的一種有效途徑。多核CPU與GPU作為現(xiàn)有計算機(jī)中配置的兩種最常見的并行處理器，構(gòu)成了當(dāng)前單機(jī)系統(tǒng)上能夠被開發(fā)的最主要的計算資源，也勢必會在桌面遙感影像處理系統(tǒng)的高性能處理過程中發(fā)揮重要作用。目前，國內(nèi)外有不少專家學(xué)者都對此做了大量工作。Shahbahrami A等[1]從任務(wù)并行和數(shù)據(jù)并行兩個角度研究了基于多核CPU的GLCM影像紋理特征提取；Fitzgerald D F等[2]研究與探討了基于多核CPU的遙感影像分割算法實現(xiàn)，提出了一種影像數(shù)據(jù)子圖塊不匹配的應(yīng)對策略；Paz Abel等[3]研究對比了集群環(huán)境下與GPU環(huán)境下的高光譜遙感影像目標(biāo)與異常檢測；Antonio Plaza等[4]對比研究了Beowulf集群、可編程門陣列（FPGA）以及GPU（CUDA）架構(gòu)下高光譜影像像素純度指數(shù)的計算；Fan Zhang等[5]對基于GPU的復(fù)雜場景合成孔徑信號模擬方法進(jìn)行了深入研究。 本文針對桌面遙感影像處理系統(tǒng)高性能計算中所使用的多核CPU與GPU這兩種主要并行架構(gòu)，通過理論分析與對照實驗相結(jié)合的方法，對各自的結(jié)構(gòu)與功能特點進(jìn)行深入研究，總結(jié)不同并行架構(gòu)之間不同的運算特點及適用范圍，同時從算法運算邏輯復(fù)雜度與數(shù)據(jù)存儲復(fù)雜度對各關(guān)鍵算法進(jìn)行對比分析與實驗，提出一系列并行架構(gòu)選擇的實踐準(zhǔn)則。最后，以遙感影像多項式幾何校正為例，對比分析同時代多核CPU與GPU在進(jìn)行高計算密集度且運算邏輯較簡單算法的高性能處理之間的性能差異，對并行處理架構(gòu)選擇的實踐準(zhǔn)則作進(jìn)一步說明。

1并行處理架構(gòu)對比分析與選擇

1.1多核CPU與GPU在結(jié)構(gòu)與功能上的不同

多核CPU與GPU作為桌面遙感影像處理系統(tǒng)所使用的兩種主要并行架構(gòu)，具有不同的結(jié)構(gòu)與功能特性[6]。如圖1所示，CPU的設(shè)計目標(biāo)是使執(zhí)行單元以很低延遲獲取數(shù)據(jù)和指令，能夠適應(yīng)各種不同的運算環(huán)境，擅長復(fù)雜邏輯運算，因此將大量晶體管用于復(fù)雜控制邏輯單元及大容量的緩存單元；而GPU的設(shè)計目標(biāo)是使大量線程實現(xiàn)面向吞吐量的數(shù)據(jù)并行計算，因此大量晶體管被用于執(zhí)行單元來運行更多相對簡單的執(zhí)行線程，而邏輯控制和緩存單元則相對較少[8]。 正是由于CPU與GPU這兩種處理器設(shè)計結(jié)構(gòu)上的差異，導(dǎo)致兩者在處理功能上也有明顯不同。從功能上講，CPU對延遲更敏感，而GPU則側(cè)重于提高整體的數(shù)據(jù)吞吐量。多核CPU較GPU而言盡管在處理速度上有很大劣勢，但是由于復(fù)雜的控制邏輯、分支預(yù)測和大量緩存等關(guān)鍵技術(shù)的應(yīng)用，多核CPU對復(fù)雜運算的并行化支持力度更大；GPU是特地為支持計算密集、并行度高的運算而設(shè)計，但是由于緩存單元與邏輯控制單元相對較少，對于邏輯復(fù)雜、并行度不大的運算，GPU并不能很好地支持其并行化。

1.2高性能計算中并行架構(gòu)選擇準(zhǔn)則

GPU能夠處理大量數(shù)據(jù)的通用并行計算問題，但并不意味著所有遙感影像處理算法的高性能計算問題都能利用GPU技術(shù)輕易實現(xiàn)。因此，理清GPU在各類算法實現(xiàn)中的優(yōu)勢與缺陷，對桌面遙感影像處理系統(tǒng)的高性能計算非常重要。面向桌面應(yīng)用的遙感影像高性能計算，首先應(yīng)根據(jù)自身特點從全局上對各關(guān)鍵算法進(jìn)行分類，綜合把握，根據(jù)算法自身特點選擇最合適的并行處理架構(gòu)。根據(jù)多核CPU與GPU兩者之間的硬件結(jié)構(gòu)與程序運行的特點，本文提出3點并行架構(gòu)選擇的實踐準(zhǔn)則：①待并行化處理的算法在運算過程中，結(jié)果影像各像素的確定過程是否彼此獨立，互不影響，即結(jié)果影像各像素值在確定過程中是否需要獲取鄰近像素或者像素集合的基本信息；②待并行化處理的算法在運算時，結(jié)果影像中是否逐漸形成多個具有某種邏輯關(guān)聯(lián)的像素集合，且后續(xù)運算過程需要獲取這些集合中像素的光譜信息或相關(guān)空間統(tǒng)計信息，即同一遍渲染過程使用前面像素集合的計算結(jié)果；③待并行化處理的算法在運算過程中是否會頻繁或不規(guī)律地出現(xiàn)內(nèi)存與外設(shè)（如磁盤文件）之間影像數(shù)據(jù)或算法實現(xiàn)過程中相關(guān)輔助數(shù)據(jù)的轉(zhuǎn)存與交換現(xiàn)象，即在整個運算過程中，處理器所需要的影像數(shù)據(jù)或者相關(guān)輔助數(shù)據(jù)是否一直位于內(nèi)存中，而無需從相關(guān)磁盤文件中調(diào)度所需數(shù)據(jù)。 利用多核CPU與GPU兩種架構(gòu)提升桌面遙感影像處理系統(tǒng)的運行效率，需要根據(jù)這兩種并行處理器的功能特性，結(jié)合算法本身的運算邏輯與實現(xiàn)方式，對需要進(jìn)行并行化處理的遙感影像處理算法進(jìn)行類別劃分，即適合利用多核CPU進(jìn)行高性能處理的算法、適合利用GPU進(jìn)行高性能處理的算法。根據(jù)以上3個準(zhǔn)則，在桌面遙感影像處理軟件內(nèi)置的主要算法中，同時滿足以上3個條件的算法一般具有邏輯相對簡單、并行度較大的特點，包含了多數(shù)較為常見的影像處理算法，如：影像幾何校正、影像監(jiān)督分類、影像卷積運算等，通常非常適合利用GPU進(jìn)行算法加速處理，本文稱這類算法為“簡單算法”。而不能完全滿足以上3個條件算法的高性能處理采用GPU一般不易實現(xiàn)。具體而言，在CUDA架構(gòu)下，一般采用大量線程來執(zhí)行計算密集、并行度高的指令，在桌面遙感影像處理系統(tǒng)高性能計算中，通常一個線程會對應(yīng)一個像素的計算處理。當(dāng)算法不滿足條件（1）或（2），即運算邏輯較為復(fù)雜，算法在運行過程中目標(biāo)影像會形成若干具有內(nèi)在邏輯的像素集合，且后續(xù)運算需要獲取同類集合中像素的光譜信息或相關(guān)空間信息時，CUDA程序會變得較難編寫，即使勉強(qiáng)編寫出來，也會嚴(yán)重影響CUDA計算性能的發(fā)揮，有違CUDA設(shè)備的設(shè)計初衷。此類算法的代表有KMeans非監(jiān)督分類、Isodata非監(jiān)督分類、多尺度分割等特征級影像處理方法。CUDA設(shè)備在計算過程中的直接數(shù)據(jù)來源為顯存，顯存與磁盤文件之間數(shù)據(jù)交換、轉(zhuǎn)存的實現(xiàn)遠(yuǎn)比CPU內(nèi)存與磁盤文件之間數(shù)據(jù)交換、轉(zhuǎn)存的實現(xiàn)復(fù)雜。當(dāng)算法無法滿足條件（3）時，即一個算法在運行過程中，需要頻繁地或者不規(guī)律地將顯存中的數(shù)據(jù)交換到磁盤文件或從磁盤文件中調(diào)度相關(guān)數(shù)據(jù)進(jìn)入顯存，編寫CUDA程序也會變得困難，此類算法的代表為遙感影像多尺度分割算法。當(dāng)算法無法同時滿足以上3個條件，一般而言，利用CUDA技術(shù)難以進(jìn)行其高性能計算工作，然而算法在實現(xiàn)過程中確實能夠做到一定程度的并行執(zhí)行，在這種情況之下，可以考慮采用多核CPU進(jìn)行處理，本文稱這類算法為復(fù)雜算法。 一般而言，簡單算法易于利用CUDA進(jìn)行算法加速處理，當(dāng)然，需要注意的是，簡單算法同樣也可比較容易地利用多核CPU進(jìn)行并行化處理。從理論上講，由于GPU在處理簡單算法運算時的速度一般高于同時代的多核CPU，因此，推薦使用GPU，下文將對此問題進(jìn)行對比實驗，以實驗驗證來提升理論分析的嚴(yán)密性?！糎J*3〗 無論復(fù)雜算法還是簡單算法，在高性能處理過程中，鑒于所選用的并行架構(gòu)與遙感影像本身的特點，其都會面臨著一系列待解決的關(guān)鍵問題。復(fù)雜算法在不滿足條件（1）和（2）時，可能會出現(xiàn)各個數(shù)據(jù)分塊在并行處理完畢之后接邊不能很好地吻合而無法直接合并的問題；復(fù)雜算法在不滿足條件（3）時，在影像數(shù)據(jù)量較大的情況下，可能會出現(xiàn)影像數(shù)據(jù)子區(qū)的多線程讀寫問題。簡單算法實現(xiàn)起來相比于復(fù)雜算法較為容易，一般不存在數(shù)據(jù)分塊之間的接邊問題，大數(shù)據(jù)量影像的處理問題一般也較易解決，簡單算法高性能處理問題的關(guān)鍵在于如何利用CUDA設(shè)備特殊的結(jié)構(gòu)與功能特性進(jìn)行算法優(yōu)化，其中，影像數(shù)據(jù)以及相關(guān)輔助數(shù)據(jù)的存儲與訪問策略優(yōu)化顯得尤為重要。 當(dāng)然，需要指出的是，本文所提出的一系列原則只是針對多數(shù)常用遙感影像處理算法在選擇高性能計算架構(gòu)的問題而言，可能無法涵蓋所有處理算法，這些有待于后續(xù)的深入研究。

2運算邏輯較簡單情況下并行架構(gòu)對比分析

在桌面遙感影像處理軟件中，當(dāng)某個算法能夠同時滿足上文提到的3個并行架構(gòu)選擇的實踐準(zhǔn)則時，一般而言，算法便于利用GPU進(jìn)行并行化處理，當(dāng)然，也同樣便于在多核CPU架構(gòu)下進(jìn)行高性能計算。從上述分析可知，同時代GPU運算速度一般快于多核CPU，因此為達(dá)到遙感影像高性能計算運算效率的最大化，優(yōu)先采用GPU進(jìn)行并行化實現(xiàn)。為了證明這一點，本節(jié)以遙感影像多項式幾何校正為例，對比利用GPU與利用多核CPU進(jìn)行簡單算法高性能計算的效率提升程度。 本節(jié)研究的重點是在滿足較輕易實現(xiàn)算法高性能計算條件下，對比同時代多核CPU與GPU的計算速度差異，因此對于利用多核CPU或者GPU實現(xiàn)遙感影像高性能計算的詳細(xì)過程和所面臨的關(guān)鍵問題及解決方法不作討論。

2.1多項式幾何校正算法

遙感影像幾何校正是以某種預(yù)先確定的數(shù)學(xué)模型來校正成像過程中所造成的各種幾何畸變，產(chǎn)生一幅符合某種地圖投影或圖形表達(dá)要求的新影像。校正前后的影像空間分別為畸變空間和校正空間。

遙感影像幾何校正首先要確定從畸變空間到校正空間的變換函數(shù)。基于多項式變換的校正方法是實踐中經(jīng)常使用的一種方法，原理直觀，對各種類型的傳感器有良好適用性。多項式變換校正法的基本思想是：使用多項式來擬合圖像校正過程中從畸變空間到校正空間的正向變換函數(shù)，然后用向后映射重采樣方法（又稱間接法）來完成輸入圖像到輸出圖像的幾何校正，如圖2所示。假設(shè)正向變換函數(shù)為：

本文以完全二次多項式為例來討論算法實現(xiàn)，式（5）和（6）、式（7）和（8）分別表示正向和逆向變換函數(shù)。正向變換函數(shù)中的參數(shù)，對于系統(tǒng)幾何校正而言，是利用已知的或可預(yù)測的參數(shù)，如衛(wèi)星軌道參數(shù)、傳感器姿態(tài)參數(shù)等來直接構(gòu)成，而對于幾何校正，則需利用控制點數(shù)據(jù)來求取[8]。本文實驗所采用的正向變換函數(shù)均為根據(jù)利用控制點數(shù)據(jù)來求取擬合得到的完全二次多項式。

算法有像素坐標(biāo)變換與像素亮度的重采樣兩個基本環(huán)節(jié)，校正的主要處理過程如圖3所示。首先，根據(jù)式（5）和式（6）求出輸出影像的范圍，如圖2右邊校正空間中實線內(nèi)的范圍，一般通過計算圖像的全局邊界來加以確定；由于校正算法采用向后映射方式進(jìn)行，因此第二步必須求取從校正空間到畸變空間的逆向多項式變換函數(shù)，如式（7）和式（8），逆變換的參數(shù)是利用輸入和輸出圖像上的若干個同名像點對，按最小二乘原理求解；第三步是幾何位置變換，將前面確定的輸出圖像范圍內(nèi)的像素坐標(biāo)（u，v）逐個代入逆變換函數(shù)得到其在輸入影像中的對應(yīng)位置；第四步則是根據(jù)輸入影像位置（x，y）周圍像素的灰度值，按某種重采樣算法得到校正影像（u，v）處的灰度值。

常用的重采樣算法包括雙三次卷積、雙線性插值和最鄰近像素法等。本文以雙線性插值算法為例加以介紹，如果選擇一個坐標(biāo)系統(tǒng)使得4個已知點的坐標(biāo)分別為（0，0），（0，1），（1，0），（1，1），那么插值公式可以表示為：p（x，y）=p（0，0）（1-x）（1-y）+p（1，0）x（1-y）+p（0，1）（1-y）y+p（1，1）xy（9）

遙感影像幾何校正過程中，第一步求取輸出圖像的范圍（只需要邊界像素坐標(biāo)參與計算）和第二步用粗網(wǎng)格點求取逆變換函數(shù)的參數(shù)，相對于后兩個步驟而言計算量很小，幾乎可以忽略不計，并行化的重點是在第三步幾何位置變換和第四步灰度值重采樣上，將這兩個步驟統(tǒng)稱為重采樣。

2.2實驗結(jié)果與分析

根據(jù)以上研究思路，本節(jié)以遙感影像多項式幾何校正為例，重點在于對比同時代多核CPU與CUDA設(shè)備在同時滿足能夠較輕易實現(xiàn)算法并行處理情況下的計算速度差異。本次實驗所使用的硬件實驗環(huán)境為：NVIDIA GEFORCE GT 425M顯卡，該顯卡所使用的GPU內(nèi)置兩個SM，每個SM擁有48個SP，共96個SP，顯存容量為1G；Intel CORE i5 CPU，該CPU擁有兩個核心；內(nèi)存容量為2G。本次實驗軟件實驗環(huán)境為：Windows 7操作系統(tǒng)及Vs2010編譯器。

2.2.1幾何校正結(jié)果對比

實驗首先對比多核CPU架構(gòu)、CUDA架構(gòu)下幾何校正高性能計算與結(jié)果。實驗數(shù)據(jù)采用兩幅有重疊地區(qū)的GeoEye影像，尺寸均為500*500，兩幅影像的空間分辨率不同。為便于實驗觀察，以低空間分辨率影像為參考影像，高空間分辨率影像為畸變影像，如圖4所示。

幾何校正結(jié)果如圖5所示，其中圖5（a）為多核CPU架構(gòu)下幾何校正高性能計算結(jié)果，圖5（b）為CUDA架構(gòu)下幾何校正高性能計算結(jié)果。在結(jié)果影像中，畸變影像被校正到參考影像空間后所對應(yīng)的部分為白色框所劃定的影像塊。

2.2.2幾何校正計算效率對比 接下來，對比多核CPU架構(gòu)下幾何校正高性能計算與CUDA架構(gòu)下幾何校正高性能計算的計算效率。實驗數(shù)據(jù)與2.1節(jié)中相同。實驗分四組進(jìn)行，其中第一組為多核CPU架構(gòu)下單線程程序運行時間，第二組為多核CPU架構(gòu)下兩線程程序運行時間，第三組為多核CPU架構(gòu)下四線程程序運行時間，最后一組為CUDA架構(gòu)下幾何校正高性能計算的計算時間，實驗結(jié)果如表1所示。

由表1可知，遙感影像多項式幾何校正作為可在多核CPU與CUDA架構(gòu)下同時實現(xiàn)高性能計算的運算邏輯并不復(fù)雜的代表性算法，多核CPU架構(gòu)下的高性能計算方式可以在一定程度上提升其運算效率，這一點可以從第1列與第2列、第1列與第3列的數(shù)據(jù)對比中得出。然而，對比第1列與第4列的結(jié)果數(shù)據(jù)可知，同時代的CUDA設(shè)備對于算法的運行效率提升更為顯著。因此，在桌面遙感影像處理系統(tǒng)的高性能計算過程中，針對運算邏輯和數(shù)〖LL〗據(jù)存儲方式均較為簡單的算法，一般推薦在CUDA架構(gòu)下進(jìn)行高性能計算，以達(dá)到程序運算效率提升的最大化。

3結(jié)語

本文主要介紹在進(jìn)行桌面遙感影像處理系統(tǒng)高性能計算時針對算法的內(nèi)在特點所面臨的并行架構(gòu)選擇問題。深入研究多核CPU與GPU這兩種當(dāng)前單機(jī)系統(tǒng)中最重要計算資源的結(jié)構(gòu)與功能差異，總結(jié)不同并行架構(gòu)所具有的運算特點及適用范圍。從全局上統(tǒng)籌分析各關(guān)鍵算法運算邏輯復(fù)雜度與數(shù)據(jù)存儲復(fù)雜度，提出了一系列針對具體算法選擇合適并行處理架構(gòu)的實踐準(zhǔn)則。同時，以多項式幾何校正為例，驗證了在進(jìn)行簡單算法的高性能計算時優(yōu)先采用GPU的觀點，對實踐準(zhǔn)則進(jìn)行了補(bǔ)充闡述。 當(dāng)然，本文所提出的一系列原則只是針對多數(shù)常用遙感影像處理算法在選擇高性能計算架構(gòu)的問題而言，可能無法涵蓋所有處理算法，這些有待于后續(xù)深入研究。

參考文獻(xiàn)：

[1]ASADOLLAH SHAHBAHRAMI，TUAN ANHPHAM，KOEN BERTELS.Parallel implementation of gray level cooccurrence matrices and haralick texture features on cell architecture[J].Journal of Supercomputing，2012，59（3）：14551477.

[2]FITZGERALD D F，WILLS D S，WILLS L M.Realtime， parallel segmentation of highresolution images on multicore platforms[J].Journal of RealTime Image Processing，2014.

[3]PAZ ABEL，PLAZA ANTONIO.Clusters versus GPUs for parallel target and anomaly detection in hyperspectral images[J].EURASIP Journal on Advances in Signal Processing，2010.

[4]ANTONIO PLAZA，JAVIER PLAZA，HUGO VEGAS.Improving the performance of hyperspectral image and signal processing algorithms using parallel，distributed and specialized hardwarebased systems[J].Journal of Signal Processing Systems，2010，61（3）：293315.

[5]FAN ZHANG，ZHENGLI，BINGNANWANG，et al.Hybrid generalpurpose computation on GPU （GPGPU） and computer graphics synthetic aperture radar simulation for complex scenes[J].International Journal of Physical Sciences，2012，7（8）：12241234.

[6]HWU W.Rethinking computer architecture for throughput computing[C].Keynote of 2013 International Conference on Embedded Computer Systems： Architectures， Modeling and Simulation （SAMOS），Greece，2013：129.

[7]周海芳.遙感圖像并行處理算法的研究與應(yīng)用[D].長沙：國防科學(xué)技術(shù)大學(xué)，2003.

[8]陳國良.并行計算——結(jié)構(gòu)·算法·編程[M].第3版.北京：高等教育出版社，2011.

（責(zé)任編輯：孫娟）