霍相佐，張文東，田生偉，侯樹祥

1.新疆大學(xué) 軟件學(xué)院，烏魯木齊 830008

2.新疆大學(xué) 軟件工程技術(shù)重點實驗室，烏魯木齊 830008

在移動終端設(shè)備上部署圖像修復(fù)模型，使得圖像修復(fù)、超分辨率重建、目標(biāo)移除等應(yīng)用更加便攜、易用。隨著5G時代的來臨，移動邊緣計算（mobile edge computing，MEC）[1]應(yīng)運而生，其是指在移動網(wǎng)絡(luò)邊緣部署計算和存儲資源，為用戶提供超低時延、高帶寬的IT服務(wù)環(huán)境和云計算能力。Google、百度、阿里、騰訊等廠家不斷加大云-邊-端協(xié)同網(wǎng)絡(luò)的投入。邊緣云與終端需要緊密協(xié)同才能更好地滿足各種需求場景的匹配，這樣不僅能減少移動終端的計算壓力和能耗，還能降低傳輸時延[2]。因此實現(xiàn)邊-端協(xié)同的圖像修復(fù)非常具有研究價值。

現(xiàn)有的圖像修復(fù)方法可以分為兩類，即傳統(tǒng)方法和深度學(xué)習(xí)方法。傳統(tǒng)數(shù)字圖像修復(fù)方法的典型代表有Bertalmio 等人[3]提出的一種沿修復(fù)邊界等照度線方向傳播信息的各向異性擴散三階偏微分方程模型，最先將圖像分解應(yīng)用到圖像修復(fù)領(lǐng)域。Criminisi等人[4]提出了結(jié)合待修復(fù)區(qū)域的幾何結(jié)構(gòu)和鄰域置信度確定修復(fù)順序，模擬人工修復(fù)圖像的過程，實現(xiàn)了圖像由缺損邊緣漸次向內(nèi)部修復(fù)，使得圖像修復(fù)的紋理更加合理。師曉波等人[5]提出基于結(jié)構(gòu)連續(xù)塊和多尺度變換相結(jié)合的方法，在壁畫修復(fù)任務(wù)中，有效提升視覺連續(xù)性。Simakov等人[6]將匹配塊的搜索范圍擴大到了單張圖像以外，其計算量極大，在實際應(yīng)用中很難實現(xiàn)。Barnes 等人[7]針對此問題提出了PatchMatch的方法，一種快速鄰域算法來加速塊搜索的過程，很大程度上解決了計算量過大的問題。然而以上方法僅在圖像破損面積很小或是圖像本身語義完好的情況下能夠取得較好的修復(fù)效果。

基于深度學(xué)習(xí)的方法則通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方式，生成語義合理的內(nèi)容，大大超越了傳統(tǒng)方法。近年來，Pathak 等人[8]提出了一種基于生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）[9]的上下文編碼器，生成具有語義信息的樣本塊對破損區(qū)域進(jìn)行填充。劉昱等人[10]在模型中加入跳躍連接，以增加結(jié)構(gòu)信息的預(yù)測能力，在面部圖像數(shù)據(jù)集中提升了圖像的補全效果。Iizuka等人[11]提出了一種具有全局和局部一致性的全卷積圖像修復(fù)網(wǎng)絡(luò)，處理各種數(shù)據(jù)集上的高分辨率圖像。Yu 等人[12]為了捕獲更大范圍的紋理，提出了上下文注意力模塊，進(jìn)一步確保生成區(qū)域與周圍環(huán)境的顏色、紋理和語義一致性。然而，其主要是在矩形掩膜上進(jìn)行訓(xùn)練，并不能很好地對自由形狀的破損區(qū)域進(jìn)行修復(fù)。為解決此問題，Liu等人[13]提出部分卷積以改善結(jié)果，并在不規(guī)則掩膜的數(shù)據(jù)集上訓(xùn)練修復(fù)網(wǎng)絡(luò)，實現(xiàn)了對不規(guī)則缺損圖像的修復(fù)。Zeng 等人[14]采用U-Net 網(wǎng)絡(luò)結(jié)構(gòu)作為主干，提出了一個金字塔上下文編碼器網(wǎng)絡(luò)，加快了訓(xùn)練中的收斂速度。Sagong 等人[15]提出一種快速圖像修復(fù)模型，并先后對注意力模塊和擴張卷積進(jìn)行改進(jìn)，在保證性能的同時顯著降低網(wǎng)絡(luò)參數(shù)量。Nazeri等人[16]通過邊緣生成器對圖像待修復(fù)區(qū)域邊界進(jìn)行預(yù)測，根據(jù)預(yù)測的邊緣信息指導(dǎo)修復(fù)，得到更精細(xì)的結(jié)果。Yu等人[17]提出了一個基于門控卷積的自由形式圖像修復(fù)模型，取得了更真實的修復(fù)效果。然而以上方法需求算力較高，并不適宜在移動終端上部署應(yīng)用。

隨著通信技術(shù)、傳感器技術(shù)的不斷發(fā)展，邊緣計算[18]采用降低服務(wù)器和用戶間距離的方式減少了網(wǎng)絡(luò)響應(yīng)時間和數(shù)據(jù)傳輸能耗。張展等人[19]提出一種面向邊緣計算的目標(biāo)追蹤應(yīng)用部署策略，通過任務(wù)分割策略將計算任務(wù)卸載至邊緣云，能夠通過終端設(shè)備對目標(biāo)進(jìn)行追蹤，為深度學(xué)習(xí)模型在終端節(jié)點部署提供了新的思路。吳柳青等人[20]提出基于邊-端協(xié)同的任務(wù)卸載資源分配聯(lián)合優(yōu)化算法，解決了移動終端資源有限的問題，提升了任務(wù)處理效率。然而以上方法并不能直接應(yīng)用在深度學(xué)習(xí)的圖像修復(fù)模型上，針對現(xiàn)有方法的不足，本研究對圖像修復(fù)模型本身進(jìn)行改進(jìn)并提出計算卸載策略，進(jìn)一步降低終端和邊緣云的計算時延。

1 邊-端協(xié)同圖像修復(fù)思路

主要思路是通過訓(xùn)練一個可在邊-端部署的生成模型學(xué)習(xí)到真實圖像的概率分布，同時使用門控卷積、并行解碼器、對抗學(xué)習(xí)、注意力機制、共享權(quán)值的方法優(yōu)化生成模型的學(xué)習(xí)效果。使用訓(xùn)練后的生成模型根據(jù)待修復(fù)圖像掩膜外的區(qū)域特征補全缺失部分，以完成圖像修復(fù)的目標(biāo)。

模型整體結(jié)構(gòu)如圖1 所示，可以看作是GAN 的一種變體，模型由2 個生成模型和1 個鑒別模型組成。出于模型需部署在邊緣云和終端節(jié)點的考慮，本研究使用編碼器-解碼器結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）作為生成模型，構(gòu)建了一種面向邊-端協(xié)同的并行解碼器結(jié)構(gòu)ETG-Net的卷積神經(jīng)網(wǎng)絡(luò)作為生成模型，在邊-端分別生成與待修復(fù)圖像相似的圖像。Yu 等人[17]模型中提出的門控卷積可以更好地提取特征信息。本文同樣采用門控卷積替換所有普通卷積進(jìn)行特征提取，以學(xué)習(xí)一種動態(tài)的選擇機制，避免模型學(xué)習(xí)到掩膜中的無效像素。在終端節(jié)點采用L1損失進(jìn)行訓(xùn)練，在邊緣云端引入生成對抗網(wǎng)絡(luò)的對抗訓(xùn)練，通過博弈的方式進(jìn)一步優(yōu)化生成模型，使得生成結(jié)果更加精細(xì)。另一方面受到Lim 等人[21]于2020 年提出移動邊緣網(wǎng)絡(luò)中的聯(lián)邦學(xué)習(xí)（federated learning，F(xiàn)L）的啟發(fā)，每層的權(quán)值參數(shù)與終端節(jié)點進(jìn)行共享。采用并行解碼器共享權(quán)值的方式，大大減少模型參數(shù)量，提升圖像修復(fù)及訓(xùn)練效率，并保留移動終端的獨立工作能力。實驗使用CelebA-HQ[22]高清人臉數(shù)據(jù)集和Places2[23]場景數(shù)據(jù)集。在邊-端聯(lián)合學(xué)習(xí)時，如果對移動終端模型進(jìn)行微調(diào)，邊緣云端模型共享權(quán)重部分也會隨之更新，以盡可能達(dá)到邊-端輸出效果的平衡。從而在MEC 超低時延的環(huán)境下高效利用網(wǎng)絡(luò)帶寬，保護(hù)隱私，并增強邊緣云與終端節(jié)點的協(xié)同訓(xùn)練和推理能力。

圖1 邊-端協(xié)同的并行解碼器門控卷積圖像修復(fù)網(wǎng)絡(luò)Fig.1 Edge-terminal gated convolution network for parallel decoder image inpainting

2 ETG-Net

2.1 生成模型

生成模型由單個編碼器在終端節(jié)點進(jìn)行特征提取，兩個解碼器分別部署在終端節(jié)點和邊緣云端，采取共享權(quán)值的方式反卷積生成結(jié)果。該模型可以在邊緣云與終端節(jié)點協(xié)同訓(xùn)練，進(jìn)行模型的參數(shù)更新，以取得良好的修復(fù)效果。并行解碼器的設(shè)計更適宜進(jìn)行邊-端協(xié)同任務(wù)，使得參數(shù)量大大減少，更快速地產(chǎn)生良好的結(jié)果。

2.1.1 編碼器部分

編碼器部分為卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將掩膜和待修復(fù)圖像同時輸入網(wǎng)絡(luò)，采用門控卷積降采樣的方式進(jìn)行特征提取，這個過程可以看作將待修復(fù)圖像逐層抽象成隱層表征。共采用10 個門控卷積，其中第一層卷積核大小為5，其余卷積核大小為3，通道數(shù)如表1所示，包含4個空洞門控卷積，空洞卷積[24]的目的是擴大感受野并提高圖像修復(fù)的質(zhì)量，擴張率分別為2、4、8、16。

表1 終端編碼器網(wǎng)絡(luò)參數(shù)Table 1 Terminal encoder network parameters

2.1.2 終端節(jié)點解碼器部分

解碼器部分采用與編碼器相反的操作，對編碼器提取出的特征信息進(jìn)行反卷積[25]的操作，將特征恢復(fù)到與輸入圖像相同大小，從而生成預(yù)測圖像。共采用10 個門控卷積，卷積核大小為3，通道數(shù)如表2所示。

表2 終端解碼器網(wǎng)絡(luò)參數(shù)Table 2 Terminal decoder network parameters

2.1.3 邊緣云解碼器部分

邊緣云端具有強大的算力支撐，引入上下文注意力以提高模型對大范圍缺失部分填充合理的語義，保證圖像的局部一致性，并在上下文注意力層之前加入一層門控卷積并采用ReLU 激活函數(shù)代替默認(rèn)的ELU 激活函數(shù)，上下文注意力層之后的卷積層采用與移動終端節(jié)點相同的層數(shù)。邊緣云解碼器網(wǎng)絡(luò)參數(shù)如表3所示。

表3 邊緣云解碼器網(wǎng)絡(luò)參數(shù)Table 3 Edge cloud decoder network parameters

2.2 門控卷積

普通卷積會將所有輸入像素都視為有效像素進(jìn)行特征提取，在圖像修復(fù)中，每一層的輸入是由掩膜外的有效像素和掩膜區(qū)域的無效像素組成的。普通卷積使用了相同的過濾器，適用于所有有效、無效和混合的像素，在無規(guī)則掩膜遮蓋的修復(fù)實驗中會導(dǎo)致視覺的偽影。為解決上述問題，采用門控卷積[17]可以學(xué)習(xí)一種動態(tài)的選擇機制，避免模型學(xué)習(xí)到掩膜中的無效像素，僅對有效像素進(jìn)行卷積，提取有效特征。

其中，W、V為兩個不同卷積核的權(quán)重，b、c分別為對應(yīng)卷積核的偏置，φ是ELU 激活函數(shù)，σ是Sigmoid 激活函數(shù)。

2.3 上下文注意力

上下文注意力[12]對圖像語義進(jìn)行合理的修復(fù)，為了使生成網(wǎng)絡(luò)生成更高質(zhì)量的圖像，網(wǎng)絡(luò)需要理解背景和待修復(fù)區(qū)域之間的關(guān)系，上下文注意力層的核心思想是將特征劃分為目標(biāo)前景及其周圍的背景，并從背景區(qū)域提取多個3×3大小的塊作為目標(biāo)前景的卷積核，并計算這些區(qū)域之間的余弦相似度?？梢垣@取(x,y)的前景補丁fx,y與(x′,y′)的背景補丁bx′,y′之間的相似度得分S(x,y),(x′,y′)，選取評分最高的塊，以此反卷積出目標(biāo)前景的內(nèi)容，對于重疊區(qū)域采用平均像素值的方法進(jìn)行處理，最終獲得精細(xì)的修復(fù)結(jié)果。

其中，λ是可縮放softmax的超參數(shù)。通過使用作為權(quán)值，通過背景補丁的加權(quán)和重建前景區(qū)域的特征以理解它們之間的關(guān)系。

2.4 判別網(wǎng)絡(luò)

SN-PatchGAN[17]經(jīng)過光譜正則化生成對抗網(wǎng)絡(luò)（spectral normalization generative adversarial network，SN-GAN）[26]改進(jìn)而來，共6 個卷積層，最終輸出維度為(Hinput/32)×(Winput/32)×256 的特征。鑒別器部署在邊緣云端，具體網(wǎng)絡(luò)參數(shù)如表4所示。對于無規(guī)則掩膜下的圖像可以更快、更穩(wěn)定地進(jìn)行訓(xùn)練，輸入包括圖像、掩膜、邊緣信息，輸出為三維特征信息。其中卷積核大小為5×5，步長為2。

表4 鑒別器網(wǎng)絡(luò)參數(shù)Table 4 Discriminator network parameters

其中優(yōu)化器采用Adam進(jìn)行訓(xùn)練，參數(shù)初始設(shè)置學(xué)習(xí)率為0.000 1，beta1為0.5，beta2為0.999。

2.5 損失函數(shù)

合理的損失函數(shù)使得模型擁有更好的性能，該模型的損失函數(shù)分別為像素級的L1重構(gòu)損失和生成對抗損失組成的鉸鏈損失，L1重構(gòu)損失作為終端節(jié)點和邊緣云端生成結(jié)果的共同損失函數(shù)，如式（4）所示。

其中，Igt代表原圖，Ix1表示移動終端修復(fù)網(wǎng)絡(luò)生成的結(jié)果，Ix2表示邊緣云修復(fù)網(wǎng)絡(luò)補全的結(jié)果；α是權(quán)值因子，通過超參數(shù)搜索的方法，初始設(shè)定為1.2。生成對抗損失用于鑒別補全效果的真實性，兩大損失的權(quán)值占比為1∶1。

邊-端協(xié)同修復(fù)過程中，終端節(jié)點的生成模型也將承擔(dān)一部分的任務(wù)。為增加終端節(jié)點的圖像重建精細(xì)度，將生成損失LG加入L1損失作為約束，并隨著訓(xùn)練迭代次數(shù)提升，增大L1損失在LG中的比重，使得終端獨立修復(fù)任務(wù)得到更為精細(xì)的內(nèi)容，如式（5）所示：

其中，G為生成網(wǎng)絡(luò)，D為對抗網(wǎng)絡(luò)，LG為網(wǎng)絡(luò)的生成損失，LD為網(wǎng)絡(luò)的對抗損失，z為破損圖像，x為原始圖像。λ為控制損失項比重的超參數(shù)，k為迭代次數(shù)，kmax為最大迭代次數(shù)。規(guī)范后的LG隨著迭代次數(shù)的增多，L1損失所占比重增大，進(jìn)而加大終端節(jié)點的修正力度。

3 計算卸載策略

計算卸載策略，作為MEC的關(guān)鍵技術(shù)，指終端設(shè)備將一部分或全部計算任務(wù)交給邊緣云計算環(huán)境處理的技術(shù)，以解決移動設(shè)備在資源存儲、計算性能及能效等方面的不足。圖像修復(fù)過程中，邊-端有效進(jìn)行協(xié)同可大大減少總?cè)蝿?wù)的修復(fù)時間，計算卸載策略如圖2 所示。可以根據(jù)待修復(fù)區(qū)域特征、計算節(jié)點負(fù)載、網(wǎng)絡(luò)延遲及硬件利用率等狀態(tài)對計算任務(wù)進(jìn)行劃分，選擇將計算任務(wù)在本地執(zhí)行或部分卸載至邊緣云端執(zhí)行，以達(dá)到任務(wù)快速響應(yīng)，合理分配計算資源的目的。

圖2 計算卸載策略Fig.2 Calculating offloading strategy

計算任務(wù)拆分時，首先需要考慮網(wǎng)絡(luò)狀態(tài)和邊緣服務(wù)器資源負(fù)載情況，然后根據(jù)圖像修復(fù)任務(wù)的待修復(fù)區(qū)域選擇合理的方式進(jìn)行卸載。例如待修復(fù)區(qū)域范圍很小且不涉及語義層面的修復(fù)，則無需卸載至邊緣云端，直接由移動終端即可完成修復(fù)，從而減少不必要的響應(yīng)時延。

待修復(fù)區(qū)域情況的決策在移動終端上執(zhí)行，需要盡可能簡單、快速地判斷任務(wù)的可遷移性并作出響應(yīng)[27]。本文并未采用計算待修復(fù)區(qū)域的面積來判斷，而是根據(jù)圖像處理中常用的形態(tài)學(xué)方法——腐蝕（erosion），對掩膜進(jìn)行一定閾值的腐蝕，進(jìn)而根據(jù)標(biāo)簽數(shù)判斷是否滿足條件。腐蝕操作如圖3所示。

圖3 腐蝕操作示意圖Fig.3 Schematic diagram of erosion operation

腐蝕操作，將結(jié)構(gòu)元在圖像上滑動，把結(jié)構(gòu)元錨點位置的圖像像素點的灰度值設(shè)置為對應(yīng)圖像區(qū)域像素的最小值，公式表示如下：

其中，element 為結(jié)構(gòu)元，(x,y)為錨點，x′和y′為結(jié)構(gòu)元相對錨點的位置偏移，src表示原圖，dst表示結(jié)果圖。經(jīng)過腐蝕后的掩膜，如符合細(xì)小、狹窄等特點，將被完全腐蝕，則最終確定目標(biāo)數(shù)目時為0，符合移動終端獨立任務(wù)的條件，即可由計算卸載決策為僅由終端節(jié)點執(zhí)行修復(fù)任務(wù)，算法如下所示。

該算法的核心是形態(tài)學(xué)的腐蝕算法。設(shè)圖像寬高分別為w、h,膨脹半徑為R,遍歷每個像素，如果該像素的像素半徑R的鄰域內(nèi)值不為0，則設(shè)置為0，時間復(fù)雜度為O(n4)。

4 仿真實驗

4.1 實驗環(huán)境

模型訓(xùn)練采用Ubuntu 系統(tǒng)，GPU 采用TeslaV100，顯存16 GB，TensorFlow1.15.2，Cuda10.0，cudnn7。邊緣云服務(wù)器采用Ubuntu 系統(tǒng)，GPU 采用GTX 1070Ti，顯存8 GB。終端節(jié)點采用MacOS系統(tǒng)，采用6核CPU I5-8500，8 GB RAM。數(shù)據(jù)集Places2[23]，包含自然界中365個場景的數(shù)據(jù)集，劃分為訓(xùn)練集（1 800 000 張）、測試集（328 500張）和驗證集（36 500張）；數(shù)據(jù)集CelebA-HQ[22]，高質(zhì)量人臉數(shù)據(jù)集，手動劃分為訓(xùn)練集（27 000 張）、測試集（3 000張）。

分別在Places2 進(jìn)行184 000 次迭代；CelebA-HQ 進(jìn)行136 000次迭代，其中經(jīng)過100 000次迭代將初始設(shè)置學(xué) 習(xí) 率0.000 1 更 改 為0.000 01，超 參 數(shù)λ設(shè) 置 為5，Batchsize為24，圖片大小為256×256。

4.2 評價指標(biāo)

（1）結(jié)構(gòu)相似性（structural similarity，SSIM）

SSIM 是用來衡量圖像相似度的評價指標(biāo)，分別從亮度L、對比度C和結(jié)構(gòu)S三方面對圖像I和I′進(jìn)行度量。SSIM是一個0到1之間的數(shù)，SSIM越大，兩圖像間差異越小。

（2）峰值信噪比（peak signal to noise ratio，PSNR）

PSNR 是一種全參考的圖像質(zhì)量評價指標(biāo)，度量的是經(jīng)過修復(fù)后的圖像的質(zhì)量。PSNR 值越大，則失真越少。其中均方誤差（mean square error，MSE）為：MSE對給定大小為m×n的圖像進(jìn)行度量。

（3）平均絕對誤差（mean absolute error，MAE）

MAE即為L1損失，可以粗略反映模型重建圖像與原始圖像的誤差情況，值越小越好。

（4）FID（Frechet inception distance，F(xiàn)ID）

FID[28]是一種評價生成模型的指標(biāo)，表示生成圖像的特征向量與真實圖像的特征向量之間的距離，該距離越近，表明生成模型的效果越好，即圖像的清晰度高且多樣性豐富。

4.3 圖像修復(fù)實驗對比

實驗?zāi)M實際任務(wù)分別對CelebA-HQ人臉和Places2場景數(shù)據(jù)集的矩形遮蓋和不規(guī)則形式遮蓋進(jìn)行修復(fù)。為驗證所提模型的效果，定性定量實驗均在邊緣云服務(wù)器上進(jìn)行，并與EdgeConnect（EC）[16]、ContextAttention（CA）[12]、GatedConvolution（GC）[17]方法進(jìn)行對比。

圖4為在不規(guī)則掩膜下的CelebA-HQ 數(shù)據(jù)集修復(fù)結(jié)果。從圖中可以看出，四種方法均取得良好的效果，其中GC方法和ETG方法（本文方法）效果最佳，得益于門控卷積對于不規(guī)則形式掩膜的處理更加有效，避免學(xué)習(xí)到無效的信息。CelebA-HQ 不規(guī)則掩膜評價指標(biāo)如表5所示。

表5 CelebA-HQ不規(guī)則掩膜評價指標(biāo)Table 5 Irregular mask evaluation index of CelebA-HQ

圖4 不規(guī)則掩膜下人臉修復(fù)Fig.4 Face repair under irregular mask

圖5為在矩形掩膜下的CelebA-HQ 數(shù)據(jù)集修復(fù)結(jié)果。矩形掩膜的效果客觀評價指標(biāo)如表6所示。

表6 CelebA-HQ矩形掩膜評價指標(biāo)Table 6 Rectangular mask evaluation index of CelebA-HQ

圖5 矩形掩膜下人臉修復(fù)Fig.5 Face repair under rectangular mask

從CelebA-HQ結(jié)果的評價指標(biāo)中可以看出，在矩形掩膜下，CA方法取得最優(yōu)，其主要對矩形掩膜圖片進(jìn)行大量訓(xùn)練，并采用上下文注意力提高了掩膜區(qū)域修復(fù)精度。在無規(guī)則掩膜下，GC方法取得最優(yōu)，其采用門控卷積的方式以及上下文注意力動態(tài)地學(xué)習(xí)圖像中的特征。本文提出的ETG在同一環(huán)境下無規(guī)則掩膜的修復(fù)效果指標(biāo)上僅次于GC 方法，用戶主觀感受上與GC 方法并無明顯差異，在單張圖像修復(fù)的響應(yīng)時延上取得最優(yōu)，結(jié)合邊-端協(xié)同特性將進(jìn)一步提升修復(fù)效率。

圖6為模擬實際使用中矩形掩膜、不規(guī)則掩膜、目標(biāo)移除等場景的Places2數(shù)據(jù)集修復(fù)結(jié)果。在矩形掩膜下，EC、CA、ETG表現(xiàn)較好，其他場景下除本文方法外，其他方法均產(chǎn)生部分的偽影。Places2數(shù)據(jù)集評價指標(biāo)如表7所示。

圖6 模擬實際修復(fù)Places2場景下結(jié)果Fig.6 Simulating actual repair results in Places2 scene

表7 Places2數(shù)據(jù)集評價指標(biāo)Table 7 Evaluation index of Places2 dataset

在Places2 的定性定量比較中，本文方法顯現(xiàn)出卓越的性能，得益于邊-端并行解碼器的權(quán)重共享，修復(fù)階段僅需通過任意一個解碼器即可產(chǎn)生結(jié)果，因此執(zhí)行修復(fù)任務(wù)時的參數(shù)量明顯小于訓(xùn)練時的參數(shù)量。如表8所示，本文方法的參數(shù)量較GC 方法減少了43.9%，較CA方法減少了36.1%，從而達(dá)到修復(fù)效率上的提升。

表8 各模型的參數(shù)量Table 8 Parameters of each model

4.4 邊-端協(xié)同實驗與分析

上述實驗已經(jīng)證明本文方法在相同環(huán)境下響應(yīng)時延的優(yōu)勢，為驗證邊-端協(xié)同計算卸載策略的影響，將圖像修復(fù)任務(wù)分為采用僅由終端節(jié)點執(zhí)行的不卸載方式、計算卸載策略的部分卸載方式和由邊緣云端處理的完全卸載方式進(jìn)行對比。

采用隨機10 張待修復(fù)圖像，分辨率為256×256，不考慮計算卸載引起的基站間的干擾，實驗中采用仿真的方式，設(shè)定邊緣云服務(wù)器傳輸帶寬為1 Mbit/s，將相同的計算任務(wù)分別按不同的策略進(jìn)行卸載。經(jīng)過10張圖像的修復(fù)實驗，計算任務(wù)完全由移動終端節(jié)點處理，計算時間如圖7所示。

圖7 計算任務(wù)完全由移動終端節(jié)點處理Fig.7 Computing tasks processed by mobile terminal node

移動終端的生成模型在處理高層次語義和大范圍缺失圖像修復(fù)任務(wù)時效果低于邊緣云生成模型，并且受到算力和能耗的影響，響應(yīng)時延較長。從測試結(jié)果可以看出，任務(wù)處理時間為4～9 s。

圖8為計算任務(wù)完全由邊緣云處理的計算時間。終端節(jié)點將待修復(fù)圖像數(shù)據(jù)上傳至邊緣云端，所有計算任務(wù)由邊緣云完成，上傳時延主要受網(wǎng)絡(luò)條件影響，任務(wù)處理時間約為4.3 s。

圖8 計算任務(wù)完全由邊緣云處理Fig.8 Computing tasks processed by edge cloud

圖9為計算任務(wù)由終端節(jié)點與邊緣云協(xié)同處理的計算時間。從圖中可以看出，協(xié)同處理時，計算任務(wù)部分卸載至邊緣云端，終端節(jié)點負(fù)責(zé)圖像的特征提取及計算卸載決策的計算，在第2、6、7實驗圖像因待修復(fù)區(qū)域小，根據(jù)計算卸載策略決策僅調(diào)用移動終端處理，其余任務(wù)卸載至邊緣云進(jìn)行處理，可以理解為復(fù)雜的任務(wù)交由邊緣云處理，減少能耗和響應(yīng)時延，簡單的任務(wù)由終端獨自完成，從而更高效地處理計算任務(wù)。

圖9 計算任務(wù)由終端節(jié)點與邊緣云協(xié)同處理Fig.9 Computing tasks co-processed by terminal node and edge cloud

在總體上，計算任務(wù)完全由移動終端處理，受限于算力和能耗的影響，僅能處理待修復(fù)區(qū)域小的圖像并且耗時較長。邊-端協(xié)同處理，雖然在數(shù)據(jù)傳輸中也會產(chǎn)生部分時間損耗，但并行處理時能大大減少總體的響應(yīng)時延。小范圍修復(fù)任務(wù)的數(shù)量也會影響到總的修復(fù)所需時間，所有圖像的特征提取均在移動終端完成，根據(jù)待修復(fù)區(qū)域大小，由計算卸載策略決定是否上傳至邊緣云進(jìn)行大范圍和語義層面的修復(fù)。完全卸載則需要上傳圖像及掩膜到邊緣云端再完成讀取等操作。本組實驗中，不卸載方案的總耗時為67.16 s，完全卸載方案的總耗間為44.87 s，采用計算卸載策略的部分卸載方案總耗時為37.04 s。從本組實驗結(jié)果可以看出，所提策略較完全卸載可以在保證精度的同時，進(jìn)一步降低任務(wù)17.5%的響應(yīng)時延。

5 結(jié)束語

本文提出一種面向邊-端協(xié)同的并行解碼器圖像修復(fù)網(wǎng)絡(luò)架構(gòu)ETG-Net，解決了終端節(jié)點應(yīng)用深度學(xué)習(xí)圖像修復(fù)的瓶頸。并行解碼器的結(jié)構(gòu)可以更好地部署在邊緣云和移動終端上，便于對不同修復(fù)任務(wù)作出選擇。采用權(quán)值共享的方式，有效減少模型參數(shù)量，從而更好地協(xié)同訓(xùn)練，提升圖像修復(fù)效率。利用門控卷積和注意力機制，加強深層特征的挖掘和上下文語義信息的整合，隨后通過增加L1損失中終端節(jié)點修復(fù)損失的權(quán)重在鉸鏈損失中的占比，提升終端節(jié)點的圖像重建精細(xì)度。同時通過計算卸載策略進(jìn)一步提升圖像邊-端協(xié)同修復(fù)的效率。

實驗證明本文方法解決了移動終端部署圖像修復(fù)模型存在的問題，在定性定量的基準(zhǔn)測試中取得良好的結(jié)果，為圖像修復(fù)模型部署邊緣云提供了有效的參考。

后續(xù)準(zhǔn)備從以下方向進(jìn)一步研究：

（1）借助紋理信息進(jìn)一步提升邊-端協(xié)同圖像修復(fù)模型的修復(fù)質(zhì)量；

（2）采用更多種類的掩膜進(jìn)行訓(xùn)練并增加迭代次數(shù)；

（3）對MEC 的分布式系統(tǒng)執(zhí)行圖像處理任務(wù)的共識機制進(jìn)行研究。