祁自建，聶亞杰，張嘉偉

（中國船舶集團(tuán)有限公司第七一八研究所，河北 邯鄲 056027）

0 引言

隨著科技的進(jìn)步，魚眼鏡頭被廣泛應(yīng)用于視頻監(jiān)控、自動(dòng)駕駛和醫(yī)療檢測(cè)等領(lǐng)域。然而魚眼鏡頭捕獲的圖像不適用于為大多數(shù)透視圖像設(shè)計(jì)的計(jì)算機(jī)視覺技術(shù)，如目標(biāo)追蹤、運(yùn)動(dòng)估計(jì)、場(chǎng)景分割等任務(wù)［1］。因此，魚眼圖像的校正問題成為了研究熱點(diǎn)。

在魚眼鏡頭出現(xiàn)后的幾十年間，人們嘗試用各種校正算法校正魚眼圖像。基于投影模型的魚眼圖像校正算法有兩種不同模型：一種是球面投影模型，另一種是拋物面投影模型。運(yùn)用球面投影模型校正魚眼圖像的關(guān)鍵是找到魚眼圖像的光學(xué)中心和球面模型半徑，但在實(shí)際應(yīng)用中兩者很難被找到。一般都是假設(shè)圖像的中心點(diǎn)為該圖像的光學(xué)中心，半徑取魚眼圖像中有效圓形區(qū)域的半徑。拋物面模型復(fù)雜，在實(shí)際應(yīng)用中模型實(shí)現(xiàn)困難。楊玲等［2］提出一種應(yīng)用經(jīng)緯映射的魚眼圖像校正方法，不需要標(biāo)定參數(shù)即可將半球魚眼圖像校正為正常圖像；Kannala 等［3］假設(shè)圖像光心到投影點(diǎn)的距離和投影光線與主軸之間夾角的多項(xiàng)式存在比例關(guān)系，是目前比較受歡迎的模型；廖士中等［4］通過選取圖像中合適的控制點(diǎn)，然后利用多項(xiàng)式和雙線性插值方法進(jìn)行魚眼圖像校正。

基于標(biāo)定的校正算法主要是通過外部設(shè)備對(duì)魚眼相機(jī)的內(nèi)外參數(shù)進(jìn)行標(biāo)定，借助標(biāo)定板，通過標(biāo)定板的真實(shí)坐標(biāo)與魚眼成像平面坐標(biāo)之間的坐標(biāo)轉(zhuǎn)換，實(shí)現(xiàn)魚眼圖像校正。該方法校正精度高，但對(duì)實(shí)驗(yàn)設(shè)備精度要求高［5］。Chan 等［6］提出一種改進(jìn)的自動(dòng)棋盤檢測(cè)算法，以避免原始約束和用戶干預(yù)，然后采用自適應(yīng)自動(dòng)角點(diǎn)檢測(cè)，將魚眼成像函數(shù)用泰勒技術(shù)展開，根據(jù)最大似然準(zhǔn)則進(jìn)行非線性細(xì)化，完成魚眼圖像的標(biāo)定與校正；Radka 等［7］提出一種用于魚眼標(biāo)定的非中心模型，該模型是對(duì)之前中心模型的擴(kuò)展，使用該模型不需要提供詳細(xì)的魚眼鏡頭參數(shù)；Lu 等［8］提出一種魚眼鏡頭無模型校正方法，即基于單幅圖像的啟發(fā)式B-spline 模型；吳軍等［9］以待標(biāo)定魚眼相機(jī)近似垂直棋盤格獲取的單張影像為對(duì)象，通過橢圓輪廓約束、滅點(diǎn)約束等多種幾何約束分階段求解相機(jī)參數(shù)；皮英東等［10］利用直接線性變化DLT 和魚眼影像上標(biāo)定的控制點(diǎn)信息快速求解球面投影參數(shù)。

卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)給魚眼圖像校正帶來了新的解決方案，Rong 等［11］在模擬魚眼圖像數(shù)據(jù)集上訓(xùn)練Alexnet，將魚眼圖像畸變參數(shù)分為401 類，通過網(wǎng)絡(luò)獲取畸變參數(shù)來糾正失真圖像，但有限的離散參數(shù)導(dǎo)致訓(xùn)練后的網(wǎng)絡(luò)在復(fù)雜的魚眼圖像校正上表現(xiàn)不佳；Yin 等［12］提出一種上下文協(xié)作網(wǎng)絡(luò)，在網(wǎng)絡(luò)中添加高維特征和語義特征，但由于高維特征、語義特征只能提供有限信息，在魚眼圖像校正中效果較差；薛村竹［13］提出一種明確的幾何約束用來改善魚眼圖像的網(wǎng)絡(luò)感知，該網(wǎng)絡(luò)依靠魚眼中曲線校正后應(yīng)該為直線的假設(shè)，對(duì)于圖像中線段較少的網(wǎng)絡(luò)校正效果差，而且需要邊緣標(biāo)簽、失真標(biāo)簽和正常圖像的多個(gè)標(biāo)簽，針對(duì)邊緣標(biāo)簽的邊緣網(wǎng)絡(luò)還要進(jìn)行預(yù)訓(xùn)練；Sha 等［14］通過簡(jiǎn)化拋物線模型，將其與神經(jīng)網(wǎng)絡(luò)結(jié)合在一起進(jìn)行魚眼圖像校正，并在網(wǎng)絡(luò)中增加圖像超分辨率結(jié)構(gòu)，以解決校正圖像分辨率較低的問題；李有強(qiáng)［15］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的魚眼鏡頭標(biāo)定方法，該方法通過改進(jìn)U-Net 網(wǎng)絡(luò)校正魚眼圖像圓弧坐標(biāo)作為前置網(wǎng)絡(luò)，然后通過殘差網(wǎng)絡(luò)進(jìn)行魚眼鏡頭內(nèi)部參數(shù)預(yù)測(cè)，獲得參數(shù)后再根據(jù)立方盒展開原理對(duì)圖像進(jìn)行校正展開；Nobuhiko 等［16］通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)視場(chǎng)超過180°的魚眼圖像的外在參數(shù)（傾斜、滾動(dòng)角）和內(nèi)在參數(shù)（焦距），完成參數(shù)學(xué)習(xí)后進(jìn)行魚眼圖像校正。

基于生成的方法主要是通過生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）直接生成校正圖像。Liao等［17］提出自動(dòng)校正徑向失真生成對(duì)抗網(wǎng)絡(luò)，該網(wǎng)絡(luò)是第一個(gè)用于徑向失真校正的對(duì)抗網(wǎng)絡(luò)，采用無監(jiān)督的學(xué)習(xí)方式，通過學(xué)習(xí)失真圖像與正常圖像的分布，讓失真圖像的分布通過網(wǎng)絡(luò)后逐漸靠近正常圖像的分布。然而，該網(wǎng)絡(luò)在同時(shí)重建圖像內(nèi)容和結(jié)構(gòu)方面負(fù)擔(dān)過重，導(dǎo)致校正后的圖像內(nèi)容模糊，圖像結(jié)構(gòu)無法完全校正。之后Liao 等［18］又提出一種針對(duì)單張圖像，不區(qū)分生成魚眼圖像的模式進(jìn)行失真校正的方法，主要是將魚眼圖像的生成模型統(tǒng)一到失真校正圖像上，圖像上每一個(gè)點(diǎn)代表當(dāng)前位置的失真程度，該方法更準(zhǔn)確地對(duì)扭曲的結(jié)構(gòu)進(jìn)行了校正。然而，使用GAN 進(jìn)行校正時(shí)，級(jí)聯(lián)網(wǎng)絡(luò)容易導(dǎo)致圖像細(xì)節(jié)丟失，一般跳躍連接會(huì)導(dǎo)致失真擴(kuò)散。Yang 等［1］針對(duì)跳躍連接帶來較大誤差的問題，將特征級(jí)校正引入網(wǎng)絡(luò)，在生成網(wǎng)絡(luò)的不同層中使用外觀流對(duì)圖像特征進(jìn)行校正，以此減少跳躍連接帶來的誤差。

綜上可知，基于深度學(xué)習(xí)的魚眼圖像校正算法都聚焦在GAN 網(wǎng)絡(luò)，而GAN 網(wǎng)絡(luò)存在跳躍連接帶來的誤差增大問題。本文通過在生成網(wǎng)絡(luò)的編碼器中添加畸變參數(shù)預(yù)測(cè)模塊，并將預(yù)測(cè)的畸變參數(shù)嵌入到生成網(wǎng)絡(luò)的解碼器中，以此減少跳躍連接帶來的誤差。最后通過實(shí)驗(yàn)對(duì)比，分析其在數(shù)據(jù)集上的表現(xiàn)。

1 研究方法與相關(guān)理論

1.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)是2014 年由Goodfellow 等［19］提出的一種新型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主要結(jié)構(gòu)如圖1 所示。其包含生成器G 和判別器D，生成器的主要任務(wù)是生成能夠欺騙判別器的圖像，讓判別器無法判斷是生成器生成的圖像還是真實(shí)存在的圖像。判別器的任務(wù)則是盡量識(shí)別出圖像是生成的還是真實(shí)存在的。

Fig.1 Generative adversarial network architecture圖1 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)

在網(wǎng)絡(luò)訓(xùn)練期間，生成器努力生成可欺騙判別器的圖像，而判別器試圖識(shí)別出由生成器生成的“假圖像”。兩個(gè)網(wǎng)絡(luò)互相交替訓(xùn)練，因此該訓(xùn)練過程被稱為對(duì)抗訓(xùn)練。通過對(duì)抗訓(xùn)練讓生成圖像的分布逐漸靠近真實(shí)圖像的分布，當(dāng)判別器無法分辨真假圖像時(shí)，生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練完成，其訓(xùn)練過程如下：

假設(shè)：pdata表示真實(shí)數(shù)據(jù)分布，pz表示生成器分布，x 表示從真實(shí)分布采樣的樣本，z 表示從生成器采樣的樣本。具體訓(xùn)練過程為：①生成器G 是一個(gè)生成圖像的網(wǎng)絡(luò)，接收一個(gè)隨機(jī)噪聲z，通過該噪聲生成圖像，記作G（z）；②D是一個(gè)判別網(wǎng)絡(luò)，判別一張圖像是否是真實(shí)的，其輸入?yún)?shù)x 代表一張圖像，輸出D（x）代表為真實(shí)圖像的概率。若為1，則代表100%為真實(shí)圖像；若為0，則代表不是真實(shí)圖像；③一般情況下是先多訓(xùn)練幾次生成器，然后訓(xùn)練判別器。重復(fù)幾次過后，得到最后的生成模型。

生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)如式（1）所示。式（1）中的min max 可以理解為更新判別器時(shí)需要最大化公式，更新生成器時(shí)需要最小化公式。這是一個(gè)尋找納什均衡的過程，尋找其最小、最大上界。

判別器模型參數(shù)更新時(shí)，對(duì)于來自真實(shí)分布pdata的樣本x 而言，希望D（x）的輸出越接近1 越好，即logD(x)越大越好；對(duì)于噪聲z 生成的數(shù)據(jù)G(z)而言，希望D(G(z))盡量接近0，即log (1 -D(G(z)))越大越好。

生成器模型參數(shù)更新時(shí)，希望G(z)盡可能與真實(shí)數(shù)據(jù)一樣，即pz=pdata，因此希望D(G(z))盡量接近1，即log (1 -D(G(z)))越小越好。

生成對(duì)抗網(wǎng)絡(luò)經(jīng)過多年發(fā)展，已經(jīng)演變出多種不同網(wǎng)絡(luò)，例如條件生成對(duì)抗網(wǎng)絡(luò)，將無監(jiān)督的生成對(duì)抗網(wǎng)絡(luò)變成半監(jiān)督或者有監(jiān)督的模型。深度卷積網(wǎng)絡(luò)近年來備受研究人員關(guān)注，董訪訪等［20］使用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行品牌服裝圖像檢索；程廣濤等［21］用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行煙霧識(shí)別。神經(jīng)網(wǎng)絡(luò)中的池化層不可逆，深度卷積生成對(duì)抗網(wǎng)絡(luò)將對(duì)抗網(wǎng)絡(luò)與深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，在下采樣過程中不使用池化層，而是選擇改變卷積層步長(zhǎng)的方法進(jìn)行下采樣，上采樣過程中的反卷積網(wǎng)絡(luò)也是采用改變反卷積層步長(zhǎng)的方法進(jìn)行上采樣。

1.2 魚眼圖像數(shù)據(jù)集

在使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行魚眼圖像校正時(shí)，要求數(shù)據(jù)集規(guī)模較大，因此數(shù)據(jù)集一般采用合成魚眼圖像的方式進(jìn)行制作。合成魚眼圖像的映射形式包含兩種：除法模型與多項(xiàng)式模型。

1.2.1 除法模型

在圖像坐標(biāo)系中，透視圖像上的任意點(diǎn)Pu（x，y）與圖像中心P0（x0，y0）的歐式距離可以表示為ru，Pu在魚眼圖像中有一個(gè)對(duì)應(yīng)點(diǎn)Pd（xd，yd），Pd與畸變中心的距離表示為rd。ru與rd之間的映射關(guān)系除法模型如式（2）所示：

其中，ki為失真參數(shù)，通過改變ki的值來改變魚眼畸變程度。n是參數(shù)數(shù)量，一般來說，n越大，多項(xiàng)式次數(shù)越多，用多項(xiàng)式模型表示的畸變狀態(tài)就越復(fù)雜。圖2 展示的是正常圖像與除法模型生成魚眼圖像之間的對(duì)比，圖中左邊部分為正常圖像，右邊部分為除法模型生成的魚眼圖像。

1.2.2 多項(xiàng)式模型

與除法模型相比，多項(xiàng)式模型在設(shè)計(jì)入射光角度方面更為特殊。入射光角度與光透鏡角度之間的關(guān)系如式（3）所示，θu表示入射光角度，θd是光通過透鏡的角度。

Fig.2 Comparison of normal image and image generated by the division model圖2 正常圖像與除法模型生成圖像對(duì)比

魚眼圖像一般有4 種投影模型，分別是正交投影模型、等距投影模型、球面透視投影模型、等立體角投影模型［22］。在使用多項(xiàng)式模型生成魚眼圖像時(shí)，選擇等距投影模型，rd和θd滿足等距投影關(guān)系，其中rd=f·，f是魚眼相機(jī)的焦距。對(duì)于針孔相機(jī)，投影模型應(yīng)該是rd=f·tanθd，簡(jiǎn)化得到式（4）：

ru與rd之間的關(guān)系如式（5）所示：

將ki和f合并得到式（6），在生成魚眼圖像時(shí)主要考慮k的取值：

為了簡(jiǎn)化模型，本文采用單參數(shù)多項(xiàng)式方法生成魚眼圖像數(shù)據(jù)集。因?yàn)槟Ｐ椭杏袇?shù)預(yù)測(cè)網(wǎng)絡(luò)，并將預(yù)測(cè)的參數(shù)嵌入到后面的模型中。原圖像從包含400 多種場(chǎng)景的Places 數(shù)據(jù)集中進(jìn)行選擇，圖像大小為256×256，本文的魚眼圖像訓(xùn)練集包含38 400 張圖像，測(cè)試集包含2 560 張圖像。單參數(shù)K 的取值范圍為10-4～10-6［9］。

在圖3 中，左邊為背景圖像，中間為原圖像，右邊為單參數(shù)生成的魚眼圖像，可以看到制作出來的魚眼圖像與真實(shí)圖像以及原圖像之間在內(nèi)容上有一定差別，內(nèi)容上縮小了，原因是在生成魚眼圖像時(shí)，原圖像中的部分像素會(huì)丟失。為使魚眼圖像與真實(shí)圖像之間的內(nèi)容保持一致，在制作真實(shí)圖像時(shí)對(duì)原圖像進(jìn)行部分切割［1］。

Fig.3 Comparison between single-parameter generated image，real image and original image圖3 單參數(shù)生成圖像與真實(shí)圖像以及原圖像之間對(duì)比

2 模型與評(píng)價(jià)指標(biāo)

2.1 模型

2.1.1 模型整體結(jié)構(gòu)

模型整體結(jié)構(gòu)如圖4 所示，包含3 部分，分別是生成網(wǎng)絡(luò)、判別網(wǎng)絡(luò)和參數(shù)預(yù)測(cè)網(wǎng)絡(luò)。生成網(wǎng)絡(luò)主要通過多層殘差網(wǎng)絡(luò)對(duì)特征進(jìn)行提取，下采樣過程通過修改卷積網(wǎng)絡(luò)中的步長(zhǎng)替代池化操作，通過編碼器不斷進(jìn)行下采樣后獲得圖像特征，解碼器的殘差網(wǎng)絡(luò)則將編碼器的輸出以及參數(shù)預(yù)測(cè)網(wǎng)絡(luò)輸入的γ 參數(shù)進(jìn)行結(jié)合，再進(jìn)行多次上采樣操作得到生成圖像。上采樣操作是反卷積過程，編碼器與解碼器在每個(gè)殘差網(wǎng)絡(luò)中都有跳躍連接。

Fig.4 Overall structure of the network model in this paper圖4 本文網(wǎng)絡(luò)模型整體結(jié)構(gòu)

參數(shù)預(yù)測(cè)網(wǎng)絡(luò)的輸入是編碼器最后一層的高維特征，通過自適應(yīng)平均池化函數(shù)將每個(gè)特征圖的大小變成1×1，然后將上一步得到的多維張量變成一維張量，將一維張量通過全連接網(wǎng)絡(luò)進(jìn)行參數(shù)預(yù)測(cè)，對(duì)預(yù)測(cè)的參數(shù)進(jìn)行編碼后獲得畸變參數(shù)γ，并將畸變參數(shù)傳到生成網(wǎng)絡(luò)的解碼器殘差塊中。判別網(wǎng)絡(luò)接收生成網(wǎng)絡(luò)生成的圖像和真實(shí)圖像，真實(shí)圖像的標(biāo)簽為1，生成圖像的標(biāo)簽為0，對(duì)輸入圖像進(jìn)行二分類，判別圖像真假。

2.1.2 殘差網(wǎng)絡(luò)模塊

殘差網(wǎng)絡(luò)模塊包含兩個(gè)卷積和一個(gè)激活函數(shù)，輸入與輸出維度保持一致。第一個(gè)卷積層的卷積核大小為3×3，第二個(gè)卷積層的卷積核大小為1×1，如圖5 所示。編碼器中的殘差模塊只有卷積和激活函數(shù)，不包括虛線框中的部分，解碼器殘差網(wǎng)絡(luò)模塊的輸出是將γ嵌入到輸出中。

2.1.3 判別網(wǎng)絡(luò)結(jié)構(gòu)

判別網(wǎng)絡(luò)整體結(jié)構(gòu)如圖6 所示，判別網(wǎng)絡(luò)將輸入的圖像不斷通過卷積網(wǎng)絡(luò)加激活函數(shù)的結(jié)構(gòu)進(jìn)行下采樣。卷積核大小選擇為5×5，卷積核個(gè)數(shù)分別為16、32、48、64、64，最后通過全連接層預(yù)測(cè)輸入圖像是正常圖像還是魚眼圖像。

2.1.4 損失函數(shù)

預(yù)測(cè)損失選擇L1 損失函數(shù)作為預(yù)測(cè)參數(shù)與真實(shí)參數(shù)之間的損失函數(shù)，減少異常值的懲罰項(xiàng)。N 為從訓(xùn)練樣本中取樣的個(gè)數(shù)，Ppre為預(yù)測(cè)參數(shù)，Pgt為真實(shí)參數(shù)，LP為預(yù)測(cè)損失，如式（7）所示：

Fig.5 Residual block network structure圖5 殘差塊網(wǎng)絡(luò)結(jié)構(gòu)

Fig.6 Discriminant network structure圖6 判別網(wǎng)絡(luò)結(jié)構(gòu)

生成損失也選擇L1 損失，如式（8）所示，計(jì)算圖像與背景圖像每個(gè)通道、每個(gè)像素點(diǎn)之間的L1損失。

生成網(wǎng)絡(luò)的總體損失函數(shù)如式（9）所示：

判別網(wǎng)絡(luò)判斷真假圖像的問題可以看作是一個(gè)二分類任務(wù)，因此選擇二分類交叉熵?fù)p失（BCEloss）作為判別網(wǎng)絡(luò)的損失函數(shù)。

2.2 評(píng)價(jià)指標(biāo)

峰值信噪比（PSNR）用于評(píng)價(jià)重建圖像與背景圖像之間的相似度，其數(shù)值越高，兩個(gè)圖像之間的相似度越高。通過式（10）計(jì)算兩個(gè)圖像之間的均方誤差，然后通過式（11）計(jì)算PSNR。MAXI是圖像中可能最大的像素值，若使用8位表示像素，則MAXI的值為255。

結(jié)構(gòu)相似性（SSIM）用于評(píng)價(jià)兩個(gè)圖像之間的相似度［23］，該指標(biāo)從對(duì)比度、亮度、結(jié)構(gòu)3 個(gè)方面對(duì)圖像進(jìn)行相似性比較。結(jié)構(gòu)相似性值的范圍為［0，1］，當(dāng)值越靠近1，說明兩個(gè)圖像之間的相似度越高。計(jì)算SSIM 需要計(jì)算兩個(gè)圖像各自的均值，如式（12）所示：

標(biāo)準(zhǔn)差的計(jì)算公式如式（13）所示：

圖像協(xié)方差的計(jì)算公式如式（14）所示：

SSIM 一般選用均值作為亮度的估計(jì)，如式（15）所示：

標(biāo)準(zhǔn)差作為對(duì)比度的估計(jì)，如式（16）所示：

協(xié)方差作為結(jié)構(gòu)相似程度的度量，如式（17）所示：

SSIM 的計(jì)算公式如式（18）所示，其中α、β、γ 取值均為1。

SSIM 選取圖像中的部分區(qū)域進(jìn)行計(jì)算，可能存在誤差，而多尺度結(jié)構(gòu)相似性（MS-SSIM）［24］在圖像中選擇多個(gè)區(qū)域進(jìn)行計(jì)算，然后取多個(gè)區(qū)域SSIM 的平均值，相比SSIM評(píng)價(jià)更加合理。用滑動(dòng)窗口將圖像分成N 塊，加權(quán)計(jì)算每一窗口的均值、方差以及協(xié)方差，權(quán)值滿足求和為1，通常采用高斯核，然后計(jì)算對(duì)應(yīng)塊的結(jié)構(gòu)相似度，最后將平均值作為兩圖像之間的結(jié)構(gòu)相似性進(jìn)行度量。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境與過程

實(shí)驗(yàn)環(huán)境如表1 所示。在生成網(wǎng)絡(luò)的總損失函數(shù)中存在一個(gè)超參數(shù)λ，在實(shí)驗(yàn)中將其設(shè)置為0.001。深度學(xué)習(xí)中針對(duì)損失函數(shù)的優(yōu)化包含多種優(yōu)化器：隨機(jī)梯度下降（SGD）、帶有動(dòng)量的梯度下降、自適應(yīng)矩估計(jì)（Adam）。一般常用的優(yōu)化器為SGD 和Adam，本文選擇Adam 作為優(yōu)化器。學(xué)習(xí)率是影響模型訓(xùn)練的重要參數(shù)，若學(xué)習(xí)率太高，損失函數(shù)無法收斂；若學(xué)習(xí)率低，損失函數(shù)下降速度慢，無法完成學(xué)習(xí)。本文的學(xué)習(xí)率從0.000 1 開始，在訓(xùn)練過程中動(dòng)態(tài)調(diào)整學(xué)習(xí)率。根據(jù)訓(xùn)練輪次，每10 次對(duì)學(xué)習(xí)率進(jìn)行修改。每輪次訓(xùn)練需要30 多分鐘，模型在訓(xùn)練30 輪次后損失幾乎保持不變，因此訓(xùn)練輪次選擇50 次，每一輪次輸入圖像為16 張。針對(duì)預(yù)測(cè)參數(shù)是否對(duì)圖像校正結(jié)果產(chǎn)生影響，在訓(xùn)練中進(jìn)行了帶有參數(shù)預(yù)測(cè)模型和不帶有參數(shù)預(yù)測(cè)模型的對(duì)比實(shí)驗(yàn)。在本文模型的生成網(wǎng)絡(luò)中，每個(gè)模塊都可以包含多個(gè)殘差塊，也進(jìn)行了對(duì)比實(shí)驗(yàn)，殘差塊個(gè)數(shù)分別為1、2、3、4。

Table 1 Experimental environment表1 實(shí)驗(yàn)環(huán)境

3.2 實(shí)驗(yàn)結(jié)果

從魚眼數(shù)據(jù)集中選擇3 個(gè)不同種類的圖像作為對(duì)比，選擇的圖像如圖7 所示。對(duì)比方法選擇了經(jīng)緯度校正方法和文獻(xiàn)［1］中提到的基于外觀流的漸進(jìn)互補(bǔ)網(wǎng)絡(luò)魚眼圖像校正方法。

Fig.7 Fisheye dataset image圖7 魚眼圖像數(shù)據(jù)集圖像

圖8 是魚眼圖像經(jīng)過經(jīng)緯度校正后的圖像，通過與圖7 中的圖像進(jìn)行比較，雖然圖像中的畸變被校正，但是在圖像的頂端和低端又有了新的畸變，而且相比圖7 內(nèi)容有所減少。圖9 是魚眼圖像經(jīng)過文獻(xiàn)［1］中的基于外觀流的漸進(jìn)互補(bǔ)網(wǎng)絡(luò)魚眼圖像校正方法校正后的圖像，相較于圖8，圖9 不僅對(duì)魚眼圖像進(jìn)行了校正，而且圖像內(nèi)容保存更加完整。

Fig.8 Results of latitude and longitude correction method圖8 經(jīng)緯度校正方法結(jié)果

Fig.9 Results of appearance flow-based progressive complementary network correction method圖9 基于外觀流的漸進(jìn)互補(bǔ)網(wǎng)絡(luò)校正方法結(jié)果

圖10 是魚眼圖像經(jīng)過本文方法校正后的圖像，圖11是魚眼圖像對(duì)應(yīng)的真實(shí)背景圖像。圖10 的校正效果與圖9 相比更加接近背景圖像，圖9 中的左側(cè)圖像電梯門還存在一點(diǎn)點(diǎn)“凸起”，圖10 中左側(cè)圖像電梯門已經(jīng)不存在“凸起”；圖10 中間的文字與圖9 相比也更加清晰；圖10 中的右側(cè)圖像與圖9 中的圖像相比也是“凸起”消失，更加接近圖11中的背景圖像。

Fig.10 Correction results in this paper圖10 本文校正結(jié)果

Fig.11 Groundtruth image圖11 真實(shí)背景圖像

3.3 實(shí)驗(yàn)結(jié)果分析

針對(duì)魚眼圖像校正效果，選擇PSNR、SSIM、MS-SSIM3個(gè)定量指標(biāo)進(jìn)行比較，測(cè)試集計(jì)算結(jié)果如表2 所示。本文方法在3 個(gè)指標(biāo)上均高于文獻(xiàn)［1］中基于外觀流的漸進(jìn)互補(bǔ)網(wǎng)絡(luò)方法，PSNR 從25.596 提高到28.039、SSIM 從0.800提高到0.875、MS-SSIM 從0.943提高到0.970。

由表3 可知，將參數(shù)預(yù)測(cè)嵌入到生成網(wǎng)絡(luò)之后，其校正效果與沒有參數(shù)嵌入的網(wǎng)絡(luò)相比有所提高，數(shù)值的增加主要體現(xiàn)在PSNR 和SSIM 值上，證明參數(shù)嵌入確實(shí)可以提高模型對(duì)魚眼圖像的校正效果。

Table 2 Correction results of different methods表2 不同方法校正結(jié)果

Table 3 Correction result with and without parameter network表3 有無參數(shù)網(wǎng)絡(luò)校正結(jié)果

不同殘差塊對(duì)模型帶來的影響如表4 所示。前期殘差塊個(gè)數(shù)增加對(duì)模型校正效果的影響是積極的，殘差塊個(gè)數(shù)增加后模型的校正效果也得到提升，但當(dāng)殘差塊個(gè)數(shù)增加到4 個(gè)時(shí)，模型校正效果卻會(huì)下降，而且隨著殘差塊的增加，整個(gè)模型的參數(shù)量也在不斷增加。綜合來看，本文網(wǎng)絡(luò)中的殘差塊個(gè)數(shù)應(yīng)該為3。

Table 4 Influence of the number of residual blocks on the model表4 殘差塊個(gè)數(shù)對(duì)模型的影響

4 結(jié)語

針對(duì)生成對(duì)抗網(wǎng)絡(luò)在魚眼圖像校正過程中由于跳躍連接帶來的誤差和解碼器負(fù)擔(dān)過重問題，提出一種結(jié)合生成對(duì)抗網(wǎng)絡(luò)和魚眼校正參數(shù)預(yù)測(cè)網(wǎng)絡(luò)的算法。該算法通過在模型的生成網(wǎng)絡(luò)中添加魚眼校正參數(shù)預(yù)測(cè)模塊，將生成網(wǎng)絡(luò)編碼器的輸出作為預(yù)測(cè)網(wǎng)絡(luò)的輸入，然后將預(yù)測(cè)的參數(shù)嵌入到生成網(wǎng)絡(luò)的解碼器中，用預(yù)測(cè)的參數(shù)指導(dǎo)魚眼圖像解碼過程，以此減少跳躍連接帶來的誤差損失和解碼器負(fù)擔(dān)，提高模型校正魚眼圖像的質(zhì)量。實(shí)驗(yàn)結(jié)果表明，在魚眼圖像數(shù)據(jù)集上，校正圖像與背景圖像的峰值信噪比（PSNR）達(dá)到28.039，相比之前的方法提升了9.5%；結(jié)構(gòu)相似度（SSIM）達(dá)到0.875，相比之前的方法升了7.5%。本文模型雖然在一定程度上減少了跳躍連接帶來的誤差，但是模型生成的校正圖像在放大后的某些部分還存在像素模糊的問題，如何直接通過模型生成較高質(zhì)量的校正圖像是下一步需要研究的問題。