郭 銳 郝 優(yōu) 許 溟 賈 麗? 李 華③

（?中國(guó)科學(xué)院計(jì)算技術(shù)研究所智能信息處理重點(diǎn)實(shí)驗(yàn)室 北京100190）

（??中國(guó)科學(xué)院大學(xué) 北京100049）

（???92728 部隊(duì) 北京100036）

（????91977 部隊(duì) 北京100036）

0 引言

圖像的旋轉(zhuǎn)運(yùn)動(dòng)模糊在高速旋轉(zhuǎn)的導(dǎo)彈導(dǎo)引頭所拍攝的圖像中很常見(jiàn),快速、準(zhǔn)確地識(shí)別模糊目標(biāo)具有重要的意義。圖像的旋轉(zhuǎn)運(yùn)動(dòng)模糊是在相機(jī)成像的曝光時(shí)間內(nèi)及相機(jī)與目標(biāo)相對(duì)旋轉(zhuǎn)運(yùn)動(dòng)導(dǎo)致的。近年來(lái),卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNN）及其衍生的網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域應(yīng)用非常廣泛,極大地促進(jìn)了該領(lǐng)域的發(fā)展,CNN 在許多任務(wù)中表現(xiàn)遠(yuǎn)超過(guò)了傳統(tǒng)的手工特征采樣。例如LeNet[1]、VGGNet[2]和ResNet[3]等網(wǎng)絡(luò)。這些網(wǎng)絡(luò)在特定任務(wù)中實(shí)現(xiàn)了非常好的性能。研究發(fā)現(xiàn),對(duì)于沒(méi)有遵從經(jīng)典采樣原理的CNN 衍生網(wǎng)絡(luò)（如VGGNet、ResNet 等）,其網(wǎng)絡(luò)的泛化能力不能得到保障,它們對(duì)于平移、尺度、旋轉(zhuǎn)并不具有不變性[4]。針對(duì)特定的應(yīng)用場(chǎng)景,理想的網(wǎng)絡(luò)應(yīng)具有相應(yīng)的不變性,這會(huì)大幅降低訓(xùn)練的復(fù)雜度并提升網(wǎng)絡(luò)性能。研究人員提出了很多方法來(lái)解決神經(jīng)網(wǎng)絡(luò)中不變性的問(wèn)題。

解決CNN 不變性最常用的方法是數(shù)據(jù)增強(qiáng),該方法簡(jiǎn)單有效,已經(jīng)成為神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)的一般方法,然而該方法的缺點(diǎn)也很明顯。首先是消耗大量的計(jì)算時(shí)間和網(wǎng)絡(luò)容量來(lái)對(duì)樣本進(jìn)行學(xué)習(xí),同時(shí)還會(huì)增加網(wǎng)絡(luò)過(guò)擬合的風(fēng)險(xiǎn)。其次,這種不變性是從數(shù)據(jù)中習(xí)得的,而不是網(wǎng)絡(luò)本身的固有屬性,對(duì)于每一個(gè)新的任務(wù),都要重新進(jìn)行學(xué)習(xí)。其他用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)具有不變性的方法,大致可以分為以下3 類(lèi)。

第1 類(lèi)是增強(qiáng)輸入的方法。這是數(shù)據(jù)增強(qiáng)的一個(gè)變體,它通過(guò)對(duì)每一層卷積操作的輸入進(jìn)行增強(qiáng),而不是對(duì)輸入數(shù)據(jù)進(jìn)行增強(qiáng)[5-6]。這類(lèi)方法可以使CNN 獲得全局不變性,但它們?cè)诒举|(zhì)上與數(shù)據(jù)增強(qiáng)的方法沒(méi)有太大區(qū)別,并不能降低訓(xùn)練的復(fù)雜度。第2 類(lèi)是通過(guò)增強(qiáng)濾波器的方法來(lái)使網(wǎng)絡(luò)獲得不變性。它們通過(guò)對(duì)每一個(gè)卷積層的濾波器進(jìn)行旋轉(zhuǎn)或其他增強(qiáng),來(lái)使網(wǎng)絡(luò)獲得不變性[7-8]。這類(lèi)方法都受濾波器的形狀制約,不能將濾波器進(jìn)行任意的操作,且計(jì)算復(fù)雜度與前一種方法基本相當(dāng)。第3 類(lèi)是通過(guò)修飾濾波器來(lái)使網(wǎng)絡(luò)獲得不變性[9]。這類(lèi)方法引入了經(jīng)典的計(jì)算機(jī)視覺(jué)如諧波濾波器、傅立葉變換等來(lái)使CNN 獲得旋轉(zhuǎn)不變性,但是顯著增加了計(jì)算成本。

本文主要研究手工特征提取與CNN 的結(jié)合方法?；贕aussian Hermite（GH）矩旋轉(zhuǎn)運(yùn)動(dòng)模糊不變量（rotational motion blur Gaussian-Hermite moment invariants,RMB_GHMI）[10],計(jì)算CNN 隱藏層特征圖上的RMB_GHMI,從而實(shí)現(xiàn)將旋轉(zhuǎn)運(yùn)動(dòng)模糊不變性引入到CNN 中的目的,使網(wǎng)絡(luò)本身具有一定的旋轉(zhuǎn)運(yùn)動(dòng)模糊不變性。實(shí)驗(yàn)結(jié)果表明,該方法可以大幅改進(jìn)典型CNN 對(duì)于旋轉(zhuǎn)運(yùn)動(dòng)模糊圖像的分類(lèi)及識(shí)別準(zhǔn)確率。

1 相關(guān)工作

許多研究致力于手工特征提取與CNN 的結(jié)合,它們大致可分為以下3 類(lèi)。

第1 類(lèi)是利用CNN 作為特征提取工具,再將CNN 特征與手工設(shè)計(jì)特征相結(jié)合。文獻(xiàn)[11]將CNN 提取的特征與手工特征輸入到支持向量機(jī)中用于診斷骨質(zhì)疏松癥。文獻(xiàn)[12]提出了一種CNN與手工特征融合的框架識(shí)別戶外人臉表情。

第2 類(lèi)是將手工特征集成到神經(jīng)網(wǎng)絡(luò)中,使網(wǎng)絡(luò)具有不變量的性質(zhì)。文獻(xiàn)[13]提出了空間變換網(wǎng)絡(luò)（spatial transformer network,STN）,可以將相關(guān)的區(qū)域變換到同一標(biāo)準(zhǔn)形狀,以此來(lái)減少學(xué)習(xí)過(guò)程中的形狀外觀的變化,提高學(xué)習(xí)效率。文獻(xiàn)[14]提出了一種方向響應(yīng)網(wǎng)絡(luò)（oriented response networks,ORN）,將離散傅立葉變換引入到網(wǎng)絡(luò)中來(lái)豐富卷積模板的形式,使網(wǎng)絡(luò)能夠?qū)Σ煌姆较蜻M(jìn)行響應(yīng)。針對(duì)CNN 中間層特征維度高、含噪聲較多的問(wèn)題,文獻(xiàn)[15]提出了CNN 特征降維的方法,首先利用主成分分析對(duì)CNN 特征進(jìn)行降維,在數(shù)據(jù)層面和人類(lèi)感知層面證明了其有效性;然后將降維后的CNN特征作為區(qū)域特征向量,利用多水平超像素分割和隨機(jī)森林回歸構(gòu)建了一個(gè)融合手工特征及降維CNN 特征的顯著性檢測(cè)模型。

第3 類(lèi)是將手工特征的設(shè)計(jì)方法直接引入到CNN 中。文獻(xiàn)[16]提出了卷積通道特征,將CNN特征和隨機(jī)森林等方法相結(jié)合。文獻(xiàn)[17]提出了局部二值卷積,用幾個(gè)重構(gòu)的卷積核替代了局部二值卷積中的中心插值的方法。文獻(xiàn)[18]提出了Gabor 卷積網(wǎng)絡(luò),將Gabor 濾波器應(yīng)用到CNN 中,增強(qiáng)了CNN 對(duì)于方向和尺度的魯棒性。文獻(xiàn)[19]將尺度不變特征變換（scale-invariant feature transform,SIFT）特征和CNN 特征結(jié)合到一起,在統(tǒng)一的框架中使用視覺(jué)特征來(lái)進(jìn)行高效的檢索。

2 基于GH 矩的旋轉(zhuǎn)運(yùn)動(dòng)模糊不變量

根據(jù)旋轉(zhuǎn)運(yùn)動(dòng)模糊退化模型[10],該類(lèi)圖像的形成是對(duì)原圖像作一系列旋轉(zhuǎn)變換后的結(jié)果的疊加均值。本節(jié)首先給出旋轉(zhuǎn)運(yùn)動(dòng)模糊圖像GH 矩的定義,再將該GH 矩代入旋轉(zhuǎn)GH 矩不變量中篩選出低階次具有穩(wěn)定不變性的旋轉(zhuǎn)變換和旋轉(zhuǎn)運(yùn)動(dòng)模糊的GH 矩不變量,即RMB_GHMIs,構(gòu)成一組特征向量應(yīng)用于圖像檢索、目標(biāo)識(shí)別等任務(wù)。圖1 所示為典型的清晰圖像和該圖像旋轉(zhuǎn)運(yùn)動(dòng)模糊后的示例。

圖1 原圖像與旋轉(zhuǎn)運(yùn)動(dòng)模糊后圖像示例

2.1 模糊圖像的GH 矩

結(jié)合旋轉(zhuǎn)運(yùn)動(dòng)模糊的退化模型和GH 矩的定義,模糊圖像g（x,y） 的GH 矩如式（1）所示。

離散情況下模糊圖像的GH 矩如式（2）所示。

2.2 旋轉(zhuǎn)運(yùn)動(dòng)模糊圖像的GH 矩不變量

式（1）給出了模糊圖像GH 矩與原圖像GH 矩的關(guān)系式,構(gòu)建旋轉(zhuǎn)運(yùn)動(dòng)模糊矩不變量的關(guān)鍵就是要尋找各項(xiàng)系數(shù)之間的關(guān)系。

基于上述算法,文獻(xiàn)[10]得到了5 個(gè)四階以?xún)?nèi)平均相對(duì)誤差在5%以?xún)?nèi)的不變量,組成了具有相當(dāng)穩(wěn)定性的旋轉(zhuǎn)運(yùn)動(dòng)模糊特征向量,記作RMB_GHMI-5,如式（3）所示。

其中,ghmpq為圖像的旋轉(zhuǎn)運(yùn)動(dòng)模糊GH 矩。

經(jīng)過(guò)實(shí)驗(yàn)測(cè)試和對(duì)比,該特征向量對(duì)旋轉(zhuǎn)變換和旋轉(zhuǎn)運(yùn)動(dòng)模糊具有很好的不變性和區(qū)分性,即便在高斯噪聲、椒鹽噪聲、泊松噪聲、乘性噪聲相當(dāng)嚴(yán)重的情況下,仍能保持良好的識(shí)別性能,且比起同類(lèi)方法,圖像檢測(cè)的準(zhǔn)確率有了顯著提升。當(dāng)模糊增大至人眼都無(wú)法辨別的程度,圖像內(nèi)容發(fā)生了巨大改變,RMB_GHMI-5 依然保持了很好的性能[10]。因此,在旋轉(zhuǎn)運(yùn)動(dòng)模糊圖像檢索和模式識(shí)別領(lǐng)域,基于手工特征的旋轉(zhuǎn)運(yùn)動(dòng)模糊GH 矩不變量具有非常重要的應(yīng)用價(jià)值。

3 RMBI-Net

本節(jié)將介紹旋轉(zhuǎn)運(yùn)動(dòng)模糊不變卷積神經(jīng)網(wǎng)絡(luò)（rotational motion blur invariance convolutional neural network,RMBI-Net）的構(gòu)造過(guò)程,詳細(xì)說(shuō)明RMB_GHMI-5 是如何與CNN 相結(jié)合,使得CNN 具有了旋轉(zhuǎn)運(yùn)動(dòng)模糊不變性。

如式（3）所示,所有的RMB_GHMI 都可以表示幾個(gè)GH 矩的線性組合。矩的計(jì)算本質(zhì)上可以是一種卷積運(yùn)算,因此,可以將不變量改寫(xiě)為卷積形式并通過(guò)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。接下來(lái)給出RMBI-Net 的構(gòu)造和訓(xùn)練策略。

構(gòu)造RMBI-Net 的思路為計(jì)算CNN 隱藏層特征圖上的RMB_GHMI,通過(guò)構(gòu)建RMBI 層實(shí)現(xiàn)RMBI操作。RMBI 層包含一組函數(shù)映射,輸出每個(gè)通道的特征映射的RMB_GHMI-5。RMBI 模塊如圖2所示。

圖2 RMBI 模塊示意圖

圖2 中,RMBI 層為所實(shí)現(xiàn)的不變量RMB_GHMI-5 的計(jì)算層。該層的輸入可以是任意通道個(gè)數(shù)的特征圖,對(duì)于特征每一個(gè)通道,都可以看作是一個(gè)二維圖像,對(duì)其進(jìn)行不變量RMB_GHMI-5 的計(jì)算,該層的輸出為n組RMB_GHMI-5 組成的特征向量。

基于RMBI 層,可以將其結(jié)合到任意經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中,將其與神經(jīng)網(wǎng)絡(luò)結(jié)合,提升網(wǎng)絡(luò)對(duì)于旋轉(zhuǎn)模糊變換的魯棒性。RMBI-Net 基本的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示,將RMBI 層應(yīng)用到每一層的特征圖上,并將輸出與網(wǎng)絡(luò)最終的特征層級(jí)聯(lián),可以得到最終的網(wǎng)絡(luò)輸出。RMBI-Net 的訓(xùn)練策略是所有的參數(shù)都在一個(gè)端到端階段進(jìn)行訓(xùn)練和更新,全連接層返回的梯度將為卷積濾波器的更新參數(shù)。而對(duì)于RMBI 層,只向前傳播到它的后續(xù)層,并不進(jìn)行誤差的方向傳播。通過(guò)對(duì)比不同的訓(xùn)練策略,端到端的策略會(huì)使整個(gè)訓(xùn)練過(guò)程更加順利。

圖3 RMBI-Net 端到端網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練策略示意圖

神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于其可以進(jìn)行有效的特征提取,產(chǎn)生大量的特征圖,并通過(guò)學(xué)習(xí)的方法得到較高的準(zhǔn)確率,但不變性是神經(jīng)網(wǎng)絡(luò)所缺乏的。不變量的優(yōu)勢(shì)在于通過(guò)手工設(shè)計(jì)推導(dǎo),可以精確計(jì)算得到圖像的旋轉(zhuǎn)運(yùn)動(dòng)模糊的不變特征,但是不變特征的維度是該方法的一個(gè)限制。本文提出的RMBI-Net的方法,通過(guò)計(jì)算神經(jīng)網(wǎng)絡(luò)特征圖的不變量,一方面可以增加不變量的個(gè)數(shù),另一方面可以將不變性引入到神經(jīng)網(wǎng)絡(luò)中,提高網(wǎng)絡(luò)對(duì)于旋轉(zhuǎn)運(yùn)動(dòng)模糊的魯棒性。之后將進(jìn)行實(shí)驗(yàn),對(duì)該方法的性能進(jìn)行詳細(xì)分析。

4 實(shí)驗(yàn)與分析

本實(shí)驗(yàn)的目的是評(píng)估RMBI-Net 對(duì)分類(lèi)結(jié)果的影響,因此,沒(méi)有使用其他網(wǎng)絡(luò)優(yōu)化方案以及調(diào)整訓(xùn)練超參數(shù)來(lái)提高準(zhǔn)確率。實(shí)驗(yàn)運(yùn)行平臺(tái)中央處理器為Intel Core i7 7700,顯卡為GeForce GTX1080Ti,深度學(xué)習(xí)框架為T(mén)ensorFlow 2 on Windows 10。為了保證實(shí)驗(yàn)的客觀性、可比性和再現(xiàn)性,本文選擇較為基礎(chǔ)且典型的LeNet[1]、Z2CNN[20]和NIN[21]等3 種CNN 進(jìn)行改進(jìn),并實(shí)現(xiàn)改進(jìn)前后的對(duì)比實(shí)驗(yàn)（如LeNet 與RMBI-LeNet） 。改進(jìn)前后的網(wǎng)絡(luò)使用相同的超參。改進(jìn)前3 種網(wǎng)絡(luò)的結(jié)構(gòu)如圖4所示。

圖4 網(wǎng)絡(luò)結(jié)構(gòu)圖

LeNet 使用隨機(jī)梯度下降法（stochastic gradient descent,SGD） 訓(xùn)練策略,主要用于手寫(xiě)體字符的識(shí)別和分類(lèi),部分超參為（base_lr:0.01,momentum:0.9,weight_decay:0.0005,lr_policy:"inv",gamma:0.0001,power:0.75,max_iter:10 000）。

Z2CNN 使用Adam 來(lái)求解,由7 個(gè)卷積層（每層有20 個(gè)通道）、激活層（ReLU）、dropout 層以及歸一層組成。部分超參為（base_lr:0.01,momentum:0.9,momentum2: 0.999,delta:0.0001,weight_decay:0.0001,lr_policy:"step",gamma:0.1,stepsize:15 000,max_iter:20 000）。

NIN 由一個(gè)全局池化層和3 個(gè)MLP 層組成。部分超參為（base_lr:0.025,momentum:0.9,lr_policy:"step",gamma:0.05,stepsize:10 000,max_iter:13 000）。

4.1 基于MNIST 的驗(yàn)證實(shí)驗(yàn)

MNIST[1]數(shù)據(jù)集包含70 000 張從0～9 的28 ×28 張手寫(xiě)數(shù)字圖像,其中包含60 000 個(gè)訓(xùn)練樣本和10 000 個(gè)測(cè)試樣本?；贛NIST,本文構(gòu)造了與其對(duì)應(yīng)的旋轉(zhuǎn)運(yùn)動(dòng)模糊后的數(shù)據(jù)集MNIST-rmb。數(shù)據(jù)構(gòu)造方法是對(duì)每一張圖片進(jìn)行10 °～90 °隨機(jī)角度旋轉(zhuǎn)運(yùn)動(dòng)模糊后,添加sigma=0.01高斯噪聲。變換后的數(shù)據(jù)集記為MNIST-rmb。原數(shù)據(jù)集MNIST與變換后的數(shù)據(jù)集MNIST-rmb 示例如圖5 所示。

圖5 MNIST 示例與MNIST-rmb 示例對(duì)比

本實(shí)驗(yàn)分為2 種訓(xùn)練策略,第1 種為利用MNIST-rmb 訓(xùn)練集對(duì)改造前后的網(wǎng)絡(luò)進(jìn)行訓(xùn)練,然后在MNIST-rmb 的測(cè)試集上進(jìn)行測(cè)試,上述3 種常規(guī)的CNN 和改造后的RMBI-Net 在改造前后的的混淆矩陣對(duì)比如表1～3 所示。可以看出,經(jīng)過(guò)改造的CNN 具有了很強(qiáng)的旋轉(zhuǎn)運(yùn)動(dòng)模糊不變性,在控制實(shí)驗(yàn)中,RMBI-Net 的準(zhǔn)確率相比于原網(wǎng)絡(luò),提升了近30%。充分說(shuō)明了本文所提出改造方法的有效性。

表1 LeNet 和RMBI-LeNet 在MNIST-rmb 上的混淆矩陣對(duì)比

表2 Z2CNN 和RMBI-Z2CNN 在MNIST-rmb 上混淆矩陣對(duì)比

表3 NIN 和RMBI-NIN 在MNIST-rmb 上的混淆矩陣對(duì)比

續(xù)表3

第2 種為僅利用MNIST 數(shù)據(jù)集中的訓(xùn)練集對(duì)改造前后的網(wǎng)絡(luò)進(jìn)行訓(xùn)練,在MNIST-rmb 的測(cè)試集上進(jìn)行測(cè)試,上述3 種常規(guī)的CNN 和改造后的RMBI-Net 在改造前后的混淆矩陣如表4～6 所示。從表中可以觀察到,即便在沒(méi)有學(xué)習(xí)旋轉(zhuǎn)運(yùn)動(dòng)模糊圖像的情況下,RMBI-Net 的準(zhǔn)確率相比于原網(wǎng)絡(luò)依然提升了近24%～34%,證明了RMBI-Net 對(duì)于原網(wǎng)絡(luò)的大幅改善成效。

表4 LeNet 和RMBI-LeNet 在MNIST-rmb 上的混淆矩陣對(duì)比

表5 Z2CNN 和RMBI-Z2CNN 在MNIST-rmb 上混淆矩陣對(duì)比

表6 NIN 和RMBI-NIN 在MNIST-rmb 上混淆矩陣對(duì)比

續(xù)表6

以上2 種訓(xùn)練策略生成的改造前后的網(wǎng)絡(luò)準(zhǔn)確率如表7 和表8 所示,可以看到RMBI-Net 比相對(duì)應(yīng)的典型CNN 分類(lèi)準(zhǔn)確率有了顯著提升,驗(yàn)證了本文提出的RMBI-Net 方法的優(yōu)越性。

表7 由MNIST-rmb 訓(xùn)練的CNN 和RMBI-Net 準(zhǔn)確率

表8 由MNIST 訓(xùn)練的CNN 和RMBI-Net 準(zhǔn)確率

4.2 基于CIFAR-10 的驗(yàn)證實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證RMBI-Net 的適用性,本文選擇更加復(fù)雜且真實(shí)的數(shù)據(jù)集CIFAR-10[22]進(jìn)行同上的數(shù)據(jù)集變換生成CIFAR-10-rmb,并執(zhí)行同上2 種網(wǎng)絡(luò)訓(xùn)練策略的驗(yàn)證實(shí)驗(yàn)。相比于MNIST 數(shù)據(jù)集,CIFAR-10 是RGB 圖像,而MNIST 是灰度圖像;CIFAR-10 的圖片尺寸為32 ×32,比MNIST 28 ×28 稍大;MNIST 是手寫(xiě)字符,CIFAR-10 含有現(xiàn)實(shí)世界中的真實(shí)物體,不僅噪聲很大,而且物體的比例、特征都不相同。這些特點(diǎn)都為CNN 分類(lèi)帶來(lái)更大的挑戰(zhàn)。兩種訓(xùn)練策略生成的改造前后的網(wǎng)絡(luò)準(zhǔn)確率如表9 和表10 所示,可以看到RMBI-Net 比原網(wǎng)絡(luò)的分類(lèi)準(zhǔn)確率依然有明顯提升。在更復(fù)雜的場(chǎng)景中,進(jìn)一步驗(yàn)證了RMBI-Net 的優(yōu)越性。

表9 由CIFAR-10-rmb 訓(xùn)練的CNN 和RMBI-Net 準(zhǔn)確率

表10 由CIFAR-10 訓(xùn)練的CNN 和RMBI-Net 準(zhǔn)確率

4.3 實(shí)驗(yàn)結(jié)果分析

在傳統(tǒng)僅使用手工特征分類(lèi)場(chǎng)景中,特征向量的維數(shù)對(duì)于準(zhǔn)確率有著至關(guān)重要的影響。盡管RMB_GHMI-5 對(duì)于旋轉(zhuǎn)和旋轉(zhuǎn)運(yùn)動(dòng)模糊理論上是具有不變性的,但是對(duì)于類(lèi)似于CIFAR-10 這樣更為復(fù)雜的場(chǎng)景,更多維的特征向量顯然會(huì)有更好的性能。但是在本文的方法下,由于有了神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力,低維特征向量的劣勢(shì)會(huì)減弱。同時(shí),傳統(tǒng)的網(wǎng)絡(luò)也會(huì)因?yàn)槭止ぬ卣鞯募尤?具備了一定的旋轉(zhuǎn)運(yùn)動(dòng)模糊不變性,顯著增強(qiáng)了網(wǎng)絡(luò)在此退化情況下的魯棒性。另外,由于CNN 都是多層結(jié)構(gòu),每一次在特征圖上的不變量運(yùn)算所得到的特征映射都相當(dāng)于增加了手工特征的維數(shù)。同樣,類(lèi)似本文的方法也可以很容易地?cái)U(kuò)展到其他手工特征提取方法與CNN 的結(jié)合,實(shí)現(xiàn)不同應(yīng)用場(chǎng)景下的網(wǎng)絡(luò)增強(qiáng)。

5 結(jié)論

本文提出一種將旋轉(zhuǎn)運(yùn)動(dòng)模糊不變量與神經(jīng)網(wǎng)絡(luò)結(jié)合的CNN 架構(gòu)。通過(guò)在隱藏層計(jì)算RMB_GHMI-5 的特征圖,將RMB_GHMI-5 具備而神經(jīng)網(wǎng)絡(luò)缺失的旋轉(zhuǎn)運(yùn)動(dòng)模糊不變性融入到CNN 的網(wǎng)絡(luò)結(jié)構(gòu)中,并在不同數(shù)據(jù)集、不同網(wǎng)絡(luò)訓(xùn)練方法的分類(lèi)實(shí)驗(yàn)中驗(yàn)證了RMBI-Net 可以大幅提升經(jīng)典CNN 對(duì)于旋轉(zhuǎn)運(yùn)動(dòng)模糊圖像的分類(lèi)性能。該方法的缺點(diǎn)是會(huì)增加計(jì)算復(fù)雜度,但可以通過(guò)設(shè)計(jì)更高效的計(jì)算不變量的算法解決,使得網(wǎng)絡(luò)效率進(jìn)一步提升。另外,通過(guò)引入更高維的特征向量,也有望進(jìn)一步提升改進(jìn)后網(wǎng)絡(luò)的性能。