張文燁，尚方信，郭 浩，3

（1.中國(guó)人民大學(xué)信息學(xué)院，北京 100872；2.山西虛擬現(xiàn)實(shí)產(chǎn)業(yè)技術(shù)研究院有限公司，太原 030024；3.太原理工大學(xué)信息與計(jì)算機(jī)學(xué)院，太原030024）（*通信作者電子郵箱slicent@foxmail.com）

0 引言

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）被成功應(yīng)用于許多計(jì)算機(jī)視覺(jué)問(wèn)題的解決上，例如圖像分類(lèi)［1-2］、目標(biāo)檢測(cè)［3］和實(shí)例分割［4］等。但隨著神經(jīng)網(wǎng)絡(luò)性能的增強(qiáng)，這些模型所需的運(yùn)算量也顯著上升。現(xiàn)代深度學(xué)習(xí)模型大多運(yùn)行在大容量?jī)?nèi)存和高性能計(jì)算設(shè)備上，如圖形處理器（Graphics Processing Unit，GPU），帶來(lái)高昂計(jì)算成本；同時(shí)，移動(dòng)設(shè)備和嵌入式設(shè)備搭載神經(jīng)網(wǎng)絡(luò)模型的需求與日俱增，而相關(guān)應(yīng)用程序的運(yùn)算性能、功耗和可用內(nèi)存，均受設(shè)備平臺(tái)的限制。因此，對(duì)計(jì)算和內(nèi)存的高需求成為在移動(dòng)設(shè)備上部署深度神經(jīng)網(wǎng)絡(luò)模型的瓶頸。

目前，解決這一矛盾的途徑可分為三類(lèi)：即模型量化［5-6］、模型剪枝［7-8］和神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索［9］。其中，量化神經(jīng)網(wǎng)絡(luò)及二值神經(jīng)網(wǎng)絡(luò)（Binarized Neural Network，BNN），致力于在取值有限的離散空間中，表征卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值。與32 位浮點(diǎn)數(shù)運(yùn)算相比，較低位寬環(huán)境下進(jìn)行的運(yùn)算顯著降低了運(yùn)算量。特別地，二值神經(jīng)網(wǎng)絡(luò)將權(quán)值和激活函數(shù)輸出約束至二值類(lèi)型（即+1或-1），使得乘法和累加運(yùn)算可以被二進(jìn)制位運(yùn)算代替，大幅降低了運(yùn)算成本；然而，對(duì)網(wǎng)絡(luò)權(quán)值與激活值的量化操作將限制相關(guān)數(shù)值的信息表征能力，在低位寬環(huán)境下將導(dǎo)致嚴(yán)重的預(yù)測(cè)精度損失。為了兼顧運(yùn)算效率與模型性能，Wu 等［10］基于微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)，在盡量保持預(yù)測(cè)精度的同時(shí)，逐層搜索特定的量化位寬（bit 數(shù)），構(gòu)建了混合精度模型。另一方面，2019 年，Chen 等［11］提出了Octave 卷積，將輸入的特征圖分解為高頻信息和低頻信息兩部分，使用降采樣壓縮了低頻特征圖分辨率，在不損失預(yù)測(cè)精度的同時(shí)，顯著降低了卷積運(yùn)算量。

與最初的量化神經(jīng)網(wǎng)絡(luò)相比，混合精度架構(gòu)在模型性能上有了明顯進(jìn)步。但是，現(xiàn)有方法大多僅考慮圖像語(yǔ)義信息，或依賴(lài)損失函數(shù)及梯度指導(dǎo)精度混合模式，沒(méi)有考慮不同位置、不同深度的卷積核對(duì)圖像信息成分的側(cè)重。

一幅如圖1（a）所示的自然圖像可以被分解為緩慢變化的，描述圖像全局結(jié)構(gòu)信息的低頻分量（如圖1（b））及描述快速變化的精細(xì)局部細(xì)節(jié)的高頻分量（如圖1（c））；同時(shí)，由于圖像低頻分量在全局范圍上緩慢變化，其對(duì)數(shù)值量化造成的信息損失不敏感。本文利用Octave 卷積的高低頻信息混合架構(gòu)，提出一種新的混合精度方法，在每一個(gè)卷積運(yùn)算層面實(shí)現(xiàn)了量化特征圖的混合，并未增加運(yùn)算量。其次，得益于Octave卷積是一種網(wǎng)絡(luò)結(jié)構(gòu)無(wú)關(guān)的傳統(tǒng)卷積層替代方案，本文方法可即插即用地適配任意卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。與Octave卷積相比，本文方法進(jìn)一步節(jié)省了運(yùn)算成本與內(nèi)存需求。

圖1 圖像的高低頻分量示意圖Fig.1 High-and low-frequency components of an image

1 相關(guān)理論

1.1 Octave卷積

作為卷積神經(jīng)網(wǎng)絡(luò)的輸入信號(hào)，自然圖像通常包含多種頻率成分，其中，圖像全局信息通常由低頻成分編碼，而圖像局部的精細(xì)結(jié)構(gòu)則常由高頻成分來(lái)表現(xiàn)。如圖2 所示，現(xiàn)有的基于傳統(tǒng)卷積方法（vanilla convolution）搭建的卷積神經(jīng)網(wǎng)絡(luò)，其中一部分卷積核被訓(xùn)練用于提取低頻特征，另一部分則專(zhuān)注于提取高頻特征。傳統(tǒng)卷積方法未考慮圖像頻率信息的差異，未針對(duì)不同頻率的特征圖進(jìn)行有差別的處理；同時(shí)，低頻信息在空間上變化較緩慢，因此對(duì)特征圖分辨率不敏感。若實(shí)現(xiàn)高低頻信息的差異化處理，則可以由降低低頻特征圖分辨率的方式，減少卷積運(yùn)算量。

圖2 AlexNet的第一層卷積核的可視化Fig.2 Visualization of the first layer’s convolution kernel of AlexNet

2019 年，Chen 等［11］提出了Octave 卷積方法，如圖3 所示。圖中XH、XL代表輸入的高頻與低頻特征圖；WH→H、WL→L分別代表高頻至高頻、低頻至低頻的卷積核參數(shù)；WH→L、WL→H代表用于高頻與低頻信息融合的卷積核參數(shù)。Octave 卷積方法將輸入卷積層的特征圖沿通道方向分為兩組，由高低頻卷積核分別處理并進(jìn)行升采樣/降采樣后，進(jìn)行高低頻分量的混合，最終輸出特征圖的高頻與低頻分量。輸出通道數(shù)之和與傳統(tǒng)卷積輸出通道數(shù)相同，此外，空間上變化較緩慢的低頻特征圖分辨率被減半，以節(jié)約運(yùn)算量。

圖3 Octave卷積方法示意圖Fig.3 Schematic diagram of Octave convolution method

研究人員指出，Octave 卷積并未改變輸出特征圖的總通道數(shù)，也未改變卷積核參數(shù)量，而是專(zhuān)注于降低卷積神經(jīng)網(wǎng)絡(luò)在空間維度（特征圖寬高維度）的冗余，因而該方法與現(xiàn)有的多種網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和減少網(wǎng)絡(luò)特征冗余的方法是正交和互補(bǔ)的，并可以即插即用地直接替代現(xiàn)有卷積層，不改變卷積網(wǎng)絡(luò)整體的網(wǎng)絡(luò)尺寸和模型參數(shù)量。

1.2 量化神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)及相關(guān)改進(jìn)方法在計(jì)算機(jī)視覺(jué)問(wèn)題的解決上取得了廣泛成功，但絕大多數(shù)模型的研究工作是在32 位浮點(diǎn)數(shù)環(huán)境下進(jìn)行的，并需要同樣的運(yùn)算環(huán)境來(lái)部署模型。與此同時(shí)，卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)于運(yùn)算性能和內(nèi)存的高要求，成為限制相關(guān)方法部署于移動(dòng)設(shè)備和嵌入式設(shè)備的瓶頸。

數(shù)值量化是指減少表示數(shù)值的二進(jìn)制數(shù)位數(shù)的操作，兩組進(jìn)行乘法/累加運(yùn)算的二進(jìn)制數(shù)位數(shù)越短，則運(yùn)算量越小。研究人員發(fā)現(xiàn)，對(duì)神經(jīng)網(wǎng)絡(luò)中權(quán)值與激活值進(jìn)行量化，不僅有助于加快模型運(yùn)算速度，降低內(nèi)存需求和運(yùn)算成本，還可以減少模型權(quán)值文件的存儲(chǔ)大小，節(jié)約硬盤(pán)存儲(chǔ)容量。自2013年Bengio等［12］提出直通梯度估計(jì)（Straight Through gradient Estimator，STE）方法，為量化模型的訓(xùn)練提供了計(jì)算方法基礎(chǔ)后，研究人員已廣泛證明，可以使用8位整數(shù)（INT8）來(lái)表示模型權(quán)值和激活值，且不會(huì)導(dǎo)致模型精度的顯著損失。目前，研究人員致力于在不顯著損失模型精度的前提下，將神經(jīng)網(wǎng)絡(luò)量化至更低的位寬（如4/2/1 bits），以進(jìn)一步壓縮模型對(duì)運(yùn)算資源的需求。

2016 年，Zhou 等［6］提出了DoReFa-Net，即基于DoReFa 量化方法構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)，該方法支持模型權(quán)值、激活值與梯度被量化至不同位寬。要執(zhí)行DoReFa量化方法，首先需要定義如下的量化方程：

在DoReFa 量化方法中，激活值xf被裁剪至［0，1］，并按照如下方式量化至離散值xq：

模型權(quán)值wf按照式（3）、（4）進(jìn)行量化：

DoReFa 首次將梯度納入量化的范圍內(nèi)，但量化神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用場(chǎng)景是在高運(yùn)算性能設(shè)備（如GPU）上進(jìn)行模型訓(xùn)練和超參搜索等工作；而在移動(dòng)端與嵌入式設(shè)備上，僅執(zhí)行加載預(yù)訓(xùn)練權(quán)值和推斷計(jì)算，無(wú)需考慮梯度。此外，研究人員發(fā)現(xiàn)，使用DoReFa 量化方法搭建的二值神經(jīng)網(wǎng)絡(luò)，難以取得令人滿(mǎn)意的預(yù)測(cè)精度。

近年來(lái)，研究人員在STE 方法及其他梯度估計(jì)方法的基礎(chǔ)上，提出了多種二值神經(jīng)網(wǎng)絡(luò)方法。如Rastegari 等［13］于2016 年提出的XNOR-Net 不僅將模型權(quán)值與卷積層輸入均轉(zhuǎn)化為二值表示，并使用同或邏輯運(yùn)算（XNOR）代替卷積神經(jīng)網(wǎng)絡(luò)中的二進(jìn)制向量點(diǎn)乘；通過(guò)引入比例因子的方法，幫助多個(gè)二值卷積核模擬全精度卷積核權(quán)值。2018 年，Liu 等［14］提出了Bi-Real Net，近似求解了不可微符號(hào)函數(shù)的梯度公式，并使用裁剪函數(shù)替代線(xiàn)性整流函數(shù)（Rectified Linear Unit，ReLU）為模型提供非線(xiàn)性變換。除通用的模型量化方法以外，2019 年，研究人員探索了目標(biāo)檢測(cè)模型的量化壓縮問(wèn)題，并取得成功［15］。此外，壓縮后模型的部署問(wèn)題也在近期取得進(jìn)展，如量化后模型已可以在FPGA 平臺(tái)［16］、ARM 移動(dòng)端平臺(tái)［17］等算力敏感的場(chǎng)景上完成部署。

2 本文方法

傳統(tǒng)卷積方法在輸入和輸出特征圖在所有通道上均使用相同的空間分辨率。同時(shí)，Octave Conv 的工作證明，自然圖像及其特征圖可以被分解為編碼全局信息的低頻分量與編碼局部細(xì)節(jié)信息的高頻分量，且現(xiàn)有卷積方法在空間分辨率上存在冗余。

為便于說(shuō)明，本文將以四維張量表示的二維卷積核，沿卷積核的空間方向展開(kāi)為三維張量。如圖4 所示，Octave Conv卷積核WH→H、WL→H、WH→L、WL→L可分別被看作傳統(tǒng)卷積核在輸入通道與輸出通道方向按比例的切分結(jié)果；ain和aout分別代表輸入特征圖與輸出特征圖在通道方向被分解為低頻特征圖的比例；k為二維卷積核尺寸。

圖4 QOCN卷積核示意圖Fig.4 Schematic diagram of convolution kernel of QOCN

目前，量化卷積神經(jīng)網(wǎng)絡(luò)方法大多立足于對(duì)傳統(tǒng)卷積方法的卷積核的量化操作，在空間分辨率上同樣存在冗余信息。為進(jìn)一步降低量化神經(jīng)網(wǎng)絡(luò)的運(yùn)算量，本文根據(jù)Octave Conv的思想將輸入特征圖分解為高頻和低頻兩部分，并將處理低頻信息的卷積核WL→L，WL→H使用Bi-Real 方法量化至1 bit，處理高頻信息的卷積核WH→H，WH→L由DoReFa 方法量化至較高的位寬。接著，沿用Octave Conv 的高低頻混合架構(gòu)，同時(shí)完成頻率混合與量化位寬混合。這樣的量化卷積運(yùn)算規(guī)則被命名為QOCN 卷積（Quantized Octave Convolution，QOCN），下文簡(jiǎn)稱(chēng)QOCN Conv。具體地，本文在實(shí)驗(yàn)部分分別將高頻網(wǎng)絡(luò)分支量化至2 bits、4 bits、8 bits 和16 bits，并進(jìn)行了對(duì)比實(shí)驗(yàn)。

結(jié)合BiReal量化方法與DoReFa量化方法，結(jié)合式（4），有卷積核量化函數(shù)如下：

值得注意的是，對(duì)卷積運(yùn)算的量化操作僅約束了卷積核的離散取值空間，并未限制輸入特征圖，即激活值的取值范圍。而全精度的激活張量中常常包含統(tǒng)計(jì)上的異常值，進(jìn)而影響量化卷積輸出特征圖的取值，并帶來(lái)了額外的運(yùn)算量。目前主流的量化方法以量化激活值的方式解決這一問(wèn)題。與量化卷積類(lèi)似，本文提出的QOCN 方法基于Bi-Real 方法的1 bit 激活函數(shù)與DoReFa 對(duì)激活函數(shù)的量化操作，將低頻卷積的輸出特征圖量化至1 bit；高頻卷積的輸出特征圖則量化至與高頻卷積核相同的位寬。

現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)中，通常由卷積層、歸一化層和非線(xiàn)性激活層組成一個(gè)基本單元。本文方法需要通過(guò)量化激活函數(shù)的方式提供量化卷積圖，一個(gè)完整的QOCN Module 同樣由卷積、歸一化和激活函數(shù)三部分組成，輸入的高低頻特征圖經(jīng)QOCN Conv 處理后，輸出混合精度的高低頻特征圖并分別進(jìn)行歸一化處理。接著，高頻特征圖由DoReFa Net 方法的量化激活函數(shù)處理，低頻特征圖由Bi-Real Net方法的激活函數(shù)（符號(hào)函數(shù)）處理，分別進(jìn)行非線(xiàn)性變換，最終輸出量化的特征圖。

在梯度反向傳播階段，BiReal 方法對(duì)1 bit 位寬下激活函數(shù)和量化卷積的梯度進(jìn)行了近似估計(jì)，DoReFa 方法基于直通梯度估計(jì)方法，給出了量化激活函數(shù)與量化卷積的梯度估計(jì)。本文沿用了相關(guān)設(shè)定。

3 實(shí)驗(yàn)

本章首先基于CIFAR-10/100 和ImageNet 在圖像分類(lèi)任務(wù)上驗(yàn)證了本文提出的QOCN 方法性能，即使用不同位寬分別量化卷積組內(nèi)的高低頻分量，將多個(gè)卷積組按照特定拓?fù)浣Y(jié)構(gòu)相連，如殘差神經(jīng)網(wǎng)絡(luò)（Residual neural Network，ResNet）、MobileNet 等，作為一個(gè)整體進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，基于Octave Conv 卷積方法對(duì)高低頻特征圖的混合機(jī)制設(shè)計(jì)的混合精度模型，可以在較低的量化位寬環(huán)境下達(dá)到與全精度模型接近的預(yù)測(cè)精度。將QOCN模型按照低頻位寬+高頻位寬的方式命名，如QOCN（1+4）代表模型中每一卷積組的低頻分支被量化至1 bit，而高頻分支被量化至4 bits。其次，為進(jìn)一步理解QOCN方法的工作原理，體現(xiàn)基于不同位寬的卷積核獲得的卷積結(jié)果，本文基于在ImageNet 上訓(xùn)練的ResNet18-QOCN（1+8）模型進(jìn)行了不同位寬的特征圖可視化，對(duì)比了量化操作對(duì)高低頻特征圖的信息表征能力的影響。本文實(shí)驗(yàn)代碼：https：//github.com/parap1uie-s/quantization_octconv。

3.1 分類(lèi)實(shí)驗(yàn)

為驗(yàn)證混合精度的QOCN 方法的有效性，本文在3 個(gè)公開(kāi)數(shù)據(jù)集CIFAR-10、CIFAR-100 和ImageNet 上進(jìn)行了對(duì)比實(shí)驗(yàn)，并使用標(biāo)準(zhǔn)數(shù)據(jù)擴(kuò)增策略。具體來(lái)說(shuō)，本文在CIFAR-10/100 上對(duì)訓(xùn)練集圖像進(jìn)行隨機(jī)水平翻轉(zhuǎn)和隨機(jī)垂直翻轉(zhuǎn)；在ImageNet 訓(xùn)練集上使用隨機(jī)裁剪、隨機(jī)水平翻轉(zhuǎn)和隨機(jī)垂直翻轉(zhuǎn)，并調(diào)整圖像大小至224 px×224 px，ImageNet驗(yàn)證集上將圖像大小調(diào)整至256 px×256 px 并進(jìn)行中心裁剪至224 px，以匹配模型輸入尺寸。在數(shù)據(jù)預(yù)處理環(huán)節(jié)，本文根據(jù)各數(shù)據(jù)集的均值和方差對(duì)圖像進(jìn)行了歸一化。

在相同迭代輪次與訓(xùn)練計(jì)劃的約束下，基于預(yù)訓(xùn)練全精度模型權(quán)值訓(xùn)練出的量化模型，其預(yù)測(cè)精度要高于從隨機(jī)初始狀態(tài)開(kāi)始訓(xùn)練的量化模型。QOCN 模型均以相應(yīng)的預(yù)訓(xùn)練全精度模型權(quán)值作為初始權(quán)值。本文實(shí)驗(yàn)詳細(xì)訓(xùn)練計(jì)劃，如表1 所示。除表中列出數(shù)據(jù)以外，本文實(shí)驗(yàn)基于PyTorch1.4和4x Nvidia-V100 GPU 完成，訓(xùn)練過(guò)程中使用包含動(dòng)量項(xiàng)的隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器調(diào)整模型參數(shù)，BatchSize=256，αin與αout均為0.5。

表1 訓(xùn)練計(jì)劃Tab.1 Training plan

表2～4 展示了傳統(tǒng)卷積（Vanilla Conv）、Octave Conv 與QOCN 在相同的網(wǎng)絡(luò)架構(gòu)下搭建模型的性能表現(xiàn)，以正確率（Top-1 Accuracy）為度量模型性能的指標(biāo)，其中，正確率是指預(yù)測(cè)類(lèi)別正確的樣本數(shù)量與總樣本量的比值。特別地，Top-1正確率以模型輸出概率最大值所屬類(lèi)別與真實(shí)類(lèi)別是否相等作為預(yù)測(cè)正確的標(biāo)準(zhǔn)。首先，本文在最為簡(jiǎn)單的CIFAR-10數(shù)據(jù)集上采用ResNet-20 和ResNet-56 結(jié)構(gòu)，對(duì)比了QOCN 方法與基線(xiàn)方法（Baseline）的性能。如表2 所示，采用Octave 卷積的全精度模型（32 bits Octave Conv）取得了最高的正確率，而高低頻分支均被量化至1 bit 的模型（1 bit Octave Conv）分類(lèi)性能與全精度模型具有顯著差異；高低頻分支均被量化至8 bits 時(shí)（8 bits Octave Conv），可獲得與32 bits 全精度模型接近的分類(lèi)性能。這表明全精度ResNet 結(jié)構(gòu)在CIFAR-10 分類(lèi)任務(wù)上具有冗余參數(shù)和模型容量，但不足以支持全部運(yùn)算在1 bit下進(jìn)行。采用本文提出的混合精度方法時(shí)，僅具有2 bits高頻分支、低頻分支仍保持1 bit 位寬的QOCN（1+2），其分類(lèi)性能已接近全精度模型；QOCN（1+4）則取得了與8 bit Octave Conv 接近的分類(lèi)性能，說(shuō)明了混合精度方法的有效性，且進(jìn)一步縮小了與全精度模型的差異。

表2 QOCN和基線(xiàn)模型在CIFAR-10數(shù)據(jù)集上的分類(lèi)性能對(duì)比Tab.2 Classification performance comparison of QOCN with baseline models on CIFAR-10 dataset

值得注意的是，本文提出的混合量化方法試圖取得模型性能（正確率）與運(yùn)算代價(jià)之間的平衡，即盡可能少地?fù)p失正確率以換取盡可能多地減少運(yùn)算代價(jià)。在相同模型結(jié)構(gòu)前提下，以加載卷積參數(shù)所消耗的內(nèi)存空間計(jì)算，加載全1 bit模型占用內(nèi)存約為全精度模型的3%；加載全8 bits模型占用內(nèi)存約為全精度模型的25%。當(dāng)αin與αout均為0.5時(shí)，以QOCN（1+8）為例，占用內(nèi)存約為全精度模型的14%，全8 bits模型的56%；更激進(jìn)的QOCN（1+2）則僅使用8 bits模型18%的內(nèi)存消耗，獲得與1 bit模型相比近11%的正確率增幅，接近了全8 bits 模型的性能。特別地，定制化的計(jì)算設(shè)備使用移位運(yùn)算實(shí)現(xiàn)1 bit參數(shù)相關(guān)的運(yùn)算，其運(yùn)算延時(shí)遠(yuǎn)小于全精度模型的1/32。

CIFAR-10 數(shù)據(jù)集僅要求模型提供較為簡(jiǎn)單的10 分類(lèi)能力。為更加充分地展示QOCN 方法的優(yōu)勢(shì)，說(shuō)明該方法兼顧了模型分類(lèi)性能與運(yùn)算資源需求壓縮，本文引入了更為復(fù)雜的CIFAR-100 和ImageNet 數(shù)據(jù)集。相關(guān)實(shí)驗(yàn)數(shù)據(jù)如表3 和表4所示。

表3 QOCN和基線(xiàn)模型在CIFAR-100數(shù)據(jù)集上的分類(lèi)性能對(duì)比Tab.3 Classification performance comparison of QOCN with baseline models on CIFAR-100 dataset

表4 QOCN和基線(xiàn)模型在ImageNet數(shù)據(jù)集上的分類(lèi)性能對(duì)比Tab.4 Classification performance comparison of QOCN with baseline models on ImageNet dataset

在CIFAR-100 的實(shí)驗(yàn)中，本文選取MobileNet V2、ResNet-26 和ResNet-101 分別代表主流的輕量化網(wǎng)絡(luò)、中等規(guī)模網(wǎng)絡(luò)和大型網(wǎng)絡(luò)。其中，被量化至1 bit的MobileNet V2表現(xiàn)最差，證明輕量化網(wǎng)絡(luò)具有更少的冗余運(yùn)算量；但基于QOCN（1+2）構(gòu)建的MobileNet V2 的分類(lèi)性能已顯著上升。同時(shí)，QOCN（1+4）構(gòu)建的所有模型，在CIFAR-100和ImageNet上均可以獲得與全精度方法接近的分類(lèi)性能。

為充分展示QOCN 混合精度方法的有效性，本文在ImageNet 數(shù)據(jù)集上進(jìn)行進(jìn)一步實(shí)驗(yàn)，并與主流神經(jīng)網(wǎng)絡(luò)量化方法XNOR-Net［13］、DoReFa-Net［6］和層量化網(wǎng)絡(luò)（Layer-wise Quantization Net，LQ-Net）［18］對(duì)比，并使用與對(duì)比方法相同的模型結(jié)構(gòu)與量化方案，為與前段實(shí)驗(yàn)區(qū)分，本段實(shí)驗(yàn)以“QOCN*”標(biāo)注。具體地，將典型的ResNet-18 結(jié)構(gòu)中，“卷積+批歸一化+激活函數(shù)”的結(jié)構(gòu)替換為“批歸一化+卷積+激活函數(shù)”的結(jié)構(gòu)，并解耦低頻分支的權(quán)值與激活值的量化位寬，W為量化權(quán)值位寬，A 為激活值位寬；保持高頻分支量化位寬與激活值一致。實(shí)驗(yàn)結(jié)果如表5 所示。其中，XNOR-Net 方法僅用于1 bit 模型量化，作為基線(xiàn)結(jié)果；LQ-Net 與Dorefa-Net 均遵循卷積結(jié)果量化與激活值量化的混合模式，且使用自適應(yīng)量化器的LQ-Net 方法指標(biāo)上優(yōu)于Dorefa-Net。采用高低頻分支卷積的本文方法可更有效地提取圖像中全局與局部信息，并在相同量化參數(shù)下獲得了優(yōu)于上述基線(xiàn)方法的正確率。

表5 所提方法與主流模型混合量化方法對(duì)比Tab.5 Comparison of the proposed methods with mainstream mixed precision methods for model

3.2 特征圖可視化

為進(jìn)一步理解QOCN 方法的工作原理，本節(jié)從ResNet18-QOCN（1+8）模型Stage1的輸出抽取了特征圖。由于原始特征圖通道數(shù)為64，不便進(jìn)行可視化。為盡量反映特征圖的原始分布，本文于32 bits位寬下，將特征圖沿通道方向逐像素平均后，未進(jìn)行二值化等后處理，因此低頻分量特征圖可視化結(jié)果并非嚴(yán)格的二值化圖像。如圖5 所示，高頻分量（H→H、H→L）借助較高的位寬保留了絕大多數(shù)目標(biāo)相關(guān)的局部細(xì)節(jié)，而低頻分量（L→H、L→L）則承載了較低位寬就可以表達(dá)的圖像全局特征。

圖5 QOCN（1+8）高低頻分支特征圖可視化Fig.5 Visualization of high-and low-frequency branch feature maps of QOCN（1+8）

4 結(jié)語(yǔ)

基于Octave 卷積，本文提出一種即插即用式的量化卷積神經(jīng)網(wǎng)絡(luò)方法，并使用典型卷積網(wǎng)絡(luò)ResNet50，在主流數(shù)據(jù)集CIFAR-10/100 和ImageNet 上進(jìn)行了廣泛實(shí)驗(yàn)。實(shí)驗(yàn)驗(yàn)證了本文方法的有效性，在模型壓縮至1 bit+4 bits時(shí)，本文方法仍能在ImageNet 數(shù)據(jù)集上取得超過(guò)70%的準(zhǔn)確率。在下一步工作中，將對(duì)QOCN 方法和混合精度模型進(jìn)行更廣泛研究，進(jìn)一步減少量化產(chǎn)生的性能損失。