王昌偉 柳偉 陳三風(fēng) 任仙怡 陸蕓婷

（深圳信息職業(yè)技術(shù)學(xué)院 廣東省深圳市 518172）

1 引言

本文將在圖像匹配中融合基于正則化的二值量化方法以及基于圖像比特位的多尺度方法，構(gòu)建二值量化的多尺度描述子網(wǎng)絡(luò)，并介紹該網(wǎng)絡(luò)的實(shí)驗(yàn)設(shè)計(jì)、環(huán)境、指標(biāo)和結(jié)果，同時(shí)根據(jù)實(shí)驗(yàn)結(jié)果分析該多尺度方法性能，在NVIDIA Jetson TX2 平臺(tái)部署該網(wǎng)絡(luò)并測試運(yùn)行時(shí)間等。

2 二值量化的多尺度描述子網(wǎng)絡(luò)仿真實(shí)驗(yàn)

實(shí)驗(yàn)主要基于正則化的二值量化方法以及基于圖像比特位的多尺度方法，構(gòu)建了多尺度二值描述子網(wǎng)絡(luò)，并在HPatches 數(shù)據(jù)集上測試了圖像匹配精度。

2.1 二值量化的多尺度描述子網(wǎng)絡(luò)實(shí)驗(yàn)環(huán)境介紹

2.1.1 實(shí)驗(yàn)數(shù)據(jù)集介紹

HPatches 數(shù)據(jù)集利用三維重建的方法獲得特征點(diǎn)位置和匹配關(guān)系，共包含從116 個(gè)序列中提取的1500000 多個(gè)補(bǔ)丁，其中viewpoint 為具有明顯的視點(diǎn)變化的59 個(gè)圖像序列，illumination 為具有顯著照明變化的57 個(gè)圖像序列。HPatches 數(shù)據(jù)集定義了三個(gè)評(píng)估任務(wù)：補(bǔ)丁驗(yàn)證，補(bǔ)丁檢索和圖像匹配。構(gòu)建數(shù)據(jù)集通過對(duì)匹配組合對(duì)添加不同的重投影噪聲，生成EASY，HARD 和TOUGH三種難度數(shù)據(jù)集，同時(shí)在同一個(gè)序列或者不同的圖像序列旋轉(zhuǎn)為上面選定的patch 選擇非匹配組合對(duì)。

2.1.2 實(shí)驗(yàn)網(wǎng)絡(luò)結(jié)構(gòu)介紹

仿真實(shí)驗(yàn)基于正則化的二值量化方法以及基于圖像比特位的多尺度方法對(duì)RF-Net 進(jìn)行了多尺度重構(gòu)與量化。關(guān)鍵點(diǎn)檢測部分，構(gòu)建了由兩組卷積神經(jīng)網(wǎng)絡(luò)融合的雙通道關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)，通過深層網(wǎng)絡(luò)通道獲取包含豐富語義信息的高層特征，并與淺層網(wǎng)絡(luò)通道中感受野遞增的低層特征融合；特征描述子提取部分對(duì)輸入的圖像對(duì)進(jìn)行訓(xùn)練，提取特征描述子。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2.1.3 實(shí)驗(yàn)開發(fā)環(huán)境介紹

實(shí)驗(yàn)代碼均基于python3.6 語言環(huán)境以及pytorch 深度學(xué)習(xí)框架撰寫，訓(xùn)練與測試過程利用Tesla-V100 圖像處理單元加速，開發(fā)環(huán)境為Ubuntu16.04，CUDA9.0 以及cuDNN7.0。

2.2 二值量化的多尺度描述子網(wǎng)絡(luò)實(shí)驗(yàn)評(píng)價(jià)指標(biāo)介紹

為了有效評(píng)價(jià)本章優(yōu)化的二值量化的多尺度描述子網(wǎng)絡(luò)性能以及實(shí)驗(yàn)結(jié)果，將用以下三個(gè)指標(biāo)評(píng)價(jià)量化算法性能：

2.2.1 神經(jīng)網(wǎng)絡(luò)參數(shù)量

神經(jīng)網(wǎng)絡(luò)中參數(shù)量定義為構(gòu)成神經(jīng)網(wǎng)絡(luò)的所有權(quán)重參數(shù)占用內(nèi)存大小。為了有效評(píng)價(jià)占用內(nèi)存大小，采用參數(shù)量指標(biāo)評(píng)價(jià)此網(wǎng)絡(luò)性能，通過計(jì)算未量化網(wǎng)絡(luò)全參數(shù)量與網(wǎng)絡(luò)未參與量化部分的參數(shù)量差值求得量化部分參數(shù)量，利用32 倍壓縮系數(shù)（1 比特權(quán)重代替32 比特權(quán)重）估計(jì)壓縮后參數(shù)量，具體過程如下：

式中：Pbin—量化后網(wǎng)絡(luò)的參數(shù)量；Punbin—網(wǎng)絡(luò)中未量化部分的參數(shù)量；p—未量化全精度網(wǎng)絡(luò)的參數(shù)量。

表1：Hpatches 圖像匹配結(jié)果

表2：NVIDIA Jetson TX2 上前向推理時(shí)間

2.2.2 神經(jīng)網(wǎng)絡(luò)計(jì)算量

神經(jīng)網(wǎng)絡(luò)中計(jì)算量定義為神經(jīng)網(wǎng)絡(luò)中浮點(diǎn)型權(quán)重與浮點(diǎn)型輸入張量之間的乘法與加法運(yùn)算量。為了有效評(píng)價(jià)計(jì)算速度，采用計(jì)算量指標(biāo)評(píng)價(jià)此網(wǎng)絡(luò)性能，通過計(jì)算差值求得量化部分計(jì)算量，利用2 倍和58 倍壓縮系數(shù)（分別表示僅量化網(wǎng)絡(luò)和同時(shí)量化網(wǎng)絡(luò)和輸入張量的壓縮系數(shù)）估計(jì)壓縮后計(jì)算量，具體過程如下：

式中：fbin—量化后網(wǎng)絡(luò)的計(jì)算量；funbin—網(wǎng)絡(luò)中未量化部分的計(jì)算量；f—未量化全精度網(wǎng)絡(luò)的計(jì)算量；λ—量化壓縮系數(shù)，僅量化卷積核權(quán)重時(shí)該系數(shù)為2，同時(shí)量化卷積核系數(shù)與輸入張量時(shí)該系數(shù)為58。

2.2.3 準(zhǔn)確率（Average Precision）

特征匹配準(zhǔn)確率定義為在圖像匹配任務(wù)中正確匹配的特征點(diǎn)數(shù)目占所有匹配數(shù)目的比例。實(shí)驗(yàn)中，通過計(jì)算Hpatches 數(shù)據(jù)集中網(wǎng)絡(luò)預(yù)測的匹配結(jié)果negative，ignore 和positive 與數(shù)據(jù)集標(biāo)簽相同的數(shù)目來評(píng)價(jià)二值量化的多尺度描述子網(wǎng)絡(luò)性能，并通過比較與未量化全精度描述子網(wǎng)絡(luò)匹配準(zhǔn)確率差值定量分析量化帶來的精度損失。

2.3 二值量化的多尺度描述子網(wǎng)絡(luò)實(shí)驗(yàn)設(shè)計(jì)與性能分析

基于正則化的神經(jīng)網(wǎng)絡(luò)量化算法與基于圖像比特位的多尺度方法應(yīng)用于RF-Net 特征點(diǎn)提取與描述子生成網(wǎng)絡(luò)，在Hpatches 數(shù)據(jù)集上測試了特征點(diǎn)匹配準(zhǔn)確率，并分別計(jì)算了僅量化卷積核權(quán)重、同時(shí)量化卷積核權(quán)重和輸入張量以及未量化描述子網(wǎng)絡(luò)的參數(shù)量、計(jì)算量和匹配準(zhǔn)確率。實(shí)驗(yàn)結(jié)果如表1所示。

綜合表1 實(shí)驗(yàn)數(shù)據(jù)可以得出以下結(jié)論：

（1）二值量化的多尺度描述子網(wǎng)絡(luò)可以有效提升降低神經(jīng)網(wǎng)絡(luò)的參數(shù)量與計(jì)算量。在僅量化網(wǎng)絡(luò)權(quán)重下，實(shí)現(xiàn)了約22%的參數(shù)量壓縮，約48%的計(jì)算量壓縮；在同時(shí)量化網(wǎng)絡(luò)權(quán)重與輸入張量下，實(shí)現(xiàn)了約22%參數(shù)量壓縮，約92.53%的計(jì)算量壓縮。

（2）二值量化的多尺度描述子網(wǎng)絡(luò)在減小占用內(nèi)存、加快推理速度的同時(shí)有效控制了精度損失。相較于全精度網(wǎng)絡(luò)，此方法在有效降低參數(shù)量和計(jì)算量的同時(shí)，RF-Net-1W32A 網(wǎng)絡(luò)上描述子匹配匹配準(zhǔn)確率損失約0.04，在僅量化卷積核權(quán)重條件下有效地控制了精度損失；RF-Net-1W1A 網(wǎng)絡(luò)上描述子匹配匹配準(zhǔn)確率損失約0.216，即為92.53%計(jì)算量壓縮付出0.216 匹配準(zhǔn)確率的損失。

圖1：RF-Net 網(wǎng)絡(luò)框架

3 二值量化的多尺度描述子網(wǎng)絡(luò)硬件平臺(tái)實(shí)驗(yàn)

對(duì)多尺度二值量化的RF-Net 在Hpatches 數(shù)據(jù)集上測試了相應(yīng)的參數(shù)量、計(jì)算量以及匹配準(zhǔn)確率，在移動(dòng)終端NVIDIA Jetson TX2 設(shè)備測試了多尺度二值量化的RF-Net 網(wǎng)絡(luò)以及原生RF-Net 在該移動(dòng)終端的運(yùn)行時(shí)間。

3.1 二值量化的多尺度描述子網(wǎng)絡(luò)硬件實(shí)驗(yàn)環(huán)境及評(píng)價(jià)指標(biāo)介紹

3.1.1 NVIDIA Jetson TX2 硬件平臺(tái)介紹

實(shí)驗(yàn)將多尺度二值量化的RF-Net 部署于移動(dòng)終端設(shè)備NVIDIA Jetson TX2，從而驗(yàn)證網(wǎng)絡(luò)的實(shí)時(shí)性以及可部署能力。NVIDIA Jetson TX2 是由英偉達(dá)公司開發(fā)的基于NVIDIA Pascal ?架構(gòu)的嵌入式小型人工智能電腦。該設(shè)備提供多個(gè)標(biāo)準(zhǔn)硬件接口，外形小巧、節(jié)能且性能出色，支持功耗7.5w 至15w 模式，適合機(jī)器人、無人機(jī)、智能攝像機(jī)和便攜醫(yī)療設(shè)備等智能終端。

3.1.2 實(shí)驗(yàn)網(wǎng)絡(luò)結(jié)構(gòu)介紹

硬件平臺(tái)實(shí)驗(yàn)基于RF-Net 實(shí)現(xiàn)，基于正則化的二值量化方法以及基于圖像比特位的多尺度方法對(duì)RF-Net 進(jìn)行了多尺度重構(gòu)與量化。

3.1.3 實(shí)驗(yàn)開發(fā)環(huán)境介紹

實(shí)驗(yàn)代碼均基于python3.6 語言環(huán)境以及pytorch 深度學(xué)習(xí)框架撰寫，開發(fā)環(huán)境為Ubuntu16.04 的NVIDIA Jetson TX2。

3.1.4 評(píng)價(jià)指標(biāo)介紹

實(shí)驗(yàn)采用神經(jīng)網(wǎng)絡(luò)前向推理時(shí)間，是神經(jīng)網(wǎng)絡(luò)模型完成一次前向推理用時(shí)，可有效地評(píng)價(jià)神經(jīng)網(wǎng)絡(luò)對(duì)算力的依賴。實(shí)驗(yàn)分別測試了原RF-Net、僅量化網(wǎng)絡(luò)權(quán)重的多尺度RF-Net 以及同時(shí)量化權(quán)重和輸入張量的多尺度RF-Net 的前向推理時(shí)間。

3.2 二值量化的多尺度描述子網(wǎng)絡(luò)硬件平臺(tái)實(shí)驗(yàn)設(shè)計(jì)與分析

本節(jié)實(shí)驗(yàn)將多尺度二值量化的RF-Net 部署于移動(dòng)終端設(shè)備NVIDIA Jetson TX2，測試了完成網(wǎng)絡(luò)前向推理的時(shí)間。實(shí)驗(yàn)結(jié)果如表2所示。

如表2所示，在僅量化網(wǎng)絡(luò)權(quán)重條件下，網(wǎng)絡(luò)前向推理時(shí)間減少約13.23%，在同時(shí)量化網(wǎng)絡(luò)權(quán)重和輸入張量條件下，網(wǎng)絡(luò)前向推理時(shí)間減少約33.86%，同時(shí)在對(duì)位運(yùn)算友好的嵌入式平臺(tái)上可以使用位運(yùn)算代替RF-Net-1W1A 中的卷積運(yùn)算，實(shí)現(xiàn)實(shí)時(shí)的網(wǎng)絡(luò)前向推理。實(shí)驗(yàn)數(shù)據(jù)表明在移動(dòng)終端設(shè)備上，該結(jié)構(gòu)可以有效的解決神經(jīng)網(wǎng)絡(luò)部署時(shí)面臨的算力不足問題。

4 小結(jié)

本文基于正則化的二值量化方法以及基于圖像比特位的多尺度方法，構(gòu)建了二值量化的多尺度描述子網(wǎng)絡(luò)，并分別做了Hpatches數(shù)據(jù)集匹配仿真實(shí)驗(yàn)以及NVIDIA Jetson TX2 硬件平臺(tái)實(shí)驗(yàn)。經(jīng)過實(shí)驗(yàn)檢測證明，本文提出的方法可以有效地解決基于深度學(xué)習(xí)的圖像匹配算法在移動(dòng)終端設(shè)備上部署困難的問題，可以有效地壓縮參數(shù)量與計(jì)算量，并有效地控制精度損失。