潘峰，安啟超，刁奇，王瑞，馮肖雪

(1.北京理工大學 自動化學院,北京 100081；2.昆明北理工產業(yè)技術研究院有限公司,云南，昆明 650101)

基于航拍圖像的道路提取研究在自然災害急救、車輛導航、智能交通[1]等方面具有廣泛的應用[2-3].近年來，隨著計算機視覺技術的快速發(fā)展，基于視覺的道路提取技術成為機器視覺領域的重要熱點，得到國內外學者的廣泛關注.關于道路提取方面的研究，已經有很多相關的方法提出.王鑫[4]提出使用最小二乘匹配算法，并融合模板匹配等算法來提取道路，該算法有較快的提取速度，但是對于道路數(shù)據(jù)集質量要求較高.基于Canny邊緣提取算法進行道路的提取[5]，該方法對算子的依賴程度較高，對具有復雜背景的道路數(shù)據(jù)集沒有較好的適應能力.基于光譜分析的主成分分析方法[6]，由于存在窗口選擇最優(yōu)化的問題，道路的提取缺乏較好的泛化能力；將光譜分析與幾何特征相結合的方法應用到道路提取任務中[7]，雖然解決了部分道路的分離，但是對于細小道路的提取，效果依舊不理想.近年來，隨著深度學習技術的不斷發(fā)展，將深度學習方法應用到道路提取任務中也越來越多.利用卷積神經網(wǎng)絡(CNN)進行道路提取[8-9]，展示了卷積神經網(wǎng)絡在道路提取方面的巨大潛力，但由于卷積神經網(wǎng)絡需要對海量數(shù)據(jù)進行計算，資源消耗非常巨大，而目前的數(shù)據(jù)標注主要依靠人工來實現(xiàn)，需要耗費大量的時間和精力.

因此，目前對于道路的提取大都針對于結構清晰的城市道路.該類型的城市道路作為結構化道路，路面整潔，寬度較為統(tǒng)一，其光譜特征和幾何特征都較明顯，因此特征提取難度較小，數(shù)據(jù)標注相對簡單.而針對于復雜交錯的城市道路，其道路存在嚴重的交叉現(xiàn)象，而且路面相對狹長，受制于光線的原因，道路的顏色特征與周圍建筑相似度極高，不利于道路的提取.農田道路結構復雜多變，道路結構化程度較低，與周圍田地的顏色特征相似度極高，有時會存在樹木遮擋道路等干擾情況.多變曲折的道路類型，復雜的環(huán)境背景，還有小分辨率的狹長道路，不利于特征提取，不僅數(shù)據(jù)標注的難度隨之提高，也給道路的提取帶來困難.圖1(a)1(b)為Massachusetts城市道路，其道路具有狹長、顏色特征不清晰等特點;圖1(c)1(d)為中國云南省昆明市的農田道路，其具有遮擋嚴重，邊界模糊，形狀不規(guī)則等特點.以上兩類復雜的道路場景使得傳統(tǒng)的圖像處理算法無法較好的提取出道路，而采用深度學習技術可以更好的發(fā)掘圖像的上下文信息，自動提取圖像特征信息，擺脫了傳統(tǒng)算法手動提取特征復雜、繁瑣并且容易出錯等弊端.因此，本文使用深度學習的方法解決復雜場景下的道路提取工作.

深度學習是基于圖像特征進行分類的算法，特征的準確性直接影響到分類的正確率.全卷積網(wǎng)絡(fully convolutional networks，F(xiàn)CN)[10]作為深度學習領域中最為經典的語義分割網(wǎng)絡，已經取得了非常廣泛的應用[11-12].全卷積神經網(wǎng)絡以深度學習領域中經典的分類網(wǎng)絡為基礎，例如VGGNet[13]、ResNet[14]，將分類網(wǎng)絡中的全連接層替換為卷積層，從而保留了圖像的空間結構信息.與經典的卷積神經網(wǎng)絡不同，輸入FCN網(wǎng)絡的圖像尺寸可以改變.FCN網(wǎng)絡通過不斷的下采樣來提取圖像的語義信息，并在上采樣的過程中不斷地恢復空間信息.FCN通過編碼-解碼的結構形式，使得輸入圖像能夠得到相同分辨率的預測輸出，對于每一個像素都產生了一個預測，實現(xiàn)了端到端的訓練.FCN網(wǎng)絡模型結構如圖2所示.

如圖2所示，F(xiàn)CN對輸入圖像進行5次的卷積+池化的組合操作，特征圖的尺寸縮小為原圖像的1/32，然后把CNN網(wǎng)絡中的全連接層替換成卷積層，此時特征圖的數(shù)量改變但是尺寸大小不變，依然為原圖的1/32，但圖像不再稱為特征圖而是為heatMap(熱圖)，最后FCN進行上采樣操作，共有3種上采樣方式：

① FCN32s：對于卷積層7進行32倍的上采樣得到輸出；

② FCN16s：將卷積層7進行2倍的上采樣，與池化層4進行1∶1融合后再進行16倍的上采樣得到輸出；

③ FCN8s：將FCN16s的特征圖進行2倍的上采樣，與池化層3進行1∶1融合后進行8倍的上采樣得到輸出.

全卷積網(wǎng)絡采用了跳躍連接的方法，在上采樣的特征融合過程中，將下采樣過程中得到的不同特征圖按照相同的融合系數(shù)，等比例疊加，并通過反卷積得到與輸入圖片相同尺寸的輸出，來得到更加準確的分割效果.圖3是由傳統(tǒng)的FCN8s卷積神經網(wǎng)絡提取的道路結果，可以看出，F(xiàn)CN8s對于農田道路或者是城市道路的整體提取有不錯的效果，但是對于細節(jié)的處理卻并不好，存在道路提取斷裂、細節(jié)處理粗糙等問題.通過對于卷積層的可視化展示[15](如圖4所示)，可以明顯發(fā)現(xiàn)，不同的卷積層對于道路的語義信息提取有很大的差異.深層網(wǎng)絡帶有更多的語義信息，而淺層網(wǎng)絡更多展示的是空間信息[16].在下采樣的過程中，連續(xù)的卷積和池化操作，將特征圖分辨率縮小的同時，也丟失了空間信息.采用空洞卷積的操作雖然可以保證特征圖的分辨率[17-18]，但是會產生大量的高分辨率特征圖，無論從計算量還是存儲方面，都是巨大的負擔.而由于傳統(tǒng)的等比例融合方法對特征的處理過于簡單，忽視了不同層級的卷積層提取的特征信息的差異.因此，本文對于不同特征圖的模式特征，結合粒子群優(yōu)化算法[19]，設計了不同比例的多尺度特征融合方法，更好地對空間信息和語義信息進行選擇，以提高全卷積神經網(wǎng)絡的表現(xiàn)性能.

1 Multi-Scale FCN算法結構設計

1.1 不同比例的多尺度反卷積融合神經網(wǎng)絡

隨著網(wǎng)絡深度的增加，網(wǎng)絡信息的提取逐步由空間信息向語義信息過渡.面對不同層之間提取的特征的差異，需要在上采樣的特征融合過程中，對特征圖的融合比重進行差異選擇.因此，本文在基于傳統(tǒng)的全卷積神經網(wǎng)絡FCN8s的基礎上，對其上采樣過程中的特征圖進行了不同比例的融合，將其融合比例系數(shù)作為超參數(shù)，引入粒子群算法來優(yōu)化融合比例系數(shù)，來實現(xiàn)不同比例的多尺度特征融合.同時，對于FCN8s，采取了不同的上采樣方式：傳統(tǒng)的FCN是將FCN16s的特征圖進行2倍的上采樣后，與池化層3進行融合；改進后的FCN8s直接將池化層7進行4倍的上采樣，將池化層4進行2倍的上采樣后，與池化層3進行融合.

改進后的FCN模型如圖5所示.

對于改進的FCN8s，融合方式如式(1)為

R8s=4p7φa+2p4φb+p3φc，

(1)

式中:

φa+φb+φc=1.

(2)

1.2 基于粒子群算法得到優(yōu)化參數(shù)

粒子群算法是一種啟發(fā)式優(yōu)化算法[20]，源于鳥群捕食，充分利用個體信息的共享，使群體求解過程從無序轉變成有序，最終找到問題的最優(yōu)解[19].在粒子群算法優(yōu)化迭代過程中，每一個粒子i都會計算自身的適應度，統(tǒng)計個體經歷過的最佳位置pbesti和全局的最佳位置pbestg并不斷地更新自身，一直到適應度的數(shù)值達到一定的設置要求或者是迭代的次數(shù)達到上限時粒子群算法的尋優(yōu)結束.在任意k+1時刻，第i個粒子的第d維的速度更新公式定義為

(3)

位置更新公式定義為

(4)

利用粒子群算法來優(yōu)化卷積神經網(wǎng)絡參數(shù)，已經有許多成功的案例.Khalifa等[21]利用粒子群算法來優(yōu)化卷積核初始化，提高了肺部腫瘤的識別準確率.Mnih等[22]利用粒子群算法來設計神經網(wǎng)絡結構，實驗證明取得了良好的效果.

實驗以改進后的FCN8s網(wǎng)絡為基礎，將式(1)中的φa,φb,φc作為超參數(shù)，構成例子群算法的初始種群.采用不同規(guī)模數(shù)據(jù)集下的真實標簽圖像和預測圖像的平均交并比mIOU(mean intersection over union)總和作為粒子群的適應度函數(shù)，設置速度區(qū)間為[-1,1]，對于例子的位置限制如式(2)所示.在速度和搜索空間上對種群個體進行隨機初始化，種群規(guī)模設置為4.粒子群優(yōu)化算法的具體內容如圖6所示.

2 道路數(shù)據(jù)集設計

本次實驗分別應用城市道路數(shù)據(jù)集和農田道路數(shù)據(jù)集來進行網(wǎng)絡性能的驗證.針對農田道路采集了500張航拍圖像，每張航拍圖像經過預處理后分辨率為1 500×1 500.由于計算資源的限制，對于預處理后的圖片采用隨機分割的方法，將每張航拍圖像隨機剪裁得到15張256×256大小的圖像，并將其分為訓練集、交叉驗證集和測試集3部分，分別有9 895，334和286張，數(shù)據(jù)集命名為FROBIT農田道路數(shù)據(jù)集.

城市數(shù)據(jù)集采用的是Volodymyr Mnih所創(chuàng)建的城市道路數(shù)據(jù)集[23]，該數(shù)據(jù)集包含928張訓練集，14張交叉驗證集和49張測試集，圖像的分別率為1 500×1 500.對于城市道路數(shù)據(jù)集，采取與鄉(xiāng)村道路數(shù)據(jù)集相同的預處理操作.最終得到8 000張測試集和210張測試集.農田道路數(shù)據(jù)集和城市道路數(shù)據(jù)集展示如圖7所示.

農田道路數(shù)據(jù)集的制作過程如圖8所示.首先對采集到的圖像進行尺寸調整，并利用labelme[24]軟件進行二分類標簽的制作，將標簽中的道路部分的像素值置為255，其余的非道路部分像素值置為0.之后，整理好圖像和標簽，對圖片和標簽進行數(shù)據(jù)增強操作處理，隨機將其劃分為訓練集、交叉驗證集和測試集.至此完成了對于FROBIT數(shù)據(jù)集的初步建立.最后，將對于不同的神經網(wǎng)絡和任務需求，可以對FROBIT數(shù)據(jù)集進行必要的修正和改動.

3 實驗結果及分析

3.1 實驗總體設計

本次實驗中，改進的FCN8s算法采用TensorFlow[25]深度學習框架，粒子群算法采用Python編寫.采用PyCharm作為編輯器，實驗平臺的配置如下：CPU為Intel(R)Core(TM)i7-7800X 3.50 GHz，RAM為16.0 GB，GPU為Nvidia 1080Ti(11 GB).實驗數(shù)據(jù)集包括上述的FROBIT農田道路數(shù)據(jù)集和城市道路數(shù)據(jù)集.其中FROBIT數(shù)據(jù)集中訓練集有9 895張，驗證集有334張.城市道路數(shù)據(jù)集采用與FROBIT數(shù)據(jù)集相同的預處理操作，其中訓練集為8 000張，驗證集為210張.網(wǎng)絡的輸入圖像大小是256×256，網(wǎng)絡采用交叉熵損失函數(shù)，A-dam算法優(yōu)化損失函數(shù)[26],采用Relu函數(shù)[27]來作為激活函數(shù).評價指標采用mIOU，計算2個標簽真實值(集合A)和預測值(集合B)的交集和并集的比值，計算公式為

(5)

實驗第一階段，采用粒子群算法得到優(yōu)化參數(shù)；實驗的第二階段是以實驗得到的優(yōu)化參數(shù)作為融合比例系數(shù)與傳統(tǒng)的FCN8s網(wǎng)絡來進行實驗對比.

3.2 基于粒子群算法的參數(shù)優(yōu)化

實驗采用2.2設計的算法，實現(xiàn)并得到了基于粒子群算法的優(yōu)化參數(shù).優(yōu)化參數(shù)如表1所示.

表1 經過粒子群算法得到的優(yōu)化融合比例系數(shù)

Tab.1 Optimized fusion scale factor obtained by particle swarm optimization

數(shù)據(jù)集φaφbφcFROBIT0.500.290.210.570.280.150.510.320.17Massachusetts0.210.260.530.500.300.200.320.240.44

表1中，分別針對于FROBIT數(shù)據(jù)集和城市道路數(shù)據(jù)集，選取了經過PSO優(yōu)化后，適應度排名前3的3組融合比例系數(shù)作為展示，同時，表1中的參數(shù)也將作為后續(xù)的對比實驗參數(shù).

3.3 實驗結果對比分析

實驗首先以基礎網(wǎng)絡分別對上述的道路數(shù)據(jù)集進行道路提取[28].然后以改進的FCN網(wǎng)絡進行道路提取.融合比例系數(shù)及其mIOU如表2所示.

表2 融合系數(shù)與mIOU對比

表2展示的是在不同的數(shù)據(jù)集下，通過粒子群算法優(yōu)化得到的較好的融合比例系數(shù)與基礎模型的mIOU結果，測試結果是在154張測試數(shù)據(jù)集下得到的結果.表2中mIOU表明，通過粒子群算法優(yōu)化反卷積層的融合比例，可以有效提高FCN網(wǎng)絡的表現(xiàn).得到的測試效果如圖9所示.

圖9同樣顯示出，通過粒子群算法進行不同比例的融合，能夠有效利用不同特征圖提取的不同特征，從而提升基礎網(wǎng)絡模型的預測效果.相對于傳統(tǒng)的FCN8s網(wǎng)絡模型，改進后的網(wǎng)絡對于道路的預測效果更佳出色，提高了道路提取的延續(xù)性，對于道路的細節(jié)提取也更加完善.針對于鄉(xiāng)村道路改進后的模型預測效果不僅更加出色，而且能夠對標簽集當中沒有標注的道路，起到進一步優(yōu)化提取的效果，如圖10所示.

圖11,圖12展示的是mIOU的對比結果圖，橫坐標為測試數(shù)據(jù)集的數(shù)量，縱坐標為mIOU的準確率.圖中最右端的結果即為表2中的測試結果，也即圖11,圖12中的最右端結果是在154張測試集下取得的結果.

由圖11，圖12可以看出，相比于傳統(tǒng)的等比例融合的FCN網(wǎng)絡，不同比例融合的FCN網(wǎng)絡模型準確率有了明顯的提高.經過粒子群算法優(yōu)化得到的融合比例系數(shù)模型的表現(xiàn)要優(yōu)于傳統(tǒng)的FCN模型.綜合以上實驗結果，本文對其背后的原因進行了分析，由于各個特征圖所包含的特征信息量存在差異，如圖4所示.而語義分割的核心點是對于提取目標的空間信息和分類信息的充分利用.針對于FROBIT數(shù)據(jù)集，如圖4所示，卷積層7和池化層4對于農田道路的空間信息和分類信息的提取要優(yōu)于池化層3，更加直觀體現(xiàn)出道路的特征信息，因此融合比例系數(shù)偏向于卷積層7和池化層4，可以更好地利用卷積層7和池化層4所提取到的特征信息，進而得到更加出色的農田道路語義分割效果.而針對于城市道路數(shù)據(jù)集，池化層3與卷積層7對于城市道路特征信息的提取要優(yōu)于池化層4，池化層4對于城市道路的特征提取體現(xiàn)的并不直觀，因此，融合比例系數(shù)也偏向于池化層3與卷積層7，實現(xiàn)對于城市道路更好的語義分割效果.對比卷積網(wǎng)絡對于城市道路數(shù)據(jù)集和FROBIT數(shù)據(jù)集特征提取的可視化結果(圖4)可以看出，針對于不同的數(shù)據(jù)集，不同卷積層提取到的特征有很大差異，因此，對于上采樣中的特征融合，不能夠僅僅采用簡單的等比例融合，而是要針對不同的特征進行差異化的融合.對于語義信息丟失嚴重的特征層給予較小的融合比例系數(shù)，而對于語義信息提取良好的特征層賦予較大的融合比例系數(shù).將融合比例系數(shù)作為超參數(shù)，利用粒子群優(yōu)化算法進行優(yōu)化，將不同特征圖之間所包含的差異體現(xiàn)出來，并針對不同的數(shù)據(jù)集采用不同的融合比例系數(shù)將特征信息進行融合，使得改進后的網(wǎng)絡模型達到了更加出色的提取效果.

4 結 論

本文主要創(chuàng)新之處在于提供了一個新的非結構化農田道路數(shù)據(jù)集，并對于農田道路和復雜城市道路的提取復雜性給予了充分解釋.對傳統(tǒng)FCN神經網(wǎng)絡的上采樣過程進行改進，基于粒子群算法設計了不同比例的反卷積層進行融合算法，并結合卷積神經網(wǎng)絡的可視化結果，分析了融合比例系數(shù)差異化選擇的原因.通過將改進后的算法與傳統(tǒng)的FCN神經網(wǎng)絡在農田道路數(shù)據(jù)集FROBIT以及城市道路數(shù)據(jù)集上進行對比，實驗結果表明改進后的FCN神經網(wǎng)絡的有效性，并在某種程度上啟發(fā)了特征比例融合的新的可行性.文中提出的多比例融合算法，與自注意力模型有著很多的共通之處，接下來文章也將圍繞二者之間的關聯(lián)展開進一步的研究與分析.