Xilinx公司 Nick Ni和Adam Taylor

嵌入式視覺(jué)應(yīng)用中的機(jī)器學(xué)習(xí)

Xilinx公司 Nick Ni和Adam Taylor

目前嵌入式視覺(jué)領(lǐng)域最熱門的話題之一就是機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)涵蓋多個(gè)行業(yè)大趨勢(shì)，不僅在嵌入式視覺(jué) (EV)中，而且在工業(yè)物聯(lián)網(wǎng) (IIoT) 和云計(jì)算中均發(fā)揮著極為顯赫的作用。對(duì)不熟悉機(jī)器學(xué)習(xí)的人來(lái)說(shuō)，很多時(shí)候機(jī)器學(xué)習(xí)是通過(guò)神經(jīng)網(wǎng)絡(luò)創(chuàng)建和訓(xùn)練來(lái)實(shí)現(xiàn)的。神經(jīng)網(wǎng)絡(luò)一語(yǔ)極為寬泛，包含相當(dāng)數(shù)量的截然不同的子類別。這些子類別的名稱一般用于識(shí)別被實(shí)現(xiàn)的網(wǎng)絡(luò)的具體類型。這些網(wǎng)絡(luò)均在大腦皮層上建模，在大腦皮層中每個(gè)神經(jīng)元接收輸入、處理輸入并將其傳達(dá)給另一個(gè)神經(jīng)元。因此神經(jīng)元一般由輸入層、多個(gè)隱藏內(nèi)部層和一個(gè)輸出層組成。

圖1 簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)

在最簡(jiǎn)單的層面上，神經(jīng)元獲得輸入，施加權(quán)重給輸入，然后在加權(quán)輸入總和上執(zhí)行傳遞函數(shù)。結(jié)果隨后傳遞給隱藏層中的另一個(gè)層，或傳遞給輸出層。將一級(jí)的輸出傳遞給另一級(jí)且不構(gòu)成循環(huán)的神經(jīng)網(wǎng)絡(luò)被稱為前饋神經(jīng)網(wǎng)絡(luò) (FNN)，而那些有反饋、內(nèi)含定向循環(huán)的神經(jīng)網(wǎng)絡(luò)則被稱為遞歸神經(jīng)網(wǎng)絡(luò) (RNN)。在眾多機(jī)器學(xué)習(xí)應(yīng)用中極為常用的神經(jīng)網(wǎng)絡(luò)是深度神經(jīng)網(wǎng)絡(luò) (DNN)。這類神經(jīng)網(wǎng)絡(luò)擁有多個(gè)隱藏層，能實(shí)現(xiàn)更復(fù)雜的機(jī)器學(xué)習(xí)任務(wù)。為確定每層使用的權(quán)重和偏差值，需要對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在訓(xùn)練過(guò)程中，該神經(jīng)網(wǎng)絡(luò)施加有一定數(shù)量的正確輸入和錯(cuò)誤輸入，并使用誤差函數(shù)教授網(wǎng)絡(luò)所需的性能。訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)可能需要龐大的數(shù)據(jù)集來(lái)正確訓(xùn)練所需性能。

機(jī)器學(xué)習(xí)最重要的應(yīng)用之一是嵌入式視覺(jué)領(lǐng)域，各類系統(tǒng)正在從視覺(jué)使能系統(tǒng)演進(jìn)為視覺(jué)引導(dǎo)自動(dòng)化系統(tǒng)。嵌入式視覺(jué)應(yīng)用與其他更簡(jiǎn)單的機(jī)器學(xué)習(xí)應(yīng)用的區(qū)別在于它們采用二維輸入格式。因此，在機(jī)器學(xué)習(xí)實(shí)現(xiàn)方案中，通過(guò)使用稱為卷積神經(jīng)網(wǎng)絡(luò) (CNN) 的網(wǎng)絡(luò)結(jié)構(gòu)，因?yàn)樗鼈兡軌蛱幚矶S輸入。CNN 是一類前饋網(wǎng)絡(luò)，內(nèi)置多個(gè)卷積層和子采樣層以及一個(gè)單獨(dú)的全連通網(wǎng)絡(luò)，以執(zhí)行最終分類。鑒于 CNN 的復(fù)雜性，它們也歸屬深度學(xué)習(xí)類別。在卷積層中，輸入圖像被細(xì)分為一系列重疊的小模塊。在進(jìn)行進(jìn)一步的子采樣和其他階段之前，該卷積的結(jié)果先通過(guò)激活層創(chuàng)建激活圖，然后應(yīng)用到最終的全連通網(wǎng)絡(luò)上。CNN 網(wǎng)絡(luò)的具體定義因?qū)崿F(xiàn)的網(wǎng)絡(luò)架構(gòu)而異，但它一般會(huì)包含至少下列元：卷積，用于識(shí)別圖像中的特征；修正線性單元(reLU)，用于在卷積后創(chuàng)建激活圖的激活層；最大池化，在層間進(jìn)行子采樣；全連通，執(zhí)行最終分類。

這些元中每一個(gè)元的權(quán)重通過(guò)訓(xùn)練決定，同時(shí) CNN 的優(yōu)勢(shì)之一在于訓(xùn)練網(wǎng)絡(luò)相對(duì)容易。通過(guò)訓(xùn)練生成權(quán)重需要龐大的圖像集，其中既有需要檢測(cè)的對(duì)象，也有偽圖像。這樣能讓我們?yōu)?CNN 創(chuàng)建所需的權(quán)重。由于訓(xùn)練流程中所涉及的處理要求，訓(xùn)練流程一般運(yùn)行在提供高性能計(jì)算的云處理器上。

框 架

機(jī)器學(xué)習(xí)是一個(gè)復(fù)雜的課題，尤其是在每次不得不從頭開始，定義網(wǎng)絡(luò)、網(wǎng)絡(luò)架構(gòu)和生成訓(xùn)練算法的時(shí)候。為幫助工程師實(shí)現(xiàn)網(wǎng)絡(luò)和訓(xùn)練網(wǎng)絡(luò)，有一些行業(yè)標(biāo)準(zhǔn)框架可供使用，例如 Caffe 和 Tensor Flow。Caffe 框架為機(jī)器學(xué)習(xí)開發(fā)人員提供各種庫(kù)、模型和 C++ 庫(kù)內(nèi)的預(yù)訓(xùn)練權(quán)重，同時(shí)提供 Python 和 Matlab 綁定。該框架能讓用戶無(wú)需從頭開始即能創(chuàng)建網(wǎng)絡(luò)并訓(xùn)練網(wǎng)絡(luò)，以開展所需的運(yùn)算。為便于重復(fù)使用,Caffe 用戶能通過(guò) Model zoo 共享自己的模型。Model Zoo 提供多種能根據(jù)所需的專門任務(wù)實(shí)現(xiàn)和更新的模型。這些網(wǎng)絡(luò)和權(quán)重定義在 prototxt 文件中。在用于機(jī)器學(xué)習(xí)環(huán)境時(shí)，prototxt 文件是用于定義推斷引擎的文件。

實(shí)現(xiàn)嵌入式視覺(jué)和機(jī)器學(xué)習(xí)

基于可編程邏輯的解決方案，例如異構(gòu)賽靈思 All Programmable Zynq-7000 SoC(片上系統(tǒng))和 Zynq UltraScale+MPSoC 等多處理器片上系統(tǒng) (MPSoC) 越來(lái)越廣泛地用于嵌入式視覺(jué)應(yīng)用。這些器件將可編程邏輯 (PL) 架構(gòu)與處理系統(tǒng) (PS) 中的高性能ARM內(nèi)核完美組合在一起。這種組合形成的系統(tǒng)擁有更快的響應(yīng)速度，極為靈活便于未來(lái)修改，并且提供了高能效解決方案。對(duì)許多應(yīng)用來(lái)說(shuō)低時(shí)延決策與響應(yīng)循環(huán)極為重要。例如視覺(jué)引導(dǎo)自主機(jī)器人，響應(yīng)時(shí)間對(duì)避免給人員造成傷害、給環(huán)境造成破壞至關(guān)重要?？s短響應(yīng)時(shí)間的具體方法是使用可編程邏輯實(shí)現(xiàn)視覺(jué)處理流水線和使用機(jī)器學(xué)習(xí)推斷引擎實(shí)現(xiàn)機(jī)器學(xué)習(xí)。在這方面使用可編程邏輯，與傳統(tǒng)解決方案相比可減少系統(tǒng)瓶頸問(wèn)題。在使用基于 CPU/GPU 的方法時(shí)，運(yùn)算每一階段都需要使用外部 DDR，因?yàn)閳D像不能在有限內(nèi)部緩存內(nèi)的功能間傳遞?？删幊踢壿嫹椒ㄊ褂脙?nèi)部 ARM 按需提供緩存，允許采用流媒體方法。避免在 DDR 內(nèi)存儲(chǔ)中間元不僅可降低圖像處理的時(shí)延，而且還能降低功耗，甚至提高確定性，因?yàn)闊o(wú)需與其他系統(tǒng)資源共享訪問(wèn)。

圖2 可編程邏輯實(shí)現(xiàn)的好處

使用賽靈思提供的 reVISION 堆棧，在異構(gòu) SoC 中能輕松實(shí)現(xiàn)圖像處理算法和機(jī)器學(xué)習(xí)網(wǎng)絡(luò)?；?SDSoC工具，reVISION 能同時(shí)支持傳統(tǒng)圖像應(yīng)用和機(jī)器學(xué)習(xí)應(yīng)用。在 reVISION內(nèi)部，同時(shí)支持 OpenVX和Caffe 框架。為支持OpenVX框架，內(nèi)核圖像處理功能可被加速到可編程邏輯中，以創(chuàng)建圖像處理流水線。同時(shí)機(jī)器學(xué)習(xí)推斷環(huán)境支持可編程邏輯中的硬件優(yōu)化庫(kù)，以實(shí)現(xiàn)執(zhí)行機(jī)器學(xué)習(xí)實(shí)現(xiàn)方案的推斷引擎。

reVISION提供與Caffe的集成，這樣實(shí)現(xiàn)機(jī)器學(xué)習(xí)推斷引擎就如同提供 prototxt 文件和經(jīng)訓(xùn)練的權(quán)重一樣簡(jiǎn)單，框架負(fù)責(zé)處理其余工作。然后使用prototxt文件對(duì)運(yùn)行在處理系統(tǒng)上的 C/C++調(diào)度器進(jìn)行配置，以加速可編程邏輯中硬件優(yōu)化庫(kù)上的神經(jīng)網(wǎng)絡(luò)推斷。可編程邏輯用于實(shí)現(xiàn)推斷引擎，內(nèi)含Conv、ReLu和Pooling等功能。

機(jī)器學(xué)習(xí)推斷引擎實(shí)現(xiàn)方案中使用的數(shù)值表示系統(tǒng)也對(duì)機(jī)器學(xué)習(xí)性能有重要作用。機(jī)器學(xué)習(xí)應(yīng)用正越來(lái)越多地使用更高效的降精度定點(diǎn)數(shù)值系統(tǒng)，例如 INT8 表達(dá)式。與傳統(tǒng)的浮點(diǎn) 32 (FP32) 方法相比，使用定點(diǎn)降精度數(shù)值系統(tǒng)不會(huì)造成顯著的精度下降。因?yàn)榕c浮點(diǎn)相比，定點(diǎn)數(shù)學(xué)在實(shí)現(xiàn)難度上也明顯更低，轉(zhuǎn)而采用 INT8 能在一些實(shí)現(xiàn)中提供更高效、更快速的解決方案。使用定點(diǎn)數(shù)值系統(tǒng)對(duì)在可編程邏輯解決方案中的實(shí)現(xiàn)方案而言相當(dāng)理想，reVISION 在可編程邏輯中能與 INT8 表達(dá)式協(xié)同工作。這些 INT8 表達(dá)式方便在可編程邏輯中使用專門的 DSP 模塊。在使用相同的內(nèi)核權(quán)重時(shí)，這些 DSP 模塊架構(gòu)能實(shí)現(xiàn)最多兩個(gè)并發(fā) INT8 乘法累加運(yùn)算供執(zhí)行。這樣不僅能提供高性能實(shí)現(xiàn)方案，而且還能夠降低功耗。只要采用，可編程邏輯的靈活性還便于實(shí)現(xiàn)進(jìn)一步降精度定點(diǎn)數(shù)值表達(dá)系統(tǒng)。

真實(shí)性能

在真實(shí)環(huán)境中，reVISION 堆棧能帶來(lái)明顯優(yōu)勢(shì)。在嵌入式視覺(jué)應(yīng)用中使用機(jī)器學(xué)習(xí)的應(yīng)用實(shí)例之一，如車輛避碰系統(tǒng)。在 reVISION 中針對(duì)賽靈思 UltraScale+ MPSoC 并開發(fā)相關(guān)應(yīng)用，使用 SDSoC 在可編程邏輯中按需為各項(xiàng)功能加速以達(dá)到優(yōu)化性能，能明顯改善響應(yīng)性。在都用于實(shí)現(xiàn) GoogLeNet 解決方案的條件下，將 reVISION MPSoC 的響應(yīng)時(shí)間與基于 GPU 的方法進(jìn)行對(duì)比，差異相當(dāng)明顯。reVISION 設(shè)計(jì)能在 2.7 ms內(nèi)發(fā)現(xiàn)潛在的碰撞事件并啟動(dòng)車輛制動(dòng)(使用的批量規(guī)模為 1)，而基于 GPU 的方法則需要用時(shí)49～320 ms(具體取決于其實(shí)現(xiàn)方案)(對(duì)大批量規(guī)模)。GPU 架構(gòu)需要大批量規(guī)模才能實(shí)現(xiàn)合理的吞吐量，但會(huì)以犧牲響應(yīng)時(shí)間為代價(jià)，而 Zynq 在批量規(guī)模為 1 的情況下也能以極低時(shí)延實(shí)現(xiàn)高性能。這種反應(yīng)時(shí)間上的差異可以決定碰撞發(fā)生與否。

總 結(jié)