肖成勇， 李 擎， 張德政， 崔家瑞， 陳 巖

（北京科技大學(xué)a.自動化學(xué)院；b.計算機(jī)與通信工程學(xué)院，北京 100083）

0 引 言

智能制造作為“中國制造2025”的主攻方向，是促進(jìn)我國傳統(tǒng)制造業(yè)向智能化制造轉(zhuǎn)型升級、實現(xiàn)我國由制造大國向制造強(qiáng)國跨越的重大戰(zhàn)略政策［1］。計算機(jī)視覺在智能制造工業(yè)檢測中發(fā)揮著檢測識別和定位分析的重要作用，為提高工業(yè)檢測的速率、準(zhǔn)確率、自動化以及智能化做出了重要貢獻(xiàn)［2］。

為培養(yǎng)計算機(jī)視覺人才，很多高校開設(shè)了計算機(jī)視覺、數(shù)字圖像處理等課程。隨著GPU的普及和算力的增加，深度學(xué)習(xí)算法已成為如今計算機(jī)視覺的標(biāo)配［3］，目標(biāo)檢測［4-6］、工業(yè)檢測［7］、圖像分割［8］、圖像理解［9］等都用到了深度學(xué)習(xí)方法。計算機(jī)視覺課程也與深度學(xué)習(xí)技術(shù)緊密聯(lián)系，成為一門重要的、課程內(nèi)容與時俱進(jìn)的自動化、人工智能和計算機(jī)專業(yè)課程。但是深度學(xué)習(xí)對計算機(jī)硬件條件要求高，高性能顯卡體積大，功耗高及售價貴，使其難以在高校實驗室規(guī)模配置。為滿足高校計算機(jī)視覺實踐教學(xué)的需求，提升學(xué)生計算機(jī)視覺的創(chuàng)新和實踐能力，基于嵌入式GPU［10-12］設(shè)計開發(fā)了一款成本低、功耗低、體積小、通用性、開放性與可擴(kuò)展性強(qiáng)的計算機(jī)視覺創(chuàng)新平臺。

1 計算機(jī)視覺創(chuàng)新實驗平臺設(shè)計

為了更好地培養(yǎng)學(xué)生創(chuàng)新和工程實踐能力，同時方便教學(xué)管理和評價，平臺從高階性、創(chuàng)新性、挑戰(zhàn)性、工程性和管理智能化5 個方面進(jìn)行設(shè)計。①高階性，能體現(xiàn)計算機(jī)視覺相關(guān)知識能力素質(zhì)的有機(jī)融合，重點培養(yǎng)學(xué)生解決復(fù)雜問題的綜合能力和高級思維；②

創(chuàng)新性，能反映學(xué)科前沿性和時代性，教學(xué)形式呈現(xiàn)先進(jìn)性和互動性，學(xué)習(xí)結(jié)果具有探究性和個性化。③挑戰(zhàn)度，教學(xué)實踐項目要有一定難度，需要“跳一跳”才能夠得著，更能選拔優(yōu)秀人才。④工程性，源于實際工程項目，實驗更具有興趣性，學(xué)生更容易獲得滿足感；⑤管理智能化，在實踐教學(xué)過程中能互動反饋和智能考核評價，滿足信息技術(shù)與實踐教學(xué)深度融合的要求?；谝陨显瓌t，設(shè)計的“邊-云”互動計算機(jī)視覺創(chuàng)新實驗平臺如圖1 所示。

圖1 邊-云互動計算機(jī)視覺創(chuàng)新實驗平臺總體方案

“邊”是指邊緣計算節(jié)點，即本文設(shè)計的基于嵌入式GPU的計算機(jī)視覺計算裝置，它是學(xué)生完成計算機(jī)視覺實驗的計算平臺，能將學(xué)生的實驗過程和結(jié)果數(shù)據(jù)通過局域網(wǎng)或者4G 傳輸?shù)皆贫藢嵺`教學(xué)管理系統(tǒng)。

“云”則是搭建在云計算服務(wù)架構(gòu)上的實踐教學(xué)管理系統(tǒng)，其核心是基于IMoodle 環(huán)境（Improved Modular Object-Oriented Dynamic Learning Environment，改進(jìn)模塊化的面向?qū)ο髣討B(tài)學(xué)習(xí)環(huán)境）的課程管理系統(tǒng)，主要完成教學(xué)資源共享、智能考核評價、優(yōu)秀案例匯聚、學(xué)生能力提升指導(dǎo)等功能。

2 計算機(jī)視覺計算裝置設(shè)計

2.1 硬件設(shè)計

計算機(jī)視覺計算裝置采用主板+擴(kuò)展板的形式進(jìn)行設(shè)計，總體框圖如圖2 所示。

圖2 計算機(jī)視覺處理裝置總體框圖

2.2 嵌入式GPU介紹

主板采用NVIDIA 的高性價比器件Jetson Nano，技術(shù)參數(shù)如表1 所示。

表1 Jetson Nano技術(shù)參數(shù)

2.3 擴(kuò)展板電路設(shè)計

為了保證實驗裝置的通用性、開放性與可擴(kuò)展性，擴(kuò)展板利用CP2108 將主板的1 個USB口擴(kuò)展出4 個UART口，然后分別通過RSM3485ECHT、CSM100V33和TIMAX3232 轉(zhuǎn)換為2 個RS-485、1 個CAN 和1 個RS-232 口。再通過LAN9500A 將主板的1 個USB 口轉(zhuǎn)換為以太網(wǎng)接口。通過Gport-G43 將主板上GPIO的UART針轉(zhuǎn)換為4G通信接口。設(shè)計的擴(kuò)展板實物如圖3 所示。（1）電源管理模塊。電源管理模塊主要為Jetson Nano主板及擴(kuò)展板電路供電。在實驗裝置中，需要使用+12 V、+5 V、和+3.3 V的直流穩(wěn)壓電源，本設(shè)計使用開關(guān)電源將220 V 轉(zhuǎn)化為+12 V 直流電源，其中，核心主板、4G和以太網(wǎng)轉(zhuǎn)換器件需要+5 V 電源，另外部分外圍器件需+3.3 V 電源，為簡化系統(tǒng)電源電路的設(shè)計，使用多個SCT2331 做直流電壓變換。

圖3 擴(kuò)展板實物圖

（2）USB轉(zhuǎn)多個串口接口。利用CP2108 將主板的USB3.0 接口轉(zhuǎn)換成4 個串口，用于擴(kuò)展CAN、RS-485 和RS-232 接口。

（3）USB轉(zhuǎn)以太網(wǎng)擴(kuò)展接口。高清網(wǎng)絡(luò)攝像機(jī)是目前視頻影像采集的主流設(shè)備，主板相應(yīng)地提供了USB、MIPI CSI2 和千兆以太網(wǎng)接口標(biāo)準(zhǔn)，在很多場景下，主板原有的千兆以太網(wǎng)接口經(jīng)常被高清攝像機(jī)占用，為了使設(shè)備具備更好的通用性，方便接入有線網(wǎng)絡(luò)，本設(shè)計利用LAN9500AI 將主板的另一個USB3.0

擴(kuò)展為1 個以太網(wǎng)接口。

（4）RS-485 擴(kuò)展電路。RS-485 是經(jīng)常使用的工業(yè)現(xiàn)場總線之一，可以通過RS-485 總線將裝置計算和分析結(jié)果傳輸?shù)絇LC 控制器，利用RSM3485ECHT 將擴(kuò)展出的2 個串口轉(zhuǎn)換成2 路RS-485 接口。

（5）CAN接口電路。CAN具有可靠性高、成本低廉、使用普遍、方便應(yīng)用到汽車等移動設(shè)備的特點，是一種應(yīng)用廣泛的工業(yè)現(xiàn)場總線。為了拓展嵌入式計算機(jī)視覺的應(yīng)用范圍，擴(kuò)展了CAN 接口，利用CSM100V33 將USB 轉(zhuǎn)換的1 路串口轉(zhuǎn)換成CAN，用來將深度學(xué)習(xí)計算和分析結(jié)果接入移動設(shè)備控制網(wǎng)絡(luò)。

臺式烤香腸是一種以豬肉、雞肉為主要原料，經(jīng)絞肉、腌制、添加輔料和香辛料、灌裝、熱處理、速凍、包裝等工藝制成的一種肉灌腸類制品，具有味道鮮美、營養(yǎng)豐富等特點，倍受消費者喜愛的一種低溫肉制品[1，2]。

（6）4G通信模塊電路。隨著工業(yè)發(fā)展，嵌入式設(shè)備接入網(wǎng)絡(luò)的需求日益強(qiáng)烈，在沒有有線網(wǎng)絡(luò)的環(huán)境下，通常通過4G 連接運營商網(wǎng)絡(luò)，因此擴(kuò)展了4G 通信接口，利用Gport-G43 將主板上GPIO的UART轉(zhuǎn)換擴(kuò)展為4G通信接口，用于將實踐教學(xué)過程和結(jié)果數(shù)據(jù)通過4G網(wǎng)絡(luò)傳輸?shù)綄嵺`教學(xué)管理平臺。

2.4 計算環(huán)境設(shè)置

為了簡化實踐教學(xué)過程，本設(shè)計預(yù)先在計算機(jī)視覺計算裝置中布置了以下環(huán)境用于實踐教學(xué)：

操作系統(tǒng)：Ubuntu 18.04

內(nèi)存：64GB

3 實踐教學(xué)案例設(shè)計

針對自動化、計算機(jī)科學(xué)與技術(shù)、人工智能和機(jī)械工程4 個專業(yè)計算機(jī)視覺等5 門課程相關(guān)的知識點，設(shè)計了5 大類，共29 個實驗項目，如表2 所示。

其中工程綜合創(chuàng)新實驗結(jié)合項目組多年的智慧礦山科研成果，以滿足智慧礦山所涉及的計算機(jī)視覺感知需求為出發(fā)點，以加強(qiáng)創(chuàng)新、工程實踐能力培養(yǎng)為核心，堅持教學(xué)與科研相結(jié)合，以礦石塊度分布檢測為例，詳細(xì)介紹實踐教學(xué)案例。

表2 案例設(shè)計及支撐課程

礦石塊度是選礦生產(chǎn)中的重要技術(shù)指標(biāo)，反應(yīng)了破碎過程中各級破碎機(jī)的工作狀況，決定了整個選礦過程的生產(chǎn)質(zhì)量和效率。近年來隨著計算機(jī)視覺技術(shù)，特別是深度學(xué)習(xí)的發(fā)展，開始逐漸應(yīng)用到礦石塊度在線檢測中［13］。本文設(shè)計的礦石塊度檢測實驗是使用計算機(jī)視覺計算裝置自動分析從攝像機(jī)獲取的圖像序列，使用機(jī)器學(xué)習(xí)算法對圖像中的礦石進(jìn)行分割，計算礦石塊度尺寸，統(tǒng)計礦石塊度分布，對超出設(shè)定閾值的礦石塊自動預(yù)警。本案例包括圖像讀取、邊緣分割、塊度計算、塊度分布統(tǒng)計和報警等5 個模塊。圖4 所示為案例處理圖像序列的流程與框架，系統(tǒng)讀取圖像后，首先檢測并跟蹤圖像中的礦石目標(biāo)，然后對礦石邊緣進(jìn)行分割，再進(jìn)行等效直徑和塊度分布計算，最后對出現(xiàn)的大塊進(jìn)行預(yù)警。

圖4 礦石塊度分布檢測案例的處理框架

（2）邊緣分割模塊。邊緣分割模塊用來對圖像中礦石邊緣進(jìn)行分割，是后續(xù)塊度計算、統(tǒng)計和預(yù)警的基礎(chǔ)。目前有基于閾值、邊緣、區(qū)域和深度學(xué)習(xí)的語義分割4 類算法，由于前3 類分割方法大多是基于圖像本身的低階視覺信息，計算復(fù)雜度低，而礦石圖像存在目標(biāo)和背景相似的特點，并且常常會有陰影等問題，因此這些方法很難在礦石圖像分割這類復(fù)雜分割任務(wù)上取得令人滿意的效果，而深度學(xué)習(xí)對大量標(biāo)注樣本的學(xué)習(xí)，可以獲得具有較強(qiáng)魯棒性的圖像分割模型。為了讓學(xué)生對邊緣分割各種算法有更好的理解，實踐教學(xué)管理平臺上建立了算法模型庫，可以提供Canny、

Sobel、Prewitt 邊緣檢測算子、分水嶺、形態(tài)學(xué)和VGGNet、GoogLeNet、ResNet、UNet等算法供學(xué)生調(diào)用，并且鼓勵學(xué)生設(shè)計自己的深度學(xué)習(xí)算法提升礦石分割精度和速度。

（3）塊度計算模塊。礦石塊度是指礦石所占空間大小的尺度，通常用面積徑來表示。面積徑是礦石在圖片上占有的像素數(shù)，實際面積S=mG，m表示像素個數(shù)，G表示每個像素大小。面積徑：

（4）塊度分布統(tǒng)計模塊。由于采集的礦石圖像是由許多礦石塊組成，使用礦石塊度分布來反映所有礦石的尺寸分布規(guī)律。為了表示塊度分布，從小到大按一定的規(guī)則選多個代表塊度尺寸，x1，x2，…，xn組成一定的塊度區(qū)間［x1，x2］，［xn-1，xn］，采用各塊度區(qū)間內(nèi)的礦石數(shù)量表征礦石塊的頻度分布f1，f2，…，fn，，其中

（5）預(yù)警顯示模塊。塊度計算模塊一旦檢測到礦石面積徑超過設(shè)定閾值，系統(tǒng)給出報警提示，并將報警記錄到日志。報警事件記錄要素包括報警類別、時間以及報警時刻的圖片。

圖5 人機(jī)交互及教學(xué)管理界面

案例設(shè)計了人機(jī)互動的GUI用戶界面，如圖5 右側(cè)所示，實現(xiàn)了圖像讀取、邊緣分割、塊度計算、塊度分布統(tǒng)計和報警等功能，并對結(jié)果進(jìn)行可視化展示。學(xué)生根據(jù)所選的教學(xué)案例設(shè)計算法和設(shè)置參數(shù)，導(dǎo)入待處理的圖像。根據(jù)案例要求設(shè)置大塊報警規(guī)則。最后點擊運行，即可在界面上觀察到邊緣分割、塊度分布、塊度累積分布、塊度分布趨勢和報警處理結(jié)果，加深對算法和實驗結(jié)果的理解。

4 云端實踐教學(xué)管理系統(tǒng)

基于IMoodle平臺搭建的實踐教學(xué)平臺，已成功應(yīng)用到“工業(yè)自動化生產(chǎn)線實訓(xùn)”和“信號處理”等課程中［14-16］。本文對教學(xué)管理平臺進(jìn)行了更新完善，針對計算機(jī)視覺、數(shù)字圖像處理和機(jī)器學(xué)習(xí)等教學(xué)內(nèi)容拓展了教學(xué)資源、優(yōu)秀算法案例庫和模型評價知識庫功能，最終實現(xiàn)的實踐教學(xué)管理系統(tǒng)界面如圖5 左側(cè)功能欄所示，包括實驗預(yù)習(xí)、資源管理、教學(xué)案例和實驗結(jié)果智能考核等功能。實現(xiàn)教學(xué)管理過程如圖6所示。

圖6 “邊-云”互動實踐教學(xué)管理過程

（1）資源上傳。首先教師將實踐教學(xué)案例背景資料、現(xiàn)場生產(chǎn)影像、圖像樣本數(shù)據(jù)集、圖像處理算法源代碼和參考文獻(xiàn)等教學(xué)資源上傳到云端。

（2）實驗預(yù)習(xí)。學(xué)生在實驗之前完成實訓(xùn)案例相關(guān)的知識點預(yù)習(xí)測試，測試通過后可以下載所選案例相關(guān)的資源，包括訓(xùn)練樣本集、參考代碼和模型評價指標(biāo)等。

（3）模型設(shè)計。學(xué)生查閱文獻(xiàn)和熟悉參考代碼，根據(jù)實驗任務(wù)進(jìn)行算法流程設(shè)計、算法選擇、損失函數(shù)設(shè)計、優(yōu)化器、學(xué)習(xí)率、迭代步長等深度學(xué)習(xí)模型設(shè)計。

（4）課上實驗。用設(shè)計好的深度學(xué)習(xí)模型訓(xùn)練下載的樣本，得到平均交并比（MIoU）、類別平均像素準(zhǔn)確率（mAP）和集合相似度系數(shù)（Dice）指標(biāo)［17］，模型指標(biāo)數(shù)據(jù)自動上傳到云端實踐教學(xué)平臺。

（5）能力提升。在云端實踐教學(xué)管理平臺建立模型分析知識庫，基于該數(shù)據(jù)集以及接收的模型指標(biāo)判斷模型參數(shù)是否合適，是否存在過擬合或者欠擬合，從而自動給出模型改進(jìn)意見，返回給學(xué)生進(jìn)行模型參數(shù)改進(jìn)，直到達(dá)到實訓(xùn)案例要求的精度。

（6）資源更新。課上實驗結(jié)束后，學(xué)生完成實驗報告，報告內(nèi)容包括所用的實驗樣本集、模型設(shè)計過程、課上實驗調(diào)參過程、最終模型參數(shù)、模型性能指標(biāo)和實驗總結(jié)，TOP10 算法的學(xué)生實驗報告進(jìn)入優(yōu)秀算法案例庫，供后續(xù)學(xué)生借鑒和參考。

5 結(jié) 語

智能制造背景下，設(shè)計并實施了基于深度學(xué)習(xí)的計算機(jī)視覺創(chuàng)新實驗平臺和實踐教學(xué)案例，平臺由邊緣計算端和云端教學(xué)管理系統(tǒng)組成，具有以下特色：①基于嵌入式GPU 的面向深度學(xué)習(xí)算法的計算機(jī)視覺計算硬件裝置和軟件系統(tǒng)；②邊-云相結(jié)合，實現(xiàn)教學(xué)管理過程智能化；③支撐了計算機(jī)視覺、數(shù)字圖像處理和機(jī)器學(xué)習(xí)等多門核心課程和相關(guān)專業(yè)的實踐教學(xué)。3 年來覆蓋了自動化、人工智能、計算機(jī)科學(xué)與技術(shù)和機(jī)械工程4 個專業(yè)，支撐了5 門課程的29 個實驗項目，共1 500 余人次的實驗教學(xué)工作，全方位提升了學(xué)生的動手實踐能力、創(chuàng)新意識和解決復(fù)雜問題的能力。在平臺研制過程中授權(quán)發(fā)明專利2 項，登記軟件著作權(quán)4 項。在平臺支撐下，學(xué)生在2019 年和2020 年CCF大數(shù)據(jù)與計算智能大賽、Kaggle 商業(yè)競賽和“天池大數(shù)據(jù)競賽”3 次獲得一等獎。實踐表明，該平臺有助于學(xué)生理解計算機(jī)視覺，特別是深度學(xué)習(xí)相關(guān)的理論和實用價值，拓展了學(xué)生的視野、激發(fā)了學(xué)生的想象力，提升了學(xué)生創(chuàng)新實踐能力。