李欣寧，陳雪松，李秀瀅，胡浩通，陳星漢

（北京電子科技學(xué)院，北京100070）

在工程建設(shè)過程中，對于工人的人身安全保護(hù)始終是不容忽視的問題，安全帽的佩戴則是保護(hù)生命安全最基礎(chǔ)的防線。但在實際施工過程中，由于工地占地龐大、內(nèi)部結(jié)構(gòu)復(fù)雜、人員流動量大，單純依靠人力難以實現(xiàn)對施工現(xiàn)場工人佩戴安全帽情況的實時監(jiān)控。

當(dāng)前，隨著嵌入式技術(shù)和人工智能（AI）技術(shù)的深度融合，端側(cè)人工智能得到了廣泛的發(fā)展，與人工智能相結(jié)合的智慧化監(jiān)測系統(tǒng)應(yīng)運而生。從前瞻產(chǎn)業(yè)研究院整理的數(shù)據(jù)[1]可以看出，“AI+安防”一直是現(xiàn)階段人工智能的主要賦能領(lǐng)域。但是，以施工現(xiàn)場為核心區(qū)域的“AI+安防”卻少之又少。

隨著物聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，在為數(shù)不多的高端施工現(xiàn)場，也部署了安全帽佩戴檢測設(shè)備。從整體上看，其監(jiān)測模式一般有兩種，一種是在工地門口與門禁系統(tǒng)相結(jié)合，對進(jìn)入工地的人員進(jìn)行正確佩戴安全帽的檢查；另一種是通過工地的監(jiān)控攝像頭進(jìn)行視頻的錄制，并將影像傳送給后臺的管理服務(wù)器進(jìn)行視頻處理，進(jìn)而檢查安全帽佩戴情況。

以上兩種模式雖然能實現(xiàn)對特定施工現(xiàn)場佩戴安全帽情況的監(jiān)測和報警，但對于臨時搭建的工地來說成本較高，且不可避免地存在監(jiān)控設(shè)備無法部署的死角。

針對上述情況，本文以端側(cè)AI技術(shù)為依托，提出了一款與手機端相結(jié)合的安全帽佩戴檢測應(yīng)用系統(tǒng)。利用手機這個人人必備的無線端側(cè)平臺，協(xié)助施工現(xiàn)場的管理人員進(jìn)行流動式、定點式、抽查式的安全帽佩戴監(jiān)測工作。

1 相關(guān)技術(shù)基礎(chǔ)

近年來，隨著深度學(xué)習(xí)技術(shù)的突破，第三次人工智能的浪潮洶涌而來。現(xiàn)在，通過模擬大腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，直接從案例和經(jīng)驗中就可以進(jìn)行算法的學(xué)習(xí)[2]。結(jié)合著算力的芯片化，在智能終端上搭載AI技術(shù)，已成為業(yè)界共識。

1.1 麒麟980芯片與HiAI2.0平臺

麒麟980芯片是華為第二代人工智能芯片，更加擅長處理視頻、圖像類的多媒體數(shù)據(jù)。

980芯片性能卓越，內(nèi)含CPU（中央處理器單元）、GPU（圖形處理器單元）和NPU（神經(jīng)網(wǎng)絡(luò)處理器單元）。其中，CPU采用ARM Cortex-A76架構(gòu)，屬于多核CPU，由包含了2個超大核、2個大核和4個小核（Cortex-A55）的三檔能效架構(gòu)組成。超大核用于處理急速任務(wù)，大核用于處理持續(xù)時間長的任務(wù)，小核則用于日常功能的使用。GPU采用ARM Mali-G76架構(gòu)。在圖像處理加速方面，麒麟980采用了自主研發(fā)的雙ISP4.0技術(shù)，使得圖像處理能力顯著提升。NPU采用寒武紀(jì)1 M的人工智能芯片，可顯著提升圖像識別效率。麒麟980芯片內(nèi)部具體結(jié)構(gòu)如圖1所示。

圖1 麒麟980芯片結(jié)構(gòu)

HiAI2.0是華為于2018年發(fā)布的人工智能開發(fā)引擎，包括了HiAI Foundation芯片能力、HiAI Engine應(yīng)用能力和HiAIService服務(wù)能力。支持在麒麟980（及其以上版本）芯片上，為開發(fā)者提供開放的AI平臺生態(tài)。

本設(shè)計使用HiAIFoundation提供的芯側(cè)計算接口，能夠借助麒麟980芯片中的雙核NPU，提高圖像識別能力，每分鐘可識別4 500張圖片。并且支持大量的AI開發(fā)模型和算子，讓手機AI應(yīng)用程序運行更快，體驗更好[3]。

另外，本設(shè)計使用HiAIEngine提供的應(yīng)用能力開放接口[4]，借助其人臉檢測模塊檢測圖像中的人臉，返回結(jié)果中包含人臉特征點坐標(biāo)、位置坐標(biāo)和人臉數(shù)量等參數(shù)。該功能可作為關(guān)鍵模塊，通過對人臉特征的提取、分析及位置的定位，廣泛應(yīng)用于各類涉及人臉識別的場景[5]。此模塊已經(jīng)被華為進(jìn)行了封裝和集成，開發(fā)者使用時需要去官網(wǎng)下載對應(yīng)的開發(fā)包。

基于HiAI2.0引擎開發(fā)具有AI能力的安全帽佩戴檢測系統(tǒng)，需要在華為DevEco Studio集成開發(fā)環(huán)境下設(shè)計實現(xiàn)軟件，最后將應(yīng)用系統(tǒng)（APP）部署到麒麟980芯片（或以上版本）的手機中[6]。使用時，APP會調(diào)用手機芯片中AI計算模塊進(jìn)行處理，底層會使用搭載的NPU加速運算，最終利用GPU加速顯示輸出結(jié)果。

1.2 MobileNetV2模型

華為HiAIFoundation提供的Model Creator功能，可為開發(fā)者提供圖像分類、文本分類、表格分類、物體檢測等遷移學(xué)習(xí)能力。通過訓(xùn)練深度學(xué)習(xí)模型，讓應(yīng)用者對圖像、文本等進(jìn)行精確識別。本課題的圖像識別功能就是利用HiAI Foundation深度學(xué)習(xí)算法的良好泛化能力，針對大量圖像數(shù)據(jù)進(jìn)行分鐘級的學(xué)習(xí)訓(xùn)練，自動生成安全帽佩戴圖像分類識別的AI模型。本系統(tǒng)在圖像分類時使用到的機器學(xué)習(xí)模型算法是深度級可分離卷積神經(jīng)網(wǎng)絡(luò)算法——MobileNetV2。

1.2.1 深度級可分離卷積神經(jīng)網(wǎng)絡(luò)

MobileNets網(wǎng)絡(luò)結(jié)構(gòu)的特點在于采用了深度級可分離卷積單元以達(dá)到模型壓縮的目的，采用這種卷積方式可以減少參數(shù)數(shù)量、提升運算速度，是一種小巧而高效的卷積神經(jīng)網(wǎng)絡(luò)。

深度級可分離卷積算法是將標(biāo)準(zhǔn)卷積運算分成兩步：Depthwise convolution和Pointwise convolution。Depthwise convolution與標(biāo)準(zhǔn)卷積運算的不同之處在于，標(biāo)準(zhǔn)卷積是將卷積核用在所有的輸入通道上，而Depthwiseconvolution是針對每個輸入通道采用不同的卷積核，也就是說一個卷積核對應(yīng)一個輸入通道。Pointwise convolution就是普通卷積，其采用1×1的卷積核[7]。

1.2.2 相比于MobileNetV1的優(yōu)點

MobileNetV2模型與MobileNetV1相比，進(jìn)行了兩方面的改進(jìn)：采用倒置殘差結(jié)構(gòu)和線性瓶頸[8]。兩個模型簡易對比如圖2所示。

圖2 MobileNetV2與MobileNetV1對比

從圖2可以看出，算法模型使用了先“擴張”再“壓縮”的方式，即倒置殘差結(jié)構(gòu)；將原有的ReLU激活函數(shù)（非線性），改為線性激活函數(shù)，即線性瓶頸。

倒置殘差結(jié)構(gòu)與MobileNetV1網(wǎng)絡(luò)結(jié)構(gòu)的不同在于添加了Expansion layer和 Projection layer[9]。Expansion layer的目的是將低維特征映射到高維空間，即維度擴展功能。本設(shè)計采用默認(rèn)參數(shù)，即擴展6倍。Projection layer可以將高維特征映射到低維空間，即壓縮功能，這樣就形成了一個中間胖兩頭窄的紡錘形模型結(jié)構(gòu)。MobileNetsV2網(wǎng)絡(luò)結(jié)構(gòu)可以滿足各種圖像識別的需求。先通過Expansion layer運算擴展特征維度，之后用深度可分離卷積算法提取特征，最后使用Projection layer運算來壓縮數(shù)據(jù)，讓網(wǎng)絡(luò)重新變小。

在MobileNetV1中使用的ReLU激活函數(shù)是非線性的激活函數(shù)，當(dāng)計算低維度數(shù)據(jù)時極有可能會使得激活空間坍塌，丟失信息，因此，MobileNetV2使用Linear bottlenecks線性變換函數(shù)替換了原本的非線性激活函數(shù)，以防止非線性方式破壞太多信息，同時又可以保證在低維度使用。

2 系統(tǒng)設(shè)計

本系統(tǒng)基于華為麒麟980芯片的HiAI 2.0平臺開發(fā)，主體設(shè)計包括兩部分：AI模型訓(xùn)練和應(yīng)用軟件（APP）設(shè)計。

2.1 AI模型訓(xùn)練

通過手機平臺采集來的圖像數(shù)據(jù)，要進(jìn)行AI模型的圖像識別和分類的處理。而AI模型應(yīng)用之前需要做好兩件事情：一方面是選擇或構(gòu)建合適的AI深度學(xué)習(xí)算法模型；另一方面是在指定數(shù)據(jù)集上進(jìn)行算法模型的參數(shù)訓(xùn)練，以期AI模型具有超強的泛化識別能力。

2.1.1 數(shù)據(jù)集分析

訓(xùn)練所用到的數(shù)據(jù)集需要先進(jìn)行圖片分類，即打標(biāo)簽。這里需要在每個分類的目錄下，放入大小合適的、對應(yīng)類別的清晰圖片。我們將收集來的圖片先進(jìn)行數(shù)據(jù)格式和大小的處理，然后分為戴安全帽（has_helmet）和不戴安全帽（no_helmet）兩類，前者129張，后者103張，均為.jpg格式，數(shù)據(jù)集大小約為24 MB。

2.1.2 模型訓(xùn)練

利用HiAIFoundation中的“模型創(chuàng)建”功能來訓(xùn)練所需的AI模型。首先啟動華為DevEco Studio，從以下路徑Tools→EMUIKit→Kit Assistant，打開HiAIFoundation中的Model Creator功能，選擇操作類型為Model Created。將分好類的訓(xùn)練集放入該模塊中，設(shè)置好訓(xùn)練參數(shù)，選擇輸出模型的路徑，點擊Create Model開始訓(xùn)練模型。之后，該模塊會利用遷移學(xué)習(xí)算法在基座分類模型MobileNetV2的基礎(chǔ)上，進(jìn)行安全帽圖像分類模型的參數(shù)訓(xùn)練。模型訓(xùn)練完成后，可以查看模型學(xué)習(xí)的結(jié)果，主要為訓(xùn)練精度、驗證精度、學(xué)習(xí)參數(shù)和訓(xùn)練數(shù)據(jù)等信息。最后放入測試集，進(jìn)行訓(xùn)練模型的測試，以確定安全帽識別模型的應(yīng)用效果。本系統(tǒng)的模型參數(shù)和測試結(jié)果如圖3所示。

圖3 模型參數(shù)和測試結(jié)果

由返回結(jié)果可知，模型的預(yù)測正確率達(dá)到了98%以上，精確度可以滿足本設(shè)計的需求。

將訓(xùn)練好的模型生成API，為模型應(yīng)用到系統(tǒng)作準(zhǔn)備。在模型訓(xùn)練結(jié)果中點擊“Generate API”，DevEco Studio開發(fā)工具就會將訓(xùn)練模型的依賴包、模型文件、API接口示例源文件自動添加到工程的相應(yīng)目錄中，并且在模塊的“build.gradle”文件中自動增加依賴信息。之后可以通過調(diào)用圖像分類識別模型對應(yīng)的API接口，將圖像分類識別的能力集成到APP中。

2.2 APP軟件設(shè)計

2.2.1 系統(tǒng)的邏輯流程

APP的功能邏輯流程如圖4所示。當(dāng)用戶采集圖像后，系統(tǒng)先判斷圖像中是否存在人臉，如果不存在人臉，則輸出“沒有人臉（no get face）”；如果存在人臉，則先框出人臉，再判斷圖像中人臉是否佩戴安全帽，對應(yīng)輸出結(jié)果：“戴安全帽（has_helmet）”或“沒戴安全帽（no_helmet）”，并顯示結(jié)果準(zhǔn)確率。

圖4 APP的功能邏輯流程

2.2.2 系統(tǒng)的GUI界面布局

系統(tǒng)界面上設(shè)計了“SELECTAN IMAGE”和“TAKEA PHOTO”兩個按鈕，分別用于實現(xiàn)從圖庫中選擇圖像和拍照獲取圖像兩種操作：一個圖像顯示框，用于顯示采集或選取的圖像；一個文本顯示框，用于以文本形式顯示檢測結(jié)果，即說明是否有人臉、是否戴安全帽。APP的GUI布局如圖5所示。

圖5 APP的GUI布局

2.2.3 安全帽檢測實現(xiàn)

參照華為官方發(fā)布的人臉檢測開發(fā)指南和DevEco Studio使用指南，向開發(fā)工程文件中添加需要的軟件依賴包，并通過調(diào)用HiAI的API接口函數(shù)和相關(guān)類函數(shù)，實現(xiàn)人臉檢測和圖像分類的功能。APP程序基本流程如圖6所示。

圖6 程序流程圖

根據(jù)流程圖，首先調(diào)用requestPermissions()函數(shù)進(jìn)行權(quán)限申請，包括圖庫、相機的使用權(quán)限；獲得權(quán)限后，按照華為HiAI的要求，將應(yīng)用VisionBase靜態(tài)類進(jìn)行初始化，得到服務(wù)連接的結(jié)果，為之后調(diào)用人臉檢測API做準(zhǔn)備。

調(diào)用onActivityResult()函數(shù)獲取圖像，并將其轉(zhuǎn)換成位圖的形式保存在變量中；之后進(jìn)入FaceDetectTask進(jìn)程，調(diào)用人臉檢測API，實現(xiàn)detect接口，使用檢測算法獲取結(jié)果。同時，使用ImageClassifierDetector類調(diào)用訓(xùn)練好的AI模型，執(zhí)行模型預(yù)處理、申請CPU、模型裝載、圖像識別、模型卸載和釋放CPU的功能，最后將檢測結(jié)果返回。

最后，onTaskCompleted()函數(shù)會對結(jié)果進(jìn)行處理和輸出。當(dāng)返回結(jié)果表明“沒有人臉”時，會在界面下端的文本框中輸出“not get face”。

當(dāng)返回結(jié)果表明“有人臉”時，根據(jù)圖像分類的結(jié)果，在GUI界面的文本框中輸出“no_helmet”或“has_helmet”以及預(yù)測正確率，同時會用綠色矩形框框出圖像中人臉的部分。

3 結(jié)果分析

3.1 系統(tǒng)運行測試

系統(tǒng)的運行效果如圖7所示，會有3種輸出結(jié)果，分別為“has_helmet+正確率”“no_helmet+正確率”和“not get face”。從圖7中可以看到系統(tǒng)檢測安全帽佩戴情況的3種輸出結(jié)果的效果，系統(tǒng)能正確運行。

3.2 準(zhǔn)確率測試

為了測試APP的準(zhǔn)確率，這里選取8張戴安全帽與8張不戴安全帽的圖片。測試結(jié)果如表1所示。

由測試結(jié)果的標(biāo)簽值可知，該APP能準(zhǔn)確分辨出安全帽佩戴情況，預(yù)測正確率在90%以上。

經(jīng)過大量測試研究，影響預(yù)測正確率的因素主要有以下3方面：①圖像場景的復(fù)雜程度。場景越復(fù)雜，預(yù)測正確率越低，因此在較為簡單的場景中能提高預(yù)測正確率。②圖像中的人臉占比。圖像中的人臉占比越大，預(yù)測正確率越高，因此采集圖像時應(yīng)盡可能提高人臉占比。③訓(xùn)練算法模型所用到的數(shù)據(jù)集大小。訓(xùn)練所用的數(shù)據(jù)集越大，預(yù)測正確率越高，因此在訓(xùn)練AI模型時應(yīng)盡可能擴大數(shù)據(jù)集。

圖7 系統(tǒng)運行結(jié)果

表1 正確率測試結(jié)果

4 結(jié)束語

本文介紹了基于麒麟980芯片的安全帽檢測系統(tǒng)的設(shè)計實現(xiàn)方案。系統(tǒng)設(shè)計重點部分為：人臉檢測模塊與安全帽圖像分類模塊。人臉檢測模塊調(diào)用華為HiAI中的Huawei HiAIEngine接口實現(xiàn)。圖像分類模塊是利用DevEco Studio平臺的遷移學(xué)習(xí)工具，訓(xùn)練生成圖像分類模型，并封裝成API接口實現(xiàn)。本系統(tǒng)充分利用了華為HiAI引擎和麒麟980芯片的優(yōu)點，全面提升了檢測速度和準(zhǔn)確率。系統(tǒng)方案的實施成本低、可行性強，為解決臨時工地中安全帽佩戴的監(jiān)管問題提供了實用的解決方案。