鄒玉澤

近日，在HUAWEI CONNECT？2020期間，華為云CTO張宇昕宣布HiLens Framework開源。HiLens是業(yè)界首個(gè)端云協(xié)同多模態(tài)AI應(yīng)用開發(fā)框架，以簡(jiǎn)潔統(tǒng)一的API降低AI應(yīng)用開發(fā)者的上手難度，在保持高性能的前提下，簡(jiǎn)化開發(fā)者工作量。HiLens Framework則為開發(fā)者提供了一套開發(fā)工具，讓開發(fā)者不必重復(fù)制造輪子，直接調(diào)用相關(guān)模塊的API，即可規(guī)范快速地開發(fā)出高性能的端云協(xié)同多模態(tài)AI技能和應(yīng)用。

現(xiàn)代生活中，很多地方都有AI應(yīng)用落地的場(chǎng)景和例子。比如在線下零售門店中，可以通過攝像頭精準(zhǔn)識(shí)別用戶，實(shí)現(xiàn)千人千面的個(gè)性化定制服務(wù)。在無人車比賽中，高速行駛的無人車通過快速識(shí)別圖像，實(shí)現(xiàn)實(shí)時(shí)推理，做出準(zhǔn)確決策；在家里，具備AI能力的攝像頭，可以實(shí)時(shí)看護(hù)老人和兒童的狀態(tài)，一旦發(fā)生意外，就能第一時(shí)間發(fā)出警報(bào)；在各行業(yè)中通過OCR文字快速智能識(shí)別各種文本和票據(jù)等。

這些應(yīng)用場(chǎng)景中，有些數(shù)據(jù)敏感且要求實(shí)時(shí)處理響應(yīng)，但往往因?yàn)榫W(wǎng)絡(luò)不夠穩(wěn)定，無法上傳到云端處理，因而采用端云協(xié)同方式，結(jié)合云上高效開發(fā)和邊端側(cè)的敏捷快速部署，既能保證AI計(jì)算的性能，又能兼顧用戶隱私訴求，更加快捷高效。

但如何實(shí)現(xiàn)圖像、聲音等數(shù)據(jù)的端云協(xié)同AI計(jì)算呢？很多方案都存在AI運(yùn)算能力不強(qiáng)、難以實(shí)現(xiàn)復(fù)雜的定制化功能、初學(xué)者上手難度太大以及部署繁雜等缺點(diǎn)，無法在工業(yè)或商業(yè)用途中大規(guī)模落地應(yīng)用。

華為云關(guān)注到這種用戶需求，在2018年的華為全聯(lián)接大會(huì)上，推出了業(yè)界首個(gè)端云協(xié)同多模態(tài)AI開發(fā)應(yīng)用平臺(tái)Huawei HiLens，支持視頻、音頻、圖片、紅外等多模態(tài)數(shù)據(jù)的AI應(yīng)用開發(fā)、AI應(yīng)用在線部署以及海量設(shè)備管理等，能夠?qū)佣喾N端側(cè)計(jì)算設(shè)備，為諸多場(chǎng)景的AI應(yīng)用提供了更大的發(fā)揮空間。

Huawei HiLens發(fā)布兩年后的今天，華為云宣布開源HiLens Framework，10 min即可學(xué)會(huì)開發(fā)技能；性能普遍提升3倍，代碼量減少80 %，開發(fā)周期縮短70 %，開發(fā)成本降低90 %。

以音頻解碼+片段截取+預(yù)處理的代碼撰寫為例，基于TensorFlow/OpenCV需要100+行，而采用HiLens Framework則只需3行；以模式初始化+推理的代碼撰寫為例，基于TensorFlow/OpenCV往往需要20+行，采用HiLens Framework則只需2行。

此次HiLens Framework開源，涉及了音視頻輸入、媒體處理、模型推理、資源管理、日志系統(tǒng)、EI服務(wù)接口以及輸出管理等功能模塊，通過HiLens Framework開發(fā)的AI應(yīng)用可移植運(yùn)行到任何基于Ascend 310設(shè)備上，提供常用語言Python和C++接口，符合AI開發(fā)者的開發(fā)習(xí)慣。

HiLens Framework的開源，能夠很好地幫助開發(fā)者快速定位AI開發(fā)中的問題，進(jìn)而快速解決問題，實(shí)現(xiàn)端云協(xié)同AI的快速開發(fā)和落地。同時(shí)，將吸引更多的外圍設(shè)備輸入、輸出，更多的外圍工具集成等，更將匯聚開發(fā)者力量，豐富完善HiLens Framework集成能力，擴(kuò)大HiLens端云協(xié)同影響力，同時(shí)拓展華為昇騰生態(tài)和華為云生態(tài)。

10倍提升開發(fā)效率，加速AI應(yīng)用落地

AI應(yīng)用開發(fā)框架HiLens Framework是打通端云協(xié)同的重要技術(shù)環(huán)節(jié)，與開發(fā)環(huán)境HiLens Studio、管理平臺(tái)和多模態(tài)AI技能市場(chǎng)一起，大大加速了開發(fā)者的開發(fā)效率，幫助行業(yè)快速構(gòu)建設(shè)備端與云上能力高效協(xié)同的HiLens智慧解決方案，通過HiLens？Kit、Atlas500智能小站以及第三方商用攝像頭等端側(cè)設(shè)備，提供了高效易用、成本低廉的AI應(yīng)用開發(fā)方案，能夠快速部署于商超、園區(qū)、家庭及工業(yè)等應(yīng)用場(chǎng)景。

AI落地使用邊緣計(jì)算的應(yīng)用場(chǎng)景時(shí)，往往場(chǎng)景數(shù)據(jù)存在差異，難以用一個(gè)AI模型達(dá)到最佳性能。華為云HiLens與邊緣云創(chuàng)新lab技術(shù)合作，推出難例上傳與ModelArts Pro HiLens套件結(jié)合的增量學(xué)習(xí)模板，實(shí)現(xiàn)了對(duì)模型的增量訓(xùn)練，使得AI模型在具體應(yīng)用場(chǎng)景中越用越聰明。

例如，某工廠出于安全原因，采用視頻監(jiān)控智能檢測(cè)現(xiàn)場(chǎng)人員安全帽佩戴情況。項(xiàng)目部署方在HiLens技能市場(chǎng)檢索后發(fā)現(xiàn)，這一應(yīng)用場(chǎng)景已有基礎(chǔ)模型，直接購(gòu)買安裝后先搭建出基礎(chǔ)的技能；再通過HiLens Framework的接口將難以識(shí)別的部分?jǐn)?shù)據(jù)篩選出來，上傳到自己賬戶下的云端存儲(chǔ)，借助ModelArts Pro HiLens套件，在基礎(chǔ)模型上增量訓(xùn)練，使得模型越用越聰明，最終訓(xùn)練出符合該工廠環(huán)境的模型，實(shí)現(xiàn)根據(jù)具體應(yīng)用場(chǎng)景的模型定制化。在這一過程中，該工廠僅用800張安全帽檢測(cè)實(shí)踐數(shù)據(jù)，就將模型精度從80%快速提升到90 %，漏檢率從25 %下降到10 %，通過幾次難例上傳與迭代，部署時(shí)間從計(jì)劃的3個(gè)月縮減到1個(gè)月，有效推進(jìn)了行業(yè)應(yīng)用落地。

端云協(xié)同拓展新生態(tài)

HiLens Framework的開源如水到渠成，不止向開發(fā)者提供了一個(gè)AI應(yīng)用的高效開發(fā)框架，還進(jìn)一步推動(dòng)了華為云HiLens與華為云ModelArts Pro視覺計(jì)算AI平臺(tái)的結(jié)合，形成一整套的AI模型訓(xùn)練、應(yīng)用開發(fā)和分發(fā)部署的端云協(xié)同管理平臺(tái)。

當(dāng)HiLens用戶通過HiLens Framework連接到ModelArts Pro，就進(jìn)入了一個(gè)更加廣闊的AI世界，聯(lián)接了從昇騰芯片、MindSpore開發(fā)框架，再到華為全棧全場(chǎng)景AI解決方案，以及華為不斷積累的各行業(yè)AI經(jīng)驗(yàn)。

此次HiLens Framework的開源，如同一條金線，一頭串起華為云的云端AI能力，另一頭串起更多AI場(chǎng)景，讓云端協(xié)同的邊緣計(jì)算更易于部署落地，推動(dòng)AI更加普惠，在開發(fā)者的共同推動(dòng)下，AI將拓展到日常生產(chǎn)、生活的方方面面，和每個(gè)人都息息相關(guān)。