周志楊，劉光輝，楊 蕾，張婭琳，張鈺敏

(西安建筑科技大學(xué) 信息與控制工程學(xué)院，西安 710055)

0 引言

據(jù)統(tǒng)計學(xué)分析，現(xiàn)代人一天中有80%～90%以上的時間都在室內(nèi)度過，許多人對室內(nèi)環(huán)境質(zhì)量提出了更高的要求[1]。在環(huán)境質(zhì)量研究中，環(huán)境的熱舒適性是影響人員工作效率和生產(chǎn)力的最重要因素[2-3]。熱舒適性反映室內(nèi)人員對周圍環(huán)境滿意程度，由環(huán)境因素和個人因素決定，環(huán)境因素包括室內(nèi)溫度、相對濕度、風(fēng)速和平均輻射溫度，個人因素包括服裝熱阻和代謝率。環(huán)境因素通過溫度/風(fēng)速傳感器等很容易測量，而個人對環(huán)境偏好不同，難以通過傳感器準確測量人體參數(shù)以確定精確的熱舒適性結(jié)果。在個人因素中，服裝為人體提供隔熱層，它是人體與環(huán)境之間的重要決定因素，因此服裝熱阻的估計對熱舒適性有重要作用[4]。

為了準確估計服裝熱阻參數(shù)，文獻[5]利用三維掃描儀測量人體在6種手臂姿勢下,12個體段的衣下間隙體積及接觸面積,測量服裝各體段的局部熱阻；文獻[6]采用暖體假人“Newton”設(shè)備對服裝熱阻進行測量，提出在不影響防護服性能前提下，采取腋下、胸背部及大腿內(nèi)側(cè)開口設(shè)計來改善服裝熱濕舒適性；文獻[7]從服裝面積因子出發(fā)，分析計算面積的直接法和間接法之間的差異，提出三種服裝面積因子測評方法。文獻[8]利用熱流密度測量儀測定人體部位的熱流密度，計算服裝局部熱阻和總熱阻；文獻[9]對比了串行、全局和并行計算方法，提出設(shè)計防護服時要特別注意關(guān)鍵部位的設(shè)計。以上服裝熱阻估計以測量儀器為主，這些設(shè)備估計精度往往取決于多個局部熱阻的測量，而且這些測量方法沒有考慮到風(fēng)速、人員行進速度的影響。而且在公共建筑環(huán)境中，人員服裝信息通過調(diào)查問卷方式獲得，受試者要多次填寫調(diào)查問卷，估計過程復(fù)雜。

隨著人工智能和機器視覺技術(shù)的迅速發(fā)展，各個領(lǐng)域逐漸用CCD等“軟傳感器”代替人眼視覺，并取得較好效果[10]，得到了廣泛應(yīng)用。由于計算機視覺技術(shù)可以實時獲取大量有效信息，而且易于集成到控制系統(tǒng)中，因此，在工業(yè)化生產(chǎn)過程中，人們逐漸將視覺技術(shù)廣泛用于智能化系統(tǒng)控制、測量等領(lǐng)域。文獻[11]利用艦體幾何結(jié)構(gòu)特征進行航空遙感影像的直線段檢測，結(jié)合聚類分析實現(xiàn)了艦船目標檢測。文獻[12]通過圖像檢測技術(shù)，對建筑空間圖像中人群密度和人員分布進行檢測，估計人員實時負荷，用于空調(diào)分級調(diào)控。文獻[13]提出了一種基于視頻圖像的人體體溫調(diào)節(jié)狀態(tài)識別框架，實現(xiàn)空調(diào)系統(tǒng)個性化熱舒適性控制。

圖像檢測技術(shù)為人員動態(tài)服裝熱阻的實時估計提供了新思路，因此提出采用CCD視覺傳感器代替問卷調(diào)查，搭建了基于圖像檢測技術(shù)的動態(tài)服裝熱阻測量系統(tǒng)。通過攝像頭采集圖像以及應(yīng)用圖像處理技術(shù)，減少人為操作，提高測量的準確性。同時減少了測量過程中的人為誤差，解除受試者繁重的調(diào)查工作。首先，采用計算機視覺技術(shù)，建立端到端的人員服裝檢測網(wǎng)絡(luò)模型，利用攝像頭采集的室內(nèi)圖像數(shù)據(jù)檢測人員著衣量；然后，通過查表映射法對室內(nèi)服裝熱阻進行初步估計，利用測量儀器測得風(fēng)速、行走速度對服裝熱阻修正，得到動態(tài)服裝熱阻估計結(jié)果。

1 系統(tǒng)結(jié)構(gòu)及原理

1.1 功能分析

在服裝熱阻估計過程中，受試者需要通過CCD相機的可視化分析和室內(nèi)環(huán)境數(shù)據(jù)的實時監(jiān)測，綜合估計動態(tài)環(huán)境中的服裝熱阻值，當(dāng)監(jiān)測到室內(nèi)人員時，算法能夠滿足系統(tǒng)的實時性要求，并通過可視化分析預(yù)測到服裝穿著，為動態(tài)服裝熱阻的估計提供依據(jù)。因此在整個服裝熱阻系統(tǒng)的設(shè)計中，需要滿足以下功能需求：1)算法的檢測精度;2)模型加載;3)環(huán)境數(shù)據(jù)采集;4)算法實時性。

1.2 系統(tǒng)架構(gòu)方法

基于服裝檢測模型的室內(nèi)人員服裝熱阻系統(tǒng)架構(gòu)原理圖如圖1所示，首先需要依據(jù)室內(nèi)空氣參數(shù)以及其他外部數(shù)據(jù)進行綜合分析，再使用服裝檢測模型對CCD相機采集的圖像進行特征提取，預(yù)測服裝熱阻，實現(xiàn)室內(nèi)人員服裝熱阻系統(tǒng)，將預(yù)測值與美國采暖、制冷與空調(diào)工程師學(xué)會(ASHRAE)制定的不同服裝搭配熱阻分布情況進行對比，分析數(shù)據(jù)之間的關(guān)系。實驗中用到的設(shè)備如表1所示。

圖1 系統(tǒng)架構(gòu)原理圖

表1 測量儀器

室內(nèi)人員服裝熱阻估計系統(tǒng)方法如圖2所示，是根據(jù)國內(nèi)/國外標準中關(guān)于服裝熱阻提供的數(shù)據(jù)信息，由單獨的深度學(xué)習(xí)組合模型進行訓(xùn)練和預(yù)測，其主要功能包括：數(shù)據(jù)采集和標注、網(wǎng)絡(luò)模型訓(xùn)練和模型預(yù)測和動態(tài)服裝熱阻(CLO)估計三部分。

圖2 CCD動態(tài)服裝熱阻系統(tǒng)

在數(shù)據(jù)采集與標注中，使用麻省理工計算機科學(xué)和人工智能實驗室研發(fā)的圖像標注工具labelme進行樣本標注。如圖3所示為標注的圖片工具和標注的掩模實例。標簽類別分別為：外套、短袖、無袖背心、長袖、裙子、長褲和短褲。

圖3 數(shù)據(jù)標注

2 系統(tǒng)硬件設(shè)計

該系統(tǒng)設(shè)計應(yīng)用EAIDK310開發(fā)板進行模型硬件部署，基于嵌入式深度學(xué)習(xí)框架Tengine進行編寫，該框架支持tensorflow模型文件，部署流程如圖4所示。

圖4 部署流程圖

基于EAIDK310的硬件部署運行流程圖描述如下。

1)使用tensorflow深度學(xué)習(xí)框架語言訓(xùn)練網(wǎng)絡(luò)模型，并保存其模型結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)，文件格式為.pth、.pt或.pkl格式；模型優(yōu)化算法選擇Adam。設(shè)當(dāng)前收斂過程中迭代次數(shù)為t，Adam優(yōu)化算法如表2所示。

表2 Adam運算表

其中：ε為步長；ρ1和ρ2為矩估計的指數(shù)衰減率，在[0,1)內(nèi)取值；初始化一階和二階矩變量s=0，r=0，初始化時間步t=0；δ取值10-8防止分母為0，發(fā)生異常;

2)進行深度學(xué)習(xí)模型文件格式轉(zhuǎn)換，將上一步驟所得模型文件轉(zhuǎn)換為ONNX文件格式。ONNX(Open Neural Network Exchange)用于表示深度學(xué)習(xí)模型的標準，使模型在不同框架之間進行轉(zhuǎn)移；

3)運行官方提供Tengine模型轉(zhuǎn)換工具將ONNX模型文件轉(zhuǎn)換為tmfile文件格式；

4)完成模型文件轉(zhuǎn)換之后，在EAIDK310開發(fā)板燒錄Linux系統(tǒng)，并配置相關(guān)程序開發(fā)環(huán)境。運用OpenCV對輸入圖片做圖像預(yù)處理，運行Tengine硬件加速庫調(diào)用深度學(xué)習(xí)模型文件(tmfile文件)，得到網(wǎng)絡(luò)模型運行結(jié)果；

5)最后根據(jù)模型運行結(jié)果數(shù)據(jù)，在服裝類別檢測任務(wù)中檢測著裝類別并進行邊界框回歸操作。

3 系統(tǒng)軟件設(shè)計

3.1 改進的Mask RCNN網(wǎng)絡(luò)設(shè)計

FPN[15]可以輸出每個階段的神經(jīng)網(wǎng)絡(luò)層級特征圖用于預(yù)測，但是FPN網(wǎng)絡(luò)的池化下采樣操作會造成圖像分辨率降低，丟失服裝的部分信息?？斩淳矸e[16]可以通過在標準卷積核中添加空洞，即在空洞位置添加0，達到擴大卷積核尺度，增大感受野的目的，且不增加參數(shù)運算量。因此，構(gòu)建了一個AFPN模塊，利用C1～C4階段的不同空洞率的空洞卷積核對不同尺寸特征進行重采樣，揭示圖像的上下文信息。在空洞卷積尾部串聯(lián)空間金字塔結(jié)構(gòu)[17]，將不同大小的特征圖映射為相同維度的空間信息，然后融入圖像表示中，以更好地完成特征提取任務(wù)。

空洞卷積定義為:

(1)

式中,w表示卷積核；K表示卷積核尺寸；w[k]表示大小為k的卷積核；a[i]表示第i個輸入值；*l表示空洞卷積運算；l表示空洞率，描述卷積核處理數(shù)據(jù)時采樣的步幅，通過調(diào)整l即可調(diào)整感受野大小。

不同空洞率下感受野的變化如圖5所示。圖中5(a)表示標準的3×3卷積，感受野為3×3；圖5(b)表示空洞率為2的3×3擴張卷積，感受野為7×7；圖5(c)表示空洞率為4的3×3擴張卷積，其感受野可達15×15。

圖5 不同空洞率下感受野的變化

RPN網(wǎng)絡(luò)用于生成候選區(qū)域，回歸候選框的位置坐標，區(qū)分出前景與背景，并輸出得分信息。特征圖經(jīng)過基于ResNet-101的AFPN網(wǎng)絡(luò)提取后，通過共享卷積操作，得到統(tǒng)一維度的特征圖[18]。特征圖中的每一個錨點，依據(jù)像素點按長寬比為1：1、1：2、2：1生成錨框，框的維度大小分別設(shè)置為[32，32]、[64，64]、[128，128]、[256，256]、[512，512]。因此，每個像素點對應(yīng)15個錨框，錨框的坐標與原圖對應(yīng)。然后，RPN網(wǎng)絡(luò)輸出的候選框經(jīng)過ROIAlign處理，得到固定大小尺寸的候選目標特征圖，ROI Align使用雙線性插值的方式進行池化操作，解決傳統(tǒng)ROI池化中兩次取整操作導(dǎo)致區(qū)域不匹配的問題。最后使用FCN全連接網(wǎng)絡(luò)對候選目標特征圖進行服裝分類和邊界框預(yù)測，mask分支用于檢測的目標生成掩膜。服裝檢測網(wǎng)絡(luò)的總損失函數(shù)為式(2)：

L=Lcls+Lbox+Lmask

(2)

(1-pi)(1-pi*)]

(3)

(4)

(5)

其中:R是smooth函數(shù)，如式(6)所示。

(6)

式中，i表示錨框索引，pi是候選框包含服裝的預(yù)測概率，pi*為真值標簽，ti為預(yù)測邊界框的偏移量，ti*為錨框相對于真值框的實際偏移量，Ncls為總的錨點框的數(shù)量，Nreg是特征圖的大小。Lcls和Lreg為分類和回歸的損失函數(shù)。mask分支的損失Lmask采用式(5)平均二進制交叉熵損失，cls_k表示類別數(shù)。

圖6 服裝檢測網(wǎng)絡(luò)結(jié)構(gòu)圖

服裝檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。其中，C1～C5表示ResNet101特征提取的五個階段，每個階段特征圖尺寸分別為256×256、128×128、64×64、32×32、16×16；P2～P4表示1×1卷積和2倍上采樣加和融合后的特征圖，P5是在C5通過1×1卷積改變通道數(shù)的特征信息，P6是在P5上用步長為2的最大池化下采樣得到的結(jié)果[13]。在圖6中，使用AFPN會產(chǎn)生多個特征圖[P2，P3，P4，P5，P6]，需要從多個特征圖中確定一個特征圖用來選定候選區(qū)域(ROI)，這里ROI的選擇依據(jù)以下式(7)：

(7)

其中:w，h代表選定候選區(qū)域的寬和高，224表示預(yù)訓(xùn)練ImageNet圖片的大小，即224×224，k表示面積為w×h的ROI所應(yīng)該在的層級。這樣做會使大尺寸的候選區(qū)域從低層特征圖提取，有利于大目標檢測，小尺寸的候選區(qū)域從高層特征圖提取，有利于檢測小目標。修正層用于候選區(qū)域固定大小尺寸，然后通過連接函數(shù)得到候選目標特征圖，送入到預(yù)測層進行分類、回歸和mask預(yù)測。

在網(wǎng)絡(luò)模型訓(xùn)練階段，使用改進的Mask RCNN網(wǎng)絡(luò)架構(gòu)進行服裝檢測，將訓(xùn)練的模型部署在硬件中，以進行室內(nèi)人員服裝類別的實時檢測。

3.2 查表映射法

針對改進的Mask RCNN網(wǎng)絡(luò)模型識別的服裝類別，并結(jié)合ASHRAE 55[19]和ISO 9920[20]標準，如表3所示這些單件服裝的服裝熱阻值基本情況。首先，通過服裝識別網(wǎng)絡(luò)模型得到人員著裝的分類結(jié)果；然后結(jié)合表3，通過查表映射的方式計算當(dāng)前人員的服裝熱阻。

表3 單件服裝熱阻值Iclu(clo)

成套衣服的服裝熱阻通過以下式(8)計算：

(8)

其中:Iclu,i表示第i件單件服裝的熱阻值，單位為clo(m2·℃/W)，Icl表示成套服裝的靜態(tài)熱阻值，單位為clo(m2·℃/W)。

3.3 修正過程實現(xiàn)

服裝熱阻修正的具體操作如圖7所示。首先，開啟系統(tǒng)后，通過服裝檢測模型識別服裝類別，查表映射計算得到靜態(tài)熱阻Icl；其次，通過風(fēng)速測量儀和便攜式可穿戴設(shè)備Fitbit對人員附近風(fēng)速var和行進速度vw進行測量，修正靜態(tài)熱阻參數(shù)；最后，得到動態(tài)環(huán)境的服裝熱阻值(CLO)。

針對夏季工況人員不同的穿著搭配，參數(shù)修正存在差異。這里主要研究輕質(zhì)服裝(0 clo

其中輕質(zhì)服裝的動態(tài)熱阻估計，采用文獻[21]推導(dǎo)的式(9)進行服裝熱阻修正：

IT,r=Icl·exp[-0.224·(var-0.15)+0.023 4·

(9)

式中,IT,r代表修正后的動態(tài)服裝熱阻，Icl代表靜態(tài)熱阻，var代表人附近的空氣流速，vw代表人行走的速度。var為0.15～4 m/s，vw為0～1.2 m/s。

對于服裝熱阻(Icl)大于0.6且小于1.4的正常工作服，依據(jù)ISO 9920標準要求[20]，修正后的服裝總熱阻應(yīng)按下式計算：

IT,r=Icl·exp[-0.281·(var-0.15)+

(10)

式中,IT,r代表修正后的動態(tài)服裝熱阻，Icl代表靜態(tài)熱阻，var代表人附近的空氣流速，vw代表人行走的速度。var為0.15～3.5 m/s，vw為0～1.2 m/s。

圖7 服裝熱阻修正流程圖

4 應(yīng)用實例及結(jié)果分析

選用開源NTU-RGB+B120[22]數(shù)據(jù)集和構(gòu)建西安某高校辦公室內(nèi)采集的部分數(shù)據(jù)作為訓(xùn)練樣本，從NTU-RGB+D 120的幀序列和自建數(shù)據(jù)中隨機選擇服裝搭配存在差異的圖片進行數(shù)據(jù)標注，然后用數(shù)據(jù)增強改變圖片亮度、加噪聲、加隨機點、平移、翻轉(zhuǎn)等方式擴充訓(xùn)練樣本數(shù)量，增加訓(xùn)練樣本多樣性，以避免過擬合，同時提升模型性能。最終構(gòu)建5380張圖片用于模型訓(xùn)練，為了測試模型性能從原數(shù)據(jù)集選取圖片進行測試。

4.1 改進的Mask RCNN網(wǎng)絡(luò)實驗結(jié)果

改進的Mask RCNN服裝檢測模型訓(xùn)練和測試的服務(wù)器配置如下：Ubuntu 16.04，兩塊GPU，GPU型號2080Ti以及12G顯存，環(huán)境配置為CUDA10.0 +anaconda3 +python3 + tensorflow-gpu 1.13.1。網(wǎng)絡(luò)初始訓(xùn)練學(xué)習(xí)率為1e-3，batch size=2，epochs=1 000。

圖8 服裝檢測和靜態(tài)熱阻預(yù)測結(jié)果

服裝檢測模型在訓(xùn)練階段需計算預(yù)測結(jié)果和標注值間的損失，并進行反向傳播優(yōu)化模型參數(shù)。改進Mask RCNN模型人員靜態(tài)服裝熱阻在線估計的四組結(jié)果如圖8所示，其中圖片主要來自實驗室場景，虛線框和其中的色塊是檢測和分割的結(jié)果，虛線框上的類別名稱是分類的結(jié)果。每類服裝的識別精度結(jié)果如表4所示。由表4可知，改進Mask RCNN網(wǎng)絡(luò)模型能提高服裝分類識別精度，證明了特征提取階段的AFCN模塊中融入空洞卷積操作的有效性。

表4 服裝識別準確度 %

算法的實時性進行對比如表5所示，改進Mask RCNN網(wǎng)絡(luò)和原始方法在單幀圖像檢測時間一樣。雖然改進Mask RCNN服裝檢測模型的精度較高，但實時性方面沒有提升。

表5 算法實時性對比

4.2 動態(tài)服裝熱阻估計結(jié)果

為了估計動態(tài)服裝熱阻，在實際環(huán)境進行了實驗，四名人員穿著分別與圖8相對應(yīng)，測量人員周圍的空氣流速和人員移動速度，估算并得到的動態(tài)熱阻值如表6所示。

表6 動態(tài)熱阻和靜態(tài)熱阻結(jié)果對比

由表6分析可知，隨著人員著衣量的增多，動態(tài)熱阻和靜態(tài)熱阻之間的偏差值△I逐漸增大，說明在動態(tài)環(huán)境中，需要考慮風(fēng)速、人員行進速度對服裝熱阻估計的影響，尤其在正常工作服(0.6 clo

5 結(jié)束語

采用CCD相機替代問卷調(diào)查，結(jié)合風(fēng)速測量儀和Fitbit等設(shè)備，應(yīng)用EAIDK310開發(fā)板進行模型硬件部署，實現(xiàn)了CCD動態(tài)服裝熱阻系統(tǒng)設(shè)計。運用圖像檢測技術(shù)識別人員穿著信息，應(yīng)用查表映射計算得到服裝熱阻的初步估計，然后，利用測量儀器測得風(fēng)速、行走速度對服裝熱阻修正，得到動態(tài)服裝熱阻估計結(jié)果。

在服裝熱阻估計過程中，改進Mask RCNN網(wǎng)絡(luò)識別精度雖高，但是實時性較差，而且在硬件部署方面，由于長時間運行，芯片溫度比較高。因此，后期工作要提高網(wǎng)絡(luò)實時性，使模型更輕量化，方便硬件部署，避免系統(tǒng)過熱。