王茹 ，胡蕓浩 ?，黃煒 ，趙俊浩

（1.西安建筑科技大學(xué) 土木工程學(xué)院，陜西 西安 710055；2.結(jié)構(gòu)工程與抗震教育部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710055）

建筑領(lǐng)域正面臨著信息數(shù)字化以及全生命期碳排放管理等改革要求，其要求行業(yè)內(nèi)具有高水平的協(xié)調(diào)能力來完成項(xiàng)目各階段的數(shù)字化交底驗(yàn)收，形成全生命期信息流閉環(huán)，而建筑信息模型（Building Information Modeling，BIM）模型在其中起著非常重要的支撐作用.從設(shè)計(jì)質(zhì)量檢查、沖突檢測(cè)、成本進(jìn)度分析到更深入的建筑合規(guī)性檢查、結(jié)構(gòu)和能源模型分析［1-3］，這些過程中需減少信息歧義來保證BIM 信息無縫交換.IFC（Industry Foundation Classes）作為BIM 標(biāo)準(zhǔn)范式，其語義體系的準(zhǔn)確性對(duì)于建筑全生命期管理具有決定性作用，因此IFC 構(gòu)件的分類識(shí)別有著極其重要的意義.近年來，許多學(xué)者對(duì)IFC 構(gòu)件分類識(shí)別的研究也取得了階段性的成果.

Qin 等［4］首先將深度學(xué)習(xí)技術(shù)應(yīng)用于三維CAD模型分類，但前期需要人工提供低層特征作為神經(jīng)網(wǎng)絡(luò)的輸入，程序煩瑣.審查過程需要BIM 模型提供豐富語義屬性，而分類識(shí)別問題進(jìn)一步完成BIM 語義豐富這一過程，因此Bloch 等［5-6］首先探索并使用機(jī)器學(xué)習(xí)算法來解決房間分類上的語義豐富問題，并在后續(xù)的研究中利用二階段聚類來完成語義豐富的層次分類，表明通過分類識(shí)別能解決BIM 語義豐富相關(guān)問題.隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，Su 等［7-8］提出了多視圖卷積神經(jīng)網(wǎng)絡(luò)模型（MVCNN），實(shí)驗(yàn)表明MVCNN 在分類檢索性能上都優(yōu)于以往的基于三維數(shù)據(jù)的方法，并指出多視圖方法的優(yōu)異表現(xiàn)主要得益于龐大的二維圖像數(shù)據(jù)集，這為自動(dòng)化識(shí)別構(gòu)件提供了方法上的依據(jù).但該模型的局限性在于無法高效精確地融合多視圖的特征信息.Koo 等［9-10］提出用深度學(xué)習(xí)來應(yīng)對(duì)IFC 構(gòu)件分類的差異問題，并能夠以BIM 語義豐富的形式來填補(bǔ)BIM 模型和用戶所需信息之間的空缺，在后續(xù)的研究中使用多種深度學(xué)習(xí)方法進(jìn)行比較，最后得出MVCNN 在門和墻子類型分類識(shí)別任務(wù)中表現(xiàn)良好.該研究多以門窗等外形差異大的IFC 構(gòu)件作為研究對(duì)象，未能解決實(shí)際項(xiàng)目中構(gòu)件形式復(fù)雜、區(qū)分度小的問題.

為高效精確地解決融合多視圖特征信息和相似復(fù)雜構(gòu)件分類識(shí)別問題，本文提出一種基于改進(jìn)MVCNN 模型，針對(duì)MVCNN 特征融合的局限性，設(shè)計(jì)了LSTM_ATT 模塊，并將建筑領(lǐng)域20 個(gè)主要IFC構(gòu)件作為研究對(duì)象來進(jìn)行分類識(shí)別并完成模型審查.實(shí)驗(yàn)結(jié)果驗(yàn)證了改進(jìn)MVCNN 模型的高效性和準(zhǔn)確性.在實(shí)際審查過程中對(duì)IFC 構(gòu)件自動(dòng)化分類識(shí)別具有重要的工程應(yīng)用價(jià)值.

1 MVCNN 模型

MVCNN 作為一種針對(duì)三維對(duì)象的分類識(shí)別模型，其輸入為三維數(shù)據(jù)各個(gè)視角所得到的二維圖像，不同于以往將三維對(duì)象轉(zhuǎn)換成體素［11］或多邊形網(wǎng)格［12］的模型.MVCNN 模型能運(yùn)用經(jīng)典、成熟的二維圖像卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而得到一個(gè)單一且緊湊的形狀描述符，在分類檢索性能上明顯優(yōu)于以體素或多邊形網(wǎng)格為輸入的模型［13］，因此，本文在MVCNN 模型框架下進(jìn)行優(yōu)化研究.

MVCNN 模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，主要由3 部分組成，包括多視圖獨(dú)自參與的CNN1 層、對(duì)多視圖圖像進(jìn)行最大池化的特征融合層、CNN2 全連接層，其中會(huì)獲得一個(gè)緊湊的形狀描述符，通過訓(xùn)練好的20 個(gè)分類器輸出預(yù)測(cè)值.第1 部分的所有視圖數(shù)據(jù)，共享CNN1 里面的參數(shù)，并提取每一幅視圖的特征信息輸出到下一層.在特征融合層中對(duì)輸入各視圖數(shù)據(jù)進(jìn)行最大池化操作，不同于傳統(tǒng)的最大池化操作，該網(wǎng)絡(luò)針對(duì)12 個(gè)視角圖像中縱向同一個(gè)位置進(jìn)行最大池化.研究表明，采用該網(wǎng)絡(luò)對(duì)多視圖的處理比傳統(tǒng)的抖動(dòng)處理有著更好的性能，能更好地學(xué)習(xí)旋轉(zhuǎn)或平移等轉(zhuǎn)換的不變形，以獲得對(duì)象的更多信息用于預(yù)測(cè).網(wǎng)絡(luò)結(jié)構(gòu)使用2D 圖像作為輸入，可以充分利用圖像描述符和海量圖像數(shù)據(jù)庫的優(yōu)勢(shì)來預(yù)訓(xùn)練CNN 框架［14-15］.由于圖像是普遍存在的并且有著豐富的數(shù)據(jù)集作為支撐，可以學(xué)習(xí)大量的二維圖像分類的一般特征，然后對(duì)三維模型各視圖的投影細(xì)節(jié)進(jìn)行微調(diào)，從而獲得更好的分類、檢索性能.

圖1 MVCNN模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 MVCNN model network structure

但MVCNN 結(jié)構(gòu)中特征融合層在處理多視圖圖像時(shí)僅進(jìn)行最大池化處理，使得三維對(duì)象各視圖的圖像數(shù)據(jù)在融合過程中丟失，因此應(yīng)用到建筑領(lǐng)域，對(duì)建筑領(lǐng)域各相似構(gòu)件之間分類識(shí)別效果不理想.

2 基于改進(jìn)MVCNN 的BIM 構(gòu)件分類識(shí)別審查方法

本文引入LSTM 結(jié)構(gòu)以及注意力機(jī)制原理，設(shè)計(jì)了LSTM_ATT 模塊，來進(jìn)行多視圖特征信息融合處理，形成改進(jìn)的MVCNN模型.

2.1 LSTM 結(jié)構(gòu)原理

LSTM 可利用多視圖圖像的空間相關(guān)性，對(duì)其特征進(jìn)行精確捕捉，即通過其內(nèi)含的細(xì)胞結(jié)構(gòu)中的門控狀態(tài)來控制傳輸狀態(tài)，達(dá)到精確捕捉序列特征的效果.

LSTM 是循環(huán)神經(jīng)網(wǎng)絡(luò)的變體，其核心在于LSTM 有更好的長時(shí)依賴性，通過該網(wǎng)絡(luò)能使較早時(shí)間的信息傳輸?shù)綍r(shí)間序列靠后的細(xì)胞結(jié)構(gòu)中，這克服了短時(shí)記憶的影響.原因在于LSTM 有通過精心設(shè)計(jì)的“門”結(jié)構(gòu)以及細(xì)胞狀態(tài)，來去除或增加信息.LSTM 結(jié)構(gòu)原理主要分3 步［16］，分別對(duì)應(yīng)不同的“門”結(jié)構(gòu)，第1 步，決定會(huì)從細(xì)胞狀態(tài)中丟棄什么信息，即遺忘門；第2 步，確定什么樣的新信息被存放在細(xì)胞狀態(tài)中，即輸入門；第3 步，確定輸出什么值，即輸出門.通過門的控制傳輸狀態(tài)，從而對(duì)長序列的處理達(dá)到更好的效果，并解決梯度消失等問題，特別適合處理多視圖空間相關(guān)圖像數(shù)據(jù)的特征提取.LSTM 模型細(xì)胞結(jié)構(gòu)如圖2所示.

圖2 LSTM模型細(xì)胞結(jié)構(gòu)Fig.2 LSTM model cell structure

式（1）～式（6）代表各門結(jié)構(gòu)的計(jì)算過程.式中：f、i、c、o 分別表示遺忘門、輸入門、細(xì)胞狀態(tài)、輸出門；W和b分別為對(duì)應(yīng)的權(quán)重系數(shù)和偏移量.整體運(yùn)算大致可分為4 步：①通過式（1）～式（3）計(jì)算單個(gè)LSTM 細(xì)胞內(nèi)輸入門以及遺忘門的輸出；②式（4）更新舊細(xì)胞的狀態(tài)，過程中遺忘由ft所確定的遺忘信息，然后更新之前確定的需要存放在記憶單元中的部分；③式（5）、式（6）結(jié)合輸出門將內(nèi)部狀態(tài)的信息傳遞給外部狀態(tài)ht；④通過多個(gè)LSTM 細(xì)胞進(jìn)行迭代計(jì)算，使用優(yōu)化梯度算法更新權(quán)重.

2.2 注意力機(jī)制

注意力機(jī)制往往通過模仿人類對(duì)眼前事物感知時(shí)的主觀性，從而在模型訓(xùn)練過程中按一定的主觀性安放權(quán)重.通過在訓(xùn)練過程中把更多的注意力放在目標(biāo)區(qū)域上而忽略無關(guān)信息，來達(dá)到提高效率的效果.在特征融合過程中引入注意力機(jī)制能更好地識(shí)別重要且易區(qū)分的視圖，在特征融合過程中得到更具辨識(shí)度的形狀描述符.

注意力機(jī)制原理圖如圖3 所示，其最核心內(nèi)容是處理權(quán)重參數(shù)，要從序列中學(xué)習(xí)到每一個(gè)元素的重要程度，然后按重要程度將元素合并.為了實(shí)現(xiàn)注意力機(jī)制，我們將輸入的原始數(shù)據(jù)看作Key、Value鍵值對(duì)應(yīng)形式，根據(jù)給定的任務(wù)目標(biāo)中的查詢值Query計(jì)算Key 與Query 之間的相似系數(shù)，可以得到Value值對(duì)應(yīng)的權(quán)重系數(shù)，之后再用權(quán)重系數(shù)對(duì)Value值進(jìn)行加權(quán)求和［17］，即可得到輸出.注意力權(quán)重系數(shù)W的計(jì)算公式見式（7）.

圖3 注意力機(jī)制原理圖Fig.3 Schematic diagram of attention mechanism

將注意力權(quán)重系數(shù)W與Value 做加權(quán)求和操作得到融合了注意力的輸出：

2.3 MVCNN改進(jìn)方法

由于MVCNN 結(jié)構(gòu)對(duì)多視角圖像進(jìn)行特征融合過程中，分別對(duì)每個(gè)視圖進(jìn)行特征提取，并針對(duì)多視圖在縱向再進(jìn)行最大池化操作，過程會(huì)丟失分類識(shí)別對(duì)象的部分信息，導(dǎo)致效果不理想.其中最主要體現(xiàn)在對(duì)外觀存在細(xì)微差別的構(gòu)件分類識(shí)別不理想，這是由于這部分特征在融合過程中使用最大化操作，使得多視圖特征直接進(jìn)行了均化處理.針對(duì)此類問題，提出LSTM_ATT 模塊.結(jié)合多視圖數(shù)據(jù)在空間上的相關(guān)性，利用LSTM能對(duì)多視圖的信息進(jìn)行細(xì)胞運(yùn)算，從而準(zhǔn)確地處理多視圖的特征數(shù)據(jù)，得到更完備的特征，針對(duì)處理過后的數(shù)據(jù)再進(jìn)入注意力機(jī)制板塊進(jìn)行運(yùn)算，通過學(xué)習(xí)后的權(quán)重?cái)?shù)據(jù)來進(jìn)行多視圖的特征融合，得到更具完備性和緊湊性的融合特征，從而提高分類識(shí)別的準(zhǔn)確性.

改進(jìn)MVCNN 模型結(jié)構(gòu)圖如圖4 所示.該改進(jìn)模型在經(jīng)過第1 個(gè)卷積網(wǎng)絡(luò)后摒棄了之前簡(jiǎn)單的最大池化處理方式，采用聯(lián)結(jié)的LSTM_ATT 模塊.網(wǎng)絡(luò)采用的CNN 架構(gòu)為AlexNet 網(wǎng)絡(luò)，研究對(duì)象的固定12視圖作為輸入，并在AlexNet 網(wǎng)絡(luò)中的第5 個(gè)卷積層后面進(jìn)行聚合，以便最優(yōu)化地執(zhí)行分類與檢索的任務(wù).其中每一個(gè)視圖的數(shù)據(jù)經(jīng)過CNN1 卷積結(jié)構(gòu)后，排成一個(gè)序列進(jìn)入LSTM結(jié)構(gòu)，學(xué)習(xí)該序列的時(shí)序特征.最后通過注意力機(jī)制自學(xué)習(xí)相應(yīng)權(quán)重對(duì)多視圖數(shù)據(jù)進(jìn)行特征融合.其中LSTM_ATT 采用圖5 所示結(jié)構(gòu)，LSTM_ATT 模塊的輸入為同一物體的多個(gè)單視圖特征（v1，v2，…，v12）經(jīng)過LSTM 細(xì)胞結(jié)構(gòu)得到新的特征（w1，w2，…，w12），得到新的特征作為輸入，通過注意力機(jī)制中的超參數(shù)訓(xùn)練計(jì)算注意力分?jǐn)?shù)，最后加權(quán)求和得到融合了注意力的輸出新特征A=（a1，a2，…，a12）.這種對(duì)多視圖進(jìn)行處理融合的方式有助于提取多視圖里易于混淆的特征因子，對(duì)不同視圖賦予不同的注意力分?jǐn)?shù)，從而加強(qiáng)重要特征視圖的影響，達(dá)到精確識(shí)別建筑IFC 構(gòu)件中相似構(gòu)件的目的.

圖5 LSTM_ATT原理圖Fig.5 Schematic diagram of LSTM_ATT

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)準(zhǔn)備

使用改進(jìn)的MVCNN 模型在IFCNet 數(shù)據(jù)集［18］上進(jìn)行實(shí)驗(yàn)，并與原MVCNN模型在該數(shù)據(jù)集中的結(jié)果進(jìn)行對(duì)比分析.IFCNet 數(shù)據(jù)集提供了19 613 個(gè)獨(dú)立的IFC 對(duì)象數(shù)據(jù)集，其中集合了建筑領(lǐng)域中經(jīng)常涉及的子類構(gòu)件.構(gòu)件的語義信息從1 000多個(gè)BIM 模型中以IfcpropertySets 的形式被盡可能地保存下來.本實(shí)驗(yàn)采用其中的IFCNetCore 子集，如圖6 所示，其中提供了20 個(gè)類型共計(jì)7 930 個(gè)構(gòu)件.針對(duì)這些數(shù)據(jù)在各自構(gòu)件類型內(nèi)按7∶3 劃分為訓(xùn)練集和測(cè)試集用于模型訓(xùn)練以及測(cè)試，每張圖像輸入為224 像素×224像素，劃分情況如表1所示.

圖6 IFCNetCore數(shù)據(jù)庫包含的20個(gè)構(gòu)件類型Fig.6 The IFCNetCore database contains 20 component type classes

相關(guān)的實(shí)驗(yàn)環(huán)境、設(shè)備及軟件配置如下：操作系統(tǒng)為WIN11，GPU 顯卡是NVIDIA Tesla P100 PCIE 16 GB，處理器為AMD Ryzen 5 5600 H，CUDA 使用cuda11.2-win，環(huán)境為python3.6，pytorch1.10.2.

改進(jìn)MVCNN 模型使用在ImageNet 數(shù)據(jù)庫上的預(yù)訓(xùn)練權(quán)重，采用GPU 進(jìn)行加速，使用Adam 作為優(yōu)化器，其初始學(xué)習(xí)率為0.000 1，學(xué)習(xí)率衰減系數(shù)為0.1，batch size 為8，模型訓(xùn)練過程訓(xùn)練輪數(shù)（epoch）設(shè)為100，一共進(jìn)行69 400 次迭代.通過在整個(gè)訓(xùn)練集上對(duì)模型進(jìn)行訓(xùn)練，最后在測(cè)試集上對(duì)模型進(jìn)行評(píng)估.

3.2 實(shí)驗(yàn)結(jié)果對(duì)比

如圖7所示，模型在20個(gè)epoch前驗(yàn)證損失下降明顯，并在30 個(gè)epoch 左右逐漸收斂.在原模型中引入LSTM_ATT 模塊，模型最終收斂損失值為0.469，相比原模型最終收斂損失值為0.785，下降了40.3%，由此可知，模型的性能得到了大幅提升.

圖7 改進(jìn)后模型驗(yàn)證損失曲線對(duì)比Fig.7 Comparison of loss curves of improved model

本文采用準(zhǔn)確率、精確率、召回率、F1值作為評(píng)價(jià)指標(biāo)來衡量模型分類識(shí)別性能的好壞，并使用混淆矩陣來分析模型的分類特點(diǎn).在同一測(cè)試集中MVCNN模型與改進(jìn)后的MVCNN模型實(shí)驗(yàn)對(duì)比結(jié)果如表2 所示，改進(jìn)前MVCNN 模型總體準(zhǔn)確率為78.81%，改進(jìn)MVCNN 模型則為88.27%，提升了9.46%.采用精確率和召回率并結(jié)合F1值能更好地評(píng)價(jià)各類構(gòu)件的分類性能，其中改進(jìn)MVCNN 模型各評(píng)價(jià)指標(biāo)分別為87.67%、86.36%、86.72%相較于原MVCNN 模型分別提升9.11%、12.53%、11.47%.因此，針對(duì)各IFC 實(shí)體構(gòu)件，改進(jìn)的MVCNN 分類識(shí)別性能有顯著提升.

表2 測(cè)試集各模型指標(biāo)對(duì)比Tab.2 Comparison of model indicators in test set

圖8 為訓(xùn)練完備的模型在驗(yàn)證集上各IFC 構(gòu)件準(zhǔn)確率對(duì)比情況，可知燈具類（IfcLamp，Lamp）以及暖氣片類（IfcSpaceHeater，SH）識(shí)別準(zhǔn)確率低于平均準(zhǔn)確率，其原因在于IFCNetCore 相應(yīng)數(shù)據(jù)集較少，用于學(xué)習(xí)訓(xùn)練的資源不足.樓梯（IfcStair，Stair）的準(zhǔn)確率為100%，雖然其和SH 以及Lamp 一樣存在數(shù)據(jù)集樣本少的情況，但由于樓梯與該數(shù)據(jù)集中其他IFC構(gòu)件的幾何特征差別大，因此分類器更容易對(duì)其進(jìn)行分類識(shí)別.其中家具類（IfcFurniture，F(xiàn)urn）分類識(shí)別準(zhǔn)確率提升較為明顯，表明改進(jìn)的MVCNN模型對(duì)于多元圖像記憶能夠拾取更細(xì)節(jié)的圖像數(shù)據(jù)，有更好的分類效果.

圖8 各類構(gòu)件準(zhǔn)確率情況對(duì)比Fig.8 Comparison of accuracy of various components

混淆矩陣可以更好地獲得分類的細(xì)節(jié)信息，有助于找出錯(cuò)誤分類的可能原因.之前錯(cuò)誤分類為閥門類（Ifc-Valve，Valve）和Furn的衛(wèi)生終端（IfcSanitaryTerminal，ST）被正確分類，使準(zhǔn)確率顯著改善，具體如圖9所示.在分類過程中風(fēng)管管段類（IfcCableCarrierSegment，CCS）經(jīng)常被錯(cuò)誤分類到水管管段類（IfcPipeSegment，PS），為原MVCNN網(wǎng)絡(luò)在檢測(cè)幾何細(xì)微差別方面的局限性提供了有力的證據(jù).最難進(jìn)行分類的是這類外觀只存在細(xì)微差別的構(gòu)件，實(shí)驗(yàn)結(jié)果顯示本文模型對(duì)管段的平均分類準(zhǔn)確率達(dá)到87.1%，提升了12.2%.表明采用改進(jìn)的MVCNN模型可以有效解決相似特征處理識(shí)別問題，尤其對(duì)各視圖中存在相似視圖的構(gòu)件有著更好的區(qū)分效果，改進(jìn)的MVCNN 模型能捕捉到IFC構(gòu)件的細(xì)節(jié)以便區(qū)分相似圖形.

圖9 模型混淆矩陣對(duì)比Fig.9 Comparison of confusion matrix of each mode

4 結(jié)論

針對(duì)以往MVCNN 直接應(yīng)用于IFC 構(gòu)件識(shí)別分類過程中融合特征的局限性等問題，提出一種改進(jìn)MVCNN 模型進(jìn)行建筑領(lǐng)域IFC 構(gòu)件的分類識(shí)別，主要結(jié)論如下：

1）采用pytorch 和python 構(gòu)建了一個(gè)IFC 構(gòu)件分類識(shí)別改進(jìn)MVCNN 模型，模型驗(yàn)證損失曲線較平穩(wěn)，具有較高的準(zhǔn)確率.

2）針對(duì)多視圖卷積神經(jīng)網(wǎng)絡(luò)特征融合的局限性，用LSTM_ATT 模塊取代原最大池化，進(jìn)而融合處理多視圖特征信息，有效地提取更具辨識(shí)度的3D 形狀描述符，實(shí)現(xiàn)對(duì)建筑領(lǐng)域20 個(gè)主要IFC 構(gòu)件的分類識(shí)別.

3）同傳統(tǒng)MVCNN 模型相比，改進(jìn)的MVCNN 模型在多視圖的處理融合方面有著更好的表現(xiàn)，能獲得更多的有效信息.用于建筑領(lǐng)域不易區(qū)分的IFC構(gòu)件分類識(shí)別過程中，改進(jìn)模型有著較突出的性能，實(shí)現(xiàn)了IFC相似構(gòu)件之間的精確識(shí)別.

在未來的研究中，考慮建立適用于國內(nèi)IFC 構(gòu)件應(yīng)用的數(shù)據(jù)庫，加深數(shù)據(jù)集的深度以訓(xùn)練模型，同時(shí)結(jié)合建筑領(lǐng)域相關(guān)語義信息和建筑主體之間的底層關(guān)系來輔助建筑領(lǐng)域自動(dòng)化合規(guī)性檢查.