薛凌峰，宋 煒，鮑建騰，焦 野，戚榮志

（1.江蘇省水旱災(zāi)害防御調(diào)度指揮中心，江蘇 南京 210029；2.河海大學(xué)計(jì)算機(jī)與軟件學(xué)院，江蘇 南京 211100）

隨著智慧水利工作的推進(jìn)，國內(nèi)各級水利防汛視頻監(jiān)控系統(tǒng)相繼建成［1-3］，可以更及時、便捷地獲得水利影像數(shù)據(jù)，有助于更好開展水利監(jiān)管工作。其中，水閘啟閉狀態(tài)監(jiān)控是防汛調(diào)度工作中的一項(xiàng)重要內(nèi)容，應(yīng)用水閘場景圖像自動識別技術(shù)輔助或代替人工監(jiān)管，可以提高異常情況監(jiān)測的實(shí)時性［4］。但不同類型水閘的啟閉狀態(tài)判斷依據(jù)相似而不盡相同，而且一些低調(diào)度頻率的水閘的各種不同運(yùn)行狀態(tài)的影像資料難以收集，在歷史上也沒有足夠的水閘影像資料積累，于是許多水閘的開啟或關(guān)閉狀態(tài)的樣本數(shù)量很不均衡，部分狀態(tài)樣本很少。針對該問題，本研究將不同類型的水閘圖像識別工作視為多個具有相似性的子任務(wù)，基于元學(xué)習(xí)理論［5］捕捉各類型水閘啟閉狀態(tài)識別任務(wù)的共性，實(shí)現(xiàn)跨水閘類型的閘門啟閉狀態(tài)圖像識別。

1 水閘圖像數(shù)據(jù)集構(gòu)建

水閘圖像識別領(lǐng)域內(nèi)缺乏權(quán)威可靠的開源數(shù)據(jù)集，因此本研究需自行構(gòu)建數(shù)據(jù)集。所有采集到的原始數(shù)據(jù)需要進(jìn)行一系列的預(yù)處理才能成為可以進(jìn)行學(xué)習(xí)的樣本。

1.1 數(shù)據(jù)來源

本文水閘啟閉狀態(tài)圖像數(shù)據(jù)主要采集自江蘇省防汛視頻監(jiān)控系統(tǒng)，從系統(tǒng)中導(dǎo)出水閘閘口監(jiān)控視頻片段作為初始影像數(shù)據(jù)，再從視頻中提取各種狀態(tài)的水閘場景圖像。本文共收集了石梁河水庫南北泄洪閘、皂河閘、?？陂l、黃沙港閘等16個閘門的影像數(shù)據(jù)，由于各個閘門在每個年周期內(nèi)的調(diào)度頻率不同，因此盡量收集了各水閘的不同狀態(tài)數(shù)據(jù)。

1.2 圖像數(shù)據(jù)預(yù)處理

省級防汛視頻監(jiān)控系統(tǒng)中不同水閘監(jiān)控點(diǎn)的視頻質(zhì)量各異，需首先借助視頻格式轉(zhuǎn)換工具將AVI、MOV 等格式統(tǒng)一轉(zhuǎn)換為MP4 格式，再人工篩選記錄閘門場景時間段以及對應(yīng)標(biāo)簽，并處理視頻損壞、跳幀等。在此基礎(chǔ)上，利用OpenCV計(jì)算機(jī)視覺模塊提供的CV2.VideoCapture函數(shù)從視頻流中截取圖像。為了避免異常干擾，確保正確標(biāo)記閘門啟閉狀態(tài)，對每一連續(xù)場景每隔25 幀（約2 s）截取一張圖像，再人工篩除不合格圖片。

視頻在生成和傳輸過程中容易受到各種噪聲的干擾，導(dǎo)致圖像質(zhì)量下降，對后續(xù)圖像的處理和圖像視覺效應(yīng)將產(chǎn)生不利影響。非局部均值算法［4］充分利用圖像中的冗余信息，在去除噪聲的同時最大程度地保持圖像的細(xì)節(jié)特征，其基本思想是將圖像中與當(dāng)前像素具有相似領(lǐng)域結(jié)構(gòu)的像素加權(quán)平均作為當(dāng)前像素的估計(jì)值，其權(quán)值由像素歐拉距離確定。對于每一個像素點(diǎn)的權(quán)值，采用以該像素點(diǎn)為中心的圖像子塊與當(dāng)前像素點(diǎn)為中心的子塊之間的高斯加權(quán)歐氏距離來計(jì)算。一般認(rèn)為，圖像中的其他像素與當(dāng)前像素的歐拉距離越小，則兩者越相似，因此為此像素設(shè)置較高的權(quán)重。

視頻監(jiān)控設(shè)備通常安置在拍攝水閘工程整體的位置，因此每張圖像上有多個閘口。為便于做標(biāo)記和后續(xù)算法分析，以單個閘口圖像區(qū)域作為感興趣區(qū)域（region of interest，ROI），將各ROI 截取為單獨(dú)圖片。具體操作為：利用OpenCV2模塊的鼠標(biāo)事件函數(shù)實(shí)現(xiàn)交互，得到并記錄感興趣矩形區(qū)域的左上、右下頂點(diǎn)坐標(biāo)值，將其作為Pillow 圖型庫Image.crop函數(shù)的輸入值，從而完成圖片裁剪，得到ROI區(qū)域。預(yù)處理后效果示例如圖1所示。

圖1 圖像預(yù)處理效果

1.3 圖像增強(qiáng)

通過圖像數(shù)據(jù)預(yù)處理后得到的樣本存在類別不均衡的問題，部分水閘圖像數(shù)據(jù)稀缺、啟閉狀態(tài)圖像數(shù)量差距大，不利于模型的訓(xùn)練。數(shù)據(jù)增強(qiáng)使用平移變換、縮放和剪裁等圖像處理方法對原始數(shù)據(jù)進(jìn)行變換，生成相同對象不同形態(tài)的更多數(shù)據(jù)，用于補(bǔ)充欠缺的類型樣本，促使模型學(xué)習(xí)到具有分辨性的特征，增強(qiáng)方法的魯棒性。其中，水平翻轉(zhuǎn)方法操作簡單，并且在水閘啟閉狀態(tài)識別場景中可以保證標(biāo)簽安全。在實(shí)際環(huán)境中，水利防汛監(jiān)控攝像設(shè)備的安置位置受限，在同一水閘站點(diǎn)往往僅從某一單側(cè)視角進(jìn)行拍攝記錄。采用水平翻轉(zhuǎn)進(jìn)行增強(qiáng)，盡量補(bǔ)充了數(shù)據(jù)集中樣本量少的開啟或關(guān)閉狀態(tài)下的某些閘門圖像，并能在確保色彩、線條等其他特征不丟失的同時豐富了水閘的不同視角特征。

2 水閘圖像識別方法

水閘數(shù)據(jù)集中的圖像大都沒有明確的前后景區(qū)分，而且關(guān)注區(qū)域不是簡單的某個對象，而是以圖中的閘口、浪花、水波紋等要素綜合作為分類結(jié)果判斷的依據(jù)，這與在標(biāo)準(zhǔn)數(shù)據(jù)集上開展的圖像分類研究存在較大差異。因此，為了適應(yīng)少樣本水閘啟閉狀態(tài)圖像識別的應(yīng)用場景，本文基于SNAIL 元學(xué)習(xí)模型，提出了多頭自注意力水閘圖像識別方法（Multi-Head Self-Attention SNAIL，MH-SNAIL）。MH-SNAIL網(wǎng)絡(luò)框架如圖2所示。

圖2 MH-SNAIL網(wǎng)絡(luò)框架

MH-SNAIL 接收水閘圖像特征向量組作為輸入，通過3個多頭注意力層和2個時序卷積層交替，后接一個全局平均池化層計(jì)算輸出表征預(yù)測結(jié)果的二維概率向量。其中，3個多頭注意力層的鍵-值嵌入向量的維數(shù)依次為64-32、256-128、512-256，2 個時序卷積層的通道數(shù)均為128，每個通道包含N×K+1個稠密塊。

2.1 多頭注意力

多頭注意力機(jī)制根據(jù)查詢嵌入與鍵嵌入的相似性分布計(jì)算得到一組關(guān)于值嵌入元素的權(quán)重，再基于這組權(quán)重更新值嵌入中的元素，能夠很好地學(xué)習(xí)長序列信息。多頭注意力首先對查詢嵌入、鍵嵌入與值嵌入進(jìn)行線性變換映射到多個不同子空間中，在子空間中分別執(zhí)行普通的注意力運(yùn)算后再合并結(jié)果，過程示意如圖3所示。

圖3 多頭注意力示意

多頭注意力首先將查詢嵌入Q、鍵嵌入K與值嵌入V線性映射到多個各異的子空間中（設(shè)子空間的個數(shù)為h，取輸入特征向量維數(shù)不大于6的最大公因數(shù)），再在各個子空間中并行執(zhí)行h次注意力函數(shù)，從而得到h個不同的注意力結(jié)果，即h個頭（head），最后將這些結(jié)果拼接起來并進(jìn)行線性變換，生成最后的注意力結(jié)果。

多頭的注意力運(yùn)算模式能夠從不同的特征表示子空間中學(xué)習(xí)到更多有價值的信息。顯然，在少樣本水閘圖像分類任務(wù)中，相比普通的注意力機(jī)制，多頭注意力機(jī)制更能達(dá)到綜合關(guān)注多種特征的要求，有利于網(wǎng)絡(luò)更加全面地捕捉水閘圖像中的關(guān)鍵信息，也可以更好地彌補(bǔ)時序卷積在長距離依賴中的不足。

2.2 全局平均池化

MH-SNAIL 網(wǎng)絡(luò)的輸出層使用全連接層，將學(xué)習(xí)到的特征表示綜合起來并映射到樣本類別空間中，但全連接層存在參數(shù)多、訓(xùn)練速度慢的弊端，并且會將一定的特征存儲在這些參數(shù)中。本文考慮使用全局平均池化層來代替全連接層，先采用一個GAP將N個特征圖降維成一個1×N像素尺寸的特征圖，再用C個1×1 卷積核將1×N的特征圖卷成1×C的向量，其中C為類別數(shù)量，在本文的水閘啟閉狀態(tài)圖像分類問題中取2。通過這種替換方案，整個過程在維度上來看相當(dāng)于一層全連接層，但GAP能夠大大減少特征的維度，有利于提升訓(xùn)練速度。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)數(shù)據(jù)及評價指標(biāo)

實(shí)驗(yàn)使用本文第2小節(jié)所構(gòu)建的水閘圖像數(shù)據(jù)集sluice-ImageNet，共包含來自16類水閘的15 000幅84×84像素的彩色閘門啟閉狀態(tài)圖像樣本。為了方便實(shí)驗(yàn)，采用水平翻轉(zhuǎn)處理數(shù)據(jù)集的所有圖像，使得樣本數(shù)量擴(kuò)增為原數(shù)據(jù)集的兩倍。此時，為了保證每一個元任務(wù)中都能學(xué)習(xí)到多于一種水閘類型的樣本，必須設(shè)置類別數(shù)N不小于5。根據(jù)數(shù)據(jù)采樣規(guī)則，將數(shù)據(jù)集劃分為不同閘門且不同啟閉狀態(tài)的25 個子批，每個子批包含1 200 幅圖像。其中，9類閘門包含開啟態(tài)和關(guān)閉態(tài)的兩個子批，挑選其中8 個閘門的16 個子批作為訓(xùn)練集，將剩余1 個閘門的2個子批連同其他7個子批隨機(jī)劃分為測試集和驗(yàn)證集，具體數(shù)據(jù)集結(jié)構(gòu)如表1所示。

表1 數(shù)據(jù)集結(jié)構(gòu)

實(shí)驗(yàn)使用訓(xùn)練階段的平均驗(yàn)證準(zhǔn)確率（Validate Accuracy）和測試階段的測試準(zhǔn)確率（Test Accuracy）來評判所提方法的效果。在訓(xùn)練階段，每個epoch訓(xùn)練結(jié)束就進(jìn)行驗(yàn)證評估和統(tǒng)計(jì)每次驗(yàn)證的結(jié)果，取平均值作為一個epoch的驗(yàn)證準(zhǔn)確率。在測試階段，在測試集上構(gòu)建103個隨機(jī)任務(wù)，用訓(xùn)練階段每次驗(yàn)證準(zhǔn)確率最高的權(quán)重模型進(jìn)行測試，所得結(jié)果的平均值作為測試準(zhǔn)確率。其中，每次任務(wù)的驗(yàn)證與測試結(jié)果將會取95%的置信區(qū)間。

3.2 實(shí)驗(yàn)環(huán)境及配置

實(shí)驗(yàn)的所有網(wǎng)絡(luò)模型均運(yùn)行于相同的軟硬件環(huán)境，其詳細(xì)軟硬件環(huán)境配置如表2所示。

表2 實(shí)驗(yàn)軟硬件環(huán)境配置

實(shí)驗(yàn)采用了5-way 1shot和5-way 5-shot這兩種任務(wù)的方式，使用批處理大?。╞atch size）為16、初始學(xué)習(xí)率為1×10-4的Adam 優(yōu)化算法調(diào)整模型的參數(shù)，設(shè)置訓(xùn)練次數(shù)（epoch）為100，每次訓(xùn)練的元任務(wù)數(shù)為103，學(xué)習(xí)率每訓(xùn)練20次迭代減半，權(quán)重衰減為10-6。訓(xùn)練階段，每完成一次訓(xùn)練就進(jìn)行驗(yàn)證評估，并統(tǒng)計(jì)每一次驗(yàn)證結(jié)果，將其中驗(yàn)證準(zhǔn)確率最高的權(quán)重模型保存下來，作為測試階段的模型。

3.3 實(shí)驗(yàn)結(jié)果與分析

為了評估MH-SNAIL 在水閘啟閉狀態(tài)圖像識別任務(wù)上的性能，選擇匹配網(wǎng)絡(luò)、MAML、原型網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)這4 種經(jīng)典的元學(xué)習(xí)方法與本文的MH-SNAIL 方法進(jìn)行比較，通過與少樣本圖像分類領(lǐng)域內(nèi)的其他常用方法比較，進(jìn)一步驗(yàn)證本文的MH-SNAIL方法的有效性。

表3中展示了各方法在sluice-ImageNet 數(shù)據(jù)集上以5-way 1-shot 和5-way 5-shot 的訓(xùn)練方式進(jìn)行訓(xùn)練后得到的測試準(zhǔn)確率。從表3 可以看出，MHSNAIL方法在sluice-ImageNet數(shù)據(jù)集上的表現(xiàn)明顯優(yōu)于這些方法。在1-shot 場景下，MH-SNAIL 相較于匹配網(wǎng)絡(luò)、MAML、原型網(wǎng)絡(luò)和關(guān)系網(wǎng)絡(luò)分別具有11.78%，8.01%，7.46%和5.18%的分類性能提升；在5-shot場景下，則分別具有11.94%，5.57%，4.48%和6.42%的分類性能提升。這有力地驗(yàn)證了本文提出的MH-SNAIL方法的有效性和優(yōu)越性。另外，在5-way 5-shot 情景下，MH-SNAIL 方法的分類準(zhǔn)確率為70.34%，初步達(dá)到了跨水閘類型閘門啟閉狀態(tài)圖像識別應(yīng)用的要求。

表3 在sluice-ImageNet上與其他方法的分類準(zhǔn)確率對比

本文采用Python 編程語言，基于TensorFlow 深度學(xué)習(xí)框架實(shí)現(xiàn)了MH-SNAIL模型。模型將應(yīng)用在重點(diǎn)水利工程視頻監(jiān)測平臺中。模型部署時，首先將訓(xùn)練好的模型導(dǎo)出為ONNX格式，然后在GPU服務(wù)器上加載ONNX 模型，以加速模型推理的速度。監(jiān)測平臺通過模型提供的Restful接口進(jìn)行交互。模型接收用戶通過平臺Web界面上傳的JPG或PNG格式的水閘圖像，或者對接平臺獲取的實(shí)時視頻，收到圖像信息后在服務(wù)器上進(jìn)行推理，并將水閘實(shí)時狀態(tài)識別結(jié)果以JSON格式的報文發(fā)送給用戶平臺。

4 結(jié) 語

提出了基于元學(xué)習(xí)的少樣本水閘圖像識別方法，采用多頭注意力，提升網(wǎng)絡(luò)準(zhǔn)確捕捉多種與任務(wù)相關(guān)的關(guān)鍵特征信息的能力，更好地與時序卷積協(xié)作實(shí)現(xiàn)水閘啟閉狀態(tài)圖像識別。在sluice-ImageNet 數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了MH-SNAIL 方法的有效性和優(yōu)越性，初步達(dá)到了跨水閘類型閘門啟閉狀態(tài)圖像識別應(yīng)用的要求，并且，通過微服務(wù)架構(gòu)實(shí)現(xiàn)水閘圖像識別方法的服務(wù)化封裝，部署于重點(diǎn)水利工程視頻監(jiān)測平臺中，具有高度靈活性和拓展性。該方法可作為防汛視頻監(jiān)控系統(tǒng)的延伸，輔助或代替人工監(jiān)管，提高異常情況監(jiān)測的實(shí)時性，實(shí)現(xiàn)更智能的化水利工程管理的運(yùn)行。