王 磊 ，陳明恩 ，孟凱凱 ，溫進(jìn)化 ，周鵬程

（1. 浙江省水資源管理中心，浙江 杭州 310007；2. 杭州定川信息技術(shù)有限公司，浙江 杭州 310020；3. 杭州朗澈科技有限公司，浙江 杭州 311100；4. 浙江省水利河口研究院，浙江 杭州 310020）

1 研究背景

水位是河流湖庫的基本水文要素之一，也是國家水資源監(jiān)控能力灌區(qū)農(nóng)業(yè)在線計(jì)量監(jiān)測(cè)點(diǎn)建設(shè)需要采集的關(guān)鍵數(shù)據(jù)，因此穩(wěn)定可靠的水位監(jiān)測(cè)數(shù)據(jù)對(duì)于流域水資源管理具有重要意義。當(dāng)前，水位自動(dòng)監(jiān)測(cè)方法主要有浮子式、壓力式、超聲波式和雷達(dá)式自動(dòng)水位計(jì)等，以及傳統(tǒng)的圖像識(shí)別方法。這些方法存在自動(dòng)化程度低、建設(shè)運(yùn)維成本高、易受現(xiàn)場(chǎng)環(huán)境影響、適應(yīng)性較差等問題。

2012 年，Krizhevsky 等人基于深度學(xué)習(xí)理論搭建的 AlexNet[1]在圖像分類比賽 ILSVRC[2]中贏得冠軍，不管是分類效果還是速度都表現(xiàn)出絕對(duì)的優(yōu)勢(shì)。深度學(xué)習(xí)理論在計(jì)算機(jī)視覺領(lǐng)域迅速發(fā)展，獲得 ILSVRC 大賽冠軍的 ZFNet[3]，VGG-Net[4]，GoogleNet[5]和 ResNet[6]均是基于深度學(xué)習(xí)的圖像分類算法，這些算法分類正確率越來越高，訓(xùn)練速度也越來越快。另外，基于深度學(xué)習(xí)的對(duì)象檢測(cè)算法也日趨成熟，多階段方式的 R-CNN[7]是第 1 個(gè)將深度學(xué)習(xí)理論有效應(yīng)用于對(duì)象檢測(cè)任務(wù)的算法，隨后發(fā)展出許多單階段和多階段方式的優(yōu)秀算法[8-13]，這些算法不僅在精度上大幅提升，而且在推理速度上不斷加快。目前，基于深度學(xué)習(xí)的計(jì)算機(jī)視覺技術(shù)已成功應(yīng)用于安防監(jiān)控、電子醫(yī)療、無人駕駛、智能支付等領(lǐng)域。

為解決現(xiàn)有水位監(jiān)測(cè)方法存在的問題，本研究提出了一種基于深度學(xué)習(xí)算法的實(shí)時(shí)水位識(shí)別方法，并初步應(yīng)用于國家水資源監(jiān)控能力項(xiàng)目運(yùn)行中。

2 智能算法設(shè)計(jì)

2.1 流程設(shè)計(jì)

監(jiān)控視頻獲取的水尺圖像千差萬別，水尺往往只占整張圖像的很小一部分，直接識(shí)別圖像刻度信息誤差較大。為了提高識(shí)別方法適用性和準(zhǔn)確性，算法按 2 個(gè)步驟識(shí)別圖像水位信息：1）基于對(duì)象檢測(cè)算法，檢測(cè)出圖像中水尺的位置，并裁剪出水尺圖像；2）基于深度學(xué)習(xí)的圖像識(shí)別算法識(shí)別圖像中出現(xiàn)的水尺刻度線數(shù)量，并根據(jù)水尺總長(zhǎng)及刻度線表示的長(zhǎng)度，計(jì)算出當(dāng)前水位，流程如圖 1 所示。

2.2 模型選擇

本方法主要由水尺對(duì)象檢測(cè)和刻度識(shí)別算法組成。為滿足實(shí)際場(chǎng)景中水位識(shí)別的準(zhǔn)確性和實(shí)時(shí)性，分別選擇 YOLO-v3[14]和 ResNet 網(wǎng)絡(luò)算法檢測(cè)水尺對(duì)象和識(shí)別水尺刻度。

圖 1 算法流程

2.2.1 水尺對(duì)象檢測(cè)算法

水尺對(duì)象檢測(cè)算法選用 YOLO-v3 的 105 層版本模型。該模型的骨干網(wǎng)絡(luò)是 darknet-53 的特征提取網(wǎng)絡(luò)，除去最后的全連接層，共有 52 個(gè)卷積層，由大量的殘差模塊組成。

該模型采用多尺寸融合的方式做檢測(cè)。在darknet-53 網(wǎng)絡(luò)后分別連接 3 個(gè)不同的分支，每個(gè)分支輸出的特征圖的大小不一樣，而應(yīng)用在每一個(gè)特征圖上的候選框的大小也不一樣，這樣極大地提升了模型對(duì)于不同尺寸的目標(biāo)的檢測(cè)能力。

該模型由原來的單標(biāo)簽分類提升為多標(biāo)簽分類，即在一些復(fù)雜場(chǎng)景中，1 個(gè)對(duì)象可能屬于多個(gè)類別，且準(zhǔn)確率不會(huì)下降。

經(jīng)驗(yàn)證，YOLO-v3 的 105 層版本仍然可以達(dá)到 51 幀/s 的識(shí)別速度，可以滿足水尺檢測(cè)對(duì)實(shí)時(shí)性的要求；識(shí)別精度高，在 MS COCO（Microsoft Common Objects in Context）測(cè)試數(shù)據(jù)集[15]上可以達(dá)到 33 mAP（平均精度均值）。

2.2.2 水尺刻度識(shí)別算法

在水尺刻度識(shí)別模塊，本研究選擇 ResNet 網(wǎng)絡(luò)的 34 層版本。ResNet 網(wǎng)絡(luò)引入了跳層連接，在每一個(gè)殘差塊里使用跳層連接，由卷積操作、層層堆疊的殘差塊加上最后的全連接層等組成 ResNet 網(wǎng)絡(luò)。ResNet 網(wǎng)絡(luò)解決了隨著網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)學(xué)習(xí)退化的問題，同時(shí)也解決了由網(wǎng)絡(luò)深度引起的梯度彌散問題。

ResNet 網(wǎng)絡(luò)輸出結(jié)果為水尺水面上的刻度線數(shù)量 N，根據(jù)實(shí)際水尺刻度表示的長(zhǎng)度，以及水尺總長(zhǎng) Z，得出當(dāng)前的水位高度 L：

式中：N % 3 為 N 對(duì) 3 求余數(shù)。

3 算法訓(xùn)練

3.1 數(shù)據(jù)準(zhǔn)備與預(yù)處理

訓(xùn)練數(shù)據(jù)均來自國家水資源監(jiān)控能力農(nóng)業(yè)灌區(qū)計(jì)量監(jiān)測(cè)點(diǎn)所拍攝的現(xiàn)場(chǎng)圖片，圖片分辨率為 1280×960。模型對(duì)采集圖片要求：圖片分辨率不能小于 800×700，圖片中水尺寬度不能小于 30 像素，水面上高度至少有 2 點(diǎn)刻度。水尺刻度清晰可人工讀取，不能有樹葉或泥巴等遮擋，不能曝光過度或者光線過暗。然后對(duì)滿足要求的圖片進(jìn)行人工標(biāo)注，標(biāo)注圖片中的水尺位置及水面上水尺刻度線的數(shù)量。

在對(duì)象檢測(cè)階段，訓(xùn)練集、驗(yàn)證集和測(cè)試集分別有標(biāo)注圖片 60 000，10 000 和 10 000 張。每張圖片標(biāo)簽為圖中水尺的位置，在數(shù)據(jù)預(yù)處理階段對(duì)圖片進(jìn)行了隨機(jī)翻轉(zhuǎn)、小區(qū)域隨機(jī)裁剪，以及亮度、對(duì)比度、透明度隨機(jī)調(diào)整等操作，提高算法的泛化能力。并將圖片的分辨率統(tǒng)一調(diào)整為 352×352。

在水尺刻度識(shí)別階段，訓(xùn)練集、驗(yàn)證集和測(cè)試集分別有 80 000，8 000 和 8 000 張圖片，在對(duì)算法進(jìn)行訓(xùn)練之前對(duì)圖片進(jìn)行隨機(jī)翻轉(zhuǎn)、小區(qū)域隨機(jī)裁剪，以及亮度、對(duì)比度、透明度隨機(jī)調(diào)整等操作，并將圖片的分辨率統(tǒng)一調(diào)整為 100×350。

3.2 模型參數(shù)設(shè)置與訓(xùn)練

3.2.1 對(duì)象檢測(cè)階段

在對(duì)象檢測(cè)階段，首先基于 ImageNet 數(shù)據(jù)集預(yù)訓(xùn)練模型，然后基于該預(yù)訓(xùn)練模型在對(duì)象檢測(cè)標(biāo)注數(shù)據(jù)集上進(jìn)行訓(xùn)練。

優(yōu)化算法選擇 Adam 梯度優(yōu)化算法[16]。和傳統(tǒng)的隨機(jī)梯度下降不同的是，Adam 梯度優(yōu)化算法通過計(jì)算梯度的一階和二階矩估計(jì)為不同的參數(shù)設(shè)計(jì)獨(dú)立的自適應(yīng)性學(xué)習(xí)率，而傳統(tǒng)的隨機(jī)梯度下降保持單一的學(xué)習(xí)率更新所有的參數(shù)。步長(zhǎng)因子 alpha、一階矩的和二階矩的指數(shù)衰減率 beta1 和 beta2 分別設(shè)置為默認(rèn)值：0.001，0.900 和 0.999。

學(xué)習(xí)率設(shè)置分別采用指數(shù)衰減法和自定義模式，開始訓(xùn)練的學(xué)習(xí)率設(shè)置較大，使模型迅速逼近最優(yōu)解，之后逐漸降低學(xué)習(xí)率使模型收斂。考慮到對(duì)象檢測(cè)模型是基于 ImageNet 數(shù)據(jù)集預(yù)訓(xùn)練模型的基礎(chǔ)上訓(xùn)練的，所以初始學(xué)習(xí)率設(shè)置較小，為0.001。自定義學(xué)習(xí)率設(shè)置多組，如表 1 所示。

表 1 對(duì)象檢測(cè)算法學(xué)習(xí)率設(shè)置表

考慮到內(nèi)存需求和學(xué)習(xí)率等，訓(xùn)練 batch size 設(shè)置為 32。

3.2.2 水尺刻度識(shí)別階段

在水尺刻度識(shí)別階段，同上階段優(yōu)化算法選擇Adam 梯度優(yōu)化算法。

學(xué)習(xí)率設(shè)置分別采用指數(shù)衰減法和自定義模式?？紤]到訓(xùn)練任務(wù)及避免梯度爆炸，初始學(xué)習(xí)率設(shè)置為 0.1。自定義學(xué)習(xí)率設(shè)置多組，如表 2 所示，訓(xùn)練 batch size 設(shè)置為 64。

表 2 水尺刻度識(shí)別算法學(xué)習(xí)率設(shè)置表

以上 2 個(gè)算法訓(xùn)練均在配置有 NVIDIA GTX 1080Ti 顯卡的服務(wù)器上完成。

3.3 模型評(píng)估指標(biāo)選取

1）每秒幀數(shù)（FPS，F(xiàn)rame Per Second）。為滿足本研究方法在實(shí)際應(yīng)用時(shí)的速度要求，使用 FPS測(cè)量對(duì)象檢測(cè)模塊的速度。FPS，即每秒可以處理的圖片數(shù)量，越大表明算法檢測(cè)對(duì)象速度越快。

2）交并比（IoU，Intersection over Union）。IoU 表示算法檢測(cè)的候選框 C 與真實(shí)標(biāo)注的候選框 G 的重疊程度，值越大，表明重疊程度越高，為 1時(shí)表示完全重合：

3）召回率（R，Recall Rate）。召回率表示，測(cè)試集中所有正樣本被預(yù)測(cè)為正樣本的比例。在本對(duì)象檢測(cè)算法中表示，所有真實(shí)標(biāo)注框被預(yù)測(cè)為候選框的比例。如果預(yù)測(cè)候選框與真實(shí)框的 IoU 大于等于 0.7，即為預(yù)測(cè)正確。

4）準(zhǔn)確率（Acc，Accuracy）。在水尺刻度預(yù)測(cè)階段，使用準(zhǔn)確率評(píng)估水尺刻度預(yù)測(cè)的效果。水尺刻度預(yù)測(cè)結(jié)果與標(biāo)注結(jié)果相差小于等于 2 cm，即為預(yù)測(cè)正確。

3.4 模型訓(xùn)練效果分析

3.4.1 對(duì)象檢測(cè)階段

基于 60 000 個(gè)訓(xùn)練樣本，分別使用學(xué)習(xí)率的指數(shù)衰減法和自定義模式訓(xùn)練模型，損失函數(shù)值隨著訓(xùn)練 Epoch 增加，變化規(guī)律如圖 2 所示。經(jīng)過 170 個(gè)Epoch，隨著訓(xùn)練迭代次數(shù)的增加，損失函數(shù)值無限接近于 0，基本不再變化，可判斷模型收斂。

圖 2 訓(xùn)練過程中不同學(xué)習(xí)率下?lián)p失函數(shù)值變化趨勢(shì)圖

由圖 2 可以看出，在自定義學(xué)習(xí)率組 1 模式下，模型收斂時(shí)損失函數(shù)值最小，該模型學(xué)習(xí)效果最好。在自定義學(xué)習(xí)率組 1 模式下，驗(yàn)證集召回率變化如圖 3 所示。模型收斂后，在 10 000 個(gè)驗(yàn)證樣本上進(jìn)行驗(yàn)證，平均驗(yàn)證召回率為 94.3%。在 10 000 張測(cè)試集上測(cè)試召回率為 93.2%，F(xiàn)PS 為 35。

圖 3 訓(xùn)練過程中驗(yàn)證集召回率隨 Epoch 變化趨勢(shì)圖

3.4.2 水尺刻度識(shí)別階段

基于 80 000 個(gè)訓(xùn)練樣本，分別使用學(xué)習(xí)率的指數(shù)衰減法和自定義模式訓(xùn)練模型，損失函數(shù)值隨著訓(xùn)練 Epoch 增加，變化規(guī)律如圖 4 所示。經(jīng)過 210 個(gè)Epoch，隨著訓(xùn)練迭代次數(shù)的增加，損失函數(shù)值無限接近于 0，基本不再變化，可判斷模型收斂。

由圖 4 可以看出，在自定義學(xué)習(xí)率組 1 模式下，模型收斂時(shí)損失函數(shù)值最小，該模型學(xué)習(xí)效果最好。在自定義學(xué)習(xí)率組 1 模式下，驗(yàn)證集召回率變化如圖 5 所示。在 10 000 個(gè)驗(yàn)證樣本上進(jìn)行驗(yàn)證，模型收斂后平均驗(yàn)證召回率為 96.1%。在 8 000 個(gè)測(cè)試樣本上進(jìn)行測(cè)試，測(cè)試準(zhǔn)確率為 95.7%。

圖 4 訓(xùn)練過程中不同學(xué)習(xí)率下?lián)p失函數(shù)值變化趨勢(shì)圖

圖 5 訓(xùn)練過程中驗(yàn)證集準(zhǔn)確率隨 Epoch 變化趨勢(shì)圖

4 算法集成與應(yīng)用

4.1 算法部署

文中所有算法均基于谷歌 DistBelief 研發(fā)的第 2 代人工智能學(xué)習(xí)系統(tǒng) Tensorflow 框架并使用 Python 實(shí)現(xiàn)。訓(xùn)練好算法的圖信息和參數(shù)值以 Tensorflow的二進(jìn)制格式保存在磁盤中，再使用 Tensorflow 的 Java 接口將預(yù)訓(xùn)練的模型封裝在智能識(shí)別系統(tǒng)中，最后系統(tǒng)以后臺(tái)獨(dú)立運(yùn)行的程序?qū)ν馓峁┳R(shí)別服務(wù)。整個(gè)系統(tǒng)采用前后端分離架構(gòu)，從而使得后臺(tái)接口既可以向前端提供，也可以獨(dú)立出來向第三方系統(tǒng)提供，提高應(yīng)用靈活性。水資源監(jiān)控信息平臺(tái)只需調(diào)用系統(tǒng)的網(wǎng)絡(luò)接口，向接口傳遞要預(yù)測(cè)的水尺圖片，接口經(jīng)過后臺(tái)推理計(jì)算后，將結(jié)果返回平臺(tái)，從而實(shí)現(xiàn)水位自動(dòng)識(shí)別。

4.2 應(yīng)用功能開發(fā)

為了更有效地服務(wù)于國家水資源監(jiān)控能力灌區(qū)計(jì)量監(jiān)測(cè)點(diǎn)運(yùn)行管理，水資源監(jiān)控信息平臺(tái)開發(fā)了水位自動(dòng)識(shí)別功能模塊，具備歷史預(yù)測(cè)結(jié)果展示、水尺基礎(chǔ)信息配置和數(shù)據(jù)庫服務(wù)配置等功能，實(shí)現(xiàn)了雷達(dá)式水位計(jì)上報(bào)數(shù)據(jù)與同步圖片水位識(shí)別數(shù)據(jù)的自動(dòng)比對(duì)，達(dá)到了定期自動(dòng)對(duì)雷達(dá)式水位計(jì)運(yùn)行情況進(jìn)行監(jiān)控校核的預(yù)期目標(biāo)。以 2019 年 4 月為例，共自動(dòng)識(shí)別水尺圖片 6 500 張，識(shí)別正確率為 95.3%。

服務(wù)配置即數(shù)據(jù)庫配置，需用戶提供用戶的及用于保存用戶信息的 MySQL 數(shù)據(jù)庫的相關(guān)信息，MySQL 服務(wù)器配置需要提供數(shù)據(jù)庫地址、端口號(hào)、數(shù)據(jù)庫名稱、用戶名和密碼等信息，同時(shí)可以設(shè)置異常圖片存儲(chǔ)路徑，用于保存識(shí)別為異常的圖片。

完成數(shù)據(jù)庫配置后會(huì)出現(xiàn)已有站點(diǎn)列表，需要根據(jù)每個(gè)點(diǎn)位配置該點(diǎn)位水尺的總長(zhǎng)度，智能識(shí)別系統(tǒng)將根據(jù)水尺總長(zhǎng)配置和智能識(shí)別的刻度計(jì)算得出實(shí)際水位值。

歷史預(yù)測(cè)結(jié)果展示即展示歷史預(yù)測(cè)結(jié)果的詳細(xì)信息，此設(shè)計(jì)出于系統(tǒng)可追溯性和可靠性的考慮，后臺(tái)將每次預(yù)測(cè)的結(jié)果和原圖片數(shù)據(jù)統(tǒng)一保存在系統(tǒng)本地?cái)?shù)據(jù)庫中，方便用戶查看歷史預(yù)測(cè)數(shù)據(jù)和后期系統(tǒng)優(yōu)化。歷史預(yù)測(cè)結(jié)果展示可以展示站點(diǎn)編號(hào)、該數(shù)據(jù)識(shí)別的圖片、圖片采集時(shí)間、攝像頭編號(hào)、水位預(yù)測(cè)值和預(yù)測(cè)的水尺狀態(tài)等信息。

5 結(jié)語

本研究創(chuàng)造性地將深度學(xué)習(xí)相關(guān)算法應(yīng)用于水尺水位識(shí)別，并在國家水資源監(jiān)控能力灌區(qū)監(jiān)測(cè)點(diǎn)運(yùn)行管理中得到了初步應(yīng)用。該識(shí)別方法具有準(zhǔn)確率高、泛化能力強(qiáng)、識(shí)別速度快、環(huán)境適應(yīng)能力強(qiáng)等特點(diǎn)，測(cè)試識(shí)別準(zhǔn)確率達(dá) 95.7%，實(shí)際運(yùn)行準(zhǔn)確率達(dá) 95.3%，每張圖片識(shí)別速度為 200 ms 左右。該識(shí)別方法可封裝成智能識(shí)別系統(tǒng)，利用 Java 接口提供第三方服務(wù)，部署應(yīng)用靈活，適應(yīng)能力強(qiáng)。

該識(shí)別算法具有迭代升級(jí)的能力，隨著訓(xùn)練樣本量的持續(xù)增加，預(yù)測(cè)精度將繼續(xù)提高，在特定應(yīng)用場(chǎng)景可直接替代雷達(dá)水位計(jì)等傳統(tǒng)監(jiān)測(cè)手段。同時(shí)，可以深度挖掘圖像信息，將現(xiàn)場(chǎng)監(jiān)測(cè)干擾因素作為識(shí)別目標(biāo)，實(shí)現(xiàn)檢測(cè)環(huán)境異常自動(dòng)預(yù)警，提高計(jì)量監(jiān)測(cè)運(yùn)行維護(hù)效率。