花勝?gòu)?qiáng)，陳 意，鄭慧娟，袁 帥，高 磊

(南瑞集團(tuán)(國(guó)網(wǎng)電力科學(xué)研究院)有限公司，江蘇南京211106)

0 引 言

隨著我國(guó)制造產(chǎn)業(yè)的迅猛發(fā)展，人民群眾生活水平的飛速提升，以及水利水電建設(shè)的大規(guī)模開(kāi)展，水電廠(chǎng)、水利樞紐的庫(kù)區(qū)開(kāi)始出現(xiàn)和聚集大量的漂浮物，其成分主要包含生活垃圾、工業(yè)廢棄物及樹(shù)干枝葉等。由于水電廠(chǎng)或水利樞紐一般承擔(dān)著防洪、供水、發(fā)電、航運(yùn)及旅游等社會(huì)和民生功能，防漂浮物的存在不僅對(duì)運(yùn)管單位的水工設(shè)施、交通安全、機(jī)電設(shè)備等造成危害，更會(huì)污染水體，破壞地區(qū)生態(tài)環(huán)境，因此，及時(shí)地監(jiān)控、估算庫(kù)區(qū)漂浮物，從而合理制定和安排漂浮物清除作業(yè)，無(wú)疑具有極其重要的經(jīng)濟(jì)和安全效益[1-3]。

當(dāng)前，對(duì)于庫(kù)區(qū)漂浮物的實(shí)時(shí)監(jiān)測(cè)主要依賴(lài)人工巡檢及機(jī)器視覺(jué)等方式。人工巡檢實(shí)施簡(jiǎn)單但耗費(fèi)人力，也無(wú)法實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)，對(duì)于當(dāng)前漂浮物的體量難以量化預(yù)估，不利于后續(xù)組織安排清除作業(yè)船只?；谶h(yuǎn)程攝像的機(jī)器視覺(jué)是一種借助圖形圖像處理方法進(jìn)行成像中目標(biāo)物檢測(cè)、分割和識(shí)別的技術(shù)，具備自動(dòng)化、智能化等特性，是進(jìn)行庫(kù)區(qū)漂浮物在線(xiàn)監(jiān)控和分析的良好途徑。已有文獻(xiàn)提出基于圖像灰度和邊緣曲線(xiàn)的BP神經(jīng)網(wǎng)絡(luò)用于樹(shù)枝和漂浮瓶的判別模型，基于Faster R-CNN、R-FCN和SSD等多種深度學(xué)習(xí)網(wǎng)絡(luò)用于落葉和水草的目標(biāo)檢測(cè)，以及基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)用于水面塑料制品的識(shí)別等，均取得了一定的識(shí)別效果[4-5]。

BP神經(jīng)網(wǎng)絡(luò)及深度學(xué)習(xí)算法關(guān)于復(fù)雜非線(xiàn)性映射關(guān)系良好的擬合能力，在圖形圖像分析識(shí)別中確實(shí)具有一定的優(yōu)勢(shì)，但其限制條件也很顯著，如網(wǎng)絡(luò)模型的精度是由數(shù)據(jù)驅(qū)動(dòng)的，需要大樣本的漂浮物圖像集并一一加以標(biāo)注，數(shù)據(jù)預(yù)處理工作量巨大；網(wǎng)絡(luò)模型的結(jié)構(gòu)設(shè)計(jì)困難且復(fù)雜，模型超參數(shù)量巨大且不易設(shè)定，模型訓(xùn)練耗時(shí)耗資源，導(dǎo)致產(chǎn)出門(mén)檻較高等[6]。

針對(duì)以上問(wèn)題，本文提出了一種庫(kù)區(qū)漂浮物體量預(yù)估的方法，首先在完成圖像預(yù)處理后，進(jìn)行樣本圖像中漂浮物目標(biāo)區(qū)域的人工標(biāo)注；其次，基于形態(tài)學(xué)方法生成每個(gè)樣本圖像的梯度特征空間；然后，基于滑動(dòng)梯度卷積及和聲搜索算法進(jìn)行漂浮物識(shí)別模型的訓(xùn)練和優(yōu)化，并產(chǎn)出庫(kù)區(qū)漂浮物圖像識(shí)別模型；最后，根據(jù)預(yù)定義的像素面積比、漂浮物平均厚度、漂浮物平均密度等參數(shù)，給出庫(kù)區(qū)漂浮物的面積、體積和質(zhì)量的預(yù)估，以便于后續(xù)管理單位的船舶清除調(diào)度安排。由于是基于樣本圖像的梯度特征空間進(jìn)行模型的學(xué)習(xí)訓(xùn)練，故該方法只需小樣本量即可生成較高精度的漂浮物識(shí)別模型，無(wú)論是在樣本獲取、樣本預(yù)處理還是模型訓(xùn)練的時(shí)間和空間資源消耗等環(huán)節(jié)，其工作效率都比較高[6]。

1 基于內(nèi)容的圖像壓縮

當(dāng)前圖像進(jìn)行識(shí)別前通常要求壓縮到指定尺寸上，如果原圖與指定尺寸的寬高比差異較大，會(huì)導(dǎo)致圖像內(nèi)容發(fā)生形變失真；另外，圖像中的目標(biāo)區(qū)域也可能跟隨著圖像壓縮處理而同步損失，從而丟失了寶貴的目標(biāo)內(nèi)容信息。由此，本文中提出一種基于內(nèi)容的圖像壓縮改進(jìn)算法，以盡可能保持原圖像中含有重要信息區(qū)域的比例，從而避免縮放造成的失真。

1.1 算法原理

當(dāng)前常用的圖像壓縮算法，是類(lèi)似于沿著圖像橫向或者縱向做均勻等間隔的降采樣。此法雖然邏輯上簡(jiǎn)單明了，但也造成了無(wú)差別的內(nèi)容裁減。由此，本文提出基于圖像能量，而非均勻等間隔選點(diǎn)的策略來(lái)確定待壓縮路徑集合。

首先，定義圖像中某點(diǎn)P的能量，即

(1)

其次，定義圖像中的一條路徑為如下所述圖像點(diǎn)的集合，即從圖像的頂部或者左側(cè)的任意一點(diǎn)開(kāi)始，依次向下或者向右相鄰的3個(gè)點(diǎn)中擇一移動(dòng)，如此重復(fù)移動(dòng)，直至達(dá)到圖像最底部或者最右側(cè)，則所有選擇遍歷過(guò)的圖像點(diǎn)即組成一條路徑。

再次，定義路徑的能量，即為該路徑上所有像素點(diǎn)的能量之和。

最后，可得出本算法的目標(biāo)為，每次找到能量最小的一條路徑，然后刪除此路徑上所有像素點(diǎn)，如此循環(huán)迭代，直至達(dá)到壓縮尺寸為止。

1.2 算法流程

該算法流程如下：

(1)根據(jù)原圖尺寸和壓縮后的目標(biāo)尺寸，確定橫向與縱向各需要循環(huán)的次數(shù)。

(2)計(jì)算圖像中每個(gè)像素點(diǎn)的能量。

(3)基于求解矩陣最短路徑的動(dòng)態(tài)規(guī)劃算法，找出圖像當(dāng)前橫向或縱向方向上的能量最小的路徑。

(4)移除最小路徑上所有像素點(diǎn)，得到新圖像。

(5) 重復(fù)步驟(2)至步驟(4)，直到新圖像橫向與縱向都達(dá)到目標(biāo)尺寸為止。

2 形態(tài)學(xué)分析

2.1 分析流程

形態(tài)學(xué)分析通?；跀?shù)學(xué)工具從圖像中提取出表達(dá)和描繪區(qū)域形狀特征的圖像分量，其基本運(yùn)算包括腐蝕和膨脹、開(kāi)運(yùn)算和閉運(yùn)算、形態(tài)學(xué)梯度、空間變換等等。由此，本文提出基于形態(tài)學(xué)分析的庫(kù)區(qū)漂浮物識(shí)別方法流程如下：

(1)能量矩陣生成?；诠?1)定義的圖像點(diǎn)能量定義，生成與原圖像素點(diǎn)一一對(duì)應(yīng)的二維能量矩陣。顯然，能量矩陣的尺寸與原圖一致，矩陣中每個(gè)元素值代表了原圖中相應(yīng)位置像素點(diǎn)的能量。

(2)能量矩陣分塊與選擇。首先，基于給定尺寸的滑動(dòng)窗口，將能量矩陣分割成多個(gè)窗口大小的矩陣塊，并計(jì)算每個(gè)矩陣塊的能量，其中，矩陣塊能量即為塊內(nèi)各個(gè)元素值之和；然后，基于給定的能量閾值，選擇所有能量不低于閾值的矩陣塊并加以標(biāo)注。

(3)目標(biāo)矩陣塊形態(tài)學(xué)處理。將上步中標(biāo)注的目標(biāo)矩陣塊，基于指定的尺寸分別進(jìn)行腐蝕、膨脹處理，以消除目標(biāo)矩陣塊所構(gòu)成的整體識(shí)別區(qū)域內(nèi)部中的氣泡、區(qū)域邊緣的毛刺等，使得整體的識(shí)別區(qū)域得到更好的內(nèi)部連通性與邊緣平滑性。

(4)目標(biāo)塊聯(lián)通化識(shí)別與過(guò)濾。首先，將各目標(biāo)矩陣進(jìn)行聯(lián)通化分析和識(shí)別，以將所有相連的矩陣塊合并成一個(gè)整體區(qū)域。其次，基于指定的最小區(qū)域尺寸閾值，去除尺寸過(guò)小的識(shí)別區(qū)域，以減少圖像中噪音部分的干擾，提高識(shí)別的準(zhǔn)確率。

2.2 基礎(chǔ)參數(shù)

根據(jù)上述流程可知，形態(tài)學(xué)分析共含有6個(gè)基礎(chǔ)參數(shù)，包括分割能量矩陣的滑動(dòng)窗口像素尺寸(窗口高WH、寬WL)、選擇矩陣塊的最小能量閾值E、對(duì)矩陣塊進(jìn)行腐蝕操作的像素尺寸C、對(duì)矩陣塊進(jìn)行膨脹操作的像素尺寸S、單堆漂浮物的最小區(qū)域像素尺寸A。顯而易見(jiàn)，這些參數(shù)的取值設(shè)定會(huì)直接決定圖像中漂浮物區(qū)域識(shí)別的精度高低，而各個(gè)參數(shù)取值的排列組合的復(fù)雜度，導(dǎo)致尋找出最優(yōu)參數(shù)取值組合近似為NP問(wèn)題，故考慮采用基于群體仿生智能的啟發(fā)式搜索算法，來(lái)尋找基礎(chǔ)參數(shù)的最優(yōu)取值組合。

3 和聲搜索算法

3.1 算法原理

和聲搜索算法是一種借鑒了樂(lè)隊(duì)進(jìn)行音樂(lè)創(chuàng)作過(guò)程的啟發(fā)式全局搜索算法，在多個(gè)組合優(yōu)化領(lǐng)域中得到了成功應(yīng)用，并展示出了較傳統(tǒng)群體智能仿生算法更好的尋優(yōu)能力和運(yùn)算性能。樂(lè)隊(duì)創(chuàng)作時(shí)，每位樂(lè)師演奏一種樂(lè)器，所有樂(lè)器的演奏加起來(lái)對(duì)應(yīng)一組和聲，樂(lè)師們會(huì)不斷調(diào)整各自演奏的音調(diào)，以求達(dá)到整體最好的和聲效果。和聲搜索算法正是基于此原理，將各樂(lè)器視為優(yōu)化問(wèn)題中的決策變量，各樂(lè)器發(fā)出的音調(diào)視為變量取值，各樂(lè)器音調(diào)組合成的和聲視為一組解向量，樂(lè)師們對(duì)和聲的評(píng)價(jià)視為優(yōu)化問(wèn)題中目標(biāo)函數(shù)對(duì)解向量好壞的評(píng)估。和聲算法的最優(yōu)化過(guò)程，就是對(duì)每一組和聲進(jìn)行評(píng)價(jià)，如果達(dá)不到要求，各樂(lè)器就繼續(xù)各自調(diào)整音調(diào)，直到得到一組滿(mǎn)意的和聲為止[7]。

3.2 算法流程

和聲搜索算法包含如下幾個(gè)基本參數(shù)：①和聲庫(kù)大小，表征用于存儲(chǔ)候選最優(yōu)和聲的記憶庫(kù)的大小。②和聲庫(kù)取值概率，表征每次迭代時(shí)候直接從和聲庫(kù)中選擇的可能性，否則就按照各決策變量的取值范圍構(gòu)成的解空間，隨機(jī)生成一組和聲。③微調(diào)概率，表征當(dāng)直接從記憶庫(kù)中選擇和聲時(shí)候，對(duì)選中的和聲中各個(gè)變量取值再進(jìn)行微調(diào)的概率。④微調(diào)帶寬，表征當(dāng)要對(duì)選中的和聲進(jìn)行微調(diào)時(shí)的調(diào)整幅度大小。⑤最大迭代次數(shù)，表征上述整個(gè)尋優(yōu)調(diào)整過(guò)程最大迭代的次數(shù)。和聲搜索算法流程如圖1所示。

圖1 和聲搜索算法流程

3.3 算法參數(shù)分析與設(shè)置

和聲搜索算法基本參數(shù)的取值，直接關(guān)系到后續(xù)算法尋優(yōu)的精度和性能，而其中和聲庫(kù)取值概率、微調(diào)概率、微調(diào)帶寬更是尤為重要，現(xiàn)將此3個(gè)參數(shù)的取值策略分析如下：

(1)和聲庫(kù)取值概率，當(dāng)取值較大時(shí)，有利于局部解空間內(nèi)的最優(yōu)值搜索收斂，而取值較小時(shí)，有利于增加候選最優(yōu)和聲的多樣性，防止陷入局部最優(yōu)的早熟，故可以采取動(dòng)態(tài)更新策略，算法啟動(dòng)時(shí)取值較小以增大搜索的多樣性，隨著迭代次數(shù)增加而逐漸擴(kuò)大，以便更聚焦最優(yōu)局部空間內(nèi)尋優(yōu)，其概率取值為

(2)

式中，m為最大迭代次數(shù)；i為當(dāng)前尋優(yōu)迭代的次數(shù)；Pi為第i次時(shí)的和聲庫(kù)取值概率；Ps為初始的和聲庫(kù)取值概率取值；Pe為最終的和聲庫(kù)取值概率取值。

(2)微調(diào)概率，與和聲庫(kù)取值概率恰好相反，取值較大時(shí)利于搜索的多樣性，較小時(shí)利于局部尋優(yōu)收斂，故仍可以采取動(dòng)態(tài)更新策略，算法啟動(dòng)時(shí)取較大值以增大搜索的多樣性，隨著迭代次數(shù)增加而逐漸減小，其概率取值為

(3)

式中，Qi為第i次時(shí)的微調(diào)概率；Qs為初始微調(diào)概率值；Qe為最終微調(diào)概率值。其他含義同上。

(3)微調(diào)帶寬，原始和聲搜索算法中一般取固定值，即各個(gè)決策變量的微調(diào)帶寬取值初始化設(shè)定后，運(yùn)行過(guò)程中將不再改變，本文仍然考慮動(dòng)態(tài)取值策略，其帶寬取值為

(4)

式中，Ri為第i次時(shí)的微調(diào)帶寬；R為初始設(shè)定帶寬；Ran(-1，1)為位于區(qū)間[-1，1]內(nèi)的隨機(jī)浮點(diǎn)數(shù)。

4 方法流程

4.1 圖像預(yù)處理

和聲搜索改進(jìn)的形態(tài)學(xué)分析在庫(kù)區(qū)漂浮物體量預(yù)估中的應(yīng)用流程詳細(xì)步驟說(shuō)明如下[8-9]：

(1)圖像壓縮?；诒疚奶岢龅膲嚎s算法，將所有樣本圖像壓縮至指定尺寸，以便于后續(xù)統(tǒng)一的圖像分析處理，并極大地降低分析計(jì)算量。

(2)灰度轉(zhuǎn)換與目標(biāo)區(qū)域標(biāo)注。將壓縮后的樣本圖像統(tǒng)一變換為灰度圖，變換方法如下

Gray=(38R+75G+15B)?7

(5)

式中，Gray為圖像中某像素點(diǎn)轉(zhuǎn)換后的灰度值；R為該像素點(diǎn)在原圖像RGB空間中的紅色分量值；G為綠色分量值；B為藍(lán)色分量值。同時(shí)，將圖像中的所有漂浮物區(qū)域進(jìn)行標(biāo)注，并記錄下區(qū)域坐標(biāo)集合，以便后續(xù)識(shí)別學(xué)習(xí)時(shí)進(jìn)行精度判定。

4.2 模型訓(xùn)練

(1)基于和聲搜索算法進(jìn)行形態(tài)學(xué)分析模型的訓(xùn)練。對(duì)于形態(tài)學(xué)分析中涉及到的基礎(chǔ)算法參數(shù)，則基于和聲搜索算法進(jìn)行各參數(shù)最優(yōu)化取值組合的自動(dòng)化尋優(yōu)；作為優(yōu)化目標(biāo)的損失函數(shù)，定義為形態(tài)學(xué)分析出的漂浮物區(qū)域，與標(biāo)注的漂浮物區(qū)域相差異的總像素點(diǎn)數(shù)。顯然，差異點(diǎn)總數(shù)越小，當(dāng)前的形態(tài)學(xué)分析基礎(chǔ)參數(shù)取值組合的分析精度越高。

(2)得到和聲搜索改進(jìn)的庫(kù)區(qū)漂浮物形態(tài)學(xué)分析識(shí)別模型并進(jìn)行體量預(yù)估基于和聲搜索算法的訓(xùn)練完成后，得到最終的形態(tài)學(xué)分析模型，模型輸出內(nèi)容即為輸入圖片中判定為漂浮物區(qū)域的總像素點(diǎn)數(shù)N，以及相應(yīng)的像素點(diǎn)坐標(biāo)集合。

4.3 漂浮物體量預(yù)估

分析識(shí)別時(shí)，將待處理的庫(kù)區(qū)圖片按照4.1的步驟(1)和(2)預(yù)處理完成后，代入步驟(3)產(chǎn)出的形態(tài)學(xué)分析模型，得到分析識(shí)別出來(lái)的漂浮物區(qū)域信息和總像素點(diǎn)數(shù)N，然后，按照設(shè)定好的3個(gè)預(yù)估參數(shù)：①像素-面積轉(zhuǎn)換比A，m3/像素。該參數(shù)表征了圖像中1個(gè)像素點(diǎn)代表了水庫(kù)庫(kù)區(qū)中的實(shí)際面積大小。②漂浮物平均深度H，m。該參數(shù)代表了庫(kù)區(qū)水上漂浮物的平均厚度，包括水面上下的厚度。③漂浮物平均密度P，kg/m3。根據(jù)以上參數(shù)，得到漂浮物總體積V為

V=NAH

(6)

由此，漂浮物總質(zhì)量M為

M=VP

(7)

5 實(shí)例及分析

以湖北省某大型水庫(kù)上游庫(kù)區(qū)遠(yuǎn)程攝像頭所拍圖像為例，除去因天氣、攝像頭遮擋等導(dǎo)致質(zhì)量不佳的成像外，共計(jì)得到63張有效樣本圖像，統(tǒng)一按照流程(1)、(2)進(jìn)行預(yù)處理后，將其中的48張作為訓(xùn)練樣本集，15張作為測(cè)試樣本集。

5.1 基于內(nèi)容的圖像壓縮示例

基于圖像內(nèi)容的壓縮效果如圖2所示。從圖2可以看出，本文算法對(duì)于目標(biāo)區(qū)域的損失極小，基本上保留了漂浮物區(qū)域的原始細(xì)節(jié)信息。

圖2 基于內(nèi)容的圖像壓縮算法對(duì)比

5.2 和聲搜索算法改進(jìn)的形態(tài)學(xué)分析

本實(shí)例中和聲搜索算法的基礎(chǔ)參數(shù)設(shè)定如下：和聲庫(kù)大小為200，和聲庫(kù)取值概率起始值為0.10，最終值為0.90，微調(diào)概率起始值為0.80，最終值為0.25，微調(diào)帶寬取值為1.0，最大迭代次數(shù)為6 000。

此外，和聲庫(kù)初始化時(shí)形態(tài)學(xué)分析的基礎(chǔ)參數(shù)取值組合時(shí)，以滑動(dòng)窗口高WH=6、寬WL=6、矩陣塊最小能量閾值E=180、矩陣塊腐蝕尺寸C=5、矩陣塊膨脹尺寸S=5、單堆漂浮物的最小區(qū)域像素尺寸A=150作為種子，隨機(jī)生成各種參數(shù)的取值組合。

訓(xùn)練完成后，以產(chǎn)出的形態(tài)學(xué)分析模型對(duì)測(cè)試集圖像進(jìn)行漂浮物區(qū)域識(shí)別，并輸出識(shí)別區(qū)域，效果如圖3、圖4所示。其中，能量矩陣塊圖為經(jīng)過(guò)能量閾值選擇過(guò)的矩陣塊集，形態(tài)學(xué)處理圖為經(jīng)過(guò)腐蝕、膨脹、矩陣塊聯(lián)通化處理的圖像。

圖3 和聲搜索改進(jìn)的形態(tài)學(xué)分析模型識(shí)別效果示例1

圖4 和聲搜索改進(jìn)的形態(tài)學(xué)分析模型識(shí)別效果示例2

圖3和圖4的形態(tài)學(xué)分析模型在訓(xùn)練集中的整體精度達(dá)到95.61%左右，在測(cè)試集中的平均識(shí)別精度也達(dá)到了94.37%左右。以圖5為例，左上為測(cè)試集中的原始庫(kù)區(qū)圖像，右上為達(dá)到能量閾值的矩陣塊集合，左下為經(jīng)過(guò)腐蝕、膨脹、聯(lián)通化和最小面積區(qū)域過(guò)濾的識(shí)別圖像，右下為最終識(shí)別出的區(qū)域與原圖疊加對(duì)比的效果圖。從圖5可以看出，本方法基本以較好的精度達(dá)到了庫(kù)區(qū)漂浮物識(shí)別的目標(biāo)。最后，水庫(kù)單位根據(jù)多年來(lái)運(yùn)行管理經(jīng)驗(yàn)，基于漂浮物的常見(jiàn)構(gòu)成部分和比例設(shè)定了漂浮物平均深度、平均密度，最終得出了庫(kù)區(qū)當(dāng)前漂浮物的體積與質(zhì)量的估計(jì)值。

圖5 和聲搜索改進(jìn)的形態(tài)學(xué)分析模型整體效果對(duì)比

本文提出的庫(kù)區(qū)漂浮物形態(tài)學(xué)分析識(shí)別方法已在湖北省某大型水庫(kù)上得到了實(shí)際應(yīng)用，投運(yùn)以來(lái)的運(yùn)行實(shí)踐表明，其計(jì)算精度良好，魯棒性強(qiáng)，為水庫(kù)的庫(kù)區(qū)漂浮物監(jiān)控管理工作提供了實(shí)時(shí)、可靠的決策輔助支持。

6 結(jié) 語(yǔ)

本文提出了基于和聲搜索算法改進(jìn)的庫(kù)區(qū)漂浮物形態(tài)學(xué)分析識(shí)別方法，其核心在基于數(shù)學(xué)形態(tài)學(xué)的基礎(chǔ)上提出了漂浮物識(shí)別的方法論、演算函數(shù)以及損失函數(shù)定義，然后利用和聲搜索算法在形態(tài)學(xué)分析參數(shù)的取值組合空間內(nèi)尋求最優(yōu)解，從而得到最終的分析識(shí)別模型。相比較目前流行的深度學(xué)習(xí)圖像識(shí)別，該方法邏輯清晰簡(jiǎn)明，易于實(shí)現(xiàn)、部署與迭代，計(jì)算資源需求極小，且更適用于小樣本量下的庫(kù)區(qū)漂浮物分析識(shí)別處理。

庫(kù)區(qū)漂浮物形態(tài)學(xué)分析識(shí)別方法在體量預(yù)估上還有持續(xù)改進(jìn)的空間，包括雨雪、霧霾、強(qiáng)光、暗光、陰影等條件下，圖像識(shí)別前需考慮增加銳化、增強(qiáng)、濾波等預(yù)處理操作；此外，體量預(yù)估中人工設(shè)定像素-面積轉(zhuǎn)換比、漂浮物平均深度、漂浮物平均密度等參數(shù)的精度難以把握，如何繼續(xù)基于圖形圖像處理技術(shù)給出更精確的估值等，都是下一步工作的重點(diǎn)與方向。