王 云

（深圳市云海易聯(lián)電子有限公司，廣東 深圳 518000）

隨著水庫開放程度不斷提高，大量人涌向水庫進(jìn)行游泳[1]。但是，當(dāng)人們享受游泳帶來的樂趣時(shí)，溺水已成為一個(gè)問題。溺水的原因是初學(xué)者無法在水中自由呼吸，難以保持身體平衡。掌握游泳技能的游泳者在突然抽筋和壓力下也會溺水[2]。目前，當(dāng)出現(xiàn)溺水人員在水庫發(fā)生危險(xiǎn)時(shí)，救生員處理緊急情況的能力較弱，且溺水游泳者的救援速度也很慢。受人類生理?xiàng)l件的限制，救生員很難長時(shí)間保持高度集中的注意力。長時(shí)間看游泳池水面也會使救生員感到頭暈[3]。因此，一些水庫使用攝像頭對水庫內(nèi)部和水下進(jìn)行監(jiān)控，但是大多數(shù)是手動操作的，不僅耗費(fèi)人力，而且監(jiān)控效果會受到人們情緒和疲勞等因素的影響，容易漏檢。然而，大多數(shù)研究都是關(guān)于檢測水中游泳者的。該方法對溺水者的檢測精度低，容易引起誤報(bào)。此外，在游泳池溺水行為檢測領(lǐng)域?qū)ι疃葘W(xué)習(xí)方法的研究很少。

因此，本文提出一種基于深度學(xué)習(xí)算法的水下攝像機(jī)游泳運(yùn)動員行為識別監(jiān)測管理系統(tǒng)。該方法可以通過實(shí)時(shí)采集水下相關(guān)圖像和數(shù)據(jù)，準(zhǔn)確識別游泳者的游泳行為和溺水行為，并對溺水行為進(jìn)行報(bào)警。進(jìn)而提高救生員救援效率，保障游泳人員的生命安全。

1 深度學(xué)習(xí)的溺水預(yù)警分析監(jiān)測管理系統(tǒng)

1.1 水庫視頻采集

本文的試驗(yàn)數(shù)據(jù)是由某市水庫獲得的。水庫長50m，寬25m，深3m。攝像機(jī)數(shù)量為8 臺，2 臺水下攝像機(jī)為一組。攝像機(jī)對稱安裝在水下2.5m 的長邊池壁上，共有4 組攝像機(jī)[4]。每臺攝像機(jī)記錄5h 的視頻，其中8 臺共40h。游泳者在水中的手勢行為千差萬別，如果通過游泳者在水中的手勢行為來區(qū)分游泳者，不僅會增加標(biāo)注工作量，還容易造成行為誤標(biāo)注。為了減少人為因素對標(biāo)注的影響，隨機(jī)選取2 個(gè)攝像機(jī)角度下的2000 幀游泳者圖像[5]。根據(jù)泳池中游泳者的分布情況，計(jì)算正常游泳者的大致游泳深度范圍。同時(shí)，通過攝像機(jī)共得到10185 幅圖像，并從這10185 幅圖像中隨機(jī)抽取9000 幅作為原始訓(xùn)練圖像。剩下的1185 幅作為測試圖像[6]。

1.2 游泳者行為識別方法

只利用YOLOv4 算法容易將在水面嬉戲的游泳者檢測為溺水者，將靠近水底的溺水者檢測為游泳者，導(dǎo)致游泳行為檢測誤判率較高。為了提高目標(biāo)檢測的準(zhǔn)確性[7]，在游泳者行為識別模塊中開發(fā)了BR-YOLOv4 監(jiān)測管理系統(tǒng)，根據(jù)目標(biāo)與游泳池游泳/溺水區(qū)域的位置信息之間的空間位置關(guān)系來進(jìn)一步判斷游泳者的行為。

1.2.1 坐標(biāo)系

根據(jù)不同拍攝角度的泳池圖片，設(shè)定一條紅色符號線。符號線將圖片分為2 個(gè)部分[9]，如圖1所示。紅色標(biāo)志線的上部為正常游泳區(qū)，下部為溺水區(qū)。為了計(jì)算目的，建立一個(gè)平面矩形坐標(biāo)系。坐標(biāo)原點(diǎn)位于圖像的左上角，坐標(biāo)值隨著圖像的右邊和垂直向下而增大。此外，坐標(biāo)（x，y）與圖片的分辨率有關(guān)，x∈[0，1920]，y∈[0，1080]。左上角點(diǎn)A（Ax、Ay）、右上角點(diǎn)B（Bx、By）、左下角點(diǎn)C（Cx、Cy）和右下角點(diǎn)D（Dx、Dy）是邊界框的4 個(gè)頂點(diǎn)。E（Ex、Ey）和F（Fx、Fy）分別表示多段線L與邊界框的交點(diǎn)，G（Gx、Gy）表示多段線L的拐點(diǎn)。多段線方程L，如公式（1）和公式（2）所示。

圖1 平面坐標(biāo)系

式中：A1、B1、A2和B2分別為左上角點(diǎn)，右上角點(diǎn)，左下角點(diǎn)，右下角點(diǎn)，同時(shí)A1、B1、A2等不等于零。

1.2.2 面積重疊指數(shù)

如圖1所示，當(dāng)游泳者邊界框和標(biāo)志線重疊時(shí)，重疊區(qū)域可以劃分為梯形或三角形進(jìn)行區(qū)域求解[8]。邊界框和游泳/溺水區(qū)域之間的區(qū)域重疊指數(shù)評估如公式（3）和公式（4）所示。

式中：Dvalue/Svalue為溺水/游泳區(qū)域內(nèi)的部分邊界框與整個(gè)邊界框的面積比。Darea/Sarea是指邊界框與溺水/游泳區(qū)重疊的區(qū)域。Stotal是游泳者邊界框的整個(gè)面積。

1.3 游泳人員行為分析與統(tǒng)計(jì)

游泳和溺水行為是根據(jù)邊界框與游泳/溺水區(qū)域之間的重疊區(qū)域來識別的。游泳行為識別的具體過程如下。步驟1：攝像機(jī)讀取當(dāng)前幀。使用YOLOv4 檢測模型對當(dāng)前幀中的游泳者進(jìn)行檢測，并獲得檢測對象邊界框的位置坐標(biāo)和類別。步驟2：分析邊界框與水庫標(biāo)志線之間的空間關(guān)系。如果邊界框與水庫標(biāo)志線相交，就進(jìn)行步驟1。如果邊界框與水池標(biāo)志線不相交，就進(jìn)入步驟2.1。導(dǎo)出判斷結(jié)果并判斷是否為最后一幀。如果不是，則讀取下一幀，然后返回步驟2.2 繼續(xù)檢測；如果是最后一幀，則停止檢測。步驟2.1：當(dāng)邊界框與水庫的符號線相交時(shí)，根據(jù)公式計(jì)算Dvalue/Svalue的面積比。當(dāng)閾值大于閾值1 時(shí)，目標(biāo)類別正在游動；當(dāng)Dvalue小于閾值1 且Dvalue 大于閾值2 時(shí)，表示目標(biāo)類別正在溺水。否則，將保留原始的檢測結(jié)果。步驟2.2：當(dāng)邊界框與水庫標(biāo)志線不相交時(shí)，如果邊界框完全位于游泳區(qū)域，則判斷當(dāng)前行為為游泳；如果邊界框完全位于溺水區(qū)域，則判斷當(dāng)前行為為溺水。判別閾值一般應(yīng)根據(jù)邊界框的屬性和游泳者的行為來確定。此外，這些閾值還會受到水庫深度和攝像機(jī)安裝位置的影響。在該試驗(yàn)中，長水池場景的閾值1=0.52，閾值2 = 0.53。短水池情況下，閾值1=0.54，閾值2=0.56。

2 結(jié)果和討論

2.1 試驗(yàn)配置

溺水預(yù)警分析監(jiān)測管理系統(tǒng)基于Windows 10 中的PyTorch（YOLOv5 模型中使用）和Darknet 框架（YOLOv3 和YOLOv4 模型中使用）。訓(xùn)練參數(shù)如下：類別數(shù)為2608 像素×608 像素。批量大小等于16，訓(xùn)練迭代次數(shù)為10000，學(xué)習(xí)率初始為0.001。

2.2 模型評價(jià)

在模型的訓(xùn)練階段，采用精度、查全率、mAP和每秒幀數(shù)（FPS）4 個(gè)評價(jià)指標(biāo)對系統(tǒng)進(jìn)行評價(jià)。mAP（平均平均精度）由精確度和查全率確定。以召回率為水平軸，以精度為垂直軸的曲線稱為P-R曲線，以P-R曲線下的面積為精度平均值（AP），所有目標(biāo)類別的精度平均值的平均值為mAP值，如公式（5）和公式（6）所示。

式中：TP為檢測圖像中的某些行為被正確識別；FP為其他被錯(cuò)誤識別的行為；FN為被錯(cuò)誤識別為另一種行為。上述評價(jià)指標(biāo)主要用于訓(xùn)練后對模型進(jìn)行評價(jià)。為了更準(zhǔn)確地評價(jià)本文提出的游泳者行為識別框架，選擇了平均精度率（Mp）、平均錯(cuò)誤率（Mf）和平均誤報(bào)率（Mm）作為檢測指標(biāo)。不僅可以評估該框架的準(zhǔn)確性，而且還可以定量分析游泳和溺水行為的報(bào)告漏報(bào)率和漏報(bào)率。

2.3 檢測算法的結(jié)果

表1 為深度學(xué)習(xí)YOLOv3、BR-YOLOv4、YOLOv5 三種模型的訓(xùn)練結(jié)果。在mAP指數(shù)方面，YOLOv3 的mAP為 84.37%，YOLOv5 為90.32%。BR-YOLOv4 的mAP為92.41%，高于前兩者。在精確度和召回率指標(biāo)方面，YOLOv4 分別為91.33%和92.88%，高于YOLOv3 和YOLOv5。在幀速率方面，BRYOLOv4 算法的檢測幀速率為33f/s，YOLOv3 和YOLOv5 算法的檢測幀速率分別為37f/s 和46f/s。BR-YOLOv4 比YOLOv3 和YOLOv5 稍慢，但識別準(zhǔn)確率更高。因此，BR-YOLOv4 算法在識別準(zhǔn)確率和識別速度方面都取得了令人滿意的結(jié)果，且該算法有助于提高準(zhǔn)確率，集成了所有修改過的模塊，以實(shí)現(xiàn)最佳的檢測性能。為了進(jìn)一步提高游泳者和溺水者的檢測精度，本文選擇深度學(xué)習(xí)BR-YOLOv4 算法作為游泳者行為識別的溺水預(yù)警分析監(jiān)測管理系統(tǒng)。

表1 三種算法的檢測結(jié)果

2.4 不同算法平均精度率檢測效果

模型檢測結(jié)果中游泳和溺水行為的精度率（從低到高）為YOLOv3、YOLOv5、YOLOv4 以及BR-YOLOv4（見表2）。對于溺水行為，BR-YOLOV4 算法的最佳Mf 和平均誤報(bào)率值分別為0.59%和3.94%，其值比采用其他3 種算法低。與YOLOv3、YOLOv4 和YOLOv5 相比，BR-YOLOV4 的平均精度率分別增加了8.29%、4.45%和5.18%。對于游泳行為，YOLOv4 算法的平均錯(cuò)誤率值和平均誤報(bào)率值分別為9.36%和3.36%。YOLOv5算法的平均錯(cuò)誤率和平均誤報(bào)率分別為15.27%和4.13%。BR-YOLOv4 算法的平均錯(cuò)誤率和平均誤報(bào)率分別為1.48%和3.04%。與YOLOv4 和YOLOv5 算法相比，BRYOLOv4 算法具有最低的平均錯(cuò)誤率、平均誤報(bào)率，最高的平均精度率。

表2 行為識別結(jié)果

總的來說，深度學(xué)習(xí)BR-YOLOv4 算法中溺水行為的平均誤報(bào)率和游泳行為的平均錯(cuò)誤率都較高。其主要原因?yàn)锽R-YOLOv4 算法無法將全部溺水行為有效識別，并存在檢測水面反射作為游泳行為的情況，從而導(dǎo)致較高的平均錯(cuò)誤率，進(jìn)一步表明BR-YOLOv4 算法在檢測過程中是可行和有效的。且YOLOv3 在游泳和溺水類別中的表現(xiàn)最差。YOLOV4 和YOLOV5 算法的Mf、Mm和Mp值非常接近，優(yōu)于YOLOv3，且可以有效降低第一階段留下的背景噪聲，從而提高檢測精度，進(jìn)一步驗(yàn)證本文所提出的高精度。同時(shí)，BRYOLOv4 算法在短池角度下仍然具有最好的檢測指標(biāo)。通過分析表2，YOLO 算法與BR-YOLOv4 算法的Mf、Mm和Mp的變化幅度約為1%。由于游泳者的數(shù)量與在不同攝像機(jī)角度下的2 種行為存在差異，因此結(jié)果在正常范圍內(nèi)波動。其中，BR-YOLOv4 算法的檢測精度最高。

2.5 不同游泳者密度的檢測結(jié)果

為了探究游泳者密度對模型準(zhǔn)確性的影響，本節(jié)通過檢測兩種不同的游泳者密度來分析模型在不同游泳者密度下的檢測準(zhǔn)確性。低游泳者密度的統(tǒng)計(jì)結(jié)果見表3。高游泳者密度的統(tǒng)計(jì)檢測結(jié)果見表4。

表3 低密度池角的行為識別結(jié)果

表4 高密度池角的行為識別結(jié)果

通過比較YOLOv3、YOLOv4、YOLOv5 和BR-YOLOv4 算法在高密度和低密度游泳者中的檢測效果，發(fā)現(xiàn)低密度游泳者的行為識別準(zhǔn)確率明顯高于高密度游泳者。雖然高密度游泳者中的游泳者容易相互遮擋和重疊，導(dǎo)致算法對目標(biāo)識別的干擾增加，但是BR-YOLOv4 算法對2 種行為識別的檢測效果都很好。從這3 種不同情況的試驗(yàn)結(jié)果可以看出，BRYOLOv4 算法增加了游泳者行為識別框架，不僅滿足了泳池場景應(yīng)用中的實(shí)時(shí)性要求，而且具有更高的檢測精度。

2.6 討論

本文所提出的溺水預(yù)警分析監(jiān)測管理系統(tǒng)在溺水檢測任務(wù)中的結(jié)構(gòu)和性能方面可以推廣到其他領(lǐng)域。檢測過程分為2個(gè)階段，旨在實(shí)時(shí)檢測溺水人員，其精度高且方便。第一階段，提取溺水人員，第二階段，對提取的溺水人員進(jìn)行游泳狀態(tài)檢測，分析了目標(biāo)位置信息與游泳池游泳/溺水區(qū)的空間關(guān)系，以進(jìn)一步確定游泳者的溺水或游泳行為。試驗(yàn)結(jié)果表明，該監(jiān)測管理系統(tǒng)能夠減少小型、密集分布目標(biāo)和復(fù)雜背景的干擾所造成的錯(cuò)誤。事實(shí)上，與游泳溺水具有相似特征的目標(biāo)也存在于其他領(lǐng)域。例如，在人權(quán)領(lǐng)域醫(yī)療圖像處理，病變的特征分布密集，其紋理模糊，并浸入復(fù)雜的背景。采用本文提出的監(jiān)測管理系統(tǒng)可以提高檢測病變的性能。此外，相應(yīng)開發(fā)的系統(tǒng)可以直接使用網(wǎng)絡(luò)檢測平臺，使用戶能夠更方便和及時(shí)地進(jìn)行人機(jī)交互。同樣，在醫(yī)學(xué)影像處理領(lǐng)域，基于網(wǎng)絡(luò)的檢測平臺也能夠使患者和機(jī)器之間更及時(shí)和方便地溝通。因此，所研制的檢測系統(tǒng)對于在復(fù)雜環(huán)境中需要實(shí)時(shí)、高精度、方便檢測小型、密集分布的目標(biāo)具有一定的參考價(jià)值。

3 結(jié)論

該研究提出1 個(gè)游泳運(yùn)動員行為識別框架BR-YOLOv4，比較了不同檢測方法的檢測精度，分析了長池角和短池角兩種相機(jī)角度以及不同游泳密度的檢測效果。試驗(yàn)結(jié)果表明，BR-YOLOv4 算法在精度、誤碼率和遺漏率方面優(yōu)于其他模型，在不同水下角度下具有較強(qiáng)的泛化能力，在高游泳密度下具有較高的精度?；谏疃葘W(xué)習(xí)的游泳運(yùn)動員行為識別框架可以顯著減少水波、表面反射和陰影的影響，并可以準(zhǔn)確檢測游泳運(yùn)動員的游泳和溺水行為。這種方法可以及時(shí)報(bào)警溺水行為，使救生員快速反應(yīng)，降低公共游泳池溺水事故的發(fā)生率。