張曉偉 王建凱 酈希墨
(湖北遠(yuǎn)安沮河國家濕地公園管理處,湖北 宜昌 444200)
鳥類是對環(huán)境質(zhì)量最敏感的指示物種,在維護(hù)生態(tài)平衡、豐富全球及地區(qū)生物多樣性方面具有重要作用。我國雖發(fā)布了相關(guān)野生動物管理的法律、法規(guī),但對于野生動物特別是鳥類保護(hù)管理等方面投入少,基礎(chǔ)設(shè)備設(shè)施缺乏,保護(hù)技術(shù)和措施仍不健全。在野生鳥類的遷徙和棲息地的研究方面,傳統(tǒng)的人工觀測和生物腳環(huán)傳感器的方法(劉堅,2019),主要依靠人工和經(jīng)驗(yàn)積累開展鳥類的識別和管理,深受野外環(huán)境惡劣、人工工作任務(wù)繁重等因素的影響,不利于鳥類的保護(hù)和監(jiān)管。隨著人工智能的進(jìn)步,以及在現(xiàn)在大數(shù)據(jù)的背景下,深度學(xué)習(xí)技術(shù)迅速發(fā)展,計算機(jī)視覺領(lǐng)域取得了顯著的成果,有研究者將計算機(jī)視覺應(yīng)用在了鳥類識別中,通過訓(xùn)練可以準(zhǔn)確識別鳥類。采取人工智能實(shí)時進(jìn)行鳥類監(jiān)控識別,減少人工工作量,提高鳥類保護(hù)效率。為加快濕地公園信息化建設(shè),湖北遠(yuǎn)安沮河國家濕地公園與成都勝維四通電子科技有限公司合作,開發(fā)野生動物保護(hù)監(jiān)測智能識別系統(tǒng)。本研究將闡述野生動物保護(hù)監(jiān)測智能識別系統(tǒng)中的主要人工智能技術(shù)以及該系統(tǒng)的應(yīng)用,為人工智能技術(shù)在鳥類保護(hù)方面提供了新嘗試和新方向。
人工智能領(lǐng)域的應(yīng)用和相關(guān)理論研究迅速發(fā)展,促進(jìn)了計算機(jī)視覺中圖像識別這一領(lǐng)域的發(fā)展。目前,研究人員已經(jīng)使用深度學(xué)習(xí)實(shí)現(xiàn)了高精度的人臉面部識別,并廣泛應(yīng)用到日常生活中,因此有研究人員將這些技術(shù)應(yīng)用到鳥類識別中。
深度學(xué)習(xí)是一種機(jī)器學(xué)習(xí)技術(shù),為了模擬數(shù)據(jù)之間的復(fù)雜關(guān)系。基于表征學(xué)習(xí),利用機(jī)器學(xué)習(xí)技術(shù)自動獲取每個實(shí)體或者關(guān)系的向量化表達(dá),即模仿人類大腦,建立和模擬神經(jīng)網(wǎng)絡(luò)進(jìn)行分析學(xué)習(xí),然后用某種機(jī)制解釋數(shù)據(jù)。它是通過模仿大腦神經(jīng)元之間傳遞和處理信息的方式實(shí)現(xiàn)的,每個神經(jīng)元在收到信息后進(jìn)行處理,然后傳遞給相鄰的數(shù)據(jù),如圖1所示。通過模仿人類大腦的神經(jīng)元結(jié)構(gòu),構(gòu)建網(wǎng)絡(luò),并結(jié)合海量的數(shù)據(jù),解釋數(shù)據(jù)的內(nèi)在聯(lián)系最后實(shí)現(xiàn)分類或回歸等(智緒曄, 2019)。
圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Neural network structure
卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)是目前圖像特征提取的主流方式,目前主流的卷積神經(jīng)網(wǎng)絡(luò),比如VGG、ResNet都是由簡單的CNN調(diào)整而來。卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層和全連接層(可選)等構(gòu)成,網(wǎng)絡(luò)的卷積層每個節(jié)點(diǎn)同上一層的某個區(qū)域通過卷積核連接,CNN輸出的結(jié)果是每幅圖像的特定特征空間。處理圖像分類任務(wù)時,可以將CNN輸出的特征空間作為全連接層的輸入,用全連接層完成從輸入圖像到標(biāo)簽集的映射(楊春蘭, 2020),即分類。整個過程中最重要的工作就是如何通過訓(xùn)練數(shù)據(jù)迭代調(diào)整網(wǎng)絡(luò)權(quán)重,即后向傳播算法。
智能監(jiān)測識別技術(shù)開發(fā)的目標(biāo)是在基本的鳥類數(shù)據(jù)基礎(chǔ)上,針對在國家濕地公園、國家自然保護(hù)區(qū)、國家森林公園等野生動物經(jīng)常出沒或偷獵、盜獵發(fā)生的重點(diǎn)區(qū)域,開展實(shí)施野生動物保護(hù)與檢測工作,保障數(shù)據(jù)測量的有效性、準(zhǔn)確性、可追溯,區(qū)域入侵、重點(diǎn)監(jiān)測動物即時上報,人員入侵軌跡跟蹤。
鳥類檢測和鳥類識別部分是本技術(shù)的重要部分,首先通過攝像機(jī)對圖像進(jìn)行采集,精準(zhǔn)定位鳥類頭部、身體部位(翅膀、羽毛、顏色等特征),將檢測到的鳥類圖像傳到前端IP Camera(IPC),圖像信息存到云端。對于鳥類識別分類部分,對拍攝采集到的鳥類圖片進(jìn)行預(yù)處理后,對目標(biāo)物體進(jìn)行邊緣的提取、圖片降噪和歸一化等處理,然后通過訓(xùn)練好的模型進(jìn)行特征提取,完成識別。最后將結(jié)果實(shí)時返回到客戶端,整體流程圖如圖2所示。
圖像的預(yù)處理包含灰度化、圖像對齊、幾何變換、圖像增強(qiáng)等操作。在RGB模型中,R=G=B時彩色表示灰度顏色,彩色處理時通常需要對這3個通道依次處理,灰度化可以達(dá)到提高應(yīng)用系統(tǒng)處理速度的目的。幾何變換通過平移、旋轉(zhuǎn)、縮放等對圖像進(jìn)行處理,用來修正圖像采集系統(tǒng)的誤差和儀器位置的誤差,通常采用最近鄰插值、雙線性插值的方法。圖像增強(qiáng)可以有針對性地突出感興趣區(qū)域,輔助目標(biāo)任務(wù)。
系統(tǒng)如果檢測到鳥類的局部特征更有助于鳥類識別,因此有些研究除了上述的基本預(yù)處理之外,還進(jìn)行了局部特征的標(biāo)記。公開的鳥類數(shù)據(jù)集Caltech-USCD Birds包含200種鳥類,一共11 788張圖片,每張圖片都有相應(yīng)的標(biāo)簽文件,同時還具有局部特征的類別和屬性標(biāo)簽,包含鳥類的眼睛、喙、翅膀、雙爪、尾巴等局部特征。數(shù)據(jù)集中提供的局部特征在一定程度上推動了鳥類檢測和識別的研究。
鳥類行為的分析、識別是一項(xiàng)復(fù)雜的工作,在識別之前需要確定是否存在鳥類。通常目標(biāo)檢測需要使用算法來判斷圖片中是否有目標(biāo),以及在圖片中檢測出目標(biāo)的具體位置并標(biāo)記出來。輸入一張圖片,通過指定的算法從圖片中提取多個類別的目標(biāo)區(qū)域,對候選區(qū)域使用卷積神經(jīng)網(wǎng)絡(luò)獲取特征向量(閆賀等, 2021),然后進(jìn)行分類,簡單的流程圖如圖3所示。
圖2 鳥類識別系統(tǒng)流程圖Fig.2 Flowchart of bird identification system
圖3 鳥類檢測流程圖Fig.3 Flowchart of bird detection
針對傳統(tǒng)運(yùn)動目標(biāo)檢測方法存在的幀間配準(zhǔn)難度大、快速運(yùn)動目標(biāo)陰影特征不明顯等問題,有研究者提出了一種基于改進(jìn)快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster R-CNN)的運(yùn)動目標(biāo)檢測方法(齊延榮等,2021)。該方法結(jié)合Faster R-CNN深度學(xué)習(xí)算法,利用K-means聚類方法對anchor box的長寬及長寬比進(jìn)行預(yù)處理,并采用特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks, FPN)架構(gòu)對視頻SAR運(yùn)動目標(biāo)的“亮線”特征進(jìn)行檢測。與傳統(tǒng)方法相比,該方法具有實(shí)現(xiàn)簡單、檢測概率高、虛警概率低等優(yōu)勢。
本文中的智能監(jiān)測識別系統(tǒng),利用了經(jīng)典的目標(biāo)檢測算法并有針對性地進(jìn)行了改進(jìn)(Juha Niemi,2018),實(shí)現(xiàn)了對鳥類的實(shí)時檢測和跟蹤。
圖像識別技術(shù)作為當(dāng)前計算機(jī)領(lǐng)域發(fā)展的熱門技術(shù)之一,在醫(yī)療、交通運(yùn)輸、生物識別等領(lǐng)域廣泛應(yīng)用,進(jìn)一步說明了圖像識別技術(shù)逐漸成熟,圖像識別技術(shù)主要包括如下4個階段:圖像采集、預(yù)處理、特征提取和圖像識別(易中輝等, 2020)。
使用各種流行框架訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行鳥類識別,例如PyTorch、Caffe等。輸入圖像經(jīng)過設(shè)計的網(wǎng)絡(luò)進(jìn)行卷積、池化等運(yùn)算,提取特征,得到特征映射。研究者提出了很多經(jīng)典的特征提取網(wǎng)絡(luò),例如VGGNet,每層卷積層使用3×3卷積核,利用多個卷積核進(jìn)行組合,更好地提取特征信息。翁雨辰(2018)通過VGG16和殘差網(wǎng)絡(luò)Resnet,實(shí)現(xiàn)網(wǎng)絡(luò)的特征提取功能,采用端到端的網(wǎng)絡(luò)訓(xùn)練方法,在訓(xùn)練過程中,可以通過驗(yàn)證集查看是否過擬合,有沒有達(dá)到預(yù)期訓(xùn)練效果。測試的方式之一是查看1:1的驗(yàn)證率,即將測試集劃分正負(fù)樣本對,在FAR為1%、0.1%和0.01%時求閾值和驗(yàn)證率,以此觀察訓(xùn)練效果。
在對鳥類進(jìn)行分類時,本研究中的智能監(jiān)測系統(tǒng)的識別算法利用了鳥類身體的整體特征和局部特征,如頭部、身體部位等,分別提取特征然后融合進(jìn)行分類,最后輸出鳥類的類別。結(jié)合前述的目標(biāo)檢測模塊,網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。
圖4 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Convolutional neural network structure
該系統(tǒng)可以針對季節(jié)變化,實(shí)時監(jiān)測記錄濕地公園鳥類及其它野生動物種類和種群數(shù)量變化、覓食和棲息繁殖情況、生活習(xí)性和規(guī)律、周圍環(huán)境因素對野生動物的影響及致病情況等,由此了解濕地公園生態(tài)系統(tǒng)野生動物資源及生態(tài)平衡影響因素和動態(tài)變化規(guī)律。在合作的一年半時間里,湖北遠(yuǎn)安沮河國家濕地公園通過人工智能技術(shù)實(shí)現(xiàn)的鳥類保護(hù)監(jiān)測系統(tǒng)取得了良好效果,目前監(jiān)測到沮河濕地范圍鳥類種類已增加至165種,其中國家Ⅰ級保護(hù)鳥類2種,國家Ⅱ級保護(hù)鳥類14種。
本系統(tǒng)在湖北遠(yuǎn)安沮河國家濕地公園已投入測試和應(yīng)用,系統(tǒng)架構(gòu)包含設(shè)備及服務(wù)端、管理及服務(wù)端,通過前端IPC和人工智能及物聯(lián)網(wǎng)系統(tǒng)對環(huán)境實(shí)施監(jiān)測,同時進(jìn)行鳥類識別、入侵檢測、人體識別、車輛識別和實(shí)時預(yù)警。IPC部署在視野開闊、偽裝隱蔽、避免潮濕的環(huán)境,設(shè)備采集數(shù)據(jù)效果更好。其中濕地公園監(jiān)測情況和野生動物保護(hù)識別實(shí)時檢測平臺分別如圖5、圖6所示。圖5展示了在琵琶州、洪家灣等水域的環(huán)境監(jiān)測圖片,圖6展示了近一周鳥類活動和種類等信息。
該系統(tǒng)將人工智能技術(shù)和流媒體技術(shù)整合,形成完整的個體或群體的快速識別方案,在實(shí)時監(jiān)控大屏中可以觀測到濕地公園內(nèi)重點(diǎn)保護(hù)動物和環(huán)境的情況,發(fā)現(xiàn)重點(diǎn)檢測鳥類后主動語音并彈窗提醒,系統(tǒng)報警以彈窗及語音方式在系統(tǒng)Web界面展示,后臺推送消息到管理員移動端設(shè)備,系統(tǒng)界面如圖7所示。在測試中,此系統(tǒng)在200 ms內(nèi)完成鳥類、人體、車輛等識別,最小識別像素為200*200,識別率達(dá)到95%以上,準(zhǔn)確率在90%以上,同時系統(tǒng)在100 ms內(nèi)完成區(qū)域入侵警報,最小識別像素為100*100,誤報率小于1%,在不降低識別準(zhǔn)確率的前提下,能夠高效地檢測重點(diǎn)鳥類。
圖5 遠(yuǎn)安濕地公園監(jiān)測情況Fig.5 Monitoring of Yuan 'an wetland park
圖6 野生動物保護(hù)識別實(shí)時檢測平臺Fig.6 Real-time detection platform for wildlife protection and identification
圖7 系統(tǒng)Web頁面展示拍攝信息Fig.7 Display of the system Web page
遠(yuǎn)安沮河國家濕地公園中應(yīng)用鳥類智能識別系統(tǒng)方便了對鳥類的監(jiān)測和保護(hù),促進(jìn)了人工智能技術(shù)在生物多樣性保護(hù)方面的應(yīng)用。目前對鳥類的檢測和識別取得了突破性的進(jìn)展,但依然存在一些技術(shù)難點(diǎn)。在實(shí)際場景中拍攝到的鳥類圖像往往背景和圖像結(jié)構(gòu)較為復(fù)雜,簡單的特征在表達(dá)圖像信息存在一定的困難?,F(xiàn)有的大多數(shù)算法均采用CNN作為特征提取器,但CNN特征對鳥類圖像識別來說,其表達(dá)能力依然有限,這將是后續(xù)改進(jìn)的方向之一。在檢測之后要對圖像關(guān)鍵特征精準(zhǔn)提取來實(shí)現(xiàn)鳥類識別,其難點(diǎn)在于圖像類間差異較小,鳥類特征的區(qū)分主要在圖像的細(xì)微局部區(qū)域。神經(jīng)網(wǎng)絡(luò)的精準(zhǔn)表征是未來研究的主要方向。