周鋒，吳華鋒，孫志寬

(上海海事大學(xué) 商船學(xué)院，上海 201306)

一種新型船舶駕駛臺值班防疲勞監(jiān)控系統(tǒng)設(shè)計

周鋒，吳華鋒，孫志寬

(上海海事大學(xué) 商船學(xué)院，上海 201306)

為克服當(dāng)前駕駛臺值班報警系統(tǒng)需人工直接參與的不足，提出一種基于視頻流跟蹤的駕駛臺值班報警系統(tǒng)。該系統(tǒng)通過比對2時刻值班人員的位置差異來判定值班人員的清醒狀態(tài)。使用定時圖像差分的方法確定值班人員的圖上位置，實現(xiàn)目標(biāo)的圖上坐標(biāo)與駕駛臺空間坐標(biāo)的轉(zhuǎn)換；系統(tǒng)所收集數(shù)據(jù)可用于后續(xù)值班行為分析使用。實船實驗表明，系統(tǒng)克服了需人員直接參與的限制，能夠根據(jù)所設(shè)定的時間間隔識別駕駛員值班狀態(tài)，并據(jù)此發(fā)出系列報警信號。

駕駛臺值班監(jiān)控系統(tǒng)；設(shè)計；圖像處理

在海難事故中，人為因素占事故總量的70%，其中，人員疲勞是人為因素的主要原因[1]。為克服船舶駕駛臺值班疲勞問題，2001-07國際海事組織(IMO)航行安全分委會(NAV)第47次會議通過了BNWAS標(biāo)準(zhǔn)[2]，旨在通過安裝駕駛臺定時喚醒裝置來確保駕駛員的清醒狀態(tài)。作為我國船旗國的指定機(jī)構(gòu)之一，中國船級社在2010-06-05通函中發(fā)出了關(guān)于執(zhí)行MSC.282(86)決議有關(guān)強(qiáng)制安裝BNWAS的通知，意味著在中國船旗下的各類SOLAS公約船舶，將按照IMO船型和時間表的要求逐步實施IMO的相關(guān)要求。

BNWAS實現(xiàn)的關(guān)鍵是找出判定駕駛員清醒狀態(tài)的有效判據(jù)。IMO性能標(biāo)準(zhǔn)要求，每3～12 min系統(tǒng)應(yīng)能夠確定值班駕駛員是否處在正常值班的狀態(tài)[1]。這種判據(jù)目前主要有兩類實現(xiàn)方法：值班人員的物理特征探測和生理特征探測。物理特征探測主要包括運(yùn)動探測和聲音探測，紅外探測器最先被用于探測人員在駕駛臺的運(yùn)動，因駕駛臺散熱設(shè)備較多，導(dǎo)致探測器的人體和設(shè)備近體溫效應(yīng)明顯，難以區(qū)分人體和設(shè)備，導(dǎo)致設(shè)備誤跟蹤和誤報警。樓于海等人在此基礎(chǔ)上，綜合使用紅外探測器和微波多普勒效應(yīng)運(yùn)動探測，改進(jìn)了僅使用紅外探測的不足[4-5]，使得系統(tǒng)具有探測運(yùn)動和熱源的雙重功能。駕駛臺安裝的地面壓力傳感器也是BNWAS探測器種類之一[6]，這種傳感器具有識別運(yùn)動效率高、無需值班人員主動參與的優(yōu)勢，但成本高、可靠性差。孫向暉等使用了聲音傳感器，其缺點一是船舶正常航行時駕駛臺噪音較大，難以探測人的聲音；二是難以區(qū)分電臺聲音和值班人員聲音；三是遠(yuǎn)洋航行時駕駛臺通常僅一人值班，少有發(fā)聲，無法探測。生理特征探測方面，主要是依據(jù)人體生理特征如：脈搏變化、體溫變化等作為判據(jù)判定人員清醒狀態(tài)。然而，這種方式必然要求駕駛員穿戴必要的設(shè)備，容易引起駕駛員的反感。近來，隨著集成駕駛臺的普及使用，也有設(shè)備廠家將BNWAS自動復(fù)位功能鑲嵌于集成駕駛臺各種操作按鈕上[8]，任何按鈕的動作，BNWAS將視其為激發(fā)信號而自動復(fù)位。這種功能在近海和航道內(nèi)航行十分有效，但大洋航行時通常不需頻繁操作任何按鈕。以上各種方法均存在一定的限制和不足之處，因此，BNWAS傳感器有待進(jìn)一步的優(yōu)化和提高。

為克服當(dāng)前駕駛臺值班報警系統(tǒng)需人工參與的限制，提出了一種基于視頻流跟蹤的駕駛臺值班報警系統(tǒng)。該系統(tǒng)通過比對兩時刻值班人員的位置差異，來判定值班人員的清醒狀態(tài)。系統(tǒng)潛在的數(shù)據(jù)收集功能還有助于對海上事故中人為因素的研究。

1 監(jiān)控系統(tǒng)結(jié)構(gòu)簡介

系統(tǒng)的主要功能是通過視頻信號處理向滿足報警性能標(biāo)準(zhǔn)要求的報警控制系統(tǒng)輸入激發(fā)控制信號。系統(tǒng)硬件包括視頻采集于轉(zhuǎn)換裝置、數(shù)據(jù)處理單元、串口通信、數(shù)據(jù)管理及報警輸出等模塊。其中，DSP處理模塊是系統(tǒng)的核心，它完成視頻圖像中駕駛員所在位置的識別和跟蹤，是圖像處理算法的承擔(dān)者，DSP識別的位置和時間信號經(jīng)串口通信傳送至報警控制單元。該單元按照IMO性能標(biāo)準(zhǔn)的要求，監(jiān)控駕駛員的值班行為。連續(xù)識別的駕駛員位置信息存儲于位置記錄數(shù)據(jù)庫中，以供后續(xù)研究和分析之用。

系統(tǒng)硬件框架設(shè)計見圖1。

2 系統(tǒng)關(guān)鍵信號處理

2.1 目標(biāo)位置識別

2.1.1 識別預(yù)處理

駕駛員的位置在圖上表示為其身體所處的區(qū)塊，對這一區(qū)塊的識別即可實現(xiàn)位置識別。

研究駕駛臺圖像特征發(fā)現(xiàn)，船舶駕駛員活動于駕駛室的固定空間內(nèi)，船舶駕駛室的設(shè)備布置具有相對穩(wěn)定的特點，所以本系統(tǒng)的駕駛員位置判定屬于固定背景下的動態(tài)物標(biāo)識別問題[9]。圖像背景差分是解決此類問題最為有效的方法之一。圖像差分過程涉及圖像的灰度處理，圖像灰度處理的質(zhì)量，直接影響目標(biāo)位置的識別。實驗發(fā)現(xiàn)，駕駛臺內(nèi)不同區(qū)域明暗程度相差較大。為提高圖像灰度處理的結(jié)果，系統(tǒng)擬采用分區(qū)灰度處理法[10]，根據(jù)明暗程度的不同，不同區(qū)域使用不同灰度閾值[11]實施灰度處理。為實現(xiàn)位置點跟蹤的連續(xù)性，需要獲取時間上連貫的位置點信息，為達(dá)到這一目的，系統(tǒng)采用序列灰度圖像差分法實現(xiàn)位置點的連續(xù)。圖像預(yù)處理過程見圖2。

2.1.2 目標(biāo)位置識別

該步驟的目的是實現(xiàn)圖像上目標(biāo)位置的識別。在灰度處理基礎(chǔ)上，使用序列圖像差分法[12-13]來確定目標(biāo)位置，對于連續(xù)的圖像序列，任取其中連續(xù)兩幀fi(x,y)和fi+1(x,y)，差分后得到的圖像為f0(x,y)。

f0(x,y)為包含駕駛員位置和噪聲的目標(biāo)基礎(chǔ)圖像。由于圖像背景固定，差分處理使得圖像的背景信息得以有效消除。若圖fi為不包含駕駛員的背景圖，由序列差分結(jié)果即可直接獲得駕駛員圖上位置，見圖3。

2.1.3 圖像降噪

圖4d)為圖4c)反相處理后的效果。由此效果可知，若對灰度圖4c)二值化時閾值選擇得當(dāng)，可起到一定的濾波作用。但處理結(jié)果中噪聲依然存在，需進(jìn)一步降噪以提高目標(biāo)位置確定的準(zhǔn)確度。根據(jù)上述圖像噪聲特征以及圖像邊緣特點，使用數(shù)學(xué)形態(tài)學(xué)濾波實施圖像降噪[9]。在本系統(tǒng)中，形態(tài)學(xué)濾波算子選取3×3、3×1、“+”等開運(yùn)算和閉運(yùn)算操作結(jié)構(gòu)[9]。

實驗結(jié)果發(fā)現(xiàn)，先使用小結(jié)構(gòu)濾波算子，而后使用較大結(jié)果濾波算子有助于達(dá)到較好的濾波效果。分析其原因主要在于：一方面，小結(jié)構(gòu)濾波算子在濾波過程中有助于保留圖像真實邊緣；另一方面，小結(jié)構(gòu)濾波算子的優(yōu)先執(zhí)行，有助于避免大結(jié)構(gòu)算子開運(yùn)算時，由于腐蝕作用而導(dǎo)致目標(biāo)結(jié)構(gòu)的殘缺。

2.2 目標(biāo)位置跟蹤

2.2.1 跟蹤

本系統(tǒng)中的所謂位置跟蹤，即建立當(dāng)前監(jiān)控時刻位置和上一監(jiān)控時刻位置之間的聯(lián)系，從而比較定長時間段內(nèi)駕駛員的值班位置是否發(fā)生變化，在2.1目標(biāo)位置識別的基礎(chǔ)上，做如下定義。

(1)

式中：Pt為t時刻駕駛員的位置；ft(i,j)為t時刻駕駛員所占矩形空間的中心坐標(biāo)。

任意2個時刻的圖示位移差為

(2)

式中：Pt+1為t+1時刻的駕駛員圖上位置；Pt為t時刻的駕駛員圖上位置；ft+1(i,j)為t+1時刻的駕駛員矩形區(qū)域中心橫坐標(biāo)函數(shù)；ft(i,j)為t時刻的駕駛員矩形區(qū)域中心橫坐標(biāo)函數(shù)。

2.2.2 建立駕駛員位移狀態(tài)數(shù)據(jù)庫

Pt包含的信息遠(yuǎn)大于僅代表駕駛員在某時刻圖上的位置，若能夠收集所有時刻駕駛員在駕駛臺的位置信息，即可得到駕駛員整個值班過程中的位移記錄，為進(jìn)一步分析駕駛員值班行為以及挖掘海難事故中的人為因素原因提供有力幫助。在記錄數(shù)據(jù)之前，還需要完成駕駛員圖上坐標(biāo)與駕駛臺空間平面坐標(biāo)的轉(zhuǎn)換，轉(zhuǎn)換示意見圖4。

圖中，xOy為駕駛臺平面空間坐標(biāo)系；O為坐標(biāo)原點；Ox為沿駕駛臺橫向方向；Oy為沿駕駛臺縱向方向，其中L表示橫向最大距離；D為駕駛臺縱向最大距離。

由于視頻傳感器位于駕駛臺固定位置上，圖上不同位置的像素點所代表的實際空間位置大小是不同的，將這種現(xiàn)象稱為圖像的扭曲。為有效地將駕駛員在圖上的位置轉(zhuǎn)變?yōu)樵隈{駛臺的實際位置，在坐標(biāo)轉(zhuǎn)換中需要考慮扭曲因素。在圖4中，D1、D2表示與駕駛臺實際空間對應(yīng)的圖像遠(yuǎn)近不同的像素長度，L1和L2分別表示與駕駛臺實際空間對應(yīng)的圖上像素寬度。

將圖上坐標(biāo)f(i,j)轉(zhuǎn)變?yōu)樾Ｕ屎蟮淖鴺?biāo)fD(i，j)，為

圖上坐標(biāo)fD(i，j)與空間坐標(biāo)fp(i，j)的轉(zhuǎn)換關(guān)系為

(4)

式中：ip為與駕駛臺空間坐標(biāo)系對應(yīng)的空間橫坐標(biāo)；jp為與駕駛臺空間坐標(biāo)系對應(yīng)的空間縱坐標(biāo)；φ為圖上橫坐標(biāo)最大值；λ為圖上縱坐標(biāo)最大值。

2.3 報警控制

根據(jù)BNWAS的性能標(biāo)準(zhǔn)，本監(jiān)控系統(tǒng)設(shè)置3 min為時間窗口，在時間窗口內(nèi)，系統(tǒng)監(jiān)測駕駛員的位置變化，系統(tǒng)設(shè)定：若駕駛員在時間窗口內(nèi)的距離變化量d小于設(shè)定閾值，則認(rèn)為在這一時間內(nèi)駕駛員未履行正常值班職責(zé)，系統(tǒng)將發(fā)出報警聲，提示駕駛員變換空間位置；若再次檢測不符合值班位移要求，系統(tǒng)將持續(xù)報警并進(jìn)一步擴(kuò)大報警范圍。

初始報警條件為

(5)

式中：dB為設(shè)定的最小移動距離；fk(i,j)為k時刻駕駛員位置空間坐標(biāo)；ft(i,j)為t時刻駕駛員位置空間坐標(biāo)。

在3 min的時間窗口內(nèi)，任一兩時刻的位置間隔大于dB即認(rèn)為：駕駛員值班有效；在時間窗口結(jié)束時，計時器重新計時，報警過程見圖5。

3 船舶實驗

為驗證系統(tǒng)的可行性，在上海海事大學(xué)教學(xué)實習(xí)船育鋒輪上進(jìn)行了為期1周的航行監(jiān)控實驗，系統(tǒng)運(yùn)行初始界面見圖6。

系統(tǒng)具備自動和人工閾值設(shè)置功能，運(yùn)行界面中間的直方圖為灰度分析，方便人工確定灰度處理的閾值設(shè)定，上述實驗總時間為4 h。圖7表示位置點時間序列。連線表示位置點之間的序列關(guān)系，圖中dis=603.5514 m，是對駕駛員值班期間活動距離的估算，可作為判斷值班行為勤勉與否等的參考。

4 結(jié)論

嘗試性地提出基于圖像處理的BNWAS。這種系統(tǒng)的實現(xiàn)方法能避免值班人員必須每3 min輸入激發(fā)信號的弊端，有助于降低值班人員精神負(fù)擔(dān)。目標(biāo)位置識別和位置跟蹤處理是系統(tǒng)的核心。目前系統(tǒng)主要實用于一人值班的大洋航行狀態(tài)，尚未考慮沿岸航行和進(jìn)港航行多人在駕駛臺的情景。在實驗過程中曾出現(xiàn)駕駛員跟蹤丟失的現(xiàn)象，這與系統(tǒng)采用序列差分法獲取駕駛員的位置有關(guān)，需進(jìn)一步對適用于駕駛臺環(huán)境的目標(biāo)識別算法，特別是多人識別跟蹤算法進(jìn)行研究。

[1] STRAUCH B. Investigating fatigue in marine accident investigations[C]. 6th International Conference on Applied Human Factors and Ergonomics (AHFE 2015) and the Affiliated Conferences，2015.AHFE，2015:2515-2522.

[2] International Electro-technical Commission. IEC 62616 2010(E): Maritime navigation and radio communication equipment and systems-Bridge navigational watch alarm system (BNWAS)[M]. Switzerland: International Electro-technical Commission (IEC),2010.

[3] 黃曉中.駕駛室航行值班報警系統(tǒng)的設(shè)計[J].上海海事大學(xué)學(xué)報,2012,33(1):45-60.

[4] 樓于海.智能人體運(yùn)動探測在駕駛臺航行值班報警系統(tǒng)中的應(yīng)用[J].航海，2011(4)：64-66.

[5] FENGWEI Y U, SUN Hongying, CUI Xiangdong. Design of bridge navigational watch alarm system[J], Applied Mechanics and Materials,2014,vols,488/489:521-524.

[6] 陳奎英，李天威，徐剛.解析船舶安全航行的橋樓航行值班報警系統(tǒng)[J].船舶,2012，23(3):63-67.

[7] 孫向暉．船舶橋樓值班報警系統(tǒng)(BNWAS)中檢測系統(tǒng)的實現(xiàn)[J]．企業(yè)技術(shù)開發(fā)，2011(7)：26-27.

[8] FURUNO, Bridge navigational watch alarm system[EB/OL],(2011-12-19)[2016-5-20]. http://www.furuno.com/en/business_product/merchant/product/bnwas/.

[9] 趙蓓蕾，吳亞婷，李強(qiáng).基于形態(tài)學(xué)與灰度模態(tài)分析的陰影去除方法[J].兵工自動化,2013,32(12):15-19.

[10] 孫煒，楊鵬飛.一種去光照干擾方法在行人檢測中的應(yīng)用[J].計算機(jī)應(yīng)用研究,2014.31(11):3514-3520.

[11] KOWSARI T, BEAUCHEMIN S, CHO S J. Real-time vehicle detection and tracking using stereo vision and multi-view adaboost[C]. Intelligent Transportation Systems (ITSC)-14th International IEEE Conference.2011:1255-1260.

[12] 廖斌.典型視頻目標(biāo)跟蹤方法實現(xiàn)與分析[J].軟件導(dǎo)刊,2015,14(1):136-138.

[13] 曲仕茹，楊紅紅.采用Kalman_BP神經(jīng)網(wǎng)絡(luò)的視頻序列多目標(biāo)檢測與跟蹤[J].紅外與激光工程,2013,42(9):2554-2560.

Design of Bridge Navigation Watch Alarm System Based on Image Processing

ZHOU Feng, WU Hua-feng, SUN Zhi-kuan

(College of Merchant Ship, Shanghai Maritime University, Shanghai 200135, China)

A new design of bridge navigational watch alarm system (BNWAS) was introduced to overcome the drawbacks of current systems, which required the engagement of watch-keepers on bridges of ships. The watch-keepers’ awake state was judged by comparing the difference of two locations at different time. The image differencing was used as an approach to locate the target and the target’s location on the image was further transferred to its space coordinates in the bridge. Meanwhile, the collected data could be used for the analyzing of human element on the maritime accidents. Experiment on an operating ship showed that the limitation of watch-keepers’ engagement could be eliminated significantly and the watching states of navigators could be monitored and assessed.

BNWAS; design; image process

10.3963/j.issn.1671-7953.2017.02.040

2016-07-01

國家自然科學(xué)基金(51279099)；上海市科學(xué)技術(shù)委員會基金(12ZR1412500)；上海市教委科研創(chuàng)新基金資助重點項目(13ZZ124)；上海市教育委員會和上海市教育發(fā)展基金會“曙光計劃”基金(12SG40)；交通運(yùn)輸部應(yīng)用基礎(chǔ)研究(2013329810300)

周鋒(1982—)，男，博士生，講師

U676.1

A

1671-7953(2017)02-0170-05

修回日期：2016-08-11

研究方向:船舶交通信息工程及自動化技術(shù)