岳林

中國艦船研究設計中心，湖北武漢430064

船機電系統(tǒng)自主控制平臺及資源分配策略

岳林

中國艦船研究設計中心，湖北武漢430064

針對船機電系統(tǒng)大多依舊基于“人在回路”通訊及獨立決策模式，難以進一步精簡人員配置和提升運行效能的問題，提出一種船機電系統(tǒng)自主控制平臺。該平臺采用多代理（Multi-Agent）分級控制結構聯(lián)合船機電系統(tǒng)，基于資源分配策略模型自主進行系統(tǒng)資源分配與任務調度，使艦船平臺具備無人監(jiān)督時的自重構與自決策執(zhí)行能力，實現(xiàn)船機電系統(tǒng)作業(yè)模式從傳統(tǒng)的基于人員運行向自主運行轉變。試驗表明，該平臺能夠自主結合任務需求和環(huán)境條件進行決策評估與資源優(yōu)化，可有效提高艦船平臺的整體生命力和任務執(zhí)行效能。

船機電系統(tǒng)；自主控制；資源分配；任務調度；多代理分級控制

網(wǎng)絡出版地址：http://www.cnki.net/kcms/detail/42.1755.TJ.20160729.0945.028.html期刊網(wǎng)址：www.ship-research.com

引用格式：岳林.船機電系統(tǒng)自主控制平臺及資源分配策略［J］.中國艦船研究，2016，11（4）：102-110.

YUE Lin.Autonomous control plant and resource distributing strategy for HM&E systems［J］.Chinese Journal of Ship Research，2016，11（4）：102-110.

0　引言

當前，現(xiàn)役艦船通常具有獨立的艦載推進、電力、損管、輔機和艦載武器等指揮監(jiān)控系統(tǒng)，而這種體系結構主要是基于“人在回路”通訊及決策模式，難以實現(xiàn)人員配置和運行成本的進一步優(yōu)化［1］。例如，作為現(xiàn)役先進艦船代表的美國“阿利·伯克”級IIA型驅逐艦（DDG 85及其后續(xù)艦），雖然經過了多輪技術升級與減員設計，仍需配置艦員276名［2］。

為此，美海軍提出了綜合機電平臺（Integrated Engineering Plant，IEP）［3］概念，并成功應用到了DDG-1000驅逐艦上。其以先進的傳感器技術、網(wǎng)絡技術、信息處理技術以及智能控制技術為基礎，使船機電平臺具備在正常、故障和損害情況下無人監(jiān)督時自感知、自評估、自決策和自反應的能力，使艦船在現(xiàn)代化海戰(zhàn)場這種復雜環(huán)境中“整體上”呈現(xiàn)自適應性與自主執(zhí)行的能力［4］，從而大幅減少了人力需求（全艦僅148人），同時通過級聯(lián)災難避免與快速資源重構設計，大幅增強了自動重構與損害管制能力［5］。

與國外相比，國內的自主控制研究尚主要集中在無人機、無人艇等小型無人平臺上，重點研究自動避碰、自主導航航行等技術。例如，嚴浙平等［6］提出了一種針對無人航行器的自主控制系統(tǒng)，可實現(xiàn)復雜海洋環(huán)境下的自主勘測與自動避碰；曹詩杰等［7］提出了基于模糊自適應算法的航速航向協(xié)同控制方法，可提高無人水面艇在不確定水面環(huán)境中的自主航行適應性和魯棒性。然而，由于小型無人平臺系統(tǒng)間的協(xié)同相對簡單，實現(xiàn)的任務相對單一，所以這些自主控制算法都難以適應大型艦船平臺環(huán)境復雜性與多任務、多系統(tǒng)協(xié)同的需求。而目前國內在大型艦船自動化、自主控制方面的研究仍是以單系統(tǒng)的自動控制為主，重點關注機艙自動化、導航自動化及智能避碰等方面的研究，如基于現(xiàn)場總線的船舶自動化系統(tǒng)［8］、船舶動力定位系統(tǒng)的智能控制算法［9］、自動操舵儀自抗擾控制［10］等，尚無大型艦船平臺整體自主控制與多系統(tǒng)自適應協(xié)同的相關研究，在大型水面艦船平臺自主控制研究方面與國外差距顯著。

為此，本文擬以綜合電力推進艦船為應用背景，進行船機電系統(tǒng)自主控制平臺設計與資源分配策略模型研究，通過結合典型的任務場景，進行自適應資源分配過程仿真驗證，以根據(jù)外部環(huán)境進行自主決策與資源調度，提高艦船平臺的整體自感知和反應能力，從而降低艦員的工作強度，減少艦員數(shù)量，提高艦船綜合任務效能。

1　艦船自主控制平臺結構設計

考慮到船機電系統(tǒng)自主決策與自動重構的可靠性與實時性需求，艦船自主控制平臺采用多代理（Multi-Agent）分級控制結構，如圖1所示。其中，頂層為決策層，用于接收中間層反饋的信息，以進行整個平臺的決策評估與資源重構；中間層為協(xié)調層，采用Agent控制模式執(zhí)行頂層的指令，自主觸發(fā)事件/警報并下達重構指令；底層為反應層，執(zhí)行各系統(tǒng)現(xiàn)場設備的控制指令并進行反饋響應。

圖1　基于Multi-Agent的分級控制結構Fig.1　Multi-Agent hierarchical control framework

如圖2所示，在具體實現(xiàn)平臺中，決策層主要體現(xiàn)為任務調度模塊，用于根據(jù)用戶任務指令、平臺部件狀態(tài)和可用資源進行各系統(tǒng)的任務分解以及時序分配。中間層則為資源分配模塊，包含有多個Agent，每個Agent對應一個子系統(tǒng)，在事件發(fā)生的每一個決策周期，每個Agent可根據(jù)任務、外部環(huán)境和自身狀態(tài)進行需求評估，資源分配中心則統(tǒng)籌多個Agent評估結果以及任務優(yōu)先級來制定各Agent資源分配策略，并轉換成底層控制器指令下發(fā)。

可見，船機電系統(tǒng)自主控制的過程就是實現(xiàn)各子系統(tǒng)自主任務調度與資源分配的過程。其通過自感知外界環(huán)境條件，自適應決策各系統(tǒng)資源與任務執(zhí)行時序，實現(xiàn)艦船平臺資源的自重構與自主控制，從而降低艦員工作強度、減少艦員數(shù)量，提高艦船的任務效能。

2　基于Multi-Agent的資源分配策略模型

為實現(xiàn)資源的自適應分配，自主控制平臺必須能夠實時根據(jù)艦船任務的執(zhí)行需求、關鍵負載狀態(tài)以及場景環(huán)境等信息評估當前態(tài)勢并進行資源重配置。考慮到自主控制平臺每個決策周期的決策與執(zhí)行動作只與當前狀態(tài)有關，與歷史狀態(tài)無關，具有馬爾科夫性質，因此可基于馬爾科夫模型進行資源分配過程建模。同時，由于自主控制平臺的實時性需求與環(huán)境的不確定特征，本文采用線性規(guī)劃公式與隨機策略來描述馬爾科夫決策過程策略。

2.1基于Multi-Agent的馬爾科夫決策過程

對于基于馬爾科夫決策的資源分配過程建模，首先需解決2個問題：一是如何表示多個子系統(tǒng)，即多個Agent；二是如何表示資源約束的條件。

圖2　自主控制平臺原理框圖Fig.2　The schematic of autonomous control plant

考慮到艦船平臺各系統(tǒng)的松耦合性，可采用無約束的Multi-Agent表示多個子系統(tǒng)。即假設存在M個Agent，每個Agent都具有相同的狀態(tài)空間S=｛i｝和動作空間A=｛a｝，則優(yōu)化標準為總期望收益的無約束Multi-Agent馬爾科夫決策過程如下：式中：每個Agent m的優(yōu)化變量xm=｛｝對應一個隨機策略π=［πia］，表示在狀態(tài)i時選擇動作a的期望頻率；為執(zhí)行動作a能獲得的即時收益；δij為狀態(tài)i到狀態(tài)j的概率分布；為在狀態(tài)i時執(zhí)行動作a轉移到狀態(tài)j的概率；α=｛｝，為狀態(tài)上初始概率分布的一個度量。

艦船資源主要包含電能和冷卻水2種，其中電能屬消耗性資源，可以采用以下約束：式中：為若Agentm在狀態(tài)i執(zhí)行動作a，會消耗個可消耗資源u；為可消耗資源的上界。

式（5）中，rand為隨機函數(shù)，即隨機選擇的Agent m都應滿足需求資源小于總資源數(shù)?？梢姡珹gent執(zhí)行動作消耗的資源實際上就是資源分配問題的解，綜合式（1）～式（5），各Agent資源分配的最優(yōu)策略即可通過式（6）和式（7）得出：

2.2資源分配過程設計

基于以上過程模型，平臺資源分配過程設計如下：首先，通過評估當前獲取的任務、運行環(huán)境以及艦船狀態(tài)信息，確定t時刻的系統(tǒng)狀態(tài)；然后，各系統(tǒng)對應Agent結合當前狀態(tài)生成資源需求；最后，資源分配模塊根據(jù)各系統(tǒng)資源需求與任務優(yōu)先級，生成最優(yōu)資源分配策略，如圖3所示。

圖3　資源分配過程Fig.3　Resource distributing process

在圖3中的資源需求矩陣中，元素 Rijreq表示當前狀態(tài)下Agenti請求資源 j的量；在優(yōu)先級矩陣中，元素rij表示Agenti請求資源 j的優(yōu)先級。這些信息作為Multi-Agent策略模型的輸入，生成最優(yōu)策略。具體實現(xiàn)步驟如下：

1）定義每個Agent的狀態(tài)和行動空間。假設系統(tǒng)包含M個獨立運行的Agent，定義狀態(tài)空間Sm以及行動空間 Am（m=｛1,2,…,M｝）。每個Agent的一個狀態(tài)由一個或多個狀態(tài)變量確定。在Agentm的每個狀態(tài)中，只有一組行動可被執(zhí)行，所有的組成行動空間Am。

2）估算轉移概率矩陣并確定即時收益因子。轉移概率矩陣P=［piaj］，表示在狀態(tài)i時執(zhí)行動作a卻變?yōu)闋顟B(tài) j的概率。即時收益因子矩陣R=［ria］，表示在狀態(tài)i時執(zhí)行動作a的期望即時收益因子。

3）確定每類資源的上界，以及每個狀態(tài)—動作對應Agent所請求的資源類型與需求，如消耗型與可循環(huán)型。

4）按照1）～3）中定義的輸入，決策器根據(jù)式（6）和式（7）計算出最優(yōu)決策（即各Agent的最佳狀態(tài)動作對）。

5）根據(jù)最優(yōu)決策生成資源分配策略，即每一個決策時序內需要執(zhí)行的動作集合，然后分配該動作的資源需求給相應的Agent。

此外，考慮到艦船在執(zhí)行任務的過程中可能會發(fā)生如損傷或任務改變的突發(fā)事件，此時，就需及時更新轉移概率矩陣，并結合決策信息更新每個狀態(tài)—動作對的收益函數(shù)。將更新后的以上參數(shù)作為自主決策器的新輸入，重新產生最優(yōu)策略，如圖4所示。

3　自主控制平臺自適應資源分配實現(xiàn)

本節(jié)將基于以上資源分配策略模型，結合艦船作戰(zhàn)和巡航這2類任務場景，并選取一些典型的系統(tǒng)作為自主控制平臺的負載，描述自主控制平臺的自適應資源分配過程實現(xiàn)。

圖4　突發(fā)事件時的資源分配Fig.4　Resource distributing in exigent event

自適應資源分配實現(xiàn)過程如下。

1）定義每個Agent的狀態(tài)與動作空間。

表1中的每個系統(tǒng)各對應一個Agent，各Agent獨立運行但共享平臺資源（水、電）。設定每個Agent的狀態(tài)空間由自身狀態(tài)（過熱、正常和停止）和優(yōu)先級（高、中、低）變量決定，如表2所示。

表1　不同任務場景下的典型系統(tǒng)負載優(yōu)先級Tab.1　The system load priority for different mission

表2　Agent的狀態(tài)空間描述Tab.2　The state space description of Agent

本文中，Agent的自身狀態(tài)通過電力和流體仿真模型中的參數(shù)輸入確定；優(yōu)先級狀態(tài)則由任務工況和優(yōu)先級設定值決定。各Agent的每個狀態(tài)對應一組動作空間：a1為該Agent提供冷卻水，a2對該Agent停止供電，a3對該Agent重新供電并供應冷卻水。

2）估計轉移概率矩陣和即時收益。

針對以上設定的動作與狀態(tài)空間，結合機電系統(tǒng)的作業(yè)特征，設定一組轉移概率矩陣和即時收益，并假設所有的Agent參數(shù)值相同，如表3所示。后續(xù)研究若能結合實船歷史數(shù)據(jù)進行估算或進行精確的建模仿真，則可得到更為準確的參數(shù)值，從而進一步提升模型效能。

表3　動作a1的狀態(tài)轉移概率矩陣和即時收益示例Tab.3　State transition probability and income ofa1

3）確定資源上界以及各Agent的資源需求。

假設平臺每個決策時序都能提供30單位的電能和30單位的冷卻水，所有Agent共享這些資源。如表4所示，每個Agent的電資源需求h與水資源需求g取決于其當前所處的狀態(tài)i以及在該狀態(tài)下執(zhí)行的動作a1，a2和a3，并令高優(yōu)先級或過熱時需要更多的資源。

表4　狀態(tài)—動作對的資源需求Tab.4　The resource requirement of state-action

4）計算最優(yōu)策略。

表5　最優(yōu)策略Tab.5　Optimizing policy（OP）

5）資源分配。

表5中的πia表示在狀態(tài)i選擇執(zhí)行動作a的概率。在每個決策時序內，Agent即可根據(jù)最優(yōu)動作策略在狀態(tài)上的概率分布選擇執(zhí)行的動作，從而實現(xiàn)資源調度分配（供水或供電）。

4　自主控制平臺仿真分析

如圖5所示，自主控制平臺仿真環(huán)境主要由電力、流體物理模型與控制器模型組成。前者主要為電力開關和流體閥開關的物理特征模型，后者則由分布式控制器（MetaVDCS）、基于Agent的控制器（ABCS）以及高級控制器（HLC）組成，并均由Matlab腳本文件實現(xiàn)。其中：MetaVDCS腳本文件對底層控制器，如電力開關和閥的控制機構的邏輯進行建模，模擬本地控制狀態(tài)；ABCS腳本文件則根據(jù)從HLC獲得的優(yōu)先級為負載分配電和冷卻水資源，調節(jié)分配給負載的功率以及流經負載的冷卻水流量。

接下來，將以表1所示的典型系統(tǒng)為例，對巡航、作戰(zhàn)以及任務改變這3種場景進行仿真分析。

圖5　自主控制平臺仿真環(huán)境原理圖Fig.5　The schematic of autonomous control plant simulating environment

4.1場景1——巡航、作戰(zhàn)任務

如表1所示，在巡航工況下，推進和導航系統(tǒng)為高優(yōu)先級，而武器系統(tǒng)則為低優(yōu)先級。此時，需保障推進系統(tǒng)和導航系統(tǒng)正常工作不關閉，并優(yōu)先為其提供電和水資源。對應的分配策略為：高優(yōu)先級Agent處于狀態(tài)1～6（過熱和正常）時不能執(zhí)行動作a2，處于狀態(tài)7～9（停止工作）時不能執(zhí)行動作a1而應該執(zhí)行動作a3，并且當外部環(huán)境狀態(tài)變更時，這些Agent需依然能高概率地保持轉移到期望狀態(tài)（如狀態(tài)4）。對此，本節(jié)設定一組反映以上策略的轉移概率和即時收益矩陣，如表6所示。

如表6所示，在任意狀態(tài)—動作對下，高優(yōu)先級Agent狀態(tài)4的轉移概率均遠高于其他概率。動作a1對于狀態(tài)1～6、動作a3對于狀態(tài)7～9的收益總是正的，其效果是保持Agent正常工作并獲得請求資源，而導致Agent關閉的狀態(tài)—動作對（如動作a2對于狀態(tài)1～6）或者保持Agent關閉（如動作a1對于狀態(tài)7～9）的收益則是負的。因此，需令這些Agent正常工作并獲得請求資源的概率高，從而使系統(tǒng)自動重構至當前態(tài)勢的最優(yōu)狀態(tài)。同理，中、低優(yōu)先級Agent的執(zhí)行策略與高優(yōu)先級的相似，但轉移概率略低。根據(jù)以上輸入和上節(jié)所設定的資源相關參數(shù)，即可計算得出最優(yōu)策略（表5）。作戰(zhàn)任務的決策原則與巡航任務的相似，即盡可能保持雷達、指控、武器系統(tǒng)這些高優(yōu)先級Agent獲得請求資源并處于工作狀態(tài)。

表6　高優(yōu)先級Agent狀態(tài)轉移矩陣和收益函數(shù)Tab.6　State transition probability and income of high priority Agent

下面，將選擇控制系統(tǒng)最常采用的最大即時收益策略（表7）算法為對比對象，分析最優(yōu)策略方案在巡航、作戰(zhàn)任務場景的資源分配效能。

表7　最大即時收益策略（MIR）Tab.7　Max income resource（MIR）

圖6與圖7中，Agent的可用性為在一個決策周期處于工作狀態(tài)的時間比例?？梢姡啾茸畲蠹磿r收益策略，最優(yōu)策略各系統(tǒng)Agent明顯具備更高的可用性。這說明通過采用最優(yōu)策略算法，不僅能夠針對任務執(zhí)行需求統(tǒng)籌總體資源，有效保障任務中高優(yōu)先級負載大概率地處于工作狀態(tài)，還能使艦船整體運行于最佳狀態(tài)。

圖6　巡航任務中2種策略的效能Fig.6　The efficiency of two strategies in cruise task

圖7　作戰(zhàn)任務中不同策略的Agent可用性Fig.7　Efficiency of two strategies in fight task

4.2場景2——緊急任務改變

下面將結合巡航→作戰(zhàn)任務改變場景進行仿真試驗，分析突變事件下調度策略的自適應更新與資源分配能力。設定前50個決策時序執(zhí)行巡航任務，在決策時序50時出現(xiàn)了敵對情況，變?yōu)樽鲬?zhàn)任務。那么，此時自主平臺需在該時序更新轉移概率矩陣和收益函數(shù)，重新計算最優(yōu)策略并完成重構。

圖8顯示了當前仿真環(huán)境在任務改變后各Agent的重構映射過程。當處于巡航任務時，Agent 1和Agent 3具有高優(yōu)先級，在大多數(shù)時間里，它們都處于期望狀態(tài)（正常工作）。在第50個決策時序當任務改變后，Agent 2，Agent 7，Agent 8 和Agent 9具有高優(yōu)先級，自主平臺則自適應重新分配資源，最大程度地保證這4個關鍵Agent處于期望狀態(tài)（正常工作）?？梢?，資源分配模型能夠感知外部環(huán)境變化，自適應實現(xiàn)系統(tǒng)重構與資源重分配。

圖8　巡航任務切換為作戰(zhàn)任務各Agent狀態(tài)變化Fig.8　The Agent state change for mission switch

5　結　語

綜上所述，以自主資源分配策略為核心的自主控制平臺能夠根據(jù)不同的任務、環(huán)境需求進行自主決策與資源調度，通過優(yōu)先保障關鍵負載的運行，使艦船整體運行于最佳狀態(tài)，從而增強艦船平臺的整體生命力和任務執(zhí)行效能。不過，為實現(xiàn)工程應用，后續(xù)還需進一步開展以下研究：

1）狀態(tài)轉移概率矩陣及收益函數(shù)作為自主決策器的關鍵輸入?yún)?shù)，決定了自主平臺的可靠性與自控效能，后續(xù)還需建立更精準的船機電系統(tǒng)數(shù)學模型，并進行大量的仿真統(tǒng)計以獲得更為準確的數(shù)值。

2）針對實船應用中作戰(zhàn)環(huán)境下的強實時在線決策需求，后續(xù)可基于時域滾動思想開展實時決策研究，并結合實時仿真平臺RT-LAB進行實時或超實時仿真分析。

［1］ NGUYEN T V，EPPERLY W，BUDINGER B.A survey of existing ship machinery control systems and suggested improvement for future ship platforms［C］//ASNE Day Symposium 2010.Arlington，VA：ASNE，2010.

［2］SASSO H H.Transforming legacy systems for the modernized DDG preliminary design case study［C］//Naval Engineering for Joint and Coalition Rapid Maritime Response.USA：［s.n.］，2005.

［3］WALKS J P，MEARMAN J F.Integrated engineering plant［C］//ASNEReconfigurationandSurvivability Symposium 2005.Atlantic Beach，F(xiàn)lorida：Sea Turtle Inn，2005.

［4］HAGAN J，GROWE K，QUINTANA V，et al.Human systems integration and crew design process development in the Zumwalt destroyer program［C］//Committee on Naval Engineering in the 21st Century Transportation Research Board.［S.l.］：Bath Iron Works，2011：1-28.

［5］ O'ROURKE R.Navy DDG-51 and DDG-1000 destroyer programs：background and issues for congress［R/ OL］.USA：Congressional Research Service，2011. ［2012-01-13］.http：//www.fas.org/sgp//crs/weapons/ RL32109.pdf.

［6］嚴浙平，趙玉飛，陳濤.海洋勘測水下無人航行器的自主控制技術研究［J］.哈爾濱工程大學學報，2013，34（9）：1152-1158.

YAN Zheping，ZHAO Yufei，CHEN Tao.Research on autonomous control of unmanned underwater vehicle for oceanographic survey［J］.Journal of Harbin Engineering University，2013，34（9）：1152-1158.

［7］曹詩杰，曾凡明，陳于濤.無人水面艇航向航速協(xié)同控制方法［J］.中國艦船研究，2015，10（6）：74-80.

CAO Shijie，ZENG Fanming，CHEN Yutao.The course and speed cooperative control method for unmanned surface vehicles［J］.Chinese Journal of Ship Research，2015，10（6）：74-80.

［8］ 陸嘉明，李承祖.船舶機艙自動化在中國的發(fā)展回顧［J］.上海船舶運輸科學研究所學報，2012，35（2）：1-3.

LU Jiaming，LI Chengzu.Review of the marine engine room automation in China［J］.Journal of Shanghai Ship and Shipping Research Institute，2012，35（2）：1-3.

［9］雷正玲.救助船動力定位智能控制及仿真的研究［D］.大連：大連海事大學，2011.

［10］ 邱琦.基于自抗擾控制技術的自動操舵儀的設計與實現(xiàn)［D］.大連：大連海事大學，2012.

網(wǎng)絡出版地址：http://www.cnki.net/kcms/detail/42.1755.TJ.20160729.0945.030.html期刊網(wǎng)址：www.ship-research.com

引用格式：薛彩霞，袁偉，俞孟蕻，等.遺傳粒子群優(yōu)化算法在船舶動力定位控制中的應用［J］.中國艦船研究，2016，11 （4）：111-115.

XUE Caixia，YUAN Wei，YU Menghong，et al.Application of the genetic particle swarm optimization algorithm in dynamic positioning ship contro［lJ］.Chinese Journal of Ship Research，2016，11（4）：111-115.

Autonomous control plant and resource distributing strategy for HM&E systems

YUE Lin
China Ship Development and Design Center，Wuhan 430064，China

As most Hull Mechanical&Electrical（HM&E）Systems are still based on“human in loop”tradition mode in controlling and decision-making，which requires much man power and severely affects system efficiency，an autonomous control plant for HM&E system is proposed.By using Multi-Agent hierarchical control structure associating with HM&E systems and adopting the resource distributing strategy model to actualize system resources distribution and task scheduling，the ship platform is empowered with adaptive reconstruction and autonomous execution ability in an unmanned condition，which changes the operation mode from traditional human based running to autonomous running.The simulation results show that this plant is not only applicable to autonomously decision execution and resource optimization in various tasks and environment，but is also effective in improving the automation level and the overall vitality of the ship platform.

Hull Mechanical&Electrical（HM&E）system；autonomous control；resource distributing；task scheduling；Multi-Agent hierarchical control

中國分類號：U662.9A

10.3969/j.issn.1673-3185.2016.04.015

2015-12-15網(wǎng)絡出版時間：2016-7-29 9:45

國家自然科學基金資助項目（61303238）

岳林（通信作者），男，1982年生，博士，工程師。研究方向：艦船信息化與智能控制。

E-mail：elfyue1982@163.com