楊 雪 傅 貴授

（1.挪威科技大學(xué) 海洋工程系，挪威 7491；2.中國礦業(yè)大學(xué)（北京）應(yīng)急管理與安全工程學(xué)院，北京 100083）

0 引言

現(xiàn)代工業(yè)即將面臨從自動(dòng)化系統(tǒng)到自主系統(tǒng)的變革。我國國務(wù)院在《新一代人工智能發(fā)展規(guī)劃》[1]中指出，人機(jī)協(xié)同增強(qiáng)智能、群體集成智能、自主智能系統(tǒng)成為人工智能的發(fā)展重點(diǎn)。開發(fā)無人系統(tǒng)與智能自主系統(tǒng)的初衷是降低某些特殊工作環(huán)境和操作失誤給人類帶來的風(fēng)險(xiǎn)，如無人車、無人船以及無人飛行器等。但自主無人系統(tǒng)自身所帶來的風(fēng)險(xiǎn)問題，越發(fā)得到學(xué)術(shù)界與工業(yè)界的廣泛關(guān)注[2]。

由以往事故案例提煉出來的事故致因理論，旨在總結(jié)典型事故發(fā)生的機(jī)理，為未來風(fēng)險(xiǎn)分析提供科學(xué)的理論依據(jù)。事故致因理論多基于大量已發(fā)事故分析，用以累積先驗(yàn)知識以預(yù)測與預(yù)防同類事故的發(fā)生。那么對于處在創(chuàng)新與探索階段的自主系統(tǒng)的安全事故防范，又有著哪些啟示呢？

本文對目前國際主流的事故致因理論進(jìn)行了綜述，并對其如何應(yīng)用到自主系統(tǒng)的開發(fā)與安全運(yùn)行進(jìn)行了探討。

1 自主系統(tǒng)的定義及等級

1.1 自動(dòng)化系統(tǒng)與自主系統(tǒng)

近幾十年來，自動(dòng)化系統(tǒng)的引入在很大程度上改變了人機(jī)交互的模式。但從根本上來講，意義構(gòu)建（Sense-making）和決策（Decision-making）并沒有被集成到自動(dòng)化系統(tǒng)中。如在自動(dòng)駕駛領(lǐng)域中，自動(dòng)化技術(shù)主要集中在執(zhí)行提前設(shè)計(jì)的邏輯步驟， 整合多源傳感器信息，制導(dǎo)和導(dǎo)航技術(shù)，以及自動(dòng)避撞技術(shù)。近年來，人工智能，機(jī)器學(xué)習(xí)技術(shù)的日趨成熟，以及芯片計(jì)算能力的大幅度提高，為自主技術(shù)的實(shí)現(xiàn)構(gòu)建了新的平臺。當(dāng)前，工業(yè)界與學(xué)術(shù)界并未對自主系統(tǒng)的定義和等級劃分達(dá)成共識。自主被定義為系統(tǒng)或子系統(tǒng)進(jìn)行整合意義構(gòu)建（Integrated Sensemaking）、認(rèn)知（Perceiving）、分析（Analyzing）、溝通（Communicating）、計(jì)劃（Planning）、決策（Decision-making）以及行動(dòng) （Acting）的能力，通過人機(jī)交互界面來實(shí)現(xiàn)既定任務(wù)[3]。

1.2 自主系統(tǒng)的等級

在不同的應(yīng)用領(lǐng)域里，自主系統(tǒng)等級分類各不相同。當(dāng)前學(xué)術(shù)界、工業(yè)界對于分類標(biāo)準(zhǔn)尚未達(dá)成共識?；诓僮魅藛T的獨(dú)立性、任務(wù)的復(fù)雜性和環(huán)境的復(fù)雜性、自主性可以大體分為4個(gè)等級[3]。

（1）等級1：遠(yuǎn)程遙控。操作人員可直接控制以完成任務(wù)。具有此等級自主性的系統(tǒng)通常是經(jīng)行過預(yù)編程處理。

（2）等級2：經(jīng)同意遠(yuǎn)程管理。系統(tǒng)可自動(dòng)為與任務(wù)相關(guān)的操作提出建議，并在重要時(shí)間點(diǎn)提醒操作人員以獲取信息與決策。此等級的系統(tǒng)可在操作人員授權(quán)下自動(dòng)執(zhí)行一部分的功能。

（3）等級3：半自主。操作人員只在異常時(shí)刻進(jìn)行干涉。系統(tǒng)可自動(dòng)執(zhí)行任務(wù)，但操作人員可在定義的時(shí)間范圍內(nèi)取消或修改某些操作。

（4）等級4：高度自主。此等級的系統(tǒng)是獨(dú)立的智能系統(tǒng)。系統(tǒng)能夠在蕪雜的環(huán)境中計(jì)劃并重新計(jì)劃以獨(dú)立完成任務(wù)。操作人員只具有知情權(quán)，但無法干涉系統(tǒng)為完成任務(wù)所作的決策。

2 自主系統(tǒng)的特征

和傳統(tǒng)自動(dòng)化系統(tǒng)相比，自主系統(tǒng)有其自身特點(diǎn)，可歸納為：

（1）對可靠性有更高要求。自主系統(tǒng)對人的依賴性降低。這意味著系統(tǒng)的軟硬件的可靠性需達(dá)到甚至高出設(shè)計(jì)期望值。同時(shí)，系統(tǒng)對故障的快速診斷，容錯(cuò)以及糾錯(cuò)的能力至關(guān)重要。

（2）不確定性與不可預(yù)知性更強(qiáng)。某些自主系統(tǒng)被用于特殊工作環(huán)境中。人們對這種工作環(huán)境往往先驗(yàn)知識不足，因此所能獲得的原始信息的不確定性很高，不可預(yù)知性更強(qiáng)。自主系統(tǒng)需探索環(huán)境，甄別信息，進(jìn)行規(guī)劃，決策與控制。

（3）自主系統(tǒng)的研發(fā)是有階段性的。在相關(guān)法律與規(guī)范完善之前，等級1、2、3的自主系統(tǒng)將是主導(dǎo)。這樣一來，自主系統(tǒng)運(yùn)行過程中，人的監(jiān)管是必不可少的。

3 事故致因理論模型綜述

一直以來，事故致因理論是風(fēng)險(xiǎn)分析的基礎(chǔ)[4]。從不同角度出發(fā)的事故致因理論總結(jié)了事故發(fā)生的規(guī)律與致因因子，從而為定性與定量風(fēng)險(xiǎn)分析提供了依據(jù)，為事故預(yù)防奠定了基礎(chǔ)。

3.1 安全屏障理論

安全屏障理論（Energy-barrier Theory）（如圖1）是預(yù)防重大事故發(fā)生的主流致因理論，最早由Gibson（1961）[5]倡導(dǎo)，并被Haddon（1980）[6]廣泛推廣。Haddon圍繞著以下3大要素提出了事故預(yù)防的10大策略：

圖1 能量-安全屏障原理[5]Fig.1 Energy-barrier model[5]

（1）能量源：能量的釋放是傷害的源頭。避免事故的發(fā)生則意味著通過預(yù)防能量累積，減少能量含量，預(yù)防失控能量釋放，改變能量釋放率或分布，來避免失去對能量的控制。

（2）易受傷害財(cái)產(chǎn)：需保護(hù)對象，包括人的生命、健康，環(huán)境以及系統(tǒng)其他重要資產(chǎn)等。

（3）安全屏障：避免傷害的手段，包括使易受傷害者與危險(xiǎn)能量源分離，對受害者的保護(hù)措施。安全屏障在安全管理系統(tǒng)中扮演重要的角色。

簡而言之，本理論的觀點(diǎn)是：重大事故發(fā)生的最終原因是危險(xiǎn)能量失去控制，并且在能量源與需受保護(hù)的財(cái)產(chǎn)（包括人員）間沒有設(shè)置有效安全屏障，或安全屏障完全失效。

能量-安全屏障理論，尤其是縱深防御的策略（Defense-in-depth）在核工業(yè)，化工業(yè)以及石油天然氣行業(yè)進(jìn)行了廣泛推廣。IAEA[7]對縱深防御進(jìn)行了如下描述：縱深防御是以彌補(bǔ)潛人為操作失誤和機(jī)械故障為目的，以多層保護(hù)機(jī)制（其中包括防止放射性材料泄露到環(huán)境中的重疊安全屏障）為中心的概念。它的目的在于保證有事故風(fēng)險(xiǎn)的活動(dòng)置于重疊措施的防御之下，即使有一種故障發(fā)生，也將有適當(dāng)?shù)拇胧┻M(jìn)行探測、補(bǔ)償或糾正。

Reason[8]在瑞士奶酪模型（如圖2）中提出，操作人員的不安全行為，或設(shè)備的故障等顯性失效，與系統(tǒng)和組織活動(dòng)中不同層面存在的隱性缺欠同時(shí)被激活，最終導(dǎo)致事故的發(fā)生。在整個(gè)系統(tǒng)設(shè)計(jì)、制造、安裝與運(yùn)行過程中，由于各種決策失誤所導(dǎo)致的漏洞，可一直潛伏在系統(tǒng)中直到被激活。當(dāng)操作失誤，同時(shí)各層面漏洞顯現(xiàn)，危險(xiǎn)源就像一束光源，剛好能夠透過所有層面的漏洞。這時(shí)事故的發(fā)生不可避免。

圖2 瑞士奶酪模型[8]Fig.2 Swiss cheese model[8]

值得注意的是，為減少人因錯(cuò)誤，操作規(guī)范與各種管理規(guī)則被引進(jìn)到廣義安全屏障的定義中。安全屏障進(jìn)而被定義為“以物質(zhì)或非物質(zhì)的方式，來預(yù)防、控制、緩和不希望發(fā)生的事件”[9]。

3.2 人為災(zāi)難理論

Turner[10]于1978年在分析了英國政府發(fā)布的84起事故報(bào)告后，提出人為災(zāi)難理論（Man-made Disaster Theory）。他認(rèn)為事故的發(fā)生是有相似性的，事故的預(yù)防不能僅僅依靠可靠性工程，還要通過系統(tǒng)性的分析和管理導(dǎo)致失效的軟致因因子。

Turner尤其強(qiáng)調(diào)了信息流缺失和對信息的誤解在事故發(fā)生中的重要性。他認(rèn)為，事故的發(fā)生是由人因和組織安排相互作用所造成的。在事故發(fā)生前，可能導(dǎo)致事故的信息已經(jīng)被某些人知曉，或是存儲在某些地方。而缺失信息流的原因可能為：

（1）故意拒絕或承認(rèn)知道，甚至是在潛意識中。

（2）先前信息被注意到，但尚未被完全理解。

（3）先前信息未被正確搜集。

（4）相關(guān)信息存在，但當(dāng)它與先前信息，規(guī)范或價(jià)值觀相沖突時(shí)，它便被忽略而不被討論。由于本體論或認(rèn)識論的偏見，也有可能無法看到它們。

因此，此理論側(cè)重于有效收集已知的信息，并致力于在組織中達(dá)成共識：一些在運(yùn)營中習(xí)以為常的偏差，往往很可能有最終導(dǎo)致重大事故的風(fēng)險(xiǎn)。而運(yùn)營中不斷發(fā)生的一些小偏差，之所以能夠在事故的潛伏期累積起來，多是因?yàn)閷ξｋU(xiǎn)信號的忽視，誤解，或者固執(zhí)己見。

3.3 目標(biāo)沖突理論

目標(biāo)沖突理論（Con flicting Objective Theory）的代表Rasmussen[11]認(rèn)為，威脅到生產(chǎn)安全的一些錯(cuò)誤決策，多是組織內(nèi)部對于生產(chǎn)壓力和工作負(fù)荷的妥協(xié)所造成的。圖3為系統(tǒng)運(yùn)行安全性的遷移模型。

圖3 安全遷移模型[11]Fig.3 Safety migration model[11]

Rasmussen指出，提高安全性的兩種方法為：增加安全冗余和降低經(jīng)濟(jì)效率梯度與勝利梯度，以避免迫減安全冗余。對于怎樣定義安全邊界并使其可見，是該理論用于實(shí)踐中的難點(diǎn)。Rasmussen還指出，風(fēng)險(xiǎn)管理的實(shí)質(zhì)是在特定工作環(huán)境中，和生產(chǎn)壓力下對工作過程的控制問題。這種控制是從上而下的， 從政府、監(jiān)管者，到公司管理層、 員工和實(shí)際工作現(xiàn)場。每一層都受到相應(yīng)的環(huán)境壓力。這些在各個(gè)層面的壓力往往最終終威脅到實(shí)際生產(chǎn)安全的決策。在此基礎(chǔ)上，Rasmussen和Svedung總結(jié)了AcciMap事故分析模型[12]。AcciMap（如圖4）概述了在事故發(fā)展過程中，各個(gè)決策機(jī)構(gòu)（決策者）如何相互作用繼而影響事故的發(fā)生。AcciMap的目的并非找到事故責(zé)任人，而是找出哪些決策可以提高風(fēng)險(xiǎn)管理的質(zhì)量，最終保證生產(chǎn)安全。

圖4 AcciMap模型結(jié)構(gòu)[12]Fig.4 AcciMap structure[12]

3.4 正常事故理論

正常事故理論（Normal Accident Theory）的代表Perrow[13]持有相對悲觀的事故致因觀點(diǎn)，認(rèn)為，對于高度交互并緊密耦合的復(fù)雜系統(tǒng)來說，重大事故的發(fā)生是不可避免的。此理論推動(dòng)了對于復(fù)雜系統(tǒng)的安全極限的討論。Perrow對于交互復(fù)雜性和緊密關(guān)聯(lián)的定義如下：

交互復(fù)雜性：系統(tǒng)由子系統(tǒng)和零件組成。他們之間的交互作用往往會(huì)出現(xiàn)1+1＞2的效應(yīng)，但這種交互究竟會(huì)出現(xiàn)什么程度的效應(yīng)，以什么形式出現(xiàn)并不能被設(shè)計(jì)者完全理解。高度交互的系統(tǒng)有時(shí)出現(xiàn)的失效會(huì)出乎設(shè)計(jì)者的意料。

緊密耦合性：緊密耦合意味著兩者之間沒有空隙或緩存。緊密耦合性適用于如計(jì)劃時(shí)間表，或者資源。耦合性越緊密，意味著因果效應(yīng)在系統(tǒng)中發(fā)酵傳播的速度就越快。

該理論所面臨的質(zhì)疑在于如何量化復(fù)雜性和緊密性。Hopkins[14]指出，近幾十年來的重大事故，仍然是由管理不善和成本壓力造成的，并不是不可避免的。盡管如此，該理論引起了學(xué)術(shù)界與工業(yè)界的興趣，并促進(jìn)了高效組織理論的興起。

3.5 系統(tǒng)理論事故模型與過程

Leveson[15]支持Rasmussen的觀點(diǎn)，認(rèn)為安全是一個(gè)控制的問題。她指出，多數(shù)的事故致因理論過于簡化事故發(fā)生的原因， 并提出基于系統(tǒng)理論與控制理論的系統(tǒng)理論事故模型與過程（System Theory Accident Model and Process，STAMP）事故致因模型。STAMP含有3個(gè)基本概念：系統(tǒng)分層控制結(jié)構(gòu)、安全約束以及過程模型。STAMP用分層的控制結(jié)構(gòu)來描述系統(tǒng)，從上而下包括政府、組織、工程活動(dòng)以及物理組件等。安全約束是STAMP中最重要的一個(gè)概念。Leveson認(rèn)為，導(dǎo)致事故的原因主要是在系統(tǒng)研發(fā)和運(yùn)行過程中，安全約束沒有在各個(gè)分層間得到充分的實(shí)施。而過程模型所表征的是被控過程被認(rèn)知的情況。Leveson將控制器分為操作員和系統(tǒng)控制器，從而將人員也納入了控制模型中。操作人員過程模型的偏差，以及環(huán)境的影響，往往是出現(xiàn)危險(xiǎn)事故的原因之一。

基于STAMP，Leveson開發(fā)了系統(tǒng)理論過程分析（System-theory Process Analysis, STPA）方法，針對控制回路進(jìn)行典型危險(xiǎn)源識別，用以完善系統(tǒng)設(shè)計(jì)?；究刂苹芈钒?大組成部分：控制器、制動(dòng)器、控制過程和傳感器。STPA的目標(biāo)是識別不安全的控制動(dòng)作（Unsafe Control Action，UCA）。UCA被定義為在某特殊狀態(tài)下和最壞條件下將導(dǎo)致危險(xiǎn)的控制動(dòng)作。在STPA最新發(fā)布的指南中[16]，給出了如何確定識別UCA，確認(rèn)導(dǎo)致不安全的控制動(dòng)作，以及控制動(dòng)作沒有被執(zhí)行或錯(cuò)誤執(zhí)行所導(dǎo)致的事故場景，如圖5。

圖5 STPA考慮的兩類事故場景[16]Fig.5 Two types of accident scenarios considered by STPA[16]

其中，UCA發(fā)生的原因主要分為兩大類：

（1）控制器控制行為不當(dāng)，導(dǎo)致原因如下：控制器失效（如硬件失效、電源失效等）；控制算法不當(dāng)（如控制算法執(zhí)行缺陷、算法存在缺陷、算法未及時(shí)反應(yīng)變更或系統(tǒng)老化）；不安全輸入（如上層控制器/控制人員傳達(dá)信息錯(cuò)誤）；過程模型缺陷（控制器接收不正確信息反饋、控制器錯(cuò)誤解析或忽略反饋信息、控制器未接收反饋信息或信息延遲）。

（2）反饋信息及其他輸入信息不當(dāng)，導(dǎo)致原因如下：反饋或信息未被接收（如傳感器發(fā)出信息，但未被控制器接收；傳感器未發(fā)出信息；傳感器未接收信息，傳感器或反饋渠道不存在）；不適當(dāng)信息被接收（如傳感器未發(fā)出正確信息、信息未被恰當(dāng)接收、傳感器設(shè)計(jì)缺陷未能提供反饋信息）；而當(dāng)控制動(dòng)作正確，但沒有被正確執(zhí)行或被錯(cuò)誤執(zhí)行所涉及的事故場景，則需要檢查控制路徑以及被控制過程相關(guān)的因子。舉例如下：

①控制器發(fā)出指令，但未被制動(dòng)器接收，或制動(dòng)器未響應(yīng)。

②控制器發(fā)出指令，但制動(dòng)器未充分響應(yīng)。

③控制器未發(fā)出指令，但制動(dòng)器錯(cuò)誤響應(yīng)。

④制動(dòng)器充分響應(yīng)，但未反應(yīng)到被控制過程。

⑤控制過程接收到指令，但沒有響應(yīng)或錯(cuò)誤響應(yīng)。

⑥控制過程響應(yīng)未發(fā)生指令。

3.6 高可靠性組織理論和韌性工程理論

嚴(yán)格意義上來講，高可靠性組織（H igh Reliability Organization，HRO）韌性工程（Resilience Engineering，RE）兩個(gè)理論并不是致因理論。他們都是致力于探索如何通過改善組織形式和人員的可靠性來避免事故的發(fā)生，而非尋找導(dǎo)致事故的原因。HRO起源于尋找解決高復(fù)雜性、高耦合性的系統(tǒng)如何能夠安全運(yùn)行的方案。該理論致力于研究零事故組織的生產(chǎn)過程與實(shí)踐操作。Weick和Sutcliffe[17]總結(jié)了HRO的5大基本原理：對小型失效保持警惕；拒絕過度簡化；保持對生產(chǎn)過程的敏感性；致力于彈性理念；尊重專家意見。基于這5大基本原理，培養(yǎng)警覺型人才，從而建立警覺型組織。

近幾年來韌性工程得到了廣泛的關(guān)注。韌性是指系統(tǒng)內(nèi)在的一種能力，使其能夠在意料中和意料外的條件下，在變化和擾動(dòng)之前、之中、和之后都能夠保持系統(tǒng)成功運(yùn)行[18]。韌性工程所強(qiáng)調(diào)的是以自適應(yīng)調(diào)整機(jī)制來應(yīng)對環(huán)境的變化與威脅，系統(tǒng)的故障。韌性工程的四大基本能力是：反應(yīng)能力、監(jiān)視能力、預(yù)料能力、與學(xué)習(xí)能力。

4 事故致因理論在自主系統(tǒng)開發(fā)與運(yùn)行中的應(yīng)用

事故致因理論致力于探索事故發(fā)生原因、發(fā)展規(guī)律，研究事故始末過程，以揭示事故本質(zhì)。各理論既有各自強(qiáng)調(diào)的致因要素，又有共通之處，對于自主系統(tǒng)的開發(fā)與安全運(yùn)行，有著重大的借鑒意義。下面將針對自主系統(tǒng)的特點(diǎn)來討論如何使用事故致因理論來增強(qiáng)自主系統(tǒng)的安全性。

和依賴人做決策的控制系統(tǒng)相比，自主系統(tǒng)大大降低了對人的依賴，這樣一來，在安全方面主要依靠各種技術(shù)安全屏障，尤其是縱深防御的策略來降低事故風(fēng)險(xiǎn)?？v深防御的安全屏障可能對顯性失效（Active Failure）和設(shè)計(jì)過程中就存在的隱性缺欠 （Latent Error）給予充分重視。另外，傳統(tǒng)的安全屏障理論側(cè)重于降低危險(xiǎn)能量釋放（如石油氣行業(yè)中的油氣泄露、船舶碰撞）帶來的后果。而危險(xiǎn)事件的預(yù)防則主要依靠操作人員的經(jīng)驗(yàn)、警報(bào)以及操作規(guī)范以減少誤操作。在自主系統(tǒng)中，危險(xiǎn)事件的預(yù)防完全依賴控制系統(tǒng)，有效安全屏障的設(shè)計(jì)則需要建立在充分識別可能存在的風(fēng)險(xiǎn)源以及相關(guān)事故場景的基礎(chǔ)上。

如圖6所示，風(fēng)險(xiǎn)源可有4種來源：外部風(fēng)險(xiǎn)源、自主系統(tǒng)的內(nèi)部風(fēng)險(xiǎn)源、來自人機(jī)交互的內(nèi)部風(fēng)險(xiǎn)源與監(jiān)督人員的失誤。在多數(shù)情況下，自主系統(tǒng)所面臨的外部風(fēng)險(xiǎn)源和控制系統(tǒng)相同。但是，某些自主系統(tǒng)的工作環(huán)境特殊，設(shè)計(jì)人員對工作環(huán)境的先驗(yàn)知識不足，導(dǎo)致某些決策場景設(shè)計(jì)空白，則必須完全依賴自主系統(tǒng)自行探索與自行決策。這意味著安全的設(shè)計(jì)既要為已知風(fēng)險(xiǎn)源（包含外部風(fēng)險(xiǎn)源和內(nèi)部風(fēng)險(xiǎn)源）設(shè)計(jì)有效安全屏障以避免風(fēng)險(xiǎn)源發(fā)生或進(jìn)一步傳播，又要考慮未知外部風(fēng)險(xiǎn)源以及安全屏障可能存在的漏洞所遺漏的風(fēng)險(xiǎn)。

圖6 事故致因理論如何應(yīng)用于自主系統(tǒng)的風(fēng)險(xiǎn)管理Fig.6 How to apply major accident causation theories into risk management of autonomous systems

人為災(zāi)難理論為如何提供更好的信息流提供了參考。自主系統(tǒng)通過感知模塊感知環(huán)境、系統(tǒng)本身狀態(tài)及目標(biāo)，再通過信息處理與融合，進(jìn)而將信息流進(jìn)行整合轉(zhuǎn)化為知識流，送入系統(tǒng)健康管理模塊與規(guī)劃決策制定模塊。從等級1至等級3的自主系統(tǒng)中，操作人員仍是最終避免事故發(fā)生的主力。但是，在操作不同等級的自主系統(tǒng)時(shí)，操作人員需要充分理解信息流的不同含義。Endsley[19-20]指出，自主系統(tǒng)的等級越高越可靠，操作人員就越難意識到關(guān)鍵的信息，并且越難在需要介入時(shí)進(jìn)行手動(dòng)控制以避免事故的發(fā)生。在高等級（如等級3）自主系統(tǒng)使用中，操作人員面臨著技能退化失去參與度，某些情況下工作量激增以及缺乏對整體復(fù)雜性的理解與缺乏可預(yù)測性的問題。通常情況下，自主化系統(tǒng)會(huì)兼有低等自主化及高等自主化的功能。當(dāng)自主化控制器突然將控制傳遞給可能未準(zhǔn)備好接管的操作人員時(shí)，將很容易發(fā)生意外。Turner在人為災(zāi)難理論中所強(qiáng)調(diào)的注重整合小偏差，減少對危險(xiǎn)信號的忽視與誤解，以降低事故潛伏的可能性的觀點(diǎn)需得到重視。

STAMP以及其基礎(chǔ)上開發(fā)的STPA方法有助于確保自主系統(tǒng)的安全約束被有效的確認(rèn)，以及在分層控制結(jié)構(gòu)中充分執(zhí)行。使用STPA對同一系統(tǒng)中的處于不同自主等級的模式進(jìn)行分析，可細(xì)致找出導(dǎo)致控制失效的原因，并且促使操作人員熟悉在各個(gè)模式下的責(zé)任以及如何最有效快速反應(yīng)緊急情況。另外，通過STPA方法識別的事故場景，可用于設(shè)計(jì)開發(fā)自主系統(tǒng)的測試案例。

目標(biāo)沖突理論中有兩點(diǎn)是自主系統(tǒng)的開發(fā)和運(yùn)營可借鑒的。第一，安全冗余的設(shè)計(jì)。第二，為維持自主系統(tǒng)的高可靠性、系統(tǒng)在運(yùn)行中的維修作業(yè)，尤其是預(yù)防性與預(yù)測性維護(hù)至關(guān)重要。如何保證最優(yōu)安全冗余，并且保證維修作業(yè)不被生產(chǎn)壓力和工作負(fù)荷壓迫導(dǎo)致安全模型遷移至危險(xiǎn)階段，需要進(jìn)行充分探討。

介于自主系統(tǒng)更強(qiáng)的不確定性與特殊工作環(huán)境的不可預(yù)知性，彈性工程中所強(qiáng)調(diào)的反應(yīng)能力、監(jiān)視能力、預(yù)料能力與學(xué)習(xí)能力更為重要。如無人駕駛車，當(dāng)其遭遇陌生場景時(shí)，要能夠深入分析事實(shí)邏輯，得出理性決策并發(fā)出安全控制指令。

5 結(jié)論

自主系統(tǒng)的開發(fā)處在創(chuàng)新與探索階段，如何在運(yùn)行過程中保證其安全性，并將安全性反映到設(shè)計(jì)中是自主系統(tǒng)開發(fā)不可缺少的一環(huán)。事故致因理論總結(jié)了大量的事故預(yù)防經(jīng)驗(yàn)，對于從不同角度識別已知的風(fēng)險(xiǎn)源，提高對未知風(fēng)險(xiǎn)源的警惕性，描述事故場景，仍有著重要的借鑒意義。基于事故致因理論所識別的事故場景，可用以輔助設(shè)計(jì)技術(shù)安全屏障與運(yùn)行策略來提高自主系統(tǒng)的安全性。

此外，高等級的自主系統(tǒng)決策機(jī)制與傳統(tǒng)的自動(dòng)化系統(tǒng)不同。自主系統(tǒng)開發(fā)的核心算法趨向于因果推理決策機(jī)制。但目前的事故致因理論所涉及到的腦科學(xué)和認(rèn)知心理學(xué)相關(guān)的討論甚少。 隨著自主系統(tǒng)技術(shù)的成熟與產(chǎn)品應(yīng)用的普及，事故致因理論隨之更新的可能性需做進(jìn)一步研究與探討。