楊文臣 張 輪 施弈騁 張 孟

（同濟(jì)大學(xué)道路與交通工程教育部重點(diǎn)實(shí)驗(yàn)室 上海 201804）

0 引 言

智能體計(jì)算技術(shù)（agent－based computing）允許將系統(tǒng)分解成多個(gè)相互關(guān)聯(lián)的智能體，協(xié)作實(shí)現(xiàn)期望的全局目標(biāo)，是分布式復(fù)雜巨雜系統(tǒng)的內(nèi)涵式解決方法之一，是自面向?qū)ο笤O(shè)計(jì)以來(lái)最為重要的軟件開發(fā)方法［1］．智能體計(jì)算技術(shù)對(duì)滿足以下3個(gè)條件的問題具有強(qiáng)大的設(shè)計(jì)和分析能力［2］：（1）該問題在邏輯上或物理上是分散的；（2）子系統(tǒng)處于一個(gè)動(dòng)態(tài)及不確定性環(huán)境；（3）各子系統(tǒng)之間需要信息交互．目前，智能體技術(shù)已在生產(chǎn)制造、電子商務(wù)、網(wǎng)絡(luò)管理、交通運(yùn)輸、信息管理、科學(xué)計(jì)算及醫(yī)療衛(wèi)生等領(lǐng)域取得了大量應(yīng)用．

近年來(lái)，智能體技術(shù)已被廣泛應(yīng)用于交通運(yùn)輸系統(tǒng)，包括智能交通控制與管理、系統(tǒng)建模和仿真、動(dòng)態(tài)路徑和擁堵管理以及決策支持等［3］．城市交通信號(hào)控制系統(tǒng)具有典型的分布式特征，且在時(shí)變的復(fù)雜交通網(wǎng)絡(luò)環(huán)境下，僅憑局部路口的優(yōu)化不能表征整體網(wǎng)絡(luò)的性能，在交換關(guān)聯(lián)路口信息的基礎(chǔ)上，仍需要設(shè)計(jì)路口間精細(xì)的協(xié)調(diào)機(jī)制，采用聯(lián)合的配時(shí)策略提升整體交通網(wǎng)絡(luò)的控制效益．智能體技術(shù)的自治性、協(xié)作性和交互性符合分布式交通信號(hào)自適應(yīng)控制的內(nèi)在需求［4］．這體現(xiàn)在：智能體（路口信號(hào)控制器）可以感知周圍環(huán)境并及時(shí)響應(yīng)環(huán)境變化，且在沒有人或其他因素的直接干預(yù)下，智能體能夠自發(fā)的根據(jù)目標(biāo)和環(huán)境的要求主動(dòng)做出規(guī)劃，實(shí)現(xiàn)交通控制的自動(dòng)化；同時(shí)，通過(guò)各分布式路口智能體的相互協(xié)作，構(gòu)建多智能體控制系統(tǒng)（multiagent system，MAS），以實(shí)現(xiàn)全局路網(wǎng)的控制目標(biāo)．

本文從3方面綜述智能體技術(shù)在城市交通信號(hào)控制系統(tǒng)及其關(guān)聯(lián)領(lǐng)域中的應(yīng)用，包括：基于智能體的交通控制系統(tǒng)架構(gòu)、基于智能體的交通信號(hào)控制方法和基于智能體的交通控制建模與仿真，并從多智能體系統(tǒng)通用架構(gòu)設(shè)計(jì)及其學(xué)習(xí)推理算法等方面，探討智能體技術(shù)在城市大規(guī)模路網(wǎng)交通信號(hào)控制中應(yīng)用的關(guān)鍵問題．

1 基于智能體的交通控制系統(tǒng)構(gòu)架及平臺(tái)

傳統(tǒng)的城市交通控制模型多采用集中式架構(gòu)－SCATS系統(tǒng)、TUC系統(tǒng)及SCOOT系統(tǒng)（子區(qū)內(nèi)部分集中），當(dāng)路口規(guī)模擴(kuò)大時(shí)，集中式的控制系統(tǒng)不能滿足大量交通數(shù)據(jù)的通信傳輸和控制策略的實(shí)時(shí)優(yōu)化，且系統(tǒng)維護(hù)難度大［5］．PRODYN系統(tǒng)、OPAC系統(tǒng)和RHODES系統(tǒng)采用分散式架構(gòu)，有效均衡了集中式交通控制模型的通信需求和計(jì)算荷載，但這類系統(tǒng)采用交通模型預(yù)測(cè)路口環(huán)境演化，且不具備自學(xué)習(xí)能力，在高飽和度等復(fù)雜交通條件下控制效果差．多智能體系統(tǒng)（又稱分布式軟件平臺(tái)）支持和管理智能體的運(yùn)行．智能體可分為靜態(tài)智能體和移動(dòng)智能體，相應(yīng)地，多智能體系統(tǒng)分為靜態(tài)智能體系統(tǒng)和移動(dòng)智能體系統(tǒng)．各個(gè)智能體模塊作用于智能體網(wǎng)絡(luò)系統(tǒng)的每個(gè)節(jié)點(diǎn)，為使智能體和智能體系統(tǒng)可在異構(gòu)的管理平臺(tái)上相互操作，智能體的設(shè)計(jì)應(yīng)當(dāng)符合智能體的通用標(biāo)準(zhǔn)．近年來(lái)，應(yīng)用智能體技術(shù)實(shí)現(xiàn)全息交通數(shù)據(jù)環(huán)境下交通運(yùn)輸系統(tǒng)的優(yōu)化成為研究和應(yīng)用的熱點(diǎn)之一，但是，只是少數(shù)學(xué)者研究基于智能體的交通控制與管理系統(tǒng)架構(gòu)，代表性的系統(tǒng)級(jí)架構(gòu)及平臺(tái)見表1．

表1 基于智能體的交通控制與管理系統(tǒng)架構(gòu)

采用智能體技術(shù)開發(fā)的控制系統(tǒng)構(gòu)架可分為分層式、網(wǎng)絡(luò)式和混合式3種．分層式結(jié)構(gòu)將整個(gè)系統(tǒng)分解成若干個(gè)子系統(tǒng)，各子系統(tǒng)彼此之間的交互較弱．網(wǎng)絡(luò)式結(jié)構(gòu)是一種完全分散的智能體系統(tǒng)，各智能體之間相互通信且獨(dú)立進(jìn)行決策；因而，各分布式的智能體僅考慮局部效益，不能從全局的角度預(yù)測(cè)整個(gè)網(wǎng)絡(luò)狀態(tài)．混合式結(jié)構(gòu)正是結(jié)合了分層式和網(wǎng)絡(luò)式的特征進(jìn)行設(shè)計(jì)．Hernandez［6］比較了城市智能交通管理系統(tǒng)的兩種結(jié)構(gòu)－集中分層式和分散網(wǎng)絡(luò)式，分別提出了InTRYS和TRYSA2兩個(gè)系統(tǒng)，并應(yīng)用于相同城市交通網(wǎng)絡(luò)的管理．InTRYS通過(guò)分層式結(jié)構(gòu)對(duì)智能體進(jìn)行協(xié)調(diào)管理，而TRYSA2則采用網(wǎng)絡(luò)分散式協(xié)調(diào)．分析結(jié)果表明，網(wǎng)絡(luò)式結(jié)構(gòu)具有高同步、可重用及可拓展性好等特性，但對(duì)具有高復(fù)雜度的協(xié)調(diào)任務(wù)，分層式結(jié)構(gòu)則優(yōu)于網(wǎng)絡(luò)式，這是因?yàn)榉謱邮浇Y(jié)構(gòu)搜索關(guān)聯(lián)智能體進(jìn)行計(jì)算的速度更快．

多數(shù)基于智能體技術(shù)開發(fā)的應(yīng)用系統(tǒng)只關(guān)注由靜態(tài)智能體組成的分布式多智能體系統(tǒng)．為了驗(yàn)證移動(dòng)智能體技術(shù)在智能交通系統(tǒng)中應(yīng)用的潛力，Chen［7］在提出的多智能體系統(tǒng)中集成了移動(dòng)智能體，用以提高既有系統(tǒng)大范圍交通控制與管理的靈活性及自適應(yīng)性，并開發(fā)了一個(gè)符合IEEE的FIPA標(biāo)準(zhǔn)的移動(dòng)智能體系統(tǒng)Mobile－C，將其應(yīng)用于交通的管理和檢檢［8］．與靜態(tài)智能體相比，移動(dòng)智能體具有從網(wǎng)絡(luò)中一個(gè)系統(tǒng)轉(zhuǎn)移到另一個(gè)系統(tǒng)的能力，具有減小網(wǎng)絡(luò)負(fù)載，支持?jǐn)嚅_控制、支持異構(gòu)環(huán)境、動(dòng)態(tài)生成組件等功能．因而，系統(tǒng)可在運(yùn)行過(guò)程中實(shí)時(shí)地動(dòng)態(tài)更新任務(wù)的代碼及算法，并采用移動(dòng)智能體技術(shù)將其發(fā)送到目標(biāo)子系統(tǒng)中執(zhí)行．研究表明智能體的快速移動(dòng)特性為解決大范圍交通控制與管理的挑戰(zhàn)帶來(lái)了新的機(jī)遇，為實(shí)時(shí)遠(yuǎn)程交互、卸載數(shù)據(jù)荷載、跨平臺(tái)操作以及定制化服務(wù)等帶來(lái)了新的解決方案．

文獻(xiàn)［3］提出的一個(gè)基于智能體的網(wǎng)絡(luò)級(jí)交通管理系統(tǒng)aDAPTS．該系統(tǒng)將一個(gè)復(fù)雜的網(wǎng)絡(luò)控制算法分解成多個(gè)以任務(wù)為導(dǎo)向的控制智能體，實(shí)現(xiàn)網(wǎng)絡(luò)級(jí)的自適應(yīng)交通信號(hào)控制．a(chǎn)DAPTS采用了3級(jí)的分層式結(jié)構(gòu)，最高層負(fù)責(zé)規(guī)劃和推理控制智能體的任務(wù)序列，中間層負(fù)責(zé)協(xié)調(diào)和分派控制智能體，最底層則實(shí)現(xiàn)各控制智能體的運(yùn)行．系統(tǒng)采用移動(dòng)智能體技術(shù)實(shí)現(xiàn)各個(gè)控制智能體，實(shí)現(xiàn)控制智能體在遠(yuǎn)程交通控制中心至現(xiàn)場(chǎng)交通控制器以及現(xiàn)場(chǎng)控制器之間的靈活轉(zhuǎn)移，以響應(yīng)不同交通交件下交通需求變化，有效提升了智能交能控制系統(tǒng)的靈活性．

Katwijk［9］開發(fā)了一個(gè)面向道路交通管理的多智能體系統(tǒng)測(cè)試平臺(tái)TBMCS，其支持在不同策略及條件下對(duì)多智能體系統(tǒng)系統(tǒng)性能進(jìn)行測(cè)試和檢驗(yàn)，從而加快基于多智能體應(yīng)用系統(tǒng)的原型設(shè)計(jì)與開發(fā)．TBMCS由智能體模型、環(huán)境模型以及通信模型組成，且通信模塊符合FIPA標(biāo)準(zhǔn)，分別模擬智能體的智能決策、環(huán)境狀態(tài)表達(dá)和協(xié)同交互．

2 基于智能體的交通信號(hào)控制方法

城市化和機(jī)動(dòng)化進(jìn)程的加快，交通擁堵、交通安全和污染惡化等問題已成為世界各大城市共同面對(duì)的挑戰(zhàn)．傳統(tǒng)集中式交通控制系統(tǒng)依懶于預(yù)測(cè)模型的精度，且無(wú)法處理時(shí)變交通流的不確定性．國(guó)內(nèi)外許多學(xué)者開始應(yīng)用智能體技術(shù)探尋大范圍交通控制的智能解決方案，包括城市交通控制（urban traffic control，UTC）模型［10］、交叉口信號(hào)控制［11］、路徑誘導(dǎo)與UTC的集成系統(tǒng)以及分布式交通數(shù)據(jù)管理［12］等．表2列出了智能體技術(shù)在道路交通信號(hào)控制中的代表性應(yīng)用．

表2 智能體技術(shù)在道路交通信號(hào)控制系統(tǒng)中應(yīng)用

2．1 交叉口信號(hào)控制

交叉口是城市交通系統(tǒng)高效運(yùn)行的瓶頸，傳統(tǒng)的自適應(yīng)交通控制方法遵循前饋的控制理論，不具備在線自學(xué)習(xí)能力，且對(duì)交通模型精度依懶嚴(yán)重．眾多學(xué)者開始采用分布式及自治的智能體研究交通信號(hào)自適應(yīng)協(xié)調(diào)控制方法．文獻(xiàn)［10］提出了一種基于智能體的城市交叉口控制系統(tǒng)IDTMIS，并根據(jù)路口主動(dòng)控制和實(shí)時(shí)控制的需求開發(fā)了精細(xì)的控制模型和算法．該系統(tǒng)由交通信號(hào)智能體（ITSAs）、路段智能體（RSA）以及管理智能體組成，根據(jù)RSA提供的路段交通數(shù)據(jù)，ITSAs采用實(shí)時(shí)的規(guī)則推理制定控制方案，以響應(yīng)路口交通環(huán)境的變化，而管理智能體通過(guò)協(xié)調(diào)轄區(qū)內(nèi)的ITSAs，以提升系統(tǒng)全網(wǎng)運(yùn)行效益．文獻(xiàn)［11］自行設(shè)計(jì)并開發(fā)了一個(gè)基于知識(shí)和推理的多級(jí)分布式交通網(wǎng)絡(luò)控制系統(tǒng)KIDTC．KIDTC系統(tǒng)采用兩級(jí)分布式控制結(jié)構(gòu)，由中心控制子系統(tǒng)、通訊模塊和多個(gè)子區(qū)控制子系統(tǒng)組成．文獻(xiàn)［12］研究了基于多智能體的區(qū)域交通信號(hào)控制系統(tǒng)框架，設(shè)計(jì)了二級(jí)控制模式，采用Q學(xué)習(xí)算法在線學(xué)習(xí)控制規(guī)則．

文獻(xiàn)［14］提出了一個(gè)三層分布式的多智能體交通信號(hào)控制架構(gòu)，包括交叉口控制器智能體（ICA）、子區(qū)控制智能體（ZCA）和區(qū)域控制智能體（RCA）．ICA根據(jù)交叉口狀態(tài)決定路口控制方案的修正（周期、綠信比、相位差），ZCA控制所轄子區(qū)內(nèi)的ICAs，制定各子區(qū)內(nèi)的控制策略及協(xié)調(diào)機(jī)制，RCA控制所轄區(qū)域內(nèi)的全部ZCAs，宏觀制定區(qū)域的劃分、調(diào)整及邊界過(guò)渡方法，智能體的學(xué)習(xí)推理均采用基于神經(jīng)網(wǎng)絡(luò)的模糊邏輯并以控制效果的實(shí)時(shí)回饋為準(zhǔn)則，采用強(qiáng)化學(xué)習(xí)在線學(xué)習(xí)控制規(guī)則，以響應(yīng)動(dòng)態(tài)變化的交通環(huán)境．為降低系統(tǒng)復(fù)雜度，文獻(xiàn)［18］提出一個(gè)單層分布式的多智能體交通信號(hào)控制系統(tǒng)，每一智能體負(fù)責(zé)網(wǎng)絡(luò)中每一路口的交通信號(hào)，且分屬于各自的協(xié)調(diào)子區(qū)，協(xié)調(diào)子區(qū)可根據(jù)路網(wǎng)交通條件進(jìn)行動(dòng)態(tài)更新和劃分，協(xié)調(diào)子區(qū)內(nèi)的智能體采用集體協(xié)同決策的方式優(yōu)化關(guān)聯(lián)路口的控制方案．文獻(xiàn)［19］提出了一種分散的交通信號(hào)協(xié)調(diào)控制結(jié)構(gòu)，各個(gè)交叉口均以自身最優(yōu)控制為目標(biāo)，同時(shí)考慮相鄰交叉口影響的二次優(yōu)化協(xié)調(diào)，在保障路網(wǎng)控制狀態(tài)穩(wěn)定有序的同時(shí)，避免陷入單點(diǎn)局部最優(yōu)．

Samah等［23－24］提出了一個(gè)基于多智能體強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)交通信號(hào)集成控制方法，該方法采用單層分布式的多智能體控制結(jié)構(gòu)，每個(gè)智能體負(fù)責(zé)單路口交通燈的信號(hào)控制．為實(shí)現(xiàn)全局協(xié)調(diào)所有智能體的控制動(dòng)作，每個(gè)智能體與其物理鄰近的路口智能體進(jìn)行協(xié)調(diào)，并采用Markov對(duì)策建立路口多智能體的精細(xì)協(xié)調(diào)模型，旨在系統(tǒng)環(huán)境狀態(tài)下選擇最優(yōu)的聯(lián)合動(dòng)作．為避免系統(tǒng)狀態(tài)空間的維度災(zāi)難及保障計(jì)算效率，遵循一般矩陣博弈和最佳響應(yīng)策略的思想，提出一種基于minmax的多智能體強(qiáng)化學(xué)習(xí)算法，在智能體與環(huán)境的不斷交互過(guò)程中，根據(jù)實(shí)時(shí)回饋的獎(jiǎng)懲值在線自主學(xué)習(xí)系統(tǒng)環(huán)境狀態(tài)－聯(lián)合動(dòng)作對(duì)的最佳映射，生成系統(tǒng)最優(yōu)控制規(guī)則．以59個(gè)路口的大規(guī)模路口進(jìn)行仿真實(shí)驗(yàn)，結(jié)果表明該方法能降低整體網(wǎng)絡(luò)延誤達(dá)39%以上．目前，該方法正在加拿大伯靈頓的兩個(gè)路口進(jìn)行實(shí)證的應(yīng)用研究．

基于智能體技術(shù)的城市交通信號(hào)控制的應(yīng)用研究還有：文獻(xiàn)［21］提出了一個(gè)用于分散自適應(yīng)交通信號(hào)控制的協(xié)作式智能體模型．Gregoire等［25］設(shè)計(jì)了一種采用學(xué)習(xí)智能體的交通信號(hào)燈控制器．文獻(xiàn)［22］提出了一種基于在線仿真的多智能體交通信號(hào)控制系統(tǒng)，但其需要實(shí)時(shí)檢測(cè)的交通數(shù)據(jù)模擬路網(wǎng)交通狀態(tài)．高海軍等［26］考慮非機(jī)動(dòng)車輛對(duì)路口信號(hào)控制的影響，提出了一種面向交通路口混合交通流的分布式模糊控制方法．Goldman等［27］提出采用增量相互學(xué)習(xí)方法來(lái)協(xié)調(diào)交叉路口的兩個(gè)控制器；Ferreira等［28］提出了一種城市交通信號(hào)的分散控制方法，每一個(gè)智能體根據(jù)本地交通狀態(tài)、傳感器數(shù)據(jù)以及鄰近智能體的“意見”優(yōu)化交通信號(hào)方案．Deng等［29］采用集中式的服務(wù)器／客戶端智能體結(jié)構(gòu)設(shè)計(jì)了一種基于視覺的自適應(yīng)交通信號(hào)控制系統(tǒng)．Yang［30］和France［31］等提出了分層的多智能體UTC模型，其根據(jù)即時(shí)回饋的控制效果，采用強(qiáng)化學(xué)習(xí)算法在線優(yōu)化本地控制，并采用遺傳算法學(xué)習(xí)強(qiáng)化學(xué)習(xí)參數(shù)；于德新等［32］研究了智能體技術(shù)在交通控制系統(tǒng)應(yīng)用的可行性，采用遺傳算法和博弈論進(jìn)行交通信號(hào)協(xié)調(diào)優(yōu)化控制，提出了一種基于多智能體博弈的城市道路交通控制系統(tǒng)．Bakker［33］等對(duì)比了3類擴(kuò)展的多智能體交通信號(hào)協(xié)調(diào)控制，包括相鄰路口擁堵信息，局部可測(cè)交通狀態(tài)和精細(xì)協(xié)調(diào)機(jī)制．

2．2 交通集成控制與管理

文獻(xiàn)［19］首次將移動(dòng)智能體技術(shù)引入交通信號(hào)控制，采用移動(dòng)智能體更新路口控制智能體的控制算法，以虛擬 “程序需求”響應(yīng)真實(shí)“交通需求模式”變化．通過(guò)重組系統(tǒng)運(yùn)行環(huán)境要素，Wang開發(fā)了基于智能體的分布式控制系統(tǒng)（aDCS）的架構(gòu)和運(yùn)行機(jī)制，將其成功應(yīng)用于網(wǎng)絡(luò)化的智能家居系統(tǒng)和機(jī)器人控制系統(tǒng)［34］，進(jìn)而開發(fā)了面向交通運(yùn)輸系統(tǒng)的分布式自適應(yīng)管理平臺(tái)（aDAPTS），這是最早應(yīng)用于城市交通信號(hào)控制的多智能體系統(tǒng)之一．

文獻(xiàn)［20］研究了高速公路走廊交通擁堵的集成管理，提出的CARTESIUS系統(tǒng)采用兩個(gè)相互協(xié)同并提供決策支持的智能體組成－高速公路智能體和鄰街干線智能體，兩個(gè)智能體實(shí)時(shí)采集連續(xù)的交通數(shù)據(jù)、事件檢測(cè)數(shù)據(jù)以及控制設(shè)備狀態(tài)參數(shù)，通過(guò)子區(qū)交通控制中心（TOC）的融合分析及邏輯推理，決策生成適合各智能體的優(yōu)化控制方案，以降低子區(qū)內(nèi)交通擁堵的影響．同時(shí)依托該系統(tǒng)的分布式用戶終端，其支持不同子區(qū)的TOC控制人員采用對(duì)話窗口機(jī)制進(jìn)行協(xié)調(diào)，以生成響應(yīng)全局路網(wǎng)的控制策略．

Burmeister［35］詳細(xì)綜述多智能體在智能交通系統(tǒng)領(lǐng)域的應(yīng)用，并提出了汽車多agent聯(lián)運(yùn)系統(tǒng)．Dresner等［36］采用多智能體技術(shù)具體研究了交叉口自組織管理的方法，并采用開發(fā)的仿真平臺(tái)進(jìn)行驗(yàn)證，結(jié)果表明：采用智能體實(shí)現(xiàn)交通流的自組織管理能顯著改善既有交叉口控制技術(shù)（交通燈和停車讓行標(biāo)志）．在保障其他社會(huì)車輛效益的同時(shí)，該方法可被拓展應(yīng)用于人工／無(wú)人駕駛車輛以及緊急優(yōu)先車輛的管理［37］．

智能體技術(shù)在信號(hào)控制中的延伸應(yīng)用主要包括分布交通數(shù)據(jù)處理和誘控一體化．在分布式?jīng)Q策支持系統(tǒng)（distributed decision support system，DDS）中［38］，每一個(gè)分布式的實(shí)體均采用一個(gè)智能體負(fù)責(zé)決策支持，其負(fù)責(zé)收集決策支持的關(guān)聯(lián)數(shù)據(jù)，并進(jìn)行推理分析．Ossowski等提出了一種基于多智能體的DDS抽象框架，為這類系統(tǒng)的設(shè)計(jì)提供指導(dǎo)［39］，并應(yīng)用于面向信號(hào)控制的分布式?jīng)Q策支持系統(tǒng)．仿真結(jié)果表明采用分散協(xié)調(diào)的DDS控制模型在保證控制效益的同時(shí)可大幅提升系統(tǒng)的可拓展性．在路徑誘導(dǎo)方面，Li等［40］采用多智能體技術(shù)研究了交通管理和路徑誘導(dǎo)一體化的集成管理控制方法．Weyns等［41］提出了一種基于智能體的行駛路徑預(yù)測(cè)方法，出行車輛可分派下級(jí)的智能體搜索路徑并將出行意愿告知路側(cè)設(shè)施（信號(hào)燈），通過(guò)多智能體間協(xié)調(diào)以避免交通擁堵．管青［42］將區(qū)域交通信號(hào)控制與交通誘導(dǎo)協(xié)同理論相結(jié)合，從兩者協(xié)同運(yùn)作的角度出發(fā)，提出一種交通誘控集成一體化的管理系統(tǒng)架構(gòu)，旨在根據(jù)實(shí)時(shí)路網(wǎng)交通狀態(tài)，主動(dòng)去調(diào)控及引導(dǎo)交通．Rothkrantz［43］提出了一個(gè)基于多智能體的智能出行輔助系統(tǒng)，該系統(tǒng)采用了JADE（Java agent development framework，JADE）開發(fā)，每個(gè)智能體（出行者）與駕駛員及系統(tǒng)進(jìn)行交互，采用分布式路徑選擇模型提供最優(yōu)的出行建議，并更新系統(tǒng)的出行交通信息，為交通信號(hào)系統(tǒng)的優(yōu)化提供數(shù)據(jù)支持．

3 基于多智能體的交通控制建模與仿真

交通運(yùn)輸系統(tǒng)包含大量的自治智能實(shí)體－車輛、信號(hào)燈、路段、交叉口、管理中心等，這些實(shí)體分布在大范圍的區(qū)域，且為了實(shí)現(xiàn)特定的系統(tǒng)目標(biāo)而相互交互．多智能體系統(tǒng)可采用直觀的方法從個(gè)體層面描述各個(gè)自治實(shí)體，是交通系統(tǒng)建模與仿真的理想方法．在多智能體交通仿真系統(tǒng)中，每一個(gè)智能的交通實(shí)體均被建模成一個(gè)智能體對(duì)象，且智能體之間相互地協(xié)同工作．多智能體技術(shù)已被廣泛應(yīng)用于城市交通信號(hào)控制相關(guān)問題的建模及仿真，包括交通集成管理［44］、信號(hào)控制［45］、移動(dòng)性仿真［46］、交叉口安全［47］和行人流量預(yù)測(cè)［48］等，代表性的應(yīng)用研究如表3所示．

表3 智能體技術(shù)在交通控制建模及仿真中應(yīng)用

3．1 多智能體的交通建模

Zhang等［55］提出了一個(gè)多智能體交通仿真的框架，其主要交通實(shí)體采用智能體技術(shù)建模，包括人－車智能體、路段智能體、信號(hào)燈智能體以及車輛生成智能體，而人－車智能體采用三層結(jié)構(gòu)：戰(zhàn)略層、戰(zhàn)術(shù)層和控制層．文獻(xiàn)［44］設(shè)計(jì)了一種基于三層智能體模型的交通協(xié)同調(diào)度及控制系統(tǒng)（COTSCS）：最高層的“城市交通全局智能體”負(fù)責(zé)監(jiān)督和控制所有城市區(qū)域內(nèi)的交通智能體；中間層“控制智能體”負(fù)責(zé)底層智能體的通信和協(xié)同；“底層智能體”用于模擬個(gè)體交通實(shí)體的運(yùn)行．Liu等［56］提出了一種用于公交系統(tǒng)需求評(píng)估的多智能體仿真框架，該構(gòu)架將計(jì)算模型分解成設(shè)計(jì)模型和領(lǐng)域模型．設(shè)計(jì)模型由計(jì)算機(jī)專家創(chuàng)建，其定義了系統(tǒng)結(jié)構(gòu)、通信協(xié)議及平臺(tái)相關(guān)信息；領(lǐng)域模型則由業(yè)內(nèi)專家、利益相關(guān)者和用戶創(chuàng)建，其從專業(yè)領(lǐng)域的視角解析研究問題．這種特殊的設(shè)計(jì)模式使領(lǐng)域?qū)＜液拖到y(tǒng)用戶均能參與系統(tǒng)設(shè)計(jì)．因而，開發(fā)的系統(tǒng)可更好反映交通現(xiàn)實(shí)．Doniec等［57］提出一種用于交叉口交通流仿真的多智能體行為模型，每一仿真車輛（智能體）根據(jù)路口已存在的或正駛向路口的智能車輛狀態(tài)，協(xié)調(diào)自己的行為．該模型通過(guò)感知路網(wǎng)交通狀態(tài)，設(shè)計(jì)智能體精細(xì)的協(xié)調(diào)機(jī)制，并提供預(yù)測(cè)功能，使車輛智能體能夠自身推理以避免交通網(wǎng)絡(luò)死鎖［58］．Vasirani等［59］提出一種市場(chǎng)啟發(fā)式的城市道路管理方法，每一車輛智能體允許預(yù)留其在交叉口的空間和時(shí)間，并在接近交叉口時(shí)，主動(dòng)向交叉口管理智能體發(fā)送預(yù)留請(qǐng)求，“市場(chǎng)”正是用于模擬交叉口采用系列的規(guī)則來(lái)優(yōu)化預(yù)留方案的建立、執(zhí)行和取消的過(guò)程，而所有規(guī)則采用智能體購(gòu)買交互協(xié)議進(jìn)行實(shí)現(xiàn)．

通過(guò)在基于智能體的交通運(yùn)輸系統(tǒng)中集成多種交通運(yùn)輸模型，Wang提出了人工交通運(yùn)輸系統(tǒng)（ATSs）的概念，以支持綜合交通運(yùn)輸系統(tǒng)的分析和決策支持，并定義了發(fā)展ATSs的基本理論和關(guān)鍵研究?jī)?nèi)容，從交通運(yùn)輸、物流和生態(tài)交通系統(tǒng)3方面，闡述了ATSs的主要組成部分．文獻(xiàn)［51］提出了一個(gè)用于評(píng)估智能交通解決方案的ATSs框架，其包括基于JADE開發(fā)的現(xiàn)實(shí)交通運(yùn)輸系統(tǒng)、基于智能體微觀交通仿真的虛擬子系統(tǒng)，以及控制策略生成器，控制策略生成器用于協(xié)調(diào)2個(gè)子系統(tǒng)的行為并優(yōu)化調(diào)節(jié)系統(tǒng)要素，以提高系統(tǒng)整體性能．文獻(xiàn)［49］等提出了一個(gè)面向交通管理和路徑誘導(dǎo)一體化的集成管理系統(tǒng)，其通過(guò)增加一個(gè)中間層（包括智能體和智能體協(xié)商協(xié)議），拓展了美國(guó)國(guó)家ITS框架下的ATIS6．該系統(tǒng)包括3類智能體，分別表征出行者（Agent－IRANS）、信息服務(wù)提供商（Agent－ISP），以及系統(tǒng) 運(yùn) 營(yíng) 商 （Agent－TMC）．Agent－IRANS 和Agent－ISP采用規(guī)則協(xié)商機(jī)制，全局優(yōu)化出行者路徑選擇和網(wǎng)絡(luò)通行能力分布，以期同時(shí)滿足出行者的目標(biāo)和管理者的效益．

3．2 多智能體的仿真工具

文獻(xiàn)［52］開發(fā)了一種多智通體仿真工具AGENDA，分析了多智能體應(yīng)用系統(tǒng)開發(fā)的關(guān)鍵技術(shù)－任務(wù)分解、任務(wù)分配、以及協(xié)同規(guī)劃等，并將其應(yīng)用于交通運(yùn)輸系統(tǒng)．Meignan等［60］提出了一種用于評(píng)估公交網(wǎng)絡(luò)的多智能體仿真工具，實(shí)現(xiàn)了公交網(wǎng)絡(luò)的可視化靜態(tài)評(píng)估和公交運(yùn)行控制仿真，該仿真工具主要包括三個(gè)組成部分：公共汽車、出行乘客和常規(guī)道路交通，其在給定的環(huán)境約束下，實(shí)現(xiàn)公共汽車和出行乘客的智能體模型的移動(dòng)與交互．文獻(xiàn)［46］開發(fā)了一個(gè)基于微觀仿真模型的多智能體交通仿真工具．該仿真系統(tǒng)可實(shí)現(xiàn)離線仿真和在線仿真，并可用于評(píng)估一些交通仿真場(chǎng)景，如駕駛行為、交通信號(hào)協(xié)同控制以及交通擁堵預(yù)測(cè)等．

隨著多智能體技術(shù)在理論和應(yīng)用研究方面的深入，涌現(xiàn)了許多開源的多智能體交通仿真軟件，代表性的有德國(guó)宇航中心于2000年開發(fā)的城市移動(dòng)性仿真器（simulation of urban mobility，SUMO）和蘇黎世聯(lián)邦理工大學(xué)與德國(guó)柏林工業(yè)大學(xué)于2006年聯(lián)合開發(fā)的多智能體交通仿真工具 （multiAgent transport simulation toolkit，MATSIM）．SUMO是一種便攜微觀道路交通仿真器，可實(shí)現(xiàn)大規(guī)模路網(wǎng)的交通仿真．SUMO采用智能體技術(shù)建立交通系統(tǒng)的要素模型，能考慮出行個(gè)體的微觀特性，具有高移植性和高拓展性等優(yōu)點(diǎn)，但移動(dòng)性仿真仍采用時(shí)間驅(qū)動(dòng)機(jī)制，且仿真路網(wǎng)精度較高，網(wǎng)絡(luò)規(guī)?？赏卣沟囊?guī)模有限．MATSIM是一款面向大規(guī)模路網(wǎng)的多智能體交通仿真工具［61］，其以出行個(gè)體24h的活動(dòng)鏈為基本行為單元，采用智能體技術(shù)建立基于活動(dòng)出行個(gè)體模型，采用事件驅(qū)動(dòng)機(jī)制實(shí)現(xiàn)個(gè)體機(jī)動(dòng)交通和公共交通的移動(dòng)性仿真，并提供可視化的結(jié)果分析，與SUMO相比，其最大特點(diǎn)是采用活動(dòng)鏈的出行個(gè)體建模及簡(jiǎn)化的仿真路網(wǎng)，可更好地模擬個(gè)體出行的系列選擇過(guò)程和實(shí)現(xiàn)更大規(guī)模的交通路網(wǎng)仿真．MATSIM已被應(yīng)用于多個(gè)城市交通需求及交通政策評(píng)價(jià)，如瑞士、蘇黎世、柏林、多倫多、京都、新加坡和上海［62］．

4 討 論

1）系統(tǒng)互用性 互用性是指不同的計(jì)算機(jī)系統(tǒng)、網(wǎng)絡(luò)和應(yīng)用程序等同時(shí)工作并相互操作的能力．在給定系統(tǒng)組織、管轄邊界及應(yīng)用場(chǎng)景下，系統(tǒng)的互用性是智能體融合多源系統(tǒng)信息制定決策或執(zhí)行任務(wù)的關(guān)鍵．國(guó)際IEEE－FIPA（foundation for intelligent physical agents，F(xiàn)IPA）致力于異構(gòu)軟件標(biāo)準(zhǔn)、智能體互動(dòng)以及異構(gòu)智能體系統(tǒng)的開發(fā)［63］，F(xiàn)IPA標(biāo)準(zhǔn)通過(guò)協(xié)調(diào)智能體系統(tǒng)的不同模塊－系統(tǒng)架構(gòu)、通信、管理以及信息傳輸－來(lái)保證智能體間的互用性，并定義了智能體信息交換的通信語(yǔ)言規(guī)范、語(yǔ)法以及通信平臺(tái)架構(gòu)．目前，F(xiàn)IPA已是國(guó)際上兩個(gè)主要的智能體標(biāo)準(zhǔn)之一（IEEE的FIFA標(biāo)準(zhǔn)和OMG的移動(dòng)智能體系統(tǒng)互操作規(guī)范（mobile agent system interoperability facility）．FIPA標(biāo)準(zhǔn)已被智能體技術(shù)研究領(lǐng)域廣泛接受，并作為關(guān)鍵指標(biāo)用以評(píng)估智能體的系統(tǒng)互用性．目前已開發(fā)的多數(shù)智能體交通控制與管理系統(tǒng)只從特定的研究問題出發(fā)，沒用面向信號(hào)控制的通用系統(tǒng)架構(gòu)或平臺(tái)．結(jié)合未來(lái)智能交通控制系統(tǒng)集成應(yīng)用的趨勢(shì)，為提高系統(tǒng)互操作性及通用性，基于多智能體的交通信號(hào)控制系統(tǒng)的設(shè)計(jì)與開發(fā)應(yīng)符合FIPA標(biāo)準(zhǔn)．

2）系統(tǒng)不確定性的響應(yīng)能力 既有的多智能體的應(yīng)用系統(tǒng)多數(shù)采用功能固定的靜態(tài)智能體，而智能體之間通過(guò)協(xié)議進(jìn)行相互協(xié)同．智能體系統(tǒng)結(jié)構(gòu)可劃分為3類：鄰近簡(jiǎn)單交互結(jié)構(gòu)、集中分層式結(jié)構(gòu)和分散網(wǎng)絡(luò)式結(jié)構(gòu)．靜態(tài)智能體只有在系統(tǒng)運(yùn)行時(shí)才會(huì)執(zhí)行系統(tǒng)功能，且靜態(tài)編碼的控制算法及服務(wù)不能在執(zhí)行過(guò)程中更新．與傳統(tǒng)的控制系統(tǒng)相比，多智能體系統(tǒng)具有高度的自適應(yīng)能力和協(xié)作能力，但在動(dòng)態(tài)變化的復(fù)雜環(huán)境中，這類系統(tǒng)對(duì)不確定性問題的處理能力有限．有學(xué)者提出可采用移動(dòng)智能體來(lái)增加系統(tǒng)對(duì)可靠性及不確定性問題的快速響應(yīng)處理能力，其根據(jù)系統(tǒng)全局實(shí)時(shí)交通條件，制定新的控制算法或更新服務(wù)，并采用移動(dòng)智能體運(yùn)動(dòng)至目的終端執(zhí)行［64］．為降低系統(tǒng)復(fù)雜度，有學(xué)者提出在智能體間精細(xì)協(xié)調(diào)機(jī)制的保障下，具有自學(xué)習(xí)和推理能力的智能體可有效響應(yīng)系統(tǒng)的不確定性［65］．在復(fù)雜的隨機(jī)系統(tǒng)環(huán)境中，多智能體強(qiáng)化學(xué)習(xí)算法為多智能體系統(tǒng)進(jìn)行多階段博弈及系統(tǒng)優(yōu)化提供了一種很好的框架［66］，通過(guò)與環(huán)境交互和試錯(cuò)，利用評(píng)價(jià)性反饋信號(hào)，在序列決策過(guò)程中實(shí)現(xiàn)系統(tǒng)決策的優(yōu)化，并在決策過(guò)程采用對(duì)策論建立智能體間相互協(xié)同的機(jī)制，從而增加智能體的全局協(xié)作能力，可滿足動(dòng)態(tài)及隨機(jī)交通系統(tǒng)要素建模的內(nèi)在要求．

3）系統(tǒng)可拓展性 在智能體技術(shù)的未來(lái)發(fā)展中，應(yīng)更多的關(guān)注系統(tǒng)設(shè)計(jì)的開放性和可拓展性，以支持大規(guī)模分布式動(dòng)態(tài)系統(tǒng)的應(yīng)用．典型的多智能體系統(tǒng)采用系統(tǒng)狀態(tài)－動(dòng)作空間來(lái)表達(dá)行為策略，因而，將不可避免地出現(xiàn)系統(tǒng)學(xué)習(xí)參數(shù)隨準(zhǔn)狀態(tài)變量維數(shù)呈指數(shù)級(jí)增長(zhǎng)的現(xiàn)象，即維度災(zāi)難問題，且這些方法假設(shè)智能體可觀測(cè)系統(tǒng)的全局狀態(tài)，即智能體具備完美的交通信息，這嚴(yán)重限制了多智體系統(tǒng)的拓展及實(shí)時(shí)性．目前，解決維數(shù)災(zāi)難和完美信息的主要思路是系統(tǒng)狀態(tài)空間離散化，且智能體只考慮其物理鄰近智能體進(jìn)行協(xié)同交互［67］．

5 結(jié)束語(yǔ)

智能體技術(shù)及其在交通運(yùn)輸系統(tǒng)中的應(yīng)用研究已開展了10多年，并且取得了大量應(yīng)用成果．本文主要總結(jié)了智能體技術(shù)在交通信號(hào)控制系統(tǒng)及其關(guān)聯(lián)領(lǐng)域的應(yīng)用．研究成果清晰地表明人工智能、機(jī)器學(xué)習(xí)及信息技術(shù)的交叉綜合直接促進(jìn)了多智體交通信號(hào)控制系統(tǒng)的產(chǎn)生和發(fā)展，眾多研究已將多智能體框架應(yīng)用于解決區(qū)域交通控制問題，建立基于MAS的交通控制系統(tǒng)架構(gòu)，并在分布式架構(gòu)、在線推理決策、建模與仿真、均衡計(jì)算負(fù)荷等方面取得了應(yīng)用，主要結(jié)論如下．

1）智能體具有自身的屬性集和決策推理功能，采用多智能體技術(shù)建立交通運(yùn)輸系統(tǒng)的實(shí)體模型，可有效鏈接交通實(shí)體的微觀特性和交通系統(tǒng)的宏觀特性，從而實(shí)現(xiàn)對(duì)交通控制系統(tǒng)結(jié)構(gòu)、功能和行為的模擬，是大范圍交通網(wǎng)絡(luò)交通信號(hào)協(xié)調(diào)控制的有效建模工具．

2）大多數(shù)智能體技術(shù)的應(yīng)用研究都致力于控制算法和建模及仿真，用于實(shí)際交通控制系統(tǒng)應(yīng)用和部署的研究很少．總體來(lái)看，在交通控制乃至交通運(yùn)輸領(lǐng)域，多智能體系統(tǒng)的方法設(shè)計(jì)、開發(fā)和應(yīng)用仍不夠成熟．

3）未來(lái)智能交通系統(tǒng)的發(fā)展，管理者更期望智能交通控制系統(tǒng)等關(guān)鍵子系統(tǒng)的集成應(yīng)用，這就要求多智體交通控制系統(tǒng)在系統(tǒng)互用性、系統(tǒng)不確定性和系統(tǒng)可拓展性等方面具備更好的性能．多智能體強(qiáng)化學(xué)習(xí)是實(shí)現(xiàn)具有自適應(yīng)及自學(xué)習(xí)能力的自治智能體的重要途徑，可為解決復(fù)雜、不確定環(huán)境下交通網(wǎng)絡(luò)的集成優(yōu)化控制提供一個(gè)可行之法．

［1］ZAMBONELLI F，PARUNAK H V D．Signs of a revolution in computer science and software engineering［M］∥Engineering Societies in the Agents World III．Berlin Heidelberg：Springer，2003．

［2］LUCK M．Challenges for agent－based computing［J］．Autonomous Agents and Multi－Agent Systems，2004，9（3）：199－201．

［3］WANG F Y．Toward a revolution in transportation operations：AI for complex systems［J］．IEEE Intelligent Systems，2008，23（6）：8－13．

［4］CHEN B，CHENG H H．A review of the applications of agent technology in traffic and transportation systems［J］．EEE Transactions on Intelligent Transportation Systems，2010，11（2）：485－497．

［5］BAZZAN A L C．A distributed approach for coordination of traffic signal agents［J］．Autonomous A－gents and Multi－Agent Systems，2005，10（1）：131－164．

［6］Hernández J Z，OSSOWSKI S，GARCIA－SERRANO A．Multiagent architectures for intelligent traffic management systems［J］．Transportation Research Part C：Emerging Technologies，2002，10（5）：473－506．

［7］CHEN B，CHENG H H，PALEN J．Integrating mobile agent technology with multi－agent systems for distributed traffic detection and management systems［J］．Transportation Research Part C：Emerging Technologies，2009，17（1）：1－10．

［8］Mobile－C［EB／OL］．www．mobilec．org，2014－01－20．

［9］van KATWIJK R T，van KONINGSBRUGGEN P，SCHUTTER B，et al．A test bed for multi－agent control systems in road traffic management［M］．Applications of Agent Technology in Traffic and Transportation，Birkh?user Basel，2005．

［10］ROOZEMOND D A．Using intelligent agents for pro－active，real－time urban intersection control［J］．European Journal of Operational Research，2001，131（2）：293－301．

［11］張松懋．基于知識(shí)和推理的分布式交通控制系統(tǒng)［J］．計(jì)算機(jī)研究與發(fā)展，1992，29（9）：35－41．

［12］馬躍峰．基于multi－agent的區(qū)域交通信號(hào)控制系統(tǒng)的研究［D］．濟(jì)南：山東師范大學(xué)，2006．

［13］GUO D，LI Z，SONG J，et al．A study on the framework of urban traffic control system［C］∥Intelligent Transportation Systems，2003，Proceedings 2003IEEE，IEEE，2003，1：842－846．

［14］CHOY M C，SRINIVASAN D，CHEU R L．Cooperative，hybrid agent architecture for real－time traffic signal control［J］．Systems，Man and Cybernetics，Part A：Systems and Humans，IEEE Transactions on，2003，33（5）：597－607．

［15］ZHANG H S，ZHANG Y，LI Z H，et al．Spatialtemporal traffic data analysis based on global data management using MAS［J］．Intelligent Transportation Systems，IEEE Transactions on，2004，5（4）：267－275．

［16］OSSOWSKI S，CUENA J，GARCíA－SERRANO A．A case of multiagent decision support：Using autonomous agents for urban traffic control，Progress in Artificial Intelligence ［M］．Berlin Heidelberg，Springer，1998．

［17］張靜靜，嚴(yán) 凌，高強(qiáng)飛，等．多智能體技術(shù)在交通控制中的機(jī)理研究［J］．交通與運(yùn)輸，2009（S1）：60－62．

［18］SRINIVASAN D，CHOY M C．Cooperative multi－agent system for coordinated traffic signal control［C］∥IEE Proceedings－Intelligent Transport Systems，IET Digital Library，2006，153（1）：41－50．

［19］WANG F Y．a(chǎn)DCS：agent－based distributed control systems［R］．PARCS Technical Report，University of Arizona，Tucson，1999．

［20］LOGI F，RITCHIE S G．A multi－agent architecture for cooperative inter－jurisdictional traffic congestion management［J］．Transportation Research Part C：Emerging Technologies，2002，10（5）：507－527．

［21］CHEN R S，CHEN D K，LIN S Y．ACTAM：Cooperative multi－agent system architecture for urban traffic signal control［J］．IEICE transactions on Information and Systems，2005，88（1）：119－126．

［22］KOSONEN I．Multi－agent fuzzy signal control based on real－time simulation［J］．Transportation Research Part C：Emerging Technologies，2003，11（5）：389－403．

［23］EL－TANTAWY S，ABDULHAI B，ABDELGAWAD H．Multiagent reinforcement learning for integrated network of adaptive traffic signal controllers（MARLIN－ATSC）：Methodology and large－scale application on downtown toronto［J］．Intelligent Transportation Systems，2013，14（3）：1140－1150．

［24］XU L H，XIA X H，LUO Q．The study of reinforcement learning for traffic self－adaptive control under multiagent markov game environment［J］．Mathematical Problems in Engineering，2013，13：1－10．

［25］GREGOIRE P L，DESJARDINS C，LAUM?NIER J，et al．Urban traffic control based on learning agents［C］∥Intelligent Transportation Systems Conference，2007．ITSC 2007IEEE，IEEE，2007：916－921．

［26］高海軍，陳 龍，石松泉．交通路口混合交通流的分布式模糊控制［J］．中國(guó)公路學(xué)報(bào)，2003，16（4）：67－71．

［27］GOLDMAN C V，ROSENSCHEIN J S．Mutually supervised learning in multiagent systems［M］∥A－daption and Learning in Multi－Agent Systems，Berlin Heidelberg，Springer，1996．

［28］FERREIRA E D，SUBRAHMANIAN E，MANSTETTEN D．Intelligent agents in decentralized traffic control［C］∥Intelligent Transportation Systems，2001Proceedings，2001IEEE．IEEE，2001：705－709．

［29］DENG L Y，LIANG H C，WANG C T，et al．The development of the adaptive traffic signal control system［C］∥Parallel and Distributed Systems，2005 Proceedings，11th International Conference on，IEEE，2005，2：634－638．

［30］YANG Z，CHEN X，TANG Y，et al．Intelligent cooperation control of urban traffic networks［C］∥Machine Learning and Cybernetics，2005Proceedings of 2005International Conference on，IEEE，2005，3：1482－1486．

［31］FRANCE J，GHORBANI A A．A multiagent system for optimizing urban traffic［C］∥Intelligent Agent Technology，2003．IAT 2003IEEE／WIC International Conference on IEEE，2003：411－414．

［32］于德新，楊兆升，王媛，等．基于多智能體的城市道路交通控制系統(tǒng)及其協(xié)調(diào)優(yōu)化［J］．吉林大學(xué)學(xué)報(bào)：工學(xué)版，2006，36（1）：113－8．

［33］BAKKER B，WHITESON S，KESTER L，et al．Traffic light control by multiagent reinforcement learning systems［C］∥Interactive Collaborative Information Systems，Berlin Heidelberg，Springer，2010．

［34］WANG F Y，WANG C H．Agent－based control systems for operation and management of intelligent network－enabled devices［C］∥Systems，Man and Cybernetics，2003IEEE International Conference on IEEE，2003，5：5028－5033．

［35］BURMEISTER B，HADDADI A，MATYLIS G．Application of multi－agent systems in traffic and transportation［C］∥Software Engineering，IEE Proceedings，IET，1997，144（1）：51－60．

［36］DRESNER K M，STONE P．A multiagent approach to autonomous intersection management［J］．J．Artif．Intell．Res．（JAIR），2008，31：591－656．

［37］DARPA，The DARPA urban challenge［EB／OL］．［2014－01－20］，http：∥www．darpa．mil／grandchallenge．

［38］CHEN H，BELL M．Instrumented city database analysts using multi－agents［J］．Transportation Research Part C：Emerging Technologies，2002，10（5）：419－432．

［39］OSSOWSKI S，Hernández J Z，BELMONTE M V，et al．Decision support for traffic management based on organisational and communicative multiagent abstractions［J］．Transportation Research part C：emerging technologies，2005，13（4）：272－298．

［40］LI R，SHI Q．Study on integration of urban traffic control and route guidance based on multi－agent technology［C］∥Intelligent Transportation Systems，2003Proceedings IEEE，2003，2：1740－1744．

［41］WEYNS D，HOLVOET T，HELLEBOOGH A．Anticipatory vehicle routing using delegate multi－agent systems［C］∥Intelligent Transportation Systems Conference，2007ITSC IEEE，2007：87－93．

［42］管 青．區(qū)域交通信號(hào)控制與交通誘導(dǎo)協(xié)同理論與關(guān)鍵技術(shù)研究［D］．長(zhǎng)春：吉林大學(xué)，2009．

［43］ROTHKRANTZ L J M．Dynamic routing using the network of car drivers［C］∥Proceedings of the 2009Euro American Conference on Telematics and Information Systems：New Opportunities to increase Digital Citizenship，ACM，2009：11－20．

［44］LI M，HALLAM J，PRYOR L，et al．A cooperative intelligent system for urban traffic problems［C］∥Intelligent Control，1996Proceedings of the 1996 IEEE International Symposium on IEEE，1996：162－167．

［45］WANG F Y，TANG S．A framework for artificial transportation systems：From computer simulations to computational experiments［C］∥Intelligent Transportation Systems，2005Proceedings IEEE，2005：1130－1134．

［46］Da SILVA B C，BAZZAN A L C，ANDRIOTTI G K，et al．ITSUMO：an intelligent transportation system for urban mobility，Innovative internet community systems ［M］．Berlin Heidelberg，Springer，2006．

［47］SALIM F D，KRISHNASWAMY S，LOKE S W，et al．Context－aware ubiquitous data mining based agent model for intersection safety［C］∥Embedded and Ubiquitous Computing－EUC 2005Workshops，Springer Berlin Heidelberg，2005：61－70．

［48］KUKLA R，KERRIDGE J，WILLIS A，et al．PEDFLOW：Development of an autonomous agent model of pedestrian flow［J］．Transportation Research Record：Journal of the Transportation Research Board，2001，1774（1）：11－17．

［49］ADLER J L，SATAPATHY G，MANIKONDA V，et al．A multi－agent approach to cooperative traffic management and route guidance［J］．Transportation Research Part B：Methodological，2005，39（4）：297－318．

［50］ HALLE S，Chaib－Draa B．A collaborative driving system based on multiagent modelling and simulations［J］．Transportation Research Part C：Emerging Technologies，2005，13（4）：320－345．

［51］ROSSETTI R J F，F(xiàn)ERREIRA P A F，BRAGA R A M，et al．Towards an artificial traffic control system［C］∥Intelligent Transportation Systems，2008 ITSC 2008，11th International IEEE Conference on IEEE，2008：14－19．

［52］FISCHER K，CHAIB－DRAA B，MULLER J P，et al．A simulation approach based on negotiation and cooperation between agents：a case study［J］．Systems，Man，and Cybernetics，Part C：Applications and Reviews，IEEE Transactions on，1999，29（4）：531－545．

［53］SUMO［EB／OL］．http：∥sumo．sourceforge．net／，2014－01－20．

［54］MATSim［EB／OL］．http：∥matsim．org／，2014－01－20．

［55］ZHANG F，LI J，ZHAO Q．Single－lane traffic simulation with multi－agent system ［C］∥Intelligent Transportation Systems，2005Proceedings IEEE，2005：56－60．

［56］LIU Z I SHIDA T，SHENG H．Multiagent－based demand bus simulation for Shanghai，Massively Multi－Agent Systems I ［M］．Berlin Heidelberg：Springer，2005．

［57］DONIEC A，MANDIAU R，PIECHOWIAK S，et al．A behavioral multi－agent model for road traffic simulation［J］．Engineering Applications of Artificial Intelligence，2008，21（8）：1443－1454．

［58］MANDIAU R，CHAMPION A，AUBERLET J M，et al．Behaviour based on decision matrices for a coordination between agents in a urban traffic simula－tion［J］．Applied Intelligence，2008，28（2）：121－138．

［59］VASIRANI M，OSSOWSKI S．A market－inspired approach to reservation－based urban road traffic management［C］∥Proceedings of The 8th International Conference on Autonomous Agents and Multiagent Systems1，2009，1：617－624．

［60］MEIGNAN D，SIMONIN O，KOUKAM A．Simulation and evaluation of urban bus－networks using a multiagent approach ［J］．Simulation Modelling Practice and Theory，2007，15（6）：659－671．

［61］BALMER M，MEISTER K，RIESER M，et al．A－gent－based simulation of travel demand：Structure and computational performance of MATSim－T［C］∥the 2nd TRB Conference on Innovation in Travel Modeling，Portland，ME，USA，2008．

［62］ZHANG L，YANG W C，WANG J M，et al．A large scale agent－based transport simulation in Shanghai［C］∥The Transportation Research Board 92nd Annual Meeting，Washington，D．C．，2013．

［63］FIPA．The foundation of intelligent physical agents．［EB／OL］．http：∥www．fipa．org／，2014－01－16．

［64］GRAY R S．Mobile Agents：Motivations and Stateof－the－Art Systems［R］．Dart－mouth College：Department of Computer Science，2000．

［65］BUSONIU L，BABUSKA R，SCHUTTER B．A comprehensive survey of multiagent reinforcement learning［J］．IEEE Transactions on Systems，Man，and Cybernetics，Part C：Applications and Reviews，2008，38（2）：156－172．

［66］BAZZAN A L C．Opportunities for multiagent systems and multiagent reinforcement learning in traffic control［J］Autonomous Agents and Multi－Agent Systems，2009，18（3）：342－375．

［67］ MEDINA J C，BENEKOHAL R F．Agent－based Traffic Management and Reinforcement Learning in Congested Intersection Network［R］．USDOT Nextrans Project Report，No．072IY03，2012．