閻志遠，汪健雄，游雪松

（1.中國鐵道科學研究院集團有限公司 電子計算技術研究所，北京 100081；2.中國國家鐵路集團有限公司 客運部，北京 100844)

服務于2022年北京冬奧會、冬殘奧會的京張高速鐵路(北京北—張家口)于2019年12月30日正式開通運營，承擔跨賽區(qū)的交通出行，是重要的冬奧會保障配套工程[1]。冬奧會期間，京張高速鐵路呈現客流種類復雜化、服務語言多元化、冬奧會規(guī)則與鐵路業(yè)務差異化等困難，并與嚴峻的防疫需求緊密關聯，京張高速鐵路的票務應用架構面臨著多元化數據融合、系統感知和計算能力方面的挑戰(zhàn)。因此，深度挖掘多模態(tài)概念，結合冬奧會京張高速鐵路多元需求，研究提出多模態(tài)票務服務應用架構，綜合應用跨區(qū)域冬奧會場景下的京張高速鐵路多模態(tài)票務服務關鍵技術，形成了售票、驗票、檢票及客服全流程國際化票務服務閉環(huán)，在京張高速鐵路實施了多元化票制，研制了中英文自動售票機、開發(fā)了多語言售票APP、實現了無接觸出站、智能語音導航功能，最終構建了京張高速鐵路國際化售票服務，實現京張高速鐵路智能票務應用示范，提升了京張高速鐵路票務服務智能化水平。

1 京張高速鐵路票務應用多模態(tài)概念

多模態(tài)是指2個或2個以上模態(tài)各種形式的組合[2]，其出發(fā)點是把語言及其意義的社會闡釋擴展到所有的呈現和交際模態(tài)，諸如圖像、文字、手勢、凝視、言語、姿態(tài)等[3]。閻志遠等[4]首次在鐵路客票系統中提出多模態(tài)智能應用，圍繞京張高速鐵路冬奧會多元用戶需求，從多模態(tài)信息融合、多模態(tài)感知交互、多模態(tài)智能計算3個方面構建京張高速鐵路多模態(tài)智能票務模式，解決跨區(qū)域賽事人群多元出行需求與高速鐵路多模態(tài)票務服務協同問題。

單模態(tài)數據僅包含了有效信息，往往無法實現精準預測結果，為了獲取更多的有效信息，多模態(tài)信息融合概念應運而生，多模態(tài)信息融合擴寬了數據覆蓋范圍，學習了來自多個模態(tài)的信息，實現了各模態(tài)信息之間的互補，有效地提高了預測模型的魯棒性[5]。對傳統多模態(tài)信息融合概念泛化，創(chuàng)新在針對冬奧會的智能票務體系提出多模態(tài)信息融合概念，是指通過融合客票系統本身數據倉庫的有效信息，以及在物理世界采集到的冬奧會、冬殘奧會不同時間、空間的多元異構數據信息，采取有效的數據管理和挖掘手段，從而更準確地實現客流預測、客流密度監(jiān)測、客流形態(tài)分析，最終更智能地服務于多元運輸模式匹配、多元化票制與票樣設計、時空演化條件下旅客全流程出行鏈挖掘。

傳統多模態(tài)感知交互是指生物通過多重感知器官與經驗來接收信息和進行交互的過程，通常是指人通過聲音、肢體語言、信息載體(文字、圖片、音頻、視頻等)、物理環(huán)境等多個通道與機器進行交互[6]?；诖颂岢鲋悄芸推毕到y多模態(tài)感知交互概念，旅客通過多重感知器官及冬奧會特定環(huán)境下的高速鐵路客票相關環(huán)境體驗來與售票、檢票、驗票、個人智能設備等進行人機交互的過程，包括但不限于旅客通過視覺、聲音、肢體語言、文字、圖片、視頻等與中英文自動售票機、鐵路12306中英文網站、鐵路12306中英文APP、智能電話客服等進行的交互。

多模態(tài)智能計算屬于交叉學科領域，以搭建可以處理和關聯來自圖形、圖像、語音、文本、數值等多種模態(tài)信息的模型為目標，是解釋和推理關于多模態(tài)信息的途徑，是計算機視覺和交互式人工智能模型的最終融合，為計算機提供更接近于人類感知的場景[7]。提出的智能客票系統多模態(tài)智能計算概念，主要是指人臉識別多模態(tài)智能計算、多模態(tài)敏感數據(證件號、手機號、注冊卡、人臉)信息挖掘、深度學習語音識別與語義理解算法。

2 京張高速鐵路多模態(tài)票務應用架構

綜合上述3方面多模態(tài)理論基礎，從冬奧會京張高速鐵路多元用戶需求出發(fā)，基于京張高速鐵路多模態(tài)智能票務模式研究結論，提出多模態(tài)票務服務應用架構如圖1所示。

圖1 多模態(tài)票務服務應用架構Fig.1 Application architecture of multi-modal ticketing service

多模態(tài)票務服務應用架構由智能感知層、數據資源層、多模態(tài)應用服務層和服務提供層組成。智能感知層主要包括進出站設備使用的人像景深、紅外測溫等傳感器，以及閘機NFC、QR傳感器和用戶APP的設備指紋、終端定位等廣義傳感器；數據資源層融合了電子客票行程信息、列車運行圖數據、調度信息、冬奧賽程、門票以及冬奧注冊相關方信息和地方綜合交通數據；通過多模態(tài)應用服務層，綜合提供多模態(tài)信息融合、多模態(tài)感知交互和多模態(tài)智能計算等平臺服務；通過服務提供層，旅客可在線上或線下自助購票，在冬奧會期間為不同購票群體提供特色多元票制服務，旅客購票成功后，可直接憑有效身份證件刷電子票進站，也可換取具有冬奧會特色的紙質車票，旅客進站后按照不同的利益相關方乘車路線到指定車廂乘車，到站后，憑電子客票或有效身份證件檢票出站。在太子城站，為了給旅客出站提供便捷服務，開通了刷臉出站服務，由此構成冬奧會期間旅客出行的全流程出行鏈，并在旅客出行過程中，提供全行程的個性化客服服務。

2.1 多模態(tài)信息融合服務

鐵路票務體系通過各種差異渠道感知和采集不同利益群體、冬奧會時空信息、旅客出行需求信息、天氣信息、觀眾對比賽項目的接納度和偏好信息、疫情信息等，這些數據通常具有空間、時間或時空特性，如氣象數據通常是時間數據/序列，而3個賽區(qū)辦賽信息、節(jié)假日交通流量同時涉及時間與空間數據，這些多源異構數據在采集后，結合鐵路12306數據倉庫的數據信息構建多模態(tài)數據層，通過有效的數據管理方法，形成多元化車票信息、運輸能力信息、全時空需求鏈信息庫，而后采用機器學習及相關預測算法等對上述數據進行挖掘和分析，以提供需要的服務，最終服務提供的數據將進一步修正和優(yōu)化多源異構數據的種類和數量，形成多模態(tài)信息融合閉環(huán)。多模態(tài)信息融合技術架構如圖2所示。

2.2 多模態(tài)感知交互服務

當用戶因為要達到某種目標，決定與某個機器進行交互時，其行為和選擇是相對穩(wěn)定的。例如，當旅客需要線上購票，則會選擇與鐵路12306網站或手機APP進行交互；當旅客需要處理一些問詢和投訴，則會選擇與鐵路12306客服進行語音通話；當旅客到車站現場線下購票時，則會選擇與窗口或者車站自動售票機進行交互；當旅客在車站自動售票機購票遇見問題無法解決時，則會選擇招援服務，通過遠程人工客服協助完成購票。由此可見，在人機交互中，人和機器是2個重要的主體，其中人是交互行為發(fā)生的主體，機器是交互行為發(fā)生的客體。人因為事先有一個需要實現的目標，選擇能實現目標的目標設備，然后才能發(fā)出相應的交互目標請求，主動與機器進行交互，交互后，人會衡量自己的交互操作是否達到了期待的結果，實現最初的目標，并做出評價，形成人機交互閉環(huán)。旅客行為模式示意圖如圖3所示。

圖3 旅客行為模式示意圖Fig.3 Schematic diagram of passenger behavior mode

自然的交互方式是用戶不必學習新的知識和技能就能方便地與機器進行快捷方便交互，但并非所有的技能都是天生的，而是利用那些人們已經擁有的知識和技能。交互模型是對用戶與產品交互過程中彼此間行為關系的解釋，較好的交互模型的導出可以很好地指導產品的開發(fā)和交互設計，從一定意義上來說，產品的設計實際上也是行為的設計，當產品的性能與人的行為相互支持步調一致時，便構成了人與產品間的和諧關系，將這種關系物化，便是新設計的出現[8]。由此可見，對于用戶即旅客來說，多模態(tài)交互設計產品首先應直觀可見，方便旅客在物理交互空間中選擇目標票務服務相關設備；其次應可以運用自然的、直觀的包括視頻、語音、手勢、觸覺、情緒等在內的多模態(tài)交互方式向票務服務相關設備表達其意愿；最后可以通過感覺器官如眼睛、耳朵等來接收系統的反饋。以乘客的購票行為為例進行分析，其購票交互操作通常是在特定的空間下即火車站售票大廳完成的[9]。對鐵路智能票務體系中存在的多模態(tài)交互進行總結，多模態(tài)交互關系表如表1所示。

表1 多模態(tài)交互關系表 Tab.1 Multi-modal interaction

2.3 多模態(tài)智能計算服務

多模態(tài)智能計算應用在智能票務服務，主要體現在多模態(tài)智能票務客服、多模態(tài)驗檢票人像識別及基于冬奧會旅客出行服務數據模型的售票隱私保護。

2.3.1 多模態(tài)語音識別智能計算

將多模態(tài)智能計算應用于語音識別中，充分考慮音頻和文本對于語音識別貢獻的差異性，引入跨模態(tài)注意力機制[10]來度量這種相關性，通過匹配度計算和加權向量計算，實現聲學模型和語言模型的聯合建模，解決兩模型間的協同問題。跨模態(tài)注意力機制的聲學和語言聯合建模模型架構如圖4所示。

圖4 跨模態(tài)注意力機制的聲學和語言聯合建模模型架構Fig.4 Joint modeling model architecture of acoustics and language for cross-modal attention mechanism

2.3.2 多模態(tài)人臉識別智能計算

人臉識別多模態(tài)智能計算以可見光下的人臉圖像(人臉檢測和區(qū)域分析)、紅外成像的人臉圖像(額頭部分進行溫度測量)和戴口罩的人臉圖像(戴口罩人臉識別)數據的采集為基礎，將旅客是否佩戴口罩及人臉特征識別和提取的過程合二為一，最終實現疫情條件下，佩戴口罩旅客的人臉識別和測溫。其中，可見光圖像和紅外圖像分別通過可見光傳感器和紅外傳感器得到，戴口罩的人臉圖像是經過將人臉和遮擋物進行3D多維圖像建模后再映射到二維平面上得到的，實現用于戴口罩人臉識別的算法模型，對人臉檢測算法的網絡結構進行優(yōu)化，將人臉檢測與遮擋物識別2種模態(tài)過程合二為一，最終實現戴口罩旅客的人臉識別智能算法。多模態(tài)人臉智能識別算法如圖5所示。

圖5 多模態(tài)人臉智能識別算法Fig.5 Multi-modal face intelligent recognition algorithm

人臉圖像具備角度、關鍵點、遮擋(口罩、墨鏡)等多重模態(tài)屬性，在冬奧會期間，由于國外友人的參與，還增加了多膚色的屬性，對其構建多膚色人臉數據集，建立多膚色識別模型提取人臉種族特性，根據多重模態(tài)特征，搭建多屬性識別模型，再通過多任務卷積神經網絡深度學習算法，將多模態(tài)人臉質量屬性融合到一個模型中。

2.3.3 多模態(tài)隱私保護智能計算

冬奧會海量的出行數據中包括旅客證件號、手機號、護照號等涉及個人隱私的數據，需要一個完整的保護策略，首先應具備多模態(tài)多維度的敏感數據發(fā)現模型。通過對不同類型的數據源信息進行識別，利用基礎識別技術、正則化表達式、機器學習等多模態(tài)智能計算方法，將敏感信息挖掘出來。多模態(tài)敏感數據發(fā)現模型架構如圖6所示。

圖6 多模態(tài)敏感數據發(fā)現模型架構Fig.6 Architecture of multi-modal sensitive data discovery model

3 京張高速鐵路多模態(tài)智能票務應用示范

3.1 應用示范方案

2020年11月 鐵 路12306已開通12306網站英文版，為配合冬奧會售票保障工作而研發(fā)的支持英、法等多國語言擴展的多語言售票APP即鐵路12306 APP多語言版于2021年12月24日正式發(fā)布；在北京冬奧會期間，冬奧會注冊人員和持北京冬奧會門票觀賽中外旅客可通過鐵路12306網站(含手機APP)冬奧會專區(qū)綁定相關信息免費預訂京張高速鐵路冬奧會相關車票。其中旅客席位預訂分2類人群。

（1）冬奧會注冊人員。冬奧會注冊人員采用北京冬奧組委發(fā)放的身份注冊卡作為有效身份證件和電子客票載體，注冊人員登錄鐵路12306網站冬奧會專區(qū)后，按指引進行相關操作，通過鐵路12306網站信息核驗的，將免費為其發(fā)放一張指定區(qū)間(清河—太子城/延慶)、指定有效期內用于往返各地場館的定期票，并使用該定期票預約車票。

（2）持北京冬奧會門票觀賽旅客。持北京冬奧會門票觀賽旅客需在鐵路12306網站注冊成為12306用戶，填寫所持冬奧會門票票號和賽事場次號信息。鐵路12306網站通過數據比對完成信息核驗；通過驗證的，將免費為其發(fā)放一張指定區(qū)間(北京北/清河—太子城/延慶)、指定有效期內一次往返觀賽場館的計次票，旅客憑該計次票在鐵路12306網站按需預訂往返觀賽場館的高速鐵路車票。

3.1.2 車站冬奧會服務方案

北京冬奧會在北京市區(qū)、延慶和崇禮3個賽區(qū)分別舉辦不同賽事。因此，選取清河站、延慶站和太子城站作為應用示范車站，配置冬奧會特色報銷憑證和行程信息提示專用票卷為旅客提供打印服務，渠道以自動售票機為主。車站綜合服務窗口少量配置冬奧會特色票卷，供特殊旅客使用。

（1）車站服務專窗。在清河、太子城、延慶站設置冬奧會票務專窗，為冬奧會注冊人員和持票觀眾預訂和取消預訂京張高速鐵路冬奧會相關車票，業(yè)務規(guī)則比照鐵路12306網站。

（2）中英文自動售票機。中英文自動售票機在清河、延慶、太子城站每站選取2臺自動售票機進行試點。

另外，循環(huán)小數作為有理數卻沒有在圖3的舉例中被列舉出來，全章節(jié)的內容中也未涉及任何循環(huán)小數的知識，這種對概念的不完全解讀，會阻礙學生對有理數的透徹理解和認識．

（3）遠程協助售票。遠程協助售票功能服務于國內“脫網人群”和國外旅客使用自助設備等場景，為旅客提供人工遠程服務。在張家口、清河和八達嶺長城站部署，其中張家口站2臺自助設備可提供服務。

（4）檢票乘車。冬奧會注冊人員可憑手機APP的檢票二維碼掃碼檢票進站乘車；持奧運門票觀賽旅客可持預訂車票時的有效證件檢票進站乘車。檢票規(guī)則分3種情況：①閉環(huán)內檢票規(guī)則。清河站驗檢分設自助檢票閘機，延慶和太子城站驗檢合設自助檢票閘機，允許冬奧會注冊人員直接掃碼檢票進站。②閉環(huán)外檢票規(guī)則。清河站驗檢分設自助檢票閘機，允許冬奧會注冊人員直接掃碼檢票進站。延慶和太子城站驗檢合設自助檢票閘機，不允許冬奧會注冊人員直接掃碼檢票進站，需通過冬奧會專用檢票通道檢票進站。③閉環(huán)類型控制規(guī)則。車站閘機根據閉環(huán)類型，對通過閘機的旅客進行識別控制，即閉環(huán)區(qū)的閘機只識別閉環(huán)區(qū)的車廂席位，非閉環(huán)區(qū)的閘機只識別非閉環(huán)區(qū)的車廂席位。因冬奧會注冊人員錯選閉環(huán)類型而預訂錯車廂的，檢票閘機將不允許其進站。冬奧會注冊人員需通過在線修改閉環(huán)類型，取消全部已訂席位后再重新預訂席位進站乘車。

（5）實名制核驗[11]。①車站閉環(huán)區(qū)域只掃碼不核驗。在車站閉環(huán)區(qū)域現場不設置人員證件核驗設備，不進行身份注冊卡核驗，不做“票－證－人”一致性核驗，直接掃碼通過高速鐵路閘機經過閉環(huán)流線乘車。②車站閉環(huán)外區(qū)域先核驗后掃碼乘車。為防止非冬奧會注冊人員持身份注冊卡進出站乘車，在高速鐵路車站閉環(huán)外區(qū)域比照涉奧場館配備通道式證件核驗設備，對身份注冊卡及持卡人進行“人－證”核驗。清河站“人－證”核驗通過后，須通過人工實名驗證口驗證“票－證”一致性后進入車站候車區(qū)域再掃碼乘車。延慶、太子城站直接進入候車區(qū)域，在檢票口“人－證”核驗后，通過人工檢票通道乘車?，F場無法通過核驗的人員不可進站乘車。

冬奧會期間，在太子城站部署測溫、刷臉一體化的“無接觸”出站檢票閘機，實現旅客無感出站。

3.1.3 列車票務保障

冬奧會期間京張高速鐵路分為智能型復興號、普通型復興號2種情況設置車廂。其中2組智能型復興號閉環(huán)管理人員安排在1—5號車，5號車為多功能車，滿足媒體需求；普通旅客安排在7—8號車；6號車設置為隔離車廂。普通復興號閉環(huán)管理人員安排在1—4號車，普通旅客安排在6—8號車，5號車設置為隔離車廂。

在列車席位權限設置方面，席位按照閉環(huán)冬奧會注冊人員(奧運閉環(huán))、非閉環(huán)冬奧會注冊人員(奧運非閉環(huán))、持冬奧會門票觀賽旅客(奧運觀賽)及普通購票旅客使用群體不同劃分成4部分?？推毕到y需增加“奧運閉環(huán)”“奧運非閉環(huán)”“奧運觀賽”3個奧運專用用途，席位策略按照一站直達設置，不設共用、復用和轉票策略。

3.2 成果及示范成效

3.2.1 多元化票制與冬奧會紀念票

創(chuàng)新票制票面設計，通過融合冬奧會文化、百年京張、一站一景等理念，設計了適合冬奧會場景的冬奧會特色紙質車票和行程信息提示單，既服務冬奧會辦賽又可宣傳京張高速鐵路建設成就。冬奧會期間特色車票每日打印車票量在1 000 ~ 2 000張，線下累計打印6.8萬張冬奧會特色紙質報銷憑證及紀念票。

3.2.2 中英文自動售票機

中英文自動售票機是對傳統自動售票機系統進行升級，采用B/S與C/S相結合部署模式，通過翻譯動態(tài)加載技術在中文操作界面基礎上實現中英文動態(tài)切換。中英文自動售票機支持VISA，MasterCard，JCB等國際卡支付，方便持國際卡旅客自助購票。冬奧會期間中英文自動售票機每日服務人次達100余人。

3.2.3 遠程協助購票

遠程協助購票是在自動售票機上利用音視頻通話、信令控制、呼叫排隊、遠程控制等技術，賦能遠程協助場景。冬奧會期間，將清河站、太子城站、延慶站的呼叫請求優(yōu)先級設置為最高，保障重要車站的呼入得到快速響應，同時國外旅客使用自動售票機的英文操作界面時，其呼入請求優(yōu)先分派到英語溝通能力較好的工作人員，協助其完成購票。張家口站2019年12月31日—2022年3月14日期間共接聽1 437次遠程協助購票呼叫。

3.2.4 鐵路12306多語言售票APP

鐵路12306多語言售票APP在冬奧會期間全網使用，為京張高速鐵路提供多語言售票和冬奧會專區(qū)服務保障功能。鐵路12306英文版售票量每日約1 000張，手機APP售票量占1/3左右，網站售票量占2/3左右。鐵路12306多語言售票APP支持語言包快速集成，后期可擴展更多國家語言。

3.2.5 無接觸出站

無接觸出站是結合冬奧會期間防疫及不同膚色人群的需求，設計了面向口罩遮擋和多膚色人群的人臉識別技術升級，攻克了旅客配戴口罩、墨鏡及大客流快速通過等條件下的刷臉檢票難題。基于三維人臉建模，實現了戴口罩人臉數據的生成功能，用于針對口罩遮擋的多模態(tài)人臉識別算法開發(fā)，其中戴口罩人臉乘客試驗通過率達90%以上，遠超其他第三方算法。通過構建多膚色人臉數據集，研究人臉膚色分類識別模型，實現了多膚色人臉識別過閘應用，達到為全球旅客提供一致化服務的能力。冬奧會期間，無接觸出站應用日均刷臉出站達151人次，單人次通行時間小于3 s；戴口罩通過率從64%提升到84%；無口罩通過率從88%提升到94.5%。

3.2.6 智能語音導航

研發(fā)了智能客服知識庫、智能語音導航系統并在北京、上海鐵路12306客服中心應用，首次在冬奧會辦賽環(huán)節(jié)提供了英語、日語和俄語的鐵路票務客服熱線服務。冬奧會期間客服日接通率穩(wěn)定在95.23%以上，自助服務解決率從45%提升至60%，智能語音導航業(yè)務覆蓋率達93.2%。

3.2.7 高速鐵路國際化票務服務全流程乘車閉環(huán)應用

針對冬奧會注冊人員，冬奧會持票觀眾、團體賓客等不同人群，構建乘車憑證、賬戶綁定、席位預約、車票退改、獲取行程信息、檢票乘車等全流程乘車服務閉環(huán)，以冬奧會注冊人員為例，高速鐵路國際化票務服務全流程乘車閉環(huán)應用示意圖如圖7所示。

圖7 高速鐵路國際化票務服務全流程乘車閉環(huán)應用示意圖Fig.7 Closed-loop application of whole process of high speed railway international ticketing service

4 結束語

北京冬奧會及冬殘奧會運輸服務時間為2022年1月21日—3月16日，在共計55天的高速鐵路保障運輸期間，多模態(tài)票務應用系列成果為京張高速鐵路提供了優(yōu)質、安全、高效的運輸服務。研究成果解決了冬奧會客流種類復雜化、服務語言多元化、冬奧會規(guī)則與鐵路業(yè)務差異化等困難，并可適用于防疫防控常態(tài)化的乘車需求，為以高速鐵路保障大型賽事跨區(qū)域辦賽提供了理論和實踐基礎。