羅榮 胡文慶

開發(fā)設(shè)計(jì)

人工智能服務(wù)器的底板管理控制器系統(tǒng)設(shè)計(jì)*

羅榮 胡文慶

（廣東人工智能與先進(jìn)計(jì)算研究院，廣東 廣州 510506）

針對(duì)人工智能計(jì)算單元或加速卡需要穩(wěn)定可靠的工作電源以及實(shí)時(shí)高效的溫度控制等需求，設(shè)計(jì)人工智能服務(wù)器的底板管理控制器系統(tǒng)，實(shí)現(xiàn)人工智能服務(wù)器的電源模塊冗余管理、多路電源輸出監(jiān)測(cè)、機(jī)箱內(nèi)部溫度控制，并提供遠(yuǎn)程接口和設(shè)備管理能力。該系統(tǒng)采用ORing冗余電源設(shè)計(jì)，對(duì)每路輸出電源進(jìn)行電壓、電流狀態(tài)監(jiān)測(cè)；結(jié)合人工智能服務(wù)器的內(nèi)部溫度信息，依據(jù)電壓、電流歷史趨勢(shì)對(duì)其散熱風(fēng)扇實(shí)施轉(zhuǎn)速控制，不僅實(shí)現(xiàn)了電源冷、熱冗余備份和切換管理，還有效提高了服務(wù)器的散熱水平。應(yīng)用該系統(tǒng)的人工智能服務(wù)器“香雪-3B”（XIANGXUE-3B）運(yùn)行穩(wěn)定可靠，并在MLPerf V2.0測(cè)試中取得了較好的成績(jī)。

人工智能服務(wù)器；底板管理控制器；冗余管理；散熱管理

0 引言

人工智能（artificial intelligence, AI）服務(wù)器是針對(duì)具有高并行、高精度、高速率等計(jì)算需求的浮點(diǎn)運(yùn)算、數(shù)值計(jì)算和科學(xué)計(jì)算設(shè)計(jì)的高性能計(jì)算平臺(tái)，是人工智能、大數(shù)據(jù)、數(shù)字孿生、智慧城市等領(lǐng)域的重要基礎(chǔ)設(shè)施。AI服務(wù)器搭載大量的計(jì)算單元和高帶寬、高容量的內(nèi)存資源，可滿足人工智能的模型訓(xùn)練、線上推理計(jì)算、科學(xué)仿真計(jì)算等應(yīng)用需求。

隨著AI服務(wù)器計(jì)算強(qiáng)度的增大，所需的計(jì)算單元數(shù)量也急劇上升。大量的計(jì)算單元雖使計(jì)算性能大幅地提升，但也導(dǎo)致系統(tǒng)功耗急劇上升。因此，有必要對(duì)AI服務(wù)器進(jìn)行電源和散熱管理。

本文針對(duì)AI服務(wù)器的電源和散熱需求，設(shè)計(jì)了底板管理控制器（baseboard management controller, BMC）系統(tǒng)[1-2]，實(shí)現(xiàn)電源冗余管理、電壓電流狀態(tài)檢測(cè)、服務(wù)器溫度狀態(tài)檢測(cè)、智能散熱管理等功能。

1 系統(tǒng)設(shè)計(jì)

為滿足AI服務(wù)器高性能、大功率、高可靠性、高負(fù)荷的處理能力，BMC系統(tǒng)基本需求如下：

1）不少于16路加速卡電源供應(yīng)，每路電源最大功率不低于300 W（12 V/25 A）；

2）電源冗余管理，可隨時(shí)切斷故障電源模塊；

3）電壓電流實(shí)時(shí)狀態(tài)檢測(cè)；

4）服務(wù)器內(nèi)部溫度狀態(tài)檢測(cè)；

5）智能散熱管理，根據(jù)服務(wù)器的溫度、系統(tǒng)負(fù)荷等反饋，智能調(diào)整散熱策略[3]；

6）提供BMC用戶管理界面；

7）支持智能平臺(tái)管理界面（intelligent platform managment interface, IPMI）協(xié)議規(guī)范[4-5]；

8）具有信息回溯、故障信息記錄等功能。

人工智能服務(wù)器的底板管理控制器系統(tǒng)主要包括主控單元、冗余管理、電源監(jiān)測(cè)、風(fēng)扇監(jiān)測(cè)、溫度監(jiān)測(cè)等功能模塊，組成框圖如圖1所示[6-7]。

圖1 人工智能服務(wù)器的底板管理控制器系統(tǒng)組成框圖

2 硬件部分

2.1 主控單元

主控單元選用服務(wù)器管理處理器AST2600，內(nèi)部集成2個(gè)ARM Cortex-A7核心和1個(gè)ARM Cortex-M3核心，具有VGA/2D圖像顯示接口，可提供四路千兆以太網(wǎng)接口、16路I2C和16路PWM接口[8-9]。

為方便實(shí)現(xiàn)BMC上層軟件協(xié)議與控制， AST2600設(shè)計(jì)了2 GB LPDDR4；采用16 GB的eMMC用于BMC系統(tǒng)軟件、應(yīng)用軟件、數(shù)據(jù)存儲(chǔ)等，主控單元的組成框圖如圖1所示。

2.2 電源管理

電源管理包括冗余管理和電源監(jiān)測(cè)2部分。

冗余管理需滿足16路最大功率300 W（12 V/25 A）的輸出，此外服務(wù)器內(nèi)部還有PCIe背板、散熱風(fēng)扇等設(shè)備的功率約為500 W，通過計(jì)算得到服務(wù)器電源總功率需滿足以下條件：

服務(wù)器采用的單個(gè)電源模塊的額定輸出功率為2 400 W（12.2 V/196.7 A），因此至少需要3個(gè)電源模塊并聯(lián)工作，才能滿足系統(tǒng)需求。此外，還需要1個(gè)額外的電源模塊在其他電源模塊故障時(shí)作冗余備用，故服務(wù)器采用4個(gè)電源模塊。

本文采用ORing冗余電源設(shè)計(jì)，利用二極管的單向?qū)ㄌ匦?，防止電源模塊之間的電壓、電流倒灌現(xiàn)象，并可以分離有故障的電源模塊?？紤]到二極管通常無法承受196.7 A的導(dǎo)通電流，故采用ORing電源軌控制器與導(dǎo)通電流為240 A的N溝道MOSFET組合來實(shí)現(xiàn)。根據(jù)服務(wù)器實(shí)際功率提供靈活的2+2或者3+1的熱備或冷備電源冗余模式，且各電源模塊均支持熱拔插。

電源監(jiān)測(cè)采用集成式、零漂移、雙向電流/功率監(jiān)測(cè)計(jì)INA219，監(jiān)測(cè)16路電源輸出的電壓、電流參數(shù)，并可直接讀取電壓、電流與功率，實(shí)時(shí)掌握各路電源輸出的功率狀態(tài)。

2.3 散熱管理

散熱管理包括風(fēng)扇監(jiān)測(cè)和溫度監(jiān)測(cè)2部分。

為實(shí)時(shí)監(jiān)測(cè)AI服務(wù)器內(nèi)部溫度狀況，在其內(nèi)部設(shè)置6個(gè)溫度監(jiān)測(cè)點(diǎn)，如圖2中小方塊所示。采用此分布監(jiān)測(cè)方案可較好地了解AI服務(wù)器的內(nèi)部熱量分布狀態(tài)，以便實(shí)施智能散熱管理。

圖2 AI服務(wù)器內(nèi)部溫度監(jiān)測(cè)點(diǎn)示意圖

利用TMP75數(shù)字溫度傳感器進(jìn)行溫度監(jiān)測(cè)，其分辨率達(dá)到0.062 5 ℃，無需校準(zhǔn)和外部信號(hào)調(diào)理且誤差范圍為±1 ℃。TMP75采用I2C總線通信，在單個(gè)總線上最多可以尋址27個(gè)TMP75從設(shè)備。

AI服務(wù)器熱量主要來源于計(jì)算單元（即加速卡）在計(jì)算過程中產(chǎn)生的電能消耗。計(jì)算單元的核心器件發(fā)熱與功率之間的關(guān)系為

Tmax = Tmax(Pmax×Θ)(1)

式中：

Tmax——核心器件表面的最高溫度；

Tmax——環(huán)境的最高溫度；

Pmax——核心器件的最大功率；

Θ——核心器件的熱阻率。

由公式(1)可知，核心器件的功率越大，其表面溫度越高。

電阻與溫度及功率之間關(guān)系如公式(2)、(3)所示。

0[1(0)](2)

2(3)

式中：

——導(dǎo)體電阻；

0——參考溫度下的電阻；

——導(dǎo)體電阻的溫度系數(shù)；

——實(shí)際溫度；

0——參考溫度；

——電流；

——功率。

由公式(2)可知，導(dǎo)體電阻與溫度成比例關(guān)系，即

Tmax = Tmax(20[1(-0)]×Θ)

由公式(3)可知，電流不變時(shí)，功率隨導(dǎo)體電阻的增大而增大。

對(duì)于正溫度系數(shù)器件，其功率越大則溫度越高，溫度升高會(huì)導(dǎo)致內(nèi)阻增大，內(nèi)阻增大又導(dǎo)致功率增大，形成惡性循環(huán)。溫度一旦超過極限就可能使核心器件損壞，因此必須對(duì)核心器件進(jìn)行科學(xué)的散熱管理。

溫度屬于遲滯型參數(shù)，AI服務(wù)器內(nèi)部雖然空氣流動(dòng)性大，但局部溫度通過空氣或PCB傳導(dǎo)到傳感器仍存在延遲時(shí)間。常規(guī)的風(fēng)扇控制采用溫度反饋控制轉(zhuǎn)速的方式，但因溫度傳遞遲滯而導(dǎo)致系統(tǒng)獲取的溫度滯后于服務(wù)器內(nèi)的實(shí)際溫度，使得散熱相對(duì)延后，進(jìn)而影響服務(wù)器整體性能。本文設(shè)計(jì)的智能散熱管理算法，將電壓、電流的當(dāng)前狀態(tài)與歷史狀態(tài)結(jié)合，預(yù)測(cè)功耗趨勢(shì)，提前對(duì)風(fēng)扇進(jìn)行轉(zhuǎn)速調(diào)節(jié)，使機(jī)箱內(nèi)部溫度維持在合理范圍，避免計(jì)算單元發(fā)生高溫失效的情況。

AST2600內(nèi)置的脈沖寬度調(diào)制（pulse width modulation, PWM）功能單元可對(duì)外提供16路輸出，每路PWM輸出都有自己的頻率控制，占空比可在0%～100%之間設(shè)定。通過調(diào)節(jié)PWM輸出占空比實(shí)現(xiàn)風(fēng)扇轉(zhuǎn)速控制，通過計(jì)數(shù)器監(jiān)測(cè)風(fēng)扇的工作狀態(tài)與實(shí)時(shí)轉(zhuǎn)速，構(gòu)成AI服務(wù)器內(nèi)部風(fēng)扇的閉環(huán)控制。同時(shí)配合溫度監(jiān)測(cè)與電源監(jiān)測(cè)策略即可實(shí)現(xiàn)智能散熱管理算法，有效實(shí)時(shí)降低AI服務(wù)器的發(fā)熱，保證大負(fù)載下AI服務(wù)器工作的可靠性和穩(wěn)定性。

風(fēng)扇轉(zhuǎn)速監(jiān)測(cè)利用AST2600內(nèi)部集成的計(jì)數(shù)器功能，支持16個(gè)獨(dú)立轉(zhuǎn)速脈沖輸入。測(cè)量方式可根據(jù)需要選擇上升沿、下降沿或2個(gè)邊沿測(cè)量，并可設(shè)置脈沖監(jiān)測(cè)，在脈沖間隔不滿足預(yù)設(shè)值時(shí)支持觸發(fā)中斷報(bào)警。

2.4 接口

為支持遠(yuǎn)程管理IPMI，系統(tǒng)設(shè)計(jì)了1 000 Mb/s以太網(wǎng)，方便用戶遠(yuǎn)程登錄、訪問和控制。另外，為方便開發(fā)調(diào)試，預(yù)留了調(diào)試用UART接口。

3 軟件設(shè)計(jì)

系統(tǒng)軟件根據(jù)功能和作用可劃分為操作系統(tǒng)[10]、管理程序、BMC用戶管理界面3部分。

3.1 操作系統(tǒng)

操作系統(tǒng)為AST2600處理器運(yùn)行的系統(tǒng)程序（俗稱固件），主要由U-Boot、Linux Kernel、只讀根文件系統(tǒng)、可讀可寫文件系統(tǒng)等組成。其中，系統(tǒng)引導(dǎo)采用U-Boot-2019.04，內(nèi)核采用Linux-5.10.35。

操作系統(tǒng)基于Ubuntu 18.04 LTS環(huán)境開發(fā)，編譯器使用GCC 11.1.0，其他相關(guān)的工具和庫工具版本分別為binutils 2.36.1和glibc 2.33。

操作系統(tǒng)主要實(shí)現(xiàn)系統(tǒng)的進(jìn)程、存儲(chǔ)、設(shè)備、文件、作業(yè)等管理，并為管理程序和用戶界面提供運(yùn)行環(huán)境和相關(guān)接口服務(wù)。

3.2 管理程序

管理程序主要用于AI服務(wù)器內(nèi)部的電源、溫度、風(fēng)扇等監(jiān)測(cè)[11]。管理程序與操作系統(tǒng)相互獨(dú)立，操作系統(tǒng)在AI服務(wù)器接入220 V交流電源后，處于后臺(tái)運(yùn)行狀態(tài)。管理程序檢測(cè)到AI服務(wù)器的電源按鈕短按或收到遠(yuǎn)程管理端發(fā)送的開機(jī)指令后，進(jìn)行AI服務(wù)器初始化操作；收到AI服務(wù)器的電源按鈕長(zhǎng)按或遠(yuǎn)程管理端發(fā)送的關(guān)機(jī)指令后，進(jìn)行AI服務(wù)器關(guān)機(jī)操作。管理程序邏輯流程如圖3所示。

圖3 管理程序邏輯流程

服務(wù)器內(nèi)共安裝4組2 400 W電源模塊，冗余策略設(shè)計(jì)為關(guān)機(jī)僅保留2組電源模塊熱備，防止其中1個(gè)電源模塊出現(xiàn)故障而導(dǎo)致無法響應(yīng)開機(jī)指令的情況。開機(jī)后，4組電源模塊全部進(jìn)入熱備狀態(tài)，根據(jù)AI服務(wù)器的計(jì)算單元功率需求，可設(shè)置為2+2或3+1冗余模式。如單張計(jì)算卡功率為250 W，則總功率為4 000 W，可設(shè)置為2+2或3+1冗余模式；若單張計(jì)算卡功率為400 W，則總功率為6 400 W，則必須設(shè)置為3+1冗余模式（用戶在BMC用戶管理界面輸入對(duì)應(yīng)的單張計(jì)算卡功率后，會(huì)自動(dòng)列出可選的冗余模式供用戶選擇）。

3.3 BMC用戶管理界面

用戶管理界面是方便用戶查看、訪問、管理、讀取設(shè)備狀態(tài)信息，并進(jìn)行相關(guān)設(shè)置操作的交互程序。系統(tǒng)用戶管理界面基于OpenBMC的開源OpenBMC Web UI進(jìn)行二次開發(fā)設(shè)計(jì)，采用Vue.js框架。OpenBMC Web UI登錄界面如圖4所示。

圖4 OpenBMC Web UI登錄界面

登錄后，可通過左側(cè)的菜單欄選取相關(guān)的操作。左側(cè)菜單欄信息如圖5所示。

圖5 菜單欄信息

4 實(shí)驗(yàn)測(cè)試

4.1 電源管理測(cè)試

電源模塊的輸入輸出效率曲線如圖6所示。

圖6 電源模塊輸入輸出效率曲線

由圖6可以看出，電源模塊的負(fù)載在30%～80%時(shí)，電源效率高于92%，因此電源管理策略的重點(diǎn)在于盡量使電源模塊的負(fù)載在30%～80%工作范圍內(nèi)。

為測(cè)試電源管理和熱拔插功能，使用負(fù)載儀設(shè)定負(fù)載功率，系統(tǒng)根據(jù)負(fù)載狀態(tài)設(shè)定工作電源模塊，如表1所示。其中“√”表示工作中，“○”表示待機(jī)狀態(tài)且熱拔插正常。

表1 電源管理測(cè)試

由表1可知，系統(tǒng)可正確控制4組電源模塊的工作狀態(tài)和熱拔插管理，滿足設(shè)計(jì)要求。

為測(cè)試系統(tǒng)的自動(dòng)冗余功能，按照表2設(shè)置4個(gè)電源模塊的最大輸出電流，模擬電源模塊輸出故障狀態(tài)。

表2 電源冗余測(cè)試 單位：A

冗余測(cè)試時(shí)，將負(fù)載設(shè)定為3 200 W，系統(tǒng)均能自動(dòng)識(shí)別各個(gè)電源模塊的故障信息（電流超限報(bào)警），并切換到正常冷、熱備的電源模塊進(jìn)行工作，且在系統(tǒng)日志中記錄了相關(guān)事件的信息和時(shí)間等。

4.2 散熱管理測(cè)試

通過加載不同負(fù)載，采用常規(guī)散熱控制策略（即讀取實(shí)時(shí)溫度，根據(jù)溫度線性調(diào)節(jié)風(fēng)扇轉(zhuǎn)速）與智能散熱管理算法分別對(duì)AI服務(wù)器進(jìn)行散熱管理，并記錄相應(yīng)的溫度數(shù)據(jù)，如圖7所示。

圖7 溫度增速對(duì)比

由圖7可以看出，采用智能散熱管理算法的AI服務(wù)器，在負(fù)載增大過程中，其內(nèi)部溫度增速顯著低于常規(guī)散熱控制策略。

在上述的溫度控制效果下，記錄不同溫度時(shí)常規(guī)散熱控制策略與智能散熱管理算法控制的風(fēng)扇轉(zhuǎn)速數(shù)據(jù)，得到不同溫度下風(fēng)扇轉(zhuǎn)速對(duì)比圖，如圖8所示。

圖8 不同溫度下風(fēng)扇轉(zhuǎn)速對(duì)比

由圖8可以看出，采用智能散熱管理算法的AI服務(wù)器，因具有提前預(yù)判能力，散熱速度更快，溫度上升較慢，進(jìn)而控制風(fēng)扇轉(zhuǎn)速低于常規(guī)散熱控制策略，因此AI服務(wù)器的風(fēng)扇噪聲也相對(duì)較低。（注：在測(cè)試末段，為保護(hù)AI服務(wù)器內(nèi)部計(jì)算單元不受損傷，均強(qiáng)制在溫度高于62 ℃之后啟動(dòng)最大轉(zhuǎn)速。）

5 系統(tǒng)應(yīng)用

應(yīng)用該系統(tǒng)設(shè)計(jì)的“香雪-3B”（XIANGXUE-3B）服務(wù)器在單節(jié)點(diǎn)內(nèi)可提供10 Pflops AI算力，靈活支持多種PCIE架構(gòu)形式以適應(yīng)廣泛的應(yīng)用需求。在2022年6月的MLPerf Training V2.0評(píng)測(cè)中，“香雪-3B”共參與5項(xiàng)測(cè)試場(chǎng)景，提交3組配置和7項(xiàng)測(cè)試結(jié)果[12]，均取得較好的成績(jī)[13]。

6 結(jié)語

本文針對(duì)AI服務(wù)器的功能需求設(shè)計(jì)了BMC系統(tǒng)，電源模塊可實(shí)現(xiàn)無縫冷、熱備切換而不影響服務(wù)器的正常運(yùn)行；同時(shí)對(duì)AI服務(wù)器的16路輸出電壓和電流進(jìn)行了實(shí)時(shí)監(jiān)測(cè)，有效地掌握服務(wù)器各計(jì)算單元或加速卡的工作和負(fù)載水平。根據(jù)電源輸出側(cè)電壓、電流狀態(tài)，主動(dòng)提前介入散熱響應(yīng)，相比常規(guī)基于溫度反饋的散熱控制策略，可有效降低AI服務(wù)器的內(nèi)部溫度。該系統(tǒng)既有利于AI服務(wù)器性能的發(fā)揮，又可以提升AI服務(wù)器工作的穩(wěn)定性和可靠性。

[1] 朱建培.淺談BMC管理系統(tǒng)在國(guó)產(chǎn)平臺(tái)服務(wù)器中的運(yùn)用分析[J].中國(guó)設(shè)備工程,2021(8):62-63.

[2] 吳之光,耿士華.淺談BMC管理系統(tǒng)在國(guó)產(chǎn)平臺(tái)服務(wù)器中的應(yīng)用[J].信息技術(shù)與信息化,2016(Z1):51-53.

[3] 喬英良.刀片服務(wù)器監(jiān)控管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].濟(jì)南:山東大學(xué),2012.

[4] 王栩浩.基于IPMI的服務(wù)器管理系統(tǒng)的實(shí)現(xiàn)[D].上海:東華大學(xué),2016.

[5] A joint message from the IPMI promoters (Dell, Hewlett Packard Enterprise, NEC, Intel Corporation). Intelligent plat- form management interface specification v2.0 rev. 1.1 [EB/ OL].2013-10-01.https://www.intel.com/content/www/us/en/products/docs/servers/ipmi/ipmi-second-gen-interface-spec-v2-rev1-1.html.

[6] 郭利文.基于FPGA的多節(jié)點(diǎn)服務(wù)器集群的均衡系統(tǒng)管理設(shè)計(jì)[D].長(zhǎng)沙:湖南大學(xué),2018.

[7] 蔡積淼.基于IPMI的服務(wù)器管理的軟硬件設(shè)計(jì)與實(shí)現(xiàn)[D].濟(jì)南:山東大學(xué),2017.

[8] 何毅平.基于ARM的BMC設(shè)計(jì)與實(shí)現(xiàn)[D].武漢:華中科技大學(xué),2014.

[9] 阮榮友.基于IPMI協(xié)議的服務(wù)器主板控制器的設(shè)計(jì)與實(shí)現(xiàn)[D].武漢:華中科技大學(xué),2012.

[10] STALLINGS William. Operating systems: internals and design principles[M].9th edition. United States: Published by Pearson, 2021.

[11] 石博凡.基于IPMI協(xié)議的服務(wù)器管理系統(tǒng)安全診斷模塊的設(shè)計(jì)與實(shí)現(xiàn)[D].南京:東南大學(xué),2018.

[12] MLCommons. MLPerf training v2.0 results [EB/OL]. 2022- 06-29. https://mlcommons.org/en/training-normal-20/.

[13] 廣東人工智能與先進(jìn)計(jì)算研究院. 研究院“香雪”服務(wù)器斬獲全球冠軍！[EB/OL]. 2022-06-30. https://mp.weixin.qq. com/s/L2-KjrVTRbJPpOzzzpNxow.

Design of Baseboard Management Controller System for Artificial Intelligence Server

LUO Rong HU Wenqing

(Guangdong Institute of Artificial Intelligence and Advanced Computing, Guangzhou 510506, China)

To meet the requirements of stable and reliable working power supply and real-time and efficient temperature control for the artificial intelligence computing unit or accelerator card, the floor management controller system of the artificial intelligence server is designed to realize the redundant management of the power module of the artificial intelligence server, multi-channel power output monitoring, and temperature control inside the chassis, and provide remote interface and equipment management capabilities. ORing redundant power supply design is adopted to monitor the voltage and current status of each output power supply; Combined with the internal temperature information of the AI server, the speed of the cooling fan is controlled according to the historical trend of voltage and current, which not only realizes the cold and hot redundancy backup and switch management of the power supply, but also effectively improves the cooling level of the server. The artificial intelligence server "XIANGXUE-3B" using this system runs stably and reliably, and has achieved good results in MLPerf V2.0 test.

artificial intelligence server; baseboard management controller; redundancy management; heat dissipation management

TP277

A

1674-2605(2022)06-0006-07

10.3969/j.issn.1674-2605.2022.06.006

羅榮,胡文慶.人工智能服務(wù)器的底板管理控制器系統(tǒng)設(shè)計(jì)[J].自動(dòng)化與信息工程,2022,43(6):34-40.

LUO Rong, HU Wenqing. Design of baseboard management controller system for artificial intelligence server[J]. Automation & Information Engineering, 2022,43(6):34-40.

廣東省重點(diǎn)領(lǐng)域研發(fā)計(jì)劃（高水平創(chuàng)新研究院定向委托）項(xiàng)目（2019B090917009）；廣州市科技計(jì)劃項(xiàng)目（202201000009）。

羅榮，男，1993年生，工學(xué)學(xué)士，助理工程師，主要研究方向：智能儀器。E-mail: rong.luo@giaiac.cn

胡文慶（通信作者），男，1992年生，工學(xué)碩士，工程師，主要研究方向：人工智能與大數(shù)據(jù)。E-mail: wenqing.hu@ giaiac.cn