吳 舸, 肖 榮, 張明華, 金道臨, 孫毛杰

(上海理想信息產(chǎn)業(yè)(集團(tuán))有限公司, 上海 201315)

面向企業(yè)客戶的大型云網(wǎng)監(jiān)控系統(tǒng)在多云/多網(wǎng)環(huán)境下為用戶提供包括云網(wǎng)監(jiān)控、應(yīng)用性能監(jiān)控等監(jiān)控服務(wù), 為企業(yè)提供一體化的監(jiān)控運(yùn)維管理, 系統(tǒng)的靈敏度對(duì)于提升客戶感知、云網(wǎng)資源運(yùn)維效率、客戶黏度有著重要的影響, 監(jiān)控系統(tǒng)靈敏度依賴于數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)展現(xiàn)等多個(gè)環(huán)節(jié), 云網(wǎng)監(jiān)控系統(tǒng)通過(guò)融合開(kāi)源成熟解決方案與自研關(guān)鍵技術(shù)相結(jié)合的方式, 提升系統(tǒng)的整體監(jiān)控靈敏度.

云網(wǎng)監(jiān)控系統(tǒng)主要目標(biāo)是針對(duì)客戶的網(wǎng)絡(luò)、設(shè)備、應(yīng)用等進(jìn)行監(jiān)控, 為客戶提供云網(wǎng)及應(yīng)用的整體運(yùn)行狀況, 及時(shí)發(fā)現(xiàn)異常并告警, 確?？蛻舻幕A(chǔ)云網(wǎng)資源及在此基礎(chǔ)上構(gòu)建的應(yīng)用及業(yè)務(wù)的穩(wěn)定運(yùn)行. 云網(wǎng)監(jiān)控系統(tǒng)的核心是發(fā)現(xiàn)異常、定位異常、解決異常, 這些操作均需要在一定的時(shí)間內(nèi)完成, 以符合云網(wǎng)監(jiān)控系統(tǒng)對(duì)企業(yè)承諾的SLA 服務(wù)標(biāo)準(zhǔn), 為了將異常發(fā)生時(shí)間與運(yùn)維人員知曉異常的時(shí)間之間的間隔T(簡(jiǎn)稱異?？梢暬瘯r(shí)間)控制在SLA 服務(wù)標(biāo)準(zhǔn)內(nèi), 系統(tǒng)需要盡可能縮短T,T越小則云網(wǎng)監(jiān)控系統(tǒng)靈敏度越高, 使得系統(tǒng)能夠在異常發(fā)生后越快發(fā)現(xiàn)異常, 并引導(dǎo)運(yùn)維人員人工介入處理異常, 提升企業(yè)的云網(wǎng)整體運(yùn)維效率. 原有的云網(wǎng)監(jiān)控系統(tǒng)的采集頻率為60 s、300 s、600 s 等; 監(jiān)控頁(yè)面的刷新頻率為30 s, 異常可視化時(shí)間(T)在90–630 s 的范圍內(nèi). 通過(guò)對(duì)系統(tǒng)靈敏度的優(yōu)化, 模擬測(cè)試結(jié)果表明異?？梢暬瘯r(shí)間(T)最短可以達(dá)到15 s.

1 影響云網(wǎng)監(jiān)控系統(tǒng)靈敏度的因素分析

1.1 云網(wǎng)監(jiān)控系統(tǒng)系統(tǒng)邏輯架構(gòu)

根據(jù)云網(wǎng)監(jiān)控系統(tǒng)的邏輯架構(gòu)[1], 如圖1 所示, 異常在被監(jiān)控的資源層發(fā)生后, 異常數(shù)據(jù)會(huì)在數(shù)據(jù)采集層、數(shù)據(jù)處理層、消息隊(duì)列、數(shù)據(jù)緩存、數(shù)據(jù)存儲(chǔ)層、業(yè)務(wù)及展示層中傳輸: 資源層異常通過(guò)主動(dòng)上報(bào)或主動(dòng)采集匯聚到數(shù)據(jù)采集層; 數(shù)據(jù)采集層對(duì)異常進(jìn)行初步處理后提交到消息隊(duì)列; 數(shù)據(jù)處理層從消息隊(duì)列中獲取將異常轉(zhuǎn)換為告警后持久化到數(shù)據(jù)存儲(chǔ)層;業(yè)務(wù)及展示層從數(shù)據(jù)存儲(chǔ)層中讀取告警信息展示并提醒運(yùn)營(yíng)維護(hù)人員進(jìn)行處理. 提升云網(wǎng)監(jiān)控系統(tǒng)的靈敏度, 就需要縮短異常在各層級(jí)中流轉(zhuǎn)、處理的時(shí)間.

圖1 云網(wǎng)監(jiān)控系統(tǒng)邏輯架構(gòu)

1.2 云網(wǎng)監(jiān)控系統(tǒng)靈敏度影響因素

針對(duì)系統(tǒng)各層級(jí)的功能, 表1 分析了各層級(jí)中影響異常流轉(zhuǎn)、處理時(shí)間的主要因素. 以下為影響云網(wǎng)監(jiān)控系統(tǒng)靈敏度的應(yīng)用層方面的主要因素, 消息隊(duì)列、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)緩存方面的影響因素, 可以通過(guò)成熟開(kāi)源軟件的性能調(diào)優(yōu)方式解決, 其他因素需要通過(guò)云網(wǎng)監(jiān)控系統(tǒng)本身的優(yōu)化進(jìn)行解決.

表1 影響監(jiān)控系統(tǒng)靈敏度的因素分析

2 云網(wǎng)監(jiān)控系統(tǒng)靈敏度優(yōu)化

2.1 網(wǎng)絡(luò)層面的優(yōu)化分析

云網(wǎng)監(jiān)控系統(tǒng)使用SD-WAN 服務(wù), 通過(guò)廣域網(wǎng)動(dòng)態(tài)路徑控制選擇延遲最小的鏈路, 優(yōu)化采集機(jī)與被監(jiān)控設(shè)備之間的網(wǎng)絡(luò)鏈接, 縮短資源層異常到達(dá)采集機(jī)的時(shí)間.

2.2 硬件層面的優(yōu)化分析

云網(wǎng)監(jiān)控系統(tǒng)采用私有云構(gòu)建, 在兼顧成本的前提下, 盡量購(gòu)買(mǎi)硬件性能好的資源, 分布式數(shù)據(jù)庫(kù)盡量安裝在物理機(jī)上, 以提升系統(tǒng)的基礎(chǔ)性能, 縮短異常數(shù)據(jù)在計(jì)算、IO、傳輸?shù)拳h(huán)節(jié)的時(shí)間.

2.3 中間件、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)緩存的優(yōu)化分析

云網(wǎng)監(jiān)控系統(tǒng)基于開(kāi)源的ActiveMQ、MySQL、HBase、Redis 構(gòu)建了消息隊(duì)列、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)緩存.系統(tǒng)集成ActiveMQ 時(shí), 數(shù)據(jù)采集側(cè)(生產(chǎn)者)采用異步發(fā)送及DeliveryMode=NON_PERSISTENT 的模式提升數(shù)據(jù)寫(xiě)入速度; 數(shù)據(jù)處理側(cè)(消費(fèi)者)采用Prefetch、事件驅(qū)動(dòng)、多消費(fèi)者協(xié)同等方式提升數(shù)據(jù)消費(fèi)速度[2].系統(tǒng)采用MySQL 存儲(chǔ)相對(duì)靜態(tài)的基礎(chǔ)配置數(shù)據(jù), 采用HBase 存儲(chǔ)大數(shù)據(jù)量的動(dòng)態(tài)采集數(shù)據(jù), 在HBase 的存儲(chǔ)模型設(shè)計(jì)時(shí)將設(shè)備ID、服務(wù)ID、時(shí)間戳等通過(guò)翻轉(zhuǎn)處理組合為RowKey, 分散存儲(chǔ)動(dòng)態(tài)告警、性能數(shù)據(jù), 提升數(shù)據(jù)持久化、查詢的速度[3]. 系統(tǒng)采用Redis緩存相對(duì)靜態(tài)的配置數(shù)據(jù)及最近的動(dòng)態(tài)采集數(shù)據(jù), 提升數(shù)據(jù)匯聚、處理、查詢的速度[4]. 通過(guò)以上優(yōu)化措施, 系統(tǒng)可以達(dá)到近1400 條/s 的數(shù)據(jù)處理、存儲(chǔ)速度, 更快的處理速度可以使系統(tǒng)在更短的時(shí)間內(nèi)發(fā)現(xiàn)異常.

2.4 數(shù)據(jù)采集層的優(yōu)化分析

云網(wǎng)監(jiān)控系統(tǒng)的數(shù)據(jù)采集層主要通過(guò)被動(dòng)接收或主動(dòng)采集的方式獲取被采集資源的性能、告警、狀態(tài)數(shù)據(jù), 數(shù)據(jù)采集層影響監(jiān)控系統(tǒng)靈敏度的兩個(gè)主要因素是: 采集頻率和采集耗時(shí), 采集頻率越高、采集耗時(shí)越小, 則發(fā)現(xiàn)異常的時(shí)間越短.

(1)采集頻率優(yōu)化

在云網(wǎng)監(jiān)控系統(tǒng)中, 數(shù)據(jù)采集通過(guò)每個(gè)采集任務(wù)進(jìn)行, 提升采集系統(tǒng)的頻率需要縮短采集間隔, 會(huì)大量增加采集任務(wù)的數(shù)量. 采集任務(wù)的數(shù)量取決于被監(jiān)控資源數(shù)量、采集指標(biāo)數(shù)量、采集間隔. 采集任務(wù)數(shù)量=被監(jiān)控資源數(shù)量×采集指標(biāo)數(shù)量/采集間隔. 采集指標(biāo)的個(gè)數(shù)取決于客戶要求監(jiān)控的服務(wù)內(nèi)容(CPU、內(nèi)存、端口流量、系統(tǒng)狀態(tài)、風(fēng)扇等).

在實(shí)踐過(guò)程中發(fā)現(xiàn)頻率的提升會(huì)帶來(lái)嚴(yán)重的性能問(wèn)題(圖2、圖3 分別為30 s、10 s 間隔單臺(tái)采集機(jī)CPU 使用率圖, 可以明顯看到10 s 間隔下, CPU 使用率頻繁觸及100%): 盡管系統(tǒng)通過(guò)多采集機(jī)分散采集任務(wù), 且通過(guò)并行線程方式處理采集任務(wù), 但大量的采集任務(wù)(如表2 所示)會(huì)競(jìng)爭(zhēng)采集機(jī)有限的線程、網(wǎng)絡(luò)資源, 未被及時(shí)處理的采集任務(wù)處于排隊(duì)狀態(tài), 滯留的采集任務(wù)不斷堆積導(dǎo)致系統(tǒng)無(wú)法正常進(jìn)行采集.

圖2 單臺(tái)采集機(jī)CPU(2 000 臺(tái)設(shè)備, 20 個(gè)OID, 30 s 采集間隔)

圖3 單臺(tái)采集機(jī)CPU(2 000 臺(tái)設(shè)備, 20 個(gè)OID, 10 s 采集間隔)

表2 采集任務(wù)數(shù)量舉例

為了解決這一問(wèn)題, 系統(tǒng)設(shè)計(jì)了一種多級(jí)可變頻率網(wǎng)絡(luò)監(jiān)控?cái)?shù)據(jù)采集方法及裝置[5](如圖4 所示): 不是所有設(shè)備均需要同時(shí)提升采集頻率, 只需要針對(duì)出現(xiàn)異常的設(shè)備提升采集頻率即可, 該方法根據(jù)最新采集數(shù)據(jù)與歷史數(shù)據(jù)的離散度識(shí)別異常設(shè)備, 賦予系統(tǒng)在設(shè)備采集數(shù)據(jù)離散程度加大或已發(fā)生告警時(shí)臨時(shí)提高數(shù)據(jù)采集頻率、異常消除或數(shù)據(jù)離散程度降低后降低采集頻率的自適應(yīng)能力, 可以有效地提高數(shù)據(jù)采集效率、資源利用效率及系統(tǒng)的整體監(jiān)控靈敏度.

圖4 一種多級(jí)可變頻率網(wǎng)絡(luò)監(jiān)控?cái)?shù)據(jù)采集方法及裝置

該設(shè)計(jì)包括定時(shí)調(diào)度模塊、并行采集模塊、并行數(shù)據(jù)處理模塊、變頻邊界計(jì)算模塊和變頻控制模塊.其工作原理如下:

1) 定時(shí)調(diào)度模塊從數(shù)據(jù)庫(kù)中加載采集任務(wù)信息為每種采集任務(wù)生成高、中、低3 種頻率的定時(shí)調(diào)度任務(wù), 每種定時(shí)調(diào)度任務(wù)定時(shí)為設(shè)備采集頻率表中對(duì)應(yīng)頻率的設(shè)備生成采集任務(wù), 加入采集任務(wù)隊(duì)列.

2) 并行采集模塊從采集任務(wù)隊(duì)列獲取并執(zhí)行采集任務(wù), 將采集數(shù)據(jù)加入采集數(shù)據(jù)隊(duì)列.

3) 并行數(shù)據(jù)處理模塊處理采集數(shù)據(jù)隊(duì)列中的采集數(shù)據(jù), 存儲(chǔ)到數(shù)據(jù)庫(kù), 同時(shí)將最新的采集數(shù)據(jù)、設(shè)備可達(dá)狀態(tài)傳遞給變頻控制模塊.

4) 變頻控制模塊判斷設(shè)備可達(dá)性, 如果設(shè)備不可達(dá), 則調(diào)整該設(shè)備的對(duì)應(yīng)采集任務(wù)頻率為低頻率, 如果設(shè)備可達(dá), 則變頻控制模塊獲取變頻邊界計(jì)算模塊計(jì)算的變頻邊界.

5) 變頻邊界計(jì)算模塊從數(shù)據(jù)庫(kù)中加載一段時(shí)間內(nèi)的歷史采集數(shù)據(jù)并緩存, 計(jì)算變頻邊界: 算出緩存的歷史數(shù)據(jù)的算術(shù)平均值和標(biāo)準(zhǔn)差, 設(shè)置設(shè)備的變頻邊界為算術(shù)平均值K倍標(biāo)準(zhǔn)差、告警閾值上限、告警閾值下限.

6) 變頻控制模塊根據(jù)最新采集數(shù)據(jù)與變頻邊界的關(guān)系動(dòng)態(tài)調(diào)整采集頻率: 若最新采集數(shù)據(jù)小于等于告警閾值下限或大于等于告警閾值上限, 則調(diào)整設(shè)備對(duì)應(yīng)的采集任務(wù)頻率為高頻率; 若最新采集數(shù)據(jù)大于算術(shù)平均值K倍標(biāo)準(zhǔn)差且小于算術(shù)平均值K倍標(biāo)準(zhǔn)差,則調(diào)整設(shè)備對(duì)應(yīng)的采集任務(wù)頻率為低頻率; 若最新采集數(shù)據(jù)大于告警閾值下限且小于等于算術(shù)平均值K倍標(biāo)準(zhǔn)差或者最新采集數(shù)據(jù)大于等于算術(shù)平均值加K倍標(biāo)準(zhǔn)差且小于告警閾值上限, 則調(diào)整設(shè)備對(duì)應(yīng)的采集任務(wù)頻率為中頻率, 其中1≤K≤3.

7) 如果設(shè)備的采集任務(wù)頻率與原頻率不同, 則更新設(shè)備任務(wù)采集頻率表.

采用自適應(yīng)調(diào)整采集頻率的方法, 例如原固定頻率為60 s 的采集, 通過(guò)高中低頻率(10 s、30 s、60 s)的變頻控制, 發(fā)現(xiàn)異常的時(shí)間可以為10 s (最好情況)、30 s、40 s、60 s (最壞情況), 同時(shí)降低了正常設(shè)備的采集頻率, 有效降低了資源消耗, 提升了系統(tǒng)的容量和穩(wěn)定性.

(2)采集超時(shí)時(shí)間優(yōu)化

影響數(shù)據(jù)采集時(shí)間的還有一個(gè)隱性的因素: 采集超時(shí)時(shí)間, 在被采集設(shè)備可達(dá)的情況下, 采集超時(shí)時(shí)間對(duì)系統(tǒng)是無(wú)影響的, 當(dāng)被采集設(shè)備由于某種原因不可達(dá)時(shí), 采集任務(wù)會(huì)一直等到采集超時(shí)時(shí)間結(jié)束才會(huì)釋放資源, 當(dāng)大量的被采集設(shè)備出現(xiàn)不可達(dá)的情況時(shí), 會(huì)導(dǎo)致有限的網(wǎng)絡(luò)、內(nèi)存資源被長(zhǎng)時(shí)間占用, 采集任務(wù)不斷堆積導(dǎo)致系統(tǒng)無(wú)法正常采集. 為了消除這一影響,系統(tǒng)設(shè)計(jì)了一種基于超時(shí)因子的大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)采集方法及裝置[6], 如圖5 所示.

圖5 一種基于超時(shí)因子的大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)采集方法及裝置

該方法及裝置包括定時(shí)調(diào)度模塊、并行數(shù)據(jù)采集模塊、并行數(shù)據(jù)處理模塊、采集超時(shí)自適應(yīng)模塊、設(shè)備采集耗時(shí)表、設(shè)備采集超時(shí)表. 該裝置的定時(shí)調(diào)度模塊、并行數(shù)據(jù)采集模塊、并行數(shù)據(jù)處理模塊功能與變頻設(shè)計(jì)中的對(duì)應(yīng)模塊功能相同, 其主要工作原理如下:

1) 定時(shí)調(diào)度模塊為超時(shí)因子不等于0 的設(shè)備生成采集任務(wù), 并加入采集任務(wù)隊(duì)列.

2) 并行數(shù)據(jù)采集模塊從采集任務(wù)隊(duì)列中獲取并執(zhí)行采集任務(wù), 根據(jù)超時(shí)因子設(shè)置采集超時(shí)時(shí)間=超時(shí)因子×默認(rèn)采集超時(shí)時(shí)間.

3) 判斷采集任務(wù)是否成功執(zhí)行, 若成功執(zhí)行則將采集的數(shù)據(jù)加入數(shù)據(jù)隊(duì)列, 若失敗則并行數(shù)據(jù)采集模塊更新超時(shí)設(shè)備信息表中該設(shè)備的超時(shí)因子=原超時(shí)因子?固定值, 超時(shí)因子最小值為0.

4) 超時(shí)因子控制模塊以固定頻率探測(cè)超時(shí)因子為0 的設(shè)備, 如果設(shè)備恢復(fù)上線, 則調(diào)整該設(shè)備的超時(shí)因子為最大值.

通過(guò)引入超時(shí)因子及延時(shí)反饋機(jī)制, 賦予云網(wǎng)監(jiān)控系統(tǒng)面對(duì)大規(guī)模數(shù)據(jù)采集的自適應(yīng)能力, 能夠在有效的時(shí)間范圍內(nèi)完成大量異構(gòu)監(jiān)控對(duì)象的數(shù)據(jù)采集,有效提高數(shù)據(jù)采集效率及監(jiān)控系統(tǒng)的容錯(cuò)能力, 提高云網(wǎng)監(jiān)控服務(wù)的異常發(fā)現(xiàn)效率.

2.5 數(shù)據(jù)處理層的優(yōu)化分析

云網(wǎng)監(jiān)控系統(tǒng)的數(shù)據(jù)處理層負(fù)責(zé)處理消息隊(duì)列中的采集數(shù)據(jù)并持久化到數(shù)據(jù)存儲(chǔ)中. 通常情況下, 對(duì)于單值類的數(shù)據(jù)告警一般采用預(yù)設(shè)閾值的方式, 當(dāng)采集數(shù)據(jù)超出閾值一定次數(shù)后, 系統(tǒng)發(fā)出告警信息. 實(shí)踐中采集數(shù)據(jù)一般有一個(gè)逐漸趨于閾值并超越閾值的過(guò)程.在數(shù)據(jù)處理層, 系統(tǒng)在原有閾值告警的基礎(chǔ)上, 增加了隨采集數(shù)據(jù)動(dòng)態(tài)變化的預(yù)告警機(jī)制[7]: 計(jì)算緩存的歷史數(shù)據(jù)的算術(shù)平均值和標(biāo)準(zhǔn)差, 動(dòng)態(tài)預(yù)告警閾值為算術(shù)平均值±兩倍標(biāo)準(zhǔn)差, 預(yù)告警規(guī)則如下:

圖6 中的閾值告警控制模塊即為原有的通過(guò)閾值判斷告警的模塊, 系統(tǒng)增加了動(dòng)態(tài)調(diào)整邊界的預(yù)告警控制模塊后, 賦予了系統(tǒng)在設(shè)備采集數(shù)據(jù)離散程度加大時(shí)產(chǎn)生預(yù)告警, 使得運(yùn)維工程師可以提前進(jìn)行設(shè)備的異常排查和干預(yù), 避免了傳統(tǒng)的必須超過(guò)固定閾值才能告警的方式, 既能夠有效預(yù)防異常的發(fā)生, 又可以提高系統(tǒng)的整體監(jiān)控靈敏度.

圖6 增加了預(yù)告警的云網(wǎng)監(jiān)控系統(tǒng)

對(duì)于告警靈敏度要求較高的企業(yè)可以通過(guò)調(diào)整標(biāo)準(zhǔn)差倍數(shù)告警邊界及超過(guò)告警邊界次數(shù)進(jìn)行靈活的預(yù)告警設(shè)置, 表格3 為常用標(biāo)準(zhǔn)差倍數(shù)及連續(xù)3 次越過(guò)告警界限情況下的預(yù)告警的概率值. 預(yù)告警的概率值=(1?標(biāo)準(zhǔn)正態(tài)分布概率)超過(guò)告警邊界次數(shù), 如表3.

表3 預(yù)告警的概率

2.6 業(yè)務(wù)展現(xiàn)層的優(yōu)化分析

云網(wǎng)監(jiān)控系統(tǒng)的告警信息進(jìn)入數(shù)據(jù)存儲(chǔ)后, 一方面可以通過(guò)郵件、短信、語(yǔ)音等方式通知運(yùn)維人員,另一個(gè)重要的途徑是通過(guò)業(yè)務(wù)及展現(xiàn)層通知給監(jiān)控人員, 為了實(shí)現(xiàn)實(shí)時(shí)的通知, 云網(wǎng)監(jiān)控系統(tǒng)采用WebSocket長(zhǎng)鏈接代替客戶端定時(shí)刷新[8], WebSocket 的服務(wù)端在消息隊(duì)列注冊(cè)一個(gè)消費(fèi)者, 數(shù)據(jù)處理層遇到高優(yōu)先級(jí)的告警時(shí), 會(huì)將告警信息在持久化前放入消息隊(duì)列中,WebSocket 的服務(wù)端接收到告警信息后, 立即將告警信息推送給客戶端, 在客戶端頁(yè)面的顯著位置進(jìn)行告警提示(同時(shí)伴有聲音提示). 相比客戶端定時(shí)刷新機(jī)制, 基于WebSocket 的消息機(jī)制能夠在更短的時(shí)間內(nèi)將告警信息推送給監(jiān)控人員, 盡快引導(dǎo)運(yùn)維人員介入異常處理, 提升了系統(tǒng)的監(jiān)控靈敏度.

3 結(jié)論

基于以上分析及優(yōu)化, 影響云網(wǎng)監(jiān)控系統(tǒng)靈敏度的因素中, 除了網(wǎng)絡(luò)、硬件層面的因素外, 其他因素系統(tǒng)均采取了對(duì)應(yīng)的設(shè)計(jì)方案進(jìn)行了優(yōu)化, 其中系統(tǒng)可控的且對(duì)系統(tǒng)監(jiān)控靈敏度影響最大的兩個(gè)因素: 采集頻率、采集超時(shí)時(shí)間, 采用了自適應(yīng)的動(dòng)態(tài)應(yīng)對(duì)方案,相對(duì)于未優(yōu)化前整個(gè)系統(tǒng)的靈敏度有了極大的提高(最優(yōu)情況下可以達(dá)到秒級(jí)). 靈敏度的提升往往伴隨著成本的提升, 目前企業(yè)的運(yùn)維需求基本是在分鐘或小時(shí)級(jí)別的異常處理標(biāo)準(zhǔn), 監(jiān)控系統(tǒng)的靈敏度需要在客戶需求與成本投入之間找到一個(gè)結(jié)合點(diǎn), 達(dá)到雙贏的結(jié)果.