問題描述

故障背景

某銀行用戶反映銀行網銀系統有時訪問較慢，主要現象為打開登錄界面需很長時間，嚴重影響了用戶體驗和企業(yè)形象。

網絡拓撲

客戶端訪問網銀系統外網地址，然后經過F5負載均衡設備轉發(fā)數據，直接訪問SSL加密設備，再通過SSL設備轉發(fā)給網銀系統WEB服務器。

本案例選擇在網絡出口以及SSL加密設備出口進行部署科來網絡回溯系統進行數據分析。

分析方案設計

分析思路

結合網銀系統網絡拓撲及數據的走向，網銀系統訪問較慢的原因有以下幾點：網銀系統訪問流量太大，出口鏈路擁塞；網絡響應延時較大；網絡設備轉發(fā)故障；網銀服務器本身響應較慢。

整體流量分析

對1小時內網銀系統外網出口流量進行統計，總流量為919MB，峰值流量為5Mbps，平均流量為2.2Mbps。

網絡延時分析

在TCP的連接過程中，客戶端和服務器端在網絡中共傳輸三個數據包，俗稱三次握手，這三個數據包都是小包，沒有實際有效數據載荷。服務器端對客戶端TCP SYN的請求在系統底層響應，響應非?？欤擁憫瑪祿诰W絡中傳輸的延遲比可忽略，同時由于都是小包，網絡傳輸延遲非常小，因此在數據包分析中可以通過三次握手數據包的時間間隔來確定網絡的傳輸延遲。當我們在客戶端和服務端的網絡中某一點捕獲到客戶端同服務端的TCP三次握手數據包時，三個數據包在流量分析設備捕獲到的時間分別為T1,T2,和T3，這種情況下T2-T1的值可以認為是數據包從捕獲點網絡傳送到服務器然后服務器在傳回捕獲點的RTT,而T3-T2的值為數據包從捕獲點傳送到客戶端然后從客戶端傳送回捕獲點的RTT，T3-T1的值可以認為是從客戶端到服務器的RTT。

隨機選擇系統外網出口多個完整的TCP會話，通過對TCP三次握手時間進行分析，發(fā)現服務端在收到客戶端的鏈接請求后，都在1ms以內給予了響應。說明網銀系統內部網絡正常，不存在延時。

網銀系統性能分析

對外網出口流量進行分析，重點分析持續(xù)時間較長的TCP會話，發(fā)現部分會話存在異常。服務端在對客戶端的第一個請求進行確認后，經過了7秒才發(fā)出了響應數據包。這段時間應該就是導致客戶端訪問網銀系統緩慢的直接原因。

為了確定這個延遲產生的具體原因，分析SSL加密設備進出數據，找出相同源IP的TCP會話數據進行對比，發(fā)現在SSL加密設備出口處同樣出現服務器端在很長時間后才發(fā)出響應數據。

外網出口出現的故障現象在SSL加密設備出口同樣存在，證明這段延遲不是在SSL加密設備之前產生，F5到SSL加密設備之間的網絡正常。

進一步分析SSL加密設備和網銀服務器交互數據，由于這部分數據是沒有進行加密傳輸的，因此無法準確定位到之前分析的同一個TCP會話。而通過對大量TCP會話的對比分析，發(fā)現SSL加密設備和網銀服務器之間的數據傳輸很快，所有會話都是在1S之內完成，基本不存在響應延時情況。

通過分析，基本可判定SSL加密設備造成了網銀系統訪問緩慢的原因。而SSL加密設備在進行數據加密之前，會進行密鑰的協商。結合故障數據包分析，發(fā)現出現延時的數據包是由SSL加密設備向客戶端響應的Server hello數據包，因此更加可以肯定SSL加密設備就是造成故障的根本原因。

分析結論

通過以上信息，我們可以做出如下判斷：鏈路流量值不大，流量趨勢穩(wěn)定，沒有明顯的遞增或遞減趨勢，監(jiān)控鏈路不存在持續(xù)性擁塞問題；網銀系統內部網絡正常，網絡延時很?。痪W銀系統訪問緩慢，應該是由于SSL加密設備和客戶端進行密鑰交互時，SSL加密設備響應延遲導致。

分析價值

通過網絡分析對流量的監(jiān)控，可以從網絡性能、服務器性能、應用性能多視角進行統一分析，快速定位到應用故障時的故障節(jié)點。

成都科來軟件有限公司

電話：400-6869-069 010-82601814

網址：www.colasoft.com.cn

論壇：www.csna.cn