熊鷹 李凱 鄭競力 吳馳 毛文卉

摘? ?要：新冠肺炎疫情的爆發(fā)對高校科研、教學(xué)工作的秩序造成嚴(yán)重影響，對全體師生的健康也產(chǎn)生嚴(yán)重威脅，面對疫情如何科學(xué)防控、精準(zhǔn)施策對教育信息化工作提出了更高的要求。文章提出了一種支持高并發(fā)訪問的個人健康狀況上報系統(tǒng)：可根據(jù)需求快速升級迭代，實(shí)現(xiàn)全面采集師生每日健康狀況信息，并對健康狀況信息進(jìn)行統(tǒng)計報表分析;針對海量填報數(shù)據(jù)進(jìn)行分析查詢，創(chuàng)造性地提出基于系統(tǒng)流量預(yù)測，對報表生成的執(zhí)行計劃與方案進(jìn)行優(yōu)化，從根本上解決系統(tǒng)大數(shù)據(jù)分析查詢優(yōu)化的問題。

關(guān)鍵詞：信息化;疫情防控;高并發(fā);查詢優(yōu)化

中圖分類號：TP311 文獻(xiàn)標(biāo)志碼：A 文章編號：1673-8454（2021）09-0072-04

一、引言

新冠疫情爆發(fā)以來，高?？蒲小⒔虒W(xué)工作的秩序受到嚴(yán)重影響，全體師生健康也遭受嚴(yán)重威脅。面對疫情如何科學(xué)防控、精準(zhǔn)施策對教育信息化工作提出了更高的要求。疫情防控初期面對全校數(shù)萬師生，傳統(tǒng)渠道的摸排和疫情數(shù)據(jù)上報效率低下。如何在短時間內(nèi)完成 “摸清家底”工作，對于疫情防控工作顯得尤為關(guān)鍵，對個人健康狀況上報提供信息化支撐迫在眉睫。

采用傳統(tǒng)軟件開發(fā)模式與技術(shù)手段很難在極其有限的時間內(nèi)完成系統(tǒng)開發(fā)工作，并且短時間內(nèi)解決因用戶數(shù)量十分龐大導(dǎo)致的并發(fā)壓力，以及填報后累積下來的海量數(shù)據(jù)分析與查詢效率優(yōu)化問題，這是傳統(tǒng)教育信息系統(tǒng)開發(fā)工作中未曾遇到過的巨大挑戰(zhàn)。

本文所設(shè)計的系統(tǒng)主要擬實(shí)現(xiàn)以下三個方面的目標(biāo)：①敏捷開發(fā)。需要在極其有限的時間內(nèi)完成健康狀況填報系統(tǒng)與數(shù)據(jù)統(tǒng)計分析查詢系統(tǒng)的快速開發(fā)、測試、部署、上線工作;同時要基于疫情防控需要根據(jù)各級部門新需求，完成系統(tǒng)的快速迭代升級。②高可用性。針對規(guī)模較大的高校，按照學(xué)校要求全體師生執(zhí)行“每日一報”，系統(tǒng)需要在日均活躍用戶突破10萬人的情況下，支持系統(tǒng)實(shí)時動態(tài)擴(kuò)展，支撐持續(xù)高并發(fā)訪問。③數(shù)據(jù)查詢效率。隨著疫情防控常態(tài)化，針對一段時間填報而沉淀下來的數(shù)據(jù)，實(shí)現(xiàn)大數(shù)據(jù)分析與報表統(tǒng)計快速、查詢高效。

二、相關(guān)工作

最近一段時間，微服務(wù)架構(gòu)引發(fā)業(yè)界主流的巨大關(guān)注，已成為國內(nèi)外各互聯(lián)網(wǎng)企業(yè)架構(gòu)治理的新趨勢。不可否認(rèn)，在軟件開發(fā)過程中，微服務(wù)架構(gòu)將一套完整、獨(dú)立的單體，應(yīng)用各項(xiàng)業(yè)務(wù)功能、應(yīng)用模塊從上至下拆分為若干個獨(dú)立的微服務(wù)，[1]從而實(shí)現(xiàn)了軟件開發(fā)過程中降低開發(fā)成本、提升系統(tǒng)運(yùn)行速度、增強(qiáng)可維護(hù)性，[2]微服務(wù)架構(gòu)的引入一定程度上滿足了企業(yè)信息化中對快速迭代、持續(xù)交付的需求。[3]然而，微服務(wù)架構(gòu)在一定程度上也帶來了一些新問題，如跨進(jìn)程通訊、服務(wù)注冊發(fā)現(xiàn)、分布式Session管理等。[4]因此，對微服務(wù)架構(gòu)在實(shí)際應(yīng)用中的優(yōu)化和改進(jìn)也成為當(dāng)前研究的一個主流熱點(diǎn)。[5]

同時，對于任何信息系統(tǒng)，當(dāng)用戶量上升到一定規(guī)模以后，并發(fā)與高負(fù)載就成了必須應(yīng)對的問題。針對高并發(fā)訪問目前主要的解決方案是采用數(shù)據(jù)庫集群技術(shù)和WEB緩存技術(shù)[6]，當(dāng)前應(yīng)對高并發(fā)訪問問題的主要研究方向集中在對數(shù)據(jù)庫與存儲的優(yōu)化[7]、網(wǎng)站與系統(tǒng)架構(gòu)的設(shè)計[8]、集群負(fù)載的方法與優(yōu)化[9][10]。

信息系統(tǒng)中報表統(tǒng)計功能的用戶體驗(yàn)一定程度上直接取決于數(shù)據(jù)查詢效率的高低。隨著大數(shù)據(jù)技術(shù)研究的不斷發(fā)展，在數(shù)據(jù)量成倍增長的背景下，為了提高數(shù)據(jù)查詢的效率，除了寄希望于硬件性能的不斷增長，還需要把注意力轉(zhuǎn)移到數(shù)據(jù)庫技術(shù)的研究上來。[11]

大量的研究表明，通過增加索引和提高SQL語句查詢質(zhì)量在一定程度上確實(shí)能夠極大提升數(shù)據(jù)庫查詢的效率。郭峻峰等[12]提出，通過一種綜合索引模型相比以往索引方式在一定程度上提高了查詢效率;譚磊等[13]提出，通過提高SQL語句的質(zhì)量來解決查詢效率的問題。然而，在對數(shù)據(jù)量為n的數(shù)據(jù)進(jìn)行查詢時無論采取哪種優(yōu)化算法，其時間復(fù)雜度最低只能達(dá)到O（logn），數(shù)據(jù)查詢的時間仍然會隨著數(shù)據(jù)量的不斷增長而增長。這意味著系統(tǒng)的響應(yīng)在系統(tǒng)上線初期可能由于充分的優(yōu)化而非常迅捷，但是隨著時間推移，積累下來數(shù)倍于以往的數(shù)據(jù)以后，系統(tǒng)的查詢效率會明顯降低。因此，根據(jù)系統(tǒng)實(shí)際情況設(shè)計數(shù)據(jù)查詢的方案才是解決統(tǒng)計報表效率問題的關(guān)鍵。

三、系統(tǒng)關(guān)鍵技術(shù)研究

1.系統(tǒng)架構(gòu)

由于項(xiàng)目性質(zhì)的特殊性，為了能夠在極其有限的時間內(nèi)迅速完成系統(tǒng)的快速迭代工作，系統(tǒng)建設(shè)過程中很容易聯(lián)想到利用微服務(wù)架構(gòu)在敏捷開發(fā)和持續(xù)交付上的優(yōu)勢。傳統(tǒng)的微服務(wù)架構(gòu)方案在系統(tǒng)設(shè)計的時候必須要充分考慮服務(wù)之間的邏輯層次，以便在后期服務(wù)治理中處于有利地位。本文借鑒微服務(wù)的思想劃分各項(xiàng)服務(wù)層次邏輯，并充分利用已上線的應(yīng)用中臺作為支撐，完成系統(tǒng)的平臺搭建工作。

如圖1所示，為了提高系統(tǒng)的可用性，我們根據(jù)最底層對個人健康填報用戶身份的不同（教職工、本科生、研究生）進(jìn)行了服務(wù)上的劃分。這樣設(shè)計的優(yōu)點(diǎn)在于：一方面對不同身份的用戶進(jìn)行了并發(fā)訪問層面的分流;另一方面不同服務(wù)之間存在極低耦合度——即使其中一部分服務(wù)持續(xù)不可用也不會導(dǎo)致其他服務(wù)的宕機(jī)。

為了滿足不同客戶端訪問形式，本系統(tǒng)建設(shè)時沒有單獨(dú)開發(fā)系統(tǒng)的入口，而是完全依托于成熟的前臺應(yīng)用——以企業(yè)微信（微信企業(yè)號）作為移動端用戶的入口，以網(wǎng)站群建設(shè)專題防控網(wǎng)站作為瀏覽器端用戶的入口。前期對企業(yè)微信與網(wǎng)站群進(jìn)行了大量投入與建設(shè)，且已經(jīng)在用戶中產(chǎn)生較高的黏度，這為系統(tǒng)上線時的推廣與使用提供了極大便利。

為了實(shí)現(xiàn)填報表單的快速迭代，系統(tǒng)建設(shè)采用現(xiàn)有的成熟可靠的流程引擎作為應(yīng)用中臺，通過可視化配置的方法，快速迭代渲染表單頁面，減輕了前端代碼開發(fā)的工作量。同時與統(tǒng)一身份認(rèn)證系統(tǒng)與基礎(chǔ)數(shù)據(jù)庫進(jìn)行對接，迅速完成了系統(tǒng)架構(gòu)搭建。

個人健康狀況填報系統(tǒng)核心功能就是全面采集全校師生個人健康狀況數(shù)據(jù)，各級管理員能夠通過查詢統(tǒng)計報表全面、及時、準(zhǔn)確地掌握本單位基本情況。由于“每日一報”政策的執(zhí)行，海量的用戶對業(yè)務(wù)系統(tǒng)帶來高并發(fā)沖擊的同時，在一定程度上對數(shù)據(jù)庫形成了巨大的寫壓力。同時，針對不同層級管理員提供多維度、個性化的報表統(tǒng)計功能，需要進(jìn)行大量邏輯復(fù)雜的查詢操作，也容易導(dǎo)致數(shù)據(jù)庫讀壓力過大。為了解決數(shù)據(jù)庫讀寫方面的瓶頸問題，如圖1所示，本文將數(shù)據(jù)庫配置為一主多從模式，個人健康信息填報等所有數(shù)據(jù)增刪改有關(guān)的業(yè)務(wù)模塊直接訪問系統(tǒng)的主數(shù)據(jù)庫，而其他與數(shù)據(jù)查詢、讀取相關(guān)的業(yè)務(wù)則訪問業(yè)務(wù)數(shù)據(jù)庫從庫A;系統(tǒng)額外冗余業(yè)務(wù)數(shù)據(jù)庫從庫B負(fù)責(zé)數(shù)據(jù)備份，以及與其他業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)共享與交換。通過數(shù)據(jù)庫的主從配置與程序上讀寫分離的設(shè)計，既增強(qiáng)了系統(tǒng)穩(wěn)定性，也提升了系統(tǒng)的整體性能。

2.基于系統(tǒng)流量預(yù)測的統(tǒng)計報表預(yù)生成算法

無論是通過提升硬件性能，使用更強(qiáng)性能的數(shù)據(jù)庫，還是通過各種索引對系統(tǒng)程序中的關(guān)鍵SQL語句性能進(jìn)行優(yōu)化，在一定程度上都能夠起到提升查詢效率的作用。但是，這些方法的數(shù)據(jù)查詢時間依然會隨著數(shù)據(jù)的不斷累積而逐漸增長。對于個人健康填報系統(tǒng)，當(dāng)填報數(shù)據(jù)經(jīng)過一段時間累積、數(shù)據(jù)量增長到一定的數(shù)量級以后，其統(tǒng)計報表查詢時間也會出現(xiàn)大幅增長，從而增加了系統(tǒng)的響應(yīng)時間，影響用戶體驗(yàn)。隨著疫情防控的常態(tài)化，對個人健康狀況的采集、統(tǒng)計查詢工作已經(jīng)轉(zhuǎn)變?yōu)橐粋€長期執(zhí)行的流程，對于個人健康填報系統(tǒng)來說，常規(guī)的數(shù)據(jù)查詢優(yōu)化方法不能從根本上徹底解決報表數(shù)據(jù)查詢效率的問題。本文提出一種全新的基于業(yè)務(wù)流量預(yù)測模型的統(tǒng)計報表預(yù)生成算法。即數(shù)據(jù)統(tǒng)計報表不在用戶使用報表統(tǒng)計功能的時候才生成，而是根據(jù)本文所設(shè)計的算法提前執(zhí)行并計算好統(tǒng)計報表的結(jié)果，當(dāng)用戶查詢報表時只需要直接讀取已經(jīng)計算好的報表數(shù)據(jù)結(jié)果即可。同時，為了保證用戶報表查詢的結(jié)果實(shí)時性更高，根據(jù)采集的業(yè)務(wù)系統(tǒng)每天不同時間段的歷史訪問量進(jìn)行分析，預(yù)測系統(tǒng)在第二天不同時間段的訪問流量變化，然后依據(jù)第二天的預(yù)測訪問量來制定當(dāng)天統(tǒng)計報表任務(wù)，并執(zhí)行計劃。

基于系統(tǒng)流量預(yù)測的統(tǒng)計報表預(yù)生成算法的核心思路是確定統(tǒng)計報表SQL查詢的執(zhí)行起始時間，然后循環(huán)執(zhí)行統(tǒng)計報表任務(wù)并將統(tǒng)計出的結(jié)果寫入緩存數(shù)據(jù)庫。為了確定報表任務(wù)每天執(zhí)行的起始時間，首先采集系統(tǒng)過去一段時間的訪問量，根據(jù)歷史訪問量預(yù)測第二天的業(yè)務(wù)訪問量，根據(jù)預(yù)測訪問量進(jìn)行計算，必然存在某一個初始時刻t0，使系統(tǒng)對各個時間段盡可能多的人在查詢報表統(tǒng)計結(jié)果的實(shí)時性上達(dá)到最高。

如圖2所示，對前N天系統(tǒng)的訪問量進(jìn)行采集、分析。定義：第i天任意時刻t系統(tǒng)的訪問量為Yit（1≤i≤N）。則利用移動均值預(yù)測第N+1天的對應(yīng)時刻t訪問量即可表示為：

假定數(shù)據(jù)統(tǒng)計查詢SQL最大執(zhí)行時長為tS，當(dāng)日統(tǒng)計報表查詢SQL任務(wù)循環(huán)執(zhí)行共計M次（M=■），第k次執(zhí)行時刻記作tk（0≤k≤M）。則將當(dāng)日tk-1至tk這段時間內(nèi)訪問量記作Ytk，當(dāng)日平均訪問量記作Ye，訪問量方差為？著。

為了最大限度保證統(tǒng)計報表查詢的時效性，使盡可能多的用戶獲取最新的統(tǒng)計報表結(jié)果，因tk-tk-1=ts，只需要求得tr，當(dāng)初始時刻t0=tr（0≤tr≤ts）時，使訪問量方差？著為最小值。系統(tǒng)只需從tr時刻起，每間隔ts循環(huán)執(zhí)行統(tǒng)計報表查詢，并將查詢結(jié)果存放至系統(tǒng)緩存數(shù)據(jù)庫中。當(dāng)用戶需要查詢統(tǒng)計報表結(jié)果時，直接從緩存數(shù)據(jù)庫中讀取即可。

四、算法性能評估

本文采集了系統(tǒng)從2020年1月30日上線到2020年4月8日武漢“解封”共計7996923條系統(tǒng)訪問日志數(shù)據(jù)。通過分析發(fā)現(xiàn)，每日填報的并發(fā)量從側(cè)面印證了疫情形勢的變化趨勢，如圖3所示。從2020年1月30日至2月8日，由于疫情防控初期，為了更加全面采集全校師生的健康信息，填報人數(shù)在一定時間內(nèi)出現(xiàn)了小幅增長;其后由于疫情防控工作逐步顯現(xiàn)成效，人們心態(tài)逐步趨于緩和，填報系統(tǒng)的訪問量呈現(xiàn)緩慢下降趨勢，但因?yàn)閷W(xué)校執(zhí)行全體師生“每日一報”制度，所以系統(tǒng)每日實(shí)際填報量始終維持在相對穩(wěn)定范圍內(nèi)，因此每日填報記錄數(shù)量始終呈現(xiàn)線性增長，如圖4所示。

隨機(jī)選取不同時間段進(jìn)行對照實(shí)驗(yàn)比較，實(shí)時報表統(tǒng)計查詢與基于流量預(yù)測的預(yù)生成報表統(tǒng)計查詢的執(zhí)行耗時情況，結(jié)果如圖5所示。實(shí)時報表統(tǒng)計查詢耗時會隨著數(shù)據(jù)庫中數(shù)據(jù)量的持續(xù)增長而不斷增長;而采用本文提出的算法按照預(yù)測流量提前生成統(tǒng)計報表結(jié)果，查詢統(tǒng)計數(shù)據(jù)耗時能夠始終維持在相對恒定的范圍內(nèi)。這是由于系統(tǒng)根據(jù)本算法預(yù)測的流量，提前規(guī)劃出統(tǒng)計報表SQL的最優(yōu)執(zhí)行計劃，查詢出來的統(tǒng)計結(jié)果相對固定，當(dāng)用戶真正需要查詢統(tǒng)計結(jié)果的時候可以在極短時間內(nèi)完成響應(yīng)，大幅提升了系統(tǒng)執(zhí)行效率與用戶體驗(yàn)。

綜上所述，在系統(tǒng)數(shù)據(jù)庫讀寫分離的基礎(chǔ)上，采用基于業(yè)務(wù)流量預(yù)測的統(tǒng)計報表預(yù)生成算法實(shí)現(xiàn)的報表統(tǒng)計查詢程序，能夠在顯著降低統(tǒng)計報表響應(yīng)時間的情況下，從最大程度上保證了統(tǒng)計報表數(shù)據(jù)查詢的實(shí)時性。這種方法跳出了傳統(tǒng)方法（通過增強(qiáng)硬件性能、使用更強(qiáng)性能的數(shù)據(jù)庫或者采用新增各種索引等方法）的局限，對SQL語句性能進(jìn)行優(yōu)化等方法沒有從根本上消除海量數(shù)據(jù)查詢過程中數(shù)據(jù)量持續(xù)增長對查詢效率的影響，本文所提出的算法從根本上提升了系統(tǒng)執(zhí)行效率的同時，最大程度上保證了報表查詢結(jié)果的實(shí)時性。

五、總結(jié)與展望

通過本文提出的設(shè)計方案，“華中科技大學(xué)師生健康狀況填報系統(tǒng)”從2020年1月23日著手設(shè)計到2020年1月30日完成正式上線，上線首日共計43232位師生完成了健康狀況填報，整個系統(tǒng)從需求調(diào)研、方案設(shè)計、系統(tǒng)開發(fā)、測試上線僅僅用了不到一周的時間，且能夠支持根據(jù)疫情防控形勢與各級部門防控政策的變化完成快速迭代。為堅決防止疫情進(jìn)一步擴(kuò)散，并有效收集、全面掌握教職工及學(xué)生地理位置、健康狀況等重要信息提供重要支撐。系統(tǒng)運(yùn)行至今采集到共計614萬條有效記錄，通過本文提出的算法實(shí)現(xiàn)的統(tǒng)計報表功能，對于即使每日持續(xù)不斷增長的海量數(shù)據(jù)，無需擴(kuò)容計算資源，也能實(shí)現(xiàn)各項(xiàng)統(tǒng)計報表查詢秒級響應(yīng)。

隨著疫情防控工作的常態(tài)化，后續(xù)工作將在保持系統(tǒng)穩(wěn)定運(yùn)行的基礎(chǔ)上開展以下研究：一是對系統(tǒng)流量預(yù)測的算法進(jìn)行改進(jìn)，能夠更加精準(zhǔn)地預(yù)測出不同時刻用戶訪問量變化趨勢;二是對優(yōu)化統(tǒng)計報表預(yù)生成算法，進(jìn)一步提升報表查詢結(jié)果的實(shí)時性;三是將用戶填報的健康狀況數(shù)據(jù)與用戶在其他業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)相融合開展大數(shù)據(jù)研究，為學(xué)校疫情防控的科學(xué)決策工作提供支撐。

參考文獻(xiàn)：

[1]龍新征，彭一明，李若淼.基于微服務(wù)框架的信息服務(wù)平臺[J].東南大學(xué)學(xué)報（自然科學(xué)版），2017，47（A01）：48-52.

[2]李貞昊.微服務(wù)架構(gòu)的發(fā)展與影響分析[J].信息系統(tǒng)工程，2017（1）：154-155.

[3]洪華軍，吳建波，冷文浩.一種基于微服務(wù)架構(gòu)的業(yè)務(wù)系統(tǒng)設(shè)計與實(shí)現(xiàn)[J].計算機(jī)與數(shù)字工程，2018，46（1）：149-154.

[4]張晶，王琰潔，黃小鋒.一種微服務(wù)框架的實(shí)現(xiàn)[J]. 計算機(jī)系統(tǒng)應(yīng)用，2017， 26（4）：82-86.

[5]譚一鳴.基于微服務(wù)架構(gòu)的平臺化服務(wù)框架的設(shè)計與實(shí)現(xiàn)[D].北京：北京交通大學(xué)，2017.

[6]梅華威，張銘泉，李天.高并發(fā)高負(fù)載網(wǎng)站系統(tǒng)架構(gòu)研究[J].計算機(jī)與網(wǎng)絡(luò)， 2009（14）：54-57.

[7]范新民.高并發(fā)環(huán)境下MySQL軟硬件配置優(yōu)化[J].福建師范大學(xué)學(xué)報（自然科學(xué)版），2013， 29（6）：49-54.

[8]包立輝，黃彥飛.高并發(fā)網(wǎng)站的架構(gòu)研究及解決方案[J].計算機(jī)科學(xué)，2012， 39（z2）：184-187.

[9]張堯.基于Nginx高并發(fā)Web服務(wù)器的改進(jìn)與實(shí)現(xiàn)[D].長春：吉林大學(xué)，2016.

[10]戴華.基于Nginx和Memcached的高并發(fā)WEB服務(wù)器設(shè)計[D].上海：復(fù)旦大學(xué)，2013.

[11]王珊，王會舉，覃雄派等.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計算機(jī)學(xué)報，2011， 34（10）：1741-1752.

[12]郭峻峰，倪志偉，高雅卓等.一種提高數(shù)據(jù)倉庫查詢效率的有效方法[J].計算機(jī)集成制造系統(tǒng)，2009，15（12）：2451-2457.

[13]譚磊，顧國強(qiáng)，王占宏.基于優(yōu)化器的提高海量數(shù)據(jù)查詢效率方法研究[J].計算機(jī)應(yīng)用與軟件，2012（1）：207-210.

（編輯：王天鵬）