黃志林,董凱軍,蘇 林,劉騰慶
(1. 中國(guó)科學(xué)院廣州能源研究所,廣州 510650;2. 中國(guó)科學(xué)院可再生能源重點(diǎn)實(shí)驗(yàn)室,廣州 510650;3. 廣東省新能源和可再生能源研究開發(fā)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室,廣州 510650;4. 中國(guó)科學(xué)院大學(xué),北京 100049)
隨著云計(jì)算技術(shù)、通信業(yè)務(wù)和互聯(lián)網(wǎng)數(shù)據(jù)業(yè)務(wù)的快速發(fā)展,建有大量服務(wù)器等設(shè)備的數(shù)據(jù)中心數(shù)量和規(guī)模急劇增長(zhǎng)。服務(wù)器集成化、運(yùn)行速度和效率的提升使得數(shù)據(jù)中心運(yùn)行功率和散熱負(fù)荷不斷上升。據(jù)統(tǒng)計(jì),數(shù)據(jù)中心單位面積功率密度從1987年的108 ~ 162 W/m2增長(zhǎng)到如今的450 ~ 1 285 W/m2[1],單機(jī)柜功率更是增加到20 kW以上[2-3]。為保證數(shù)據(jù)中心全天候安全高效運(yùn)行,對(duì)空調(diào)制冷系統(tǒng)及氣流組織應(yīng)有更高的要求。在氣流組織方面,在采用風(fēng)冷形式下,如何有效地在數(shù)據(jù)中心各設(shè)備之間進(jìn)行冷量輸送以及時(shí)將其熱量帶走是我們首先重視的問題。
目前數(shù)據(jù)中心常見的氣流組織形式主要有冷通道封閉地板下送風(fēng)和行級(jí)制冷送風(fēng)形式,是目前數(shù)據(jù)中心氣流組織模擬較多研究的氣流組織形式[4-9]。隨著機(jī)房單位面積功耗的增加,機(jī)柜級(jí)冷卻和行間級(jí)制冷將會(huì)替代冷通道封閉地板送風(fēng)形式成為主流[1]。這一方面是由于機(jī)柜級(jí)冷卻采用模塊化設(shè)計(jì),能夠鎖定相應(yīng)機(jī)柜的功率密度,提供更為合理的氣流分配,從而讓機(jī)房?jī)?nèi)的冷量更好地被利用,使設(shè)備冷卻效果更佳;另一方面,相較于冷通道封閉地板下送風(fēng)形式和行級(jí)空調(diào)制冷形式,在機(jī)柜級(jí)冷卻形勢(shì)下機(jī)柜擺放位置較為靈活,受房間格局的影響較小,靈活性強(qiáng)。
機(jī)柜級(jí)冷卻也同樣存在著自身的缺陷。首先,采用模塊化設(shè)置情況下,每臺(tái)空調(diào)與其對(duì)應(yīng)的機(jī)架被單獨(dú)設(shè)置與外界隔開,當(dāng)模塊A內(nèi)設(shè)備低負(fù)荷運(yùn)行而模塊B內(nèi)高負(fù)荷運(yùn)行時(shí),容易造成模塊A內(nèi)設(shè)備過度冷卻而B內(nèi)則冷卻不足,從而造成冷量資源浪費(fèi);其次,為保證設(shè)備長(zhǎng)時(shí)間穩(wěn)定可靠的運(yùn)行,即確保機(jī)房的可用性,機(jī)柜級(jí)冷卻架構(gòu)通常需要保證每個(gè)機(jī)柜2N制冷量,即針對(duì)機(jī)柜級(jí)冷卻系統(tǒng)中每一個(gè)模塊額外配置一臺(tái)備份空調(diào),而這將大大提高冷卻系統(tǒng)的初始投資,是不太實(shí)際的做法。例如,相較于公共回風(fēng)端采用N+1制冷共享模式的行級(jí)制冷架構(gòu),帶有冗余的機(jī)柜級(jí)冷卻系統(tǒng)的初始投資要高將近一倍。目前針對(duì)機(jī)柜級(jí)冷卻系統(tǒng),較為常見的是整個(gè)機(jī)房采用N+X(X<N)的冗余配置,比如中國(guó)科學(xué)技術(shù)大學(xué)超算中心的機(jī)房采用的是房間級(jí)備份式,即在機(jī)房?jī)?nèi)額外配置兩臺(tái)或多臺(tái)房間級(jí)精密空調(diào)作為備份空調(diào)應(yīng)對(duì)空調(diào)故障的情況,采用該方案能夠短時(shí)間內(nèi)保證IT設(shè)備安全運(yùn)行,但由于房間級(jí)備份冷卻形式下故障空調(diào)附近機(jī)柜的效率較低,冷卻效果較差,長(zhǎng)時(shí)間運(yùn)行會(huì)導(dǎo)致機(jī)柜出現(xiàn)局部熱點(diǎn)。
針對(duì)機(jī)柜級(jí)冷卻形式存在的缺陷,本文結(jié)合行級(jí)空調(diào)制冷的特點(diǎn)提出一種行級(jí)備份式容災(zāi)方案,并通過計(jì)算流體力學(xué)(computer fluid dynamics,CFD)軟件模擬在機(jī)房?jī)?nèi)氣流組織、IT設(shè)備冷卻效果等方面與房間級(jí)備份式容災(zāi)方案進(jìn)行對(duì)比。
圖1為數(shù)據(jù)中心機(jī)柜級(jí)冷卻行級(jí)備份式容災(zāi)方案示意圖。圖1b中3個(gè)制冷模塊并排安裝在一起,在模塊1旁邊配有備份空調(diào),不同模塊之間、模塊1與備份空調(diào)之間的送風(fēng)空間和回風(fēng)空間通過可自動(dòng)調(diào)節(jié)的百葉窗進(jìn)行連接。當(dāng)各個(gè)模塊均正常運(yùn)行時(shí),百葉窗處于完全關(guān)閉狀態(tài),備份空調(diào)不工作,保證機(jī)柜級(jí)冷卻系統(tǒng)高效運(yùn)行。當(dāng)某個(gè)模塊的空調(diào)出現(xiàn)故障無法提供足夠的冷量給其相鄰的機(jī)架時(shí),送風(fēng)區(qū)和回風(fēng)區(qū)的百葉窗全部打開,同時(shí)備份空調(diào)開始工作,這種情況下三個(gè)機(jī)柜級(jí)冷卻架構(gòu)的模塊就自動(dòng)“退化”為行級(jí)制冷架構(gòu),從而保證了所有模塊中的機(jī)柜信息設(shè)備能夠安全穩(wěn)定運(yùn)行。采用上述的解決方案,一方面做到了N+1的冗余設(shè)置,在保證數(shù)據(jù)中心機(jī)房?jī)?nèi) IT設(shè)備安全穩(wěn)定運(yùn)行的情況下,能夠有效降低數(shù)據(jù)中心機(jī)柜級(jí)冷卻架構(gòu)下空調(diào)系統(tǒng)的初始投資,同時(shí)在出現(xiàn)空調(diào)故障或其他原因引起的冷量分配不均時(shí),該解決方案能夠?qū)崿F(xiàn)冷量共享,減少冷氣資源浪費(fèi),節(jié)約能源。
圖1 行級(jí)備份式容災(zāi)方案示意圖Fig. 1 Diagram of the row-level backup scheme
根據(jù)模擬實(shí)際需求本文建立了兩個(gè)數(shù)據(jù)中心機(jī)房模型,其中模型1的房間尺寸為9.5 m × 3.3 m ×3.4 m,模型 2 的房間尺寸為 16.2 m × 3.3 m × 3.4 m。模型1機(jī)房?jī)?nèi)有4臺(tái)機(jī)柜級(jí)冷卻空調(diào)和8個(gè)機(jī)架。模型2中則有9臺(tái)機(jī)柜級(jí)冷卻空調(diào)和18個(gè)機(jī)架。根據(jù)對(duì)比內(nèi)容,每個(gè)模型均有方案1和方案2兩套子模型。方案1中備份空調(diào)為房間級(jí)精密空調(diào),方案2中則是機(jī)柜級(jí)冷卻空調(diào)。方案 1中機(jī)柜級(jí)空調(diào)和機(jī)架用隔板包圍住,備份空調(diào)與其他設(shè)備隔開(正常工作下);方案2中備份空調(diào)緊靠機(jī)柜并用隔板包圍住。根據(jù)《中國(guó)電信數(shù)據(jù)設(shè)備用網(wǎng)絡(luò)機(jī)柜技術(shù)規(guī)范》確定機(jī)柜幾何尺寸及其內(nèi)部設(shè)備放置。模型 1中單機(jī)柜功率分別從4 kW設(shè)置到20 kW,遞增間隔為2 kW,機(jī)柜級(jí)冷卻空調(diào)功率設(shè)置為40 kW,送風(fēng)溫度18℃,故障空調(diào)位置設(shè)置在距離備份空調(diào)最遠(yuǎn)處,備份空調(diào)功率為40 kW,送風(fēng)溫度為18℃;模型2中單機(jī)柜功率設(shè)置為10 kW,機(jī)柜級(jí)冷卻空調(diào)功率為20 kW,送風(fēng)溫度18℃,故障的位置則從距離備份空調(diào)最近到最遠(yuǎn)依次設(shè)置,備份空調(diào)功率為20 kW,送風(fēng)溫度18℃。其中空調(diào)送風(fēng)量隨單機(jī)柜功率增加而增加;除送風(fēng)、回風(fēng)位置有差別之外,房間級(jí)備份空調(diào)和機(jī)柜級(jí)備份空調(diào)的參數(shù)均相同。模型1和模型2的示意如圖2 ~ 圖5所示。
圖2 CFD模型1建模示意圖Fig. 2 The modeling diagram of model 1
圖3 CFD模型2建模示意圖Fig. 3 The modeling diagram of model 2
圖4 模型1中方案1和方案2故障空調(diào)位置示意圖Fig. 4 Fault AD position of scheme 1 and scheme 2 in model 1
圖5 模型2中方案1和方案2故障空調(diào)位置Fig. 5 Fault AD position of scheme 1 and scheme 2 in model 2
為便于數(shù)值模擬,對(duì)上述物理模型作了如下假設(shè):
①由于設(shè)備啟用受到用戶使用隨機(jī)性的影響造成機(jī)架內(nèi)服務(wù)器的熱流密度隨時(shí)間變化,模型將熱流密度簡(jiǎn)化為恒定值;
②忽略房間壁面吸熱;
③機(jī)架內(nèi)服務(wù)器通常根據(jù)實(shí)際情況進(jìn)行設(shè)計(jì)安裝,但考慮到模型模擬的網(wǎng)格質(zhì)量及計(jì)算速度,模型中對(duì)機(jī)架內(nèi)服務(wù)器進(jìn)行統(tǒng)一布置,對(duì)模型做出簡(jiǎn)化設(shè)置設(shè)備表面的平均熱流密度,忽略服務(wù)器散熱的不均勻性;
④對(duì)通信機(jī)房?jī)?nèi)氣體的流動(dòng)可視為恒定流[10-13];
⑤機(jī)房上部通常安裝橋架布放電纜,但由于各個(gè)機(jī)房情況不同,為使模擬具有普遍性意義,對(duì)模型進(jìn)行簡(jiǎn)化,忽略橋架及電纜對(duì)氣流組織的影響[7-8]。
本文對(duì)機(jī)房?jī)?nèi)熱環(huán)境進(jìn)行包括溫度場(chǎng)的數(shù)值模擬。機(jī)房具有門氣密性良好、無外窗等特點(diǎn),并且機(jī)房?jī)?nèi)空氣氣流流動(dòng)屬于大空間流動(dòng)問題,因此選用針對(duì)高雷諾數(shù)的湍流計(jì)算標(biāo)準(zhǔn)模型k-ε模型。本文所用軟件本身內(nèi)置默認(rèn)計(jì)算模型即為標(biāo)準(zhǔn)k-ε模型,邊界條件設(shè)置如下:
①選用寬600 mm、深1 200 mm和高2 200 mm的42U標(biāo)準(zhǔn)機(jī)柜,單機(jī)柜內(nèi)放置2U服務(wù)器,其余位置放置盲板以防止熱空氣回流;
②設(shè)定空調(diào)送風(fēng)溫度為18℃;
③氣流組織形式為機(jī)柜級(jí)空調(diào)水平送風(fēng),每個(gè)模塊的送風(fēng)空間大小和回風(fēng)空間大小相同,均為寬1 500 mm、深300 mm和高2 200 mm;
④房間級(jí)備份空調(diào)送風(fēng)方式為下送風(fēng)上回風(fēng)。
為更精確地模擬機(jī)房?jī)?nèi)氣流組織,在網(wǎng)格劃分上限制最大網(wǎng)格尺寸為0.05 m。軟件選用已標(biāo)定的殘差來控制求解方程的收斂精度,模擬時(shí)各計(jì)算殘差曲線都收斂于1,代表各參數(shù)數(shù)值趨于穩(wěn)定[6]。
以單機(jī)柜功率為自變量,故障空調(diào)相鄰機(jī)柜的平均入風(fēng)溫度和平均出風(fēng)溫度為應(yīng)變量作圖得到圖6。從圖中可以看出,隨著單機(jī)柜功率的增加,方案1的機(jī)柜平均入風(fēng)溫度和平均出風(fēng)溫度都在升高,其中平均入風(fēng)溫度從單機(jī)柜功率4 kW時(shí)的20℃升至單機(jī)柜功率20 kW時(shí)的33.8℃,平均出風(fēng)溫度從4 kW時(shí)的34.8℃升至20 kW時(shí)的48.2℃,平均入風(fēng)溫度和平均出風(fēng)溫度與單機(jī)柜功率均成線性關(guān)系,且平均入風(fēng)溫度和平均出風(fēng)溫度相差近15℃,這是由于故障空調(diào)距離備份空調(diào)過遠(yuǎn),送風(fēng)余壓和風(fēng)量不足造成進(jìn)入機(jī)柜內(nèi)部的氣流減少;方案2中機(jī)柜平均入風(fēng)溫度和平均出風(fēng)溫度隨著單機(jī)柜功率的增加幾乎無變化,其中平均入風(fēng)溫度一直保持在20℃附近,平均出風(fēng)溫度保持在27℃附近,入風(fēng)和出風(fēng)平均溫差約為7℃。圖7給出了單機(jī)柜功率8 kW、14 kW和20 kW下兩種方案氣流溫度截面圖(垂直高度1 m)。
圖6 不同機(jī)柜功率兩種方案下機(jī)柜氣流溫度對(duì)比Fig. 6 Airflow temperature comparison of cabinets under different power conditions in the two schemes
圖7 兩種方案氣流溫度截面圖Fig. 7 Airflow temperature section diagram in the two schemes
兩種方案中空調(diào)送風(fēng)溫度均設(shè)置為18℃,因此綜上對(duì)比可知,采用房間級(jí)空調(diào)作為備份空調(diào)的方案1中,同樣因?yàn)楣收峡照{(diào)距離備份空調(diào)過遠(yuǎn),送風(fēng)余壓和風(fēng)量不足造成進(jìn)入機(jī)柜內(nèi)部的氣流減少,導(dǎo)致機(jī)柜平均入風(fēng)溫度與空調(diào)送風(fēng)溫度差值、機(jī)柜平均入風(fēng)溫度和平均出風(fēng)溫度均比方案2中的差值更大,這說明當(dāng)采用房間級(jí)空調(diào)作為備份空調(diào)應(yīng)對(duì)空調(diào)故障時(shí),機(jī)房?jī)?nèi)氣流組織較差,空調(diào)送風(fēng)和空調(diào)回風(fēng)、機(jī)柜入風(fēng)和機(jī)柜回風(fēng)之間存在著冷熱交換,從而降低了冷卻效率。當(dāng)單機(jī)柜功率增加至10 kW以上時(shí),方案1中故障空調(diào)相鄰的機(jī)柜入風(fēng)溫度已經(jīng)超過標(biāo)準(zhǔn)上限,對(duì)IT設(shè)備的安全和性能造成影響。
圖8 單機(jī)柜功率10 kW下機(jī)柜垂直方向服務(wù)器氣流溫度分布Fig. 8 Airflow distribution in the vertical direction of the cabinets
以故障空調(diào)相鄰的兩個(gè)機(jī)柜為研究對(duì)象,根據(jù)模擬結(jié)果作出機(jī)柜垂直方向服務(wù)器氣流溫度分布圖,如圖8所示。房間級(jí)氣流組織冷卻形式下,機(jī)柜上下進(jìn)風(fēng)溫度和出風(fēng)溫度不同,并且入風(fēng)溫度和出風(fēng)溫度越高,氣流越差,容易形成局部熱點(diǎn)。方案1中采用房間級(jí)空調(diào)作為備份空調(diào)進(jìn)行冷卻,因而機(jī)柜內(nèi)服務(wù)器的氣流溫度分布也呈現(xiàn)出了這樣的特點(diǎn)。行級(jí)制冷則消除了垂直高度帶來的影響,因而機(jī)柜上下服務(wù)器入風(fēng)溫度和出風(fēng)溫度幾乎沒有差別。方案2中當(dāng)空調(diào)故障時(shí),依然封閉所有的空調(diào)和機(jī)柜的冷熱通道,僅僅打開冷熱通道之間的隔板,將機(jī)柜級(jí)冷卻“退化”為行級(jí)制冷,因而也具有行級(jí)制冷的特點(diǎn)。
故障空調(diào)位置的不同造成了所需冷卻機(jī)柜與備份空調(diào)間距離的不同,因此對(duì)有效冷卻產(chǎn)生影響。根據(jù)所建模型的模擬結(jié)果,以故障空調(diào)位置為橫坐標(biāo),機(jī)柜氣流溫度為縱坐標(biāo)作圖,如圖9,其中,故障空調(diào)位置以距離備份空調(diào)所間隔模塊數(shù)來確定,如距離最近的模塊為1,最遠(yuǎn)則為9。并對(duì)截取垂直高度1 m處溫度場(chǎng)圖,如圖10。
圖9 不同故障空調(diào)位置下機(jī)柜氣流溫度Fig. 9 Airflow temperature of the cabinets under different fault AC conditions
根據(jù)圖9和圖10可以看出,方案1中故障空調(diào)相鄰機(jī)柜的氣流溫度隨著故障空調(diào)與備份空調(diào)距離的增加先上升,在故障空調(diào)位置為3時(shí)最大,而后下降且在4 ~ 7位置基本相同,最后又上升。方案2中故障空調(diào)相鄰機(jī)柜的氣流溫度則幾乎保持不變。方案1中,由于空調(diào)送風(fēng)速度較大,如果空調(diào)與機(jī)柜距離較近且中間有阻礙物,則在被送入機(jī)柜內(nèi)服務(wù)器前氣流會(huì)受到較大的擾流影響,從而使得進(jìn)入服務(wù)器內(nèi)的氣流分布不均勻,導(dǎo)致部分IT設(shè)備過度冷卻而部分則產(chǎn)生熱點(diǎn),機(jī)柜出風(fēng)溫度較高;若距離較遠(yuǎn)則氣流可逐步發(fā)展變得更為均勻,從而提升冷卻效果,機(jī)柜出風(fēng)溫度也較低。方案2中,空調(diào)與機(jī)柜之間無障礙物,并且二者距離較近,加上封閉導(dǎo)流作用,因此各個(gè)機(jī)柜間氣流分配比較均勻。
圖10 不同故障空調(diào)位置下機(jī)柜氣流溫度Fig. 10 Airflow temperature of the cabinets under different fault AC positions
針對(duì)數(shù)據(jù)中心機(jī)柜級(jí)冷卻系統(tǒng)存在的缺點(diǎn),提出一種行級(jí)備份式容災(zāi)方案,方案中對(duì)每列機(jī)柜配置一臺(tái)機(jī)柜級(jí)空調(diào)作為備份空調(diào),在正常工作下備份空調(diào)關(guān)閉,系統(tǒng)中各模塊獨(dú)立運(yùn)行;故障時(shí)備份空調(diào)開啟,與同列的所有空調(diào)和機(jī)柜組成“行級(jí)制冷”系統(tǒng)。相對(duì)于現(xiàn)有的房間級(jí)備份式容災(zāi)方案,該容災(zāi)方案能夠在空調(diào)故障時(shí)有效冷卻設(shè)備,并降低系統(tǒng)建設(shè)初始投資。主要結(jié)論如下:
(1)數(shù)據(jù)中心機(jī)柜級(jí)冷卻系統(tǒng)中,當(dāng)單機(jī)柜功率較高時(shí),采用房間級(jí)備份容災(zāi)方案在空調(diào)故障時(shí)其所負(fù)責(zé)冷卻機(jī)架內(nèi)IT設(shè)備的出風(fēng)溫度明顯高于所限制的最大標(biāo)準(zhǔn),表明設(shè)備冷卻無法得到有效冷卻,將有過熱保護(hù)、宕機(jī)現(xiàn)象發(fā)生,不能有效應(yīng)對(duì)空調(diào)故障情況,維持設(shè)備長(zhǎng)時(shí)間安全有效運(yùn)行,并且隨著單機(jī)柜功率由2 kW增大至20 kW,機(jī)柜局部出風(fēng)溫度越高。
(2)房間級(jí)備份容災(zāi)方案中,備份空調(diào)與故障空調(diào)的距離不同時(shí),IT設(shè)備的出風(fēng)溫度有顯著差別,并且距離越大冷卻效果越差。但行級(jí)備份式方案中,故障空調(diào)附近機(jī)柜的出風(fēng)溫度與其余機(jī)柜幾乎相同。
(3)行級(jí)備份式容災(zāi)方案下,故障空調(diào)附近機(jī)柜的進(jìn)出風(fēng)溫度均在限定標(biāo)準(zhǔn)內(nèi),能夠保證機(jī)房?jī)?nèi)IT設(shè)備提供足夠的冷量,從而確保熱量能夠及時(shí)快速地散發(fā)出去,保證數(shù)據(jù)中心安全高效運(yùn)行,且備份空調(diào)與故障空調(diào)的距離變化對(duì)IT設(shè)備的冷卻效果影響較小。
[1]陳杰. 數(shù)據(jù)機(jī)房冷通道封閉技術(shù)應(yīng)用及模擬分析[J].暖通空調(diào), 2015, 45(6): 37-40.
[2]楊國(guó)榮, 胡仰耆, 馬偉駿. 數(shù)據(jù)中心空調(diào)設(shè)計(jì)初探[J].建筑電氣, 2009, 28(12): 21-26. DOI: 10.3969/j.issn.1003-8493.2009.12.006.
[3]中國(guó)數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展聯(lián)盟. 2012年中國(guó)數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展白皮書[R/OL]. 中國(guó)數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展聯(lián)盟, 2012.https://wenku.baidu.com/view/c484ced4240c844769eaee ec.html.
[4]CHO J, LIM T, KIM B S. Measurements and predictions of the air distribution systems in high compute density(Internet) data centers[J]. Energy and buildings, 2009,41(10): 1107-1115. DOI: 10.1016/j.enbuild.2009.05.017.
[5]CHO J, KIM B S. Evaluation of air management system's thermal performance for superior cooling efficiency in high-density data centers[J]. Energy and buildings, 2011, 43(9): 2145-2155. DOI: 10.1016/j.enbuild.2011.04.025.
[6]PATANKAR S V. Airflow and cooling in a data center[J].Journal of heat transfer, 2010, 132(7): 073001. DOI:10.1115/1.4000703.
[7]蔣雅靖, 劉成. 列間空調(diào)在高密度數(shù)據(jù)中心應(yīng)用的數(shù)值模擬[J]. 建筑熱能通風(fēng)空調(diào), 2012, 31(6): 92-95.DOI: 10.3969/j.issn.1003-0344.2012.06.027.
[8]劉芳, 王志剛. 某數(shù)據(jù)中心室內(nèi)空調(diào)氣流組織的模擬研究 [J].暖通與空調(diào), 2016, 44(1): 11-17. DOI:10.3969/j.issn.1673-7237.2016.10.004.
[9]舒慶鑫. 變電站數(shù)據(jù)機(jī)房能耗及氣流組織模擬研究[D]. 杭州: 浙江大學(xué), 2014.
[10]胡坤, 李振北. ANSYS ICEM CFD工程實(shí)例詳解[M].北京: 人民郵電出版社, 2014: 207-215.
[11]CHEN Q. Comparison of differentk-ε models for indoor air flow computations[J]. Numerical heat transfer, part b:fundamentals, 1995, 28(3): 353-369. DOI: 10.1080/10407799508928838.
[12]YAKHOT V, ORSZAG S A, THANGAM S, et al.Development of turbulence models for shear flows by a double expansion technique[J]. Physics of fluids a: fluid dynamics, 1992, 4(7): 1510-1520. DOI: 10.1063/1.858424.
[13]KIM S W, CHEN C P. A multiple-time-scale turbulence model based on variable partitioning of the turbulent kinetic energy spectrum[J]. Numerical heat transfer, part b:fundamentals, 1990, 16(2): 193-211. DOI: 10407798908944935.