張學(xué)義,王觀玉,黃 雋
ZHANG Xue-yi,WANG Guan-yu,HUANG Jun
(黔南民族師范學(xué)院 計算機科學(xué)系,都勻 558000)
Oracle數(shù)據(jù)庫是當(dāng)前應(yīng)用最廣泛的大型數(shù)據(jù)庫,其查詢性能直接關(guān)系到系統(tǒng)的運行效率,對其查詢優(yōu)化方法的研究更具有現(xiàn)實意義。隨著數(shù)據(jù)庫中數(shù)據(jù)的增加,系統(tǒng)的響應(yīng)速度就成為目前系統(tǒng)需要解決的最主要的問題之一,劣質(zhì)SQL語句和優(yōu)質(zhì)SQL語句之間的速度差別可以達(dá)到上百倍,可見對于一個系統(tǒng)不是簡單地能實現(xiàn)其功能就可,而是要寫出高質(zhì)量的SQL語句,提高系統(tǒng)的可用性和降低系統(tǒng)的響應(yīng)時間。傳統(tǒng)的Oracle SQL查詢優(yōu)化方法[1]是使用索引來更快地遍歷表,優(yōu)化器主要根據(jù)定義的索引來提高性能。但是,如果在SQL語句的where子句中寫的SQL代碼不合理,就會造成優(yōu)化器略去索引而使用全表掃描,導(dǎo)致查詢效率低下。
針對上述情況,提出了幾種SQL查詢語句優(yōu)化新策略:檢測分析影響系統(tǒng)響應(yīng)速度的SQL語句、共享SQL語句、使用表的別名、數(shù)據(jù)緩沖區(qū)優(yōu)化、共享池的優(yōu)化、數(shù)據(jù)緩沖池的優(yōu)化,使得執(zhí)行SQL語句時優(yōu)化器根據(jù)優(yōu)化原則來合理使用索引,并盡可能減少磁盤I/O訪問獲取所需要的數(shù)據(jù),提高查詢性能。在數(shù)據(jù)庫優(yōu)化前后比較其評價指標(biāo):響應(yīng)時間和吞吐量之間的權(quán)衡、數(shù)據(jù)庫的命中率以及內(nèi)存的使用效率,并以此來衡量優(yōu)化的效果和指導(dǎo)優(yōu)化的方向。
Oracle數(shù)據(jù)庫優(yōu)化的主要目標(biāo)就是減少磁盤I/O、減少CPU利用率和資源競爭,降低查詢響應(yīng)時間或提高系統(tǒng)吞吐量。影響SQL性能的因素很多,如初始化參數(shù)設(shè)置不合理、導(dǎo)入了不準(zhǔn)確的系統(tǒng)及模式統(tǒng)計數(shù)據(jù)從而影響優(yōu)化程序(CBO)的正確判斷、未建立恰當(dāng)?shù)乃饕鹑頀呙?、多表連接時過濾條件位置不當(dāng)導(dǎo)致中間結(jié)果集包含了太多的無用記錄、未充分利用數(shù)據(jù)庫提供的查詢并行化處理。
磁盤I/O[2]是影響Oracle數(shù)據(jù)庫性能的瓶頸,主要原因有磁盤競爭、I/O讀取次數(shù)和數(shù)據(jù)塊空間的分配管理不當(dāng)?shù)?。提高I/O設(shè)備的并發(fā)訪問率,可以有效提高SQL語句的執(zhí)行效率。當(dāng)競爭增強的時候,系統(tǒng)響應(yīng)時間將增長。
用戶在編寫新的SQL語句,或者對應(yīng)用程序中存在疑問的語句進(jìn)行優(yōu)化時,其基本步驟為查找最消耗資源的語句,對這些語句進(jìn)行優(yōu)化,使其占用更少的資源。利用SQL TRACE、SQL Analyze等工具,可以查出存在問題的SQL語句。
SQL處理體系結(jié)構(gòu)由以下幾個主要組件組成:解析程序、字典、優(yōu)化程序、SQL執(zhí)行,如下圖1所示:
解析程序、優(yōu)化程序共同組成了SQL編譯器。編譯器將SQL語句編譯成共享游標(biāo),并與查詢計劃相關(guān)聯(lián)。解析程序執(zhí)行語法分析和語義分析。優(yōu)化程序是SQL處理引擎的核心。Oracle數(shù)據(jù)庫支持兩種優(yōu)化方法:基于規(guī)則的優(yōu)化(RBO)和基于開銷的優(yōu)化(CBO),本論文正是基于CBO方法設(shè)置優(yōu)化程序的方法和目標(biāo),以及收集CBO的統(tǒng)計信息,對SQL語句進(jìn)行查詢優(yōu)化,獲得最佳吞吐量。
圖1 SQL處理系統(tǒng)結(jié)構(gòu)
要充分發(fā)揮Oracle數(shù)據(jù)庫的優(yōu)勢,必須對數(shù)據(jù)庫的各項初始化參數(shù)進(jìn)行合理配置[3]。從Oracle數(shù)據(jù)庫內(nèi)存優(yōu)化管理的角度出發(fā),針對影響其性能的因素及其對應(yīng)的參數(shù),分別從數(shù)據(jù)緩沖區(qū)優(yōu)化、共享池優(yōu)化、重做日志緩沖區(qū)優(yōu)化幾個方面完成內(nèi)存優(yōu)化配置。
SGA(系統(tǒng)全局區(qū))是數(shù)據(jù)庫的工作區(qū),它和Oracle進(jìn)程結(jié)合組成一個Oracle數(shù)據(jù)庫實例,管理數(shù)據(jù)庫數(shù)據(jù),應(yīng)答用戶請求。SGA[4]有三個組成部分,即數(shù)據(jù)庫緩存區(qū),共享池區(qū)以及日志緩存區(qū),這些內(nèi)存區(qū)域由初始化文件initSID.ora中相應(yīng)的參數(shù)來配置,它們的性能效率也將受initSID.ora中各參數(shù)設(shè)置的影響。以DBA的身份連接到數(shù)據(jù)庫,通過執(zhí)行下列語句來獲取SGA設(shè)置信息:SQL>select * from v$sga,并做相應(yīng)的調(diào)整。
1)共享池的優(yōu)化
共享池(shared pool)包括庫高速緩存、數(shù)據(jù)字典高速緩存,衡量這兩個緩存區(qū)性能的指標(biāo)主要是它們的命中率。共享池用LRU算法進(jìn)行管理,保證頻繁使用的代碼和數(shù)據(jù)字典能夠存于共享池中。數(shù)據(jù)字典命中率查詢:SQL>select(1 -(sum(getmisses)/sum(gets)))* 100“Hit Ratio” from v$rowcache;查詢結(jié)果Hit Ratio為98.25588424。
若共享池的庫高速緩存和數(shù)據(jù)字典命中率低于95%,則可增大initSID.ora中shared_ pool_size的值。
2)日志緩沖區(qū)的優(yōu)化
日志緩沖區(qū)存儲數(shù)據(jù)庫的修改信息,大小由log_buffer確定,它必須是db_block_ size的整數(shù)倍。日志緩沖區(qū)的存在可以加快數(shù)據(jù)庫的操作速度,因為內(nèi)存到內(nèi)存的操作比內(nèi)存到硬盤的速度快很多。SQL>select n.name,gets,misses,immediate_gets,immediate_ misses from v$latch l,v$latchname n where n.name in('redo allocation','redo copy')and n.latch#=l.latch#;此查詢中redo allocation和redo copy的失敗率為0,如果計算結(jié)果大于1%,則需增大日志緩沖區(qū)的大小。
SQL語句尤其是復(fù)雜SQL語句的性能優(yōu)化對于數(shù)據(jù)庫的性能是至關(guān)重要的。在集中式數(shù)據(jù)庫中,SQL查詢的執(zhí)行總代價=I/O代價+CPU代價+內(nèi)存代價。調(diào)整影響其執(zhí)行效率的三大因素來減少系統(tǒng)總代價:一是減少查詢所產(chǎn)生的I/O總次數(shù);二是減少CPU的計算頻度,減少SQL語句中需要計算的量和參數(shù);三是減少對系統(tǒng)內(nèi)存的使用和占用時間。SQL語句優(yōu)化的一般步驟如下圖2所示:
首先我們要檢測出不合理的SQL語句,首先要生成執(zhí)行計劃,最簡單的辦法有兩種:一是SQL>set autotrace on自動記錄執(zhí)行計劃;二是explain plan for ‘SQL語句’,然后通過select * from table(dbms_xplan.display())來查看執(zhí)行計劃。第一種方法查看執(zhí)行時間較長的SQL語句時,需要等待該語句執(zhí)行成功后才返回執(zhí)行計劃。
在第一次解析之后,Oracle將SQL語句存放位在SGA共享池中,為所有的數(shù)據(jù)庫用戶共享,大大地提高了SQL的執(zhí)行性能并節(jié)省了內(nèi)存。當(dāng)用戶提交SQL語句時,服務(wù)器進(jìn)程在共享池中查找有無該條語句,如果有就跳過語法分析等過程,節(jié)省了SQL語句的分析和編譯的開銷。只有在共享池中不存在等價SQL語句的情況下,才對該語句作語法分析,并為該語句分配新的共享SQL區(qū)。
圖2 SQL優(yōu)化的一般步驟
SQL優(yōu)化[6]的實質(zhì)就是在結(jié)果正確的前提下,充分利用索引,減少表掃描的I/O次數(shù),選擇最有效的執(zhí)行計劃來執(zhí)行SQL語句的過程。下面的查詢優(yōu)化實例以EMP和DEPT表為查詢表,其中emp表有1204行記錄,dept有604行記錄。
1)select子句中避免使用*
Oracle在解析的過程中,通過查詢數(shù)據(jù)字典將*依次轉(zhuǎn)換成所有的列名,這將消耗更多的時間,降低了查詢速度。優(yōu)化例1如下表1所示:
表1 select子句中* 優(yōu)化
2)where子句中約束條件的順序
Oracle采用自下而上的順序解析where子句,因此表之間的連接必須寫在其他約束條件之前,將過濾掉最多記錄的條件寫在where子句的末尾,提高查詢效率。優(yōu)化例2如下表2所示:
表2 where子句約束條件優(yōu)化
3)用where子句替換having子句
where檢查每條記錄是否符合條件,通過其過濾條件減少系統(tǒng)開銷。having子句檢查group by后的各組是否滿足條件,而Where子句在匯總之前就減少參加匯總的數(shù)據(jù)量,從而提高查詢速度。如果having子句應(yīng)用了匯總函數(shù),則不能用Where代替。優(yōu)化例3如下表3所示:
表3 group by和having優(yōu)化
4)子查詢“展平”技術(shù)
子查詢“展平”指將子查詢轉(zhuǎn)變?yōu)檫B接、半連接,從而達(dá)到優(yōu)化查詢的目的。SQL首先計算位于外層查詢的from子句中關(guān)系的笛卡爾積,然后對該笛卡爾積的每個元組用where子句中的謂詞進(jìn)行過濾。因為子查詢要對應(yīng)位于外層查詢的每一個元組進(jìn)行單獨的計算,從而導(dǎo)致大量的磁盤I/O操作,所以在實際應(yīng)用中,用連接查詢代替子查詢,提高查詢效率。
找出所有工資超過2000的雇員的那些部門編號和名稱。優(yōu)化例5如下表4所示:
表4 子查詢展平優(yōu)化
5)用union替換or(適用于索引列)
在where子句中or連接多個索引列,用union替換where子句中的or,可以顯著提高查詢效率。對索引列使用or將造成全表掃描,如果用or連接的列沒有被索引,查詢效率不會提高。union在進(jìn)行表連接后,對所產(chǎn)生的結(jié)果集進(jìn)行排序運算,篩選掉重復(fù)的記錄再返回結(jié)果。
本文從影響SQL性能的最主要的幾個方面入手,提出了從磁盤I/O、系統(tǒng)內(nèi)存參數(shù)的調(diào)整和SQL查詢語句的優(yōu)化新策略,算法可行,效率較高,可以在實際中推廣應(yīng)用。實驗結(jié)果表明,SQL語句的優(yōu)化使運算速度加快,有效減少執(zhí)行時間,提高響應(yīng)速度,優(yōu)化效果理想,因此,本文提出的Oracle SQL查詢優(yōu)化方法是一種有效的數(shù)據(jù)庫性能調(diào)優(yōu)方法。
數(shù)據(jù)庫的性能調(diào)整是一個系統(tǒng)工程,需要在大量的實踐工作中不斷地積累經(jīng)驗,結(jié)合上述各種優(yōu)化技術(shù),更好地進(jìn)行數(shù)據(jù)庫調(diào)優(yōu),實現(xiàn)數(shù)據(jù)庫檢索性能的提高。
[1]Donald K.Burleson.劉硯,黃春,譯.Oracle高性能SQL調(diào)整[M].北京:機械工業(yè)出版社,2002.
[2]Y.Ionnidis and S.Christodoulakis.Optimal histograms for limiting worst-case error propagation in the size of join results[J].ACM TODS,1993,18(4).
[3]趙慧勤,李秀蘭.Oracle數(shù)據(jù)庫應(yīng)用系統(tǒng)的優(yōu)化策略[J].計算機工程與應(yīng)用,2003,27(3).
[4]劉博.Oracle數(shù)據(jù)庫性能優(yōu)化與調(diào)整[D].大連:大連理工大學(xué),2007.
[5]谷小秋,李德昌.索引調(diào)整優(yōu)化Oracle9i工作性能的研究[J].計算機工程與應(yīng)用,2005,41(26).
[6]劉光霆.ORACLE中SQL查詢優(yōu)化研究[J].計算機與信息技術(shù),2008,32(5).
[7]吳超,沈為群,潘舜良,宋子善.某直升機工程飛行模擬器控制中心的研究與實現(xiàn)[J].計算機仿真,2006,23(9):294-297.