軟件技術(shù)李彩霞:OLAP性能分析及優(yōu)化OLAP性能分析及優(yōu)化李彩霞(青海民族學院計算機科學與技術(shù)系 青海西寧810007)摘要:數(shù)據(jù)倉庫存儲大量歷史數(shù)據(jù),OLAP應用涉及到對大面積歷史數(shù)據(jù)的復雜查詢,查詢優(yōu)化是提高OLAP響應速度的關(guān)鍵。目前最有效的方法是增加綜合數(shù)據(jù)存儲及查詢方式的優(yōu)化,但存儲空間的有限限制了綜合數(shù)據(jù)的存儲量。常規(guī)優(yōu)化數(shù)據(jù)庫的方法不能滿足OLAP的要求,針對以上出現(xiàn)的問題分別從數(shù)據(jù)倉庫存儲優(yōu)化.OLAP實現(xiàn)方式的選擇等工作出發(fā),基于OLAP性能優(yōu)化的查詢優(yōu)化策略等多角度實現(xiàn)對OLAP響應速度及提高查詢優(yōu)化。對這個問題進行了深入的研關(guān)鍵詞:數(shù)據(jù)倉庫;OLAP;變粒度存儲策略;X-OLAP中圖分類號:TP311.131文獻標識碼:B文章編號:1004 - 373X(2006)18- 116-03Analysis and Optimization on OLAP CapabilityLI Caixia .(Department of Computer Science of Technology ,Qinghai Nationality University, Xining .810007.China)Abstract: Data warehouse stores volumes of historical data, and OLAP applications involve complex queries on these data.Queries optimization is the key of improving the speed of OLAP response. At present the most eftive way is to increase thestorage of general data and the way of queries, but the limited spaces restrict the storage of general data. The normal regula-tions is excellent to turn the method of the database can't satisfy the OLAP request, this text aims at the problem of the aboveemergence respectively from the data warehouse saving excellent turn, the OLAP realizes choice. work of the way sets out. Ac-cording to the function of OLAP the excellent the search that turn is excellent to turn strategy , many the angle realizes to re-spond to the OLAP speed and increase the search is excellent to turn, This paper studies it deeply on this problem.Keywords:data warehouse;OLAP ;variable granularity storage method;X - OLAP數(shù)據(jù)進行多層面多角度分析和處理。由于歷史數(shù)據(jù)只能1引言追加而不能被刪除的特點使得數(shù)據(jù)倉庫中的數(shù)據(jù)量極大，聯(lián)機數(shù)據(jù)分析系統(tǒng)(On - Line Analytical Processing,而且隨時間推移,數(shù)據(jù)量不斷按年增長,嚴重影響了OLAP)是關(guān)系型數(shù)據(jù)庫之父E. F. Codd 1993 提出的,當OLAP的響應速度。因此，提高OLAP的響應速度是當前時,E. F. Codd認為OLTP已不能滿足終端用戶對數(shù)據(jù)庫.數(shù)據(jù)倉庫研究的核心問題之一。常規(guī)優(yōu)化數(shù)據(jù)庫的方法查詢分析的需要,用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進行不能滿足OLAP的要求,減小OLAP過程中的動態(tài)計算大量計算才能得到結(jié)果,而查詢的結(jié)果并不能滿足決策者機,事先存儲OLAP查詢所需要綜合數(shù)據(jù)等手段是提高提出的需求,因此他提出了多維數(shù)據(jù)庫和多維分析的概.OLAP響應速度的有效途徑。以往研究數(shù)據(jù)倉庫時都是念,即OLAP。將數(shù)據(jù)以最小粒度存儲在數(shù)據(jù)倉庫中作為基本數(shù)據(jù)。OLAP是針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析。通OLAP更關(guān)心數(shù)據(jù)發(fā)展變化的趨勢,大量的細粒度數(shù)據(jù)具過對信息很多種可能的觀察形式進行快速穩(wěn)定.-致和有很大的隨機性,0LAP很少直接對他進行分析處理,往交互性的存取,允許管理決策人員對數(shù)據(jù)進行深入觀察。往要將這些數(shù)據(jù)聚集到-定的粗粒度數(shù)據(jù)后才用來進行OLAP的基本分析動作包括:數(shù)據(jù)切片、 數(shù)據(jù)切塊、數(shù)據(jù)鉆分析處理。本文針對以上出現(xiàn)的問題從多角度實現(xiàn)對取、數(shù)據(jù)聚合、數(shù)據(jù)旋轉(zhuǎn)。OLAP通過對數(shù)據(jù)庫中的數(shù)據(jù)OLAP響應速度及提高查詢優(yōu)化。進行相應的操作從多個角度、多個側(cè)面進行快速、一致和2相關(guān) 知識點交互地存取,從而使分析人員能夠?qū)?shù)據(jù)進行深入的分析觀察凹。中國煤化工的邏輯通常稱為OLAPOLAP是基于數(shù)據(jù)倉庫的,而數(shù)據(jù)倉庫存儲大量的歷的實現(xiàn)MYHC N M H C接影響其響應速度。現(xiàn)史數(shù)據(jù)。OLAP以多維分析為基礎(chǔ),對數(shù)據(jù)倉庫中的歷史階段OLAP實現(xiàn)途徑主要有3種: ROLAP, MOLAP和HOLAP。ROLAP 基于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)存儲,通常采用收稿日期:2006 -05-16星型模式或雪花模式存儲數(shù)據(jù),而MOLAP采用多維數(shù)組116《現(xiàn)代電子技術(shù)》2006年第18期總第233期D嵌入式與單片機<模式進行數(shù)據(jù)存儲。ROLAP可擴展性好,但查詢過程中調(diào)整。因此,對數(shù)據(jù)集的粒度訪問頻率f。設(shè)定一個閾值需要進行表關(guān)聯(lián),很難滿足聯(lián)機分析處理要求的快速響.fn。訪問頻率隨時間推移不斷變化，為防止動態(tài)調(diào)整過于應;MOLAP響應速度快,但可擴展性差;HOLAP是RO-頻繁,并由此影響OLAP響應速度,設(shè)定一個訪問頻率下LAP和MOLAP的混合,希望能兼具ROLAP的可擴展優(yōu)偏系數(shù),即當連續(xù)出現(xiàn)多個訪問頻率小于設(shè)定的閾值時，勢和MOLAP的快速響應優(yōu)勢凹才進行動態(tài)調(diào)整。視圖物化數(shù)據(jù)倉庫的數(shù)據(jù)量 規(guī)模巨大,OLAP涉及其中,粒度訪問頻率:f。= (f.+ f2+...+ fv)/n(單到大面積數(shù)據(jù)查詢與聚集操作,提高數(shù)據(jù)倉庫性能除了采位時間內(nèi),聯(lián)機分析處理對某-數(shù)據(jù)集在某一粒度級別上用常規(guī)數(shù)據(jù)庫的許多查詢優(yōu)化技術(shù)外,通常采用的方法是的訪問次數(shù)稱為該數(shù)據(jù)集在該粒度的訪問頻率的平均使用空間換時間的方法:實視圖技術(shù),針對一些大范圍查值'°]。訪問頻率的下偏系數(shù):詢建立實視圖，即不僅存儲其定義,而且存儲其內(nèi)容,稱為n視圖物化又稱為CUBE計算。其策略分為:完全物化、部mZ(fn- f,)*分物化.不進行物化田。分介質(zhì)、變粒度存儲策略提高了OLAP響應速度。但粒度數(shù)據(jù)粒度反應數(shù)據(jù)庫中 數(shù)據(jù)單元的詳細程度是變粒度存儲策略需要復雜的元信息標志數(shù)據(jù)存儲的全和級別的指標。數(shù)據(jù)越詳細粒度越小,相應級別也就越方位置,有時需要對多數(shù)據(jù)立方體采取不同的聚集方法得低;數(shù)據(jù)綜合程度越高,粒度越大,相應級別也就越高。粒到查詢結(jié)果.聚集操作相對比較復雜。度可由各維所在層次定義。粒度是一個n元集合(d,d，(1)視圖物化存儲策略d...,},其中d;∈D,,(i= 1,2..n.D,代表第i維)。.不同環(huán)境下對視圖物化的時間有著不同的要求,所以.大粒度數(shù)據(jù)都是由小粒度數(shù)據(jù)經(jīng)過聚集產(chǎn)生的,因此大粒實際應用中通常采取以下3種物化策略:度數(shù)據(jù)又稱為相應小粒度數(shù)據(jù)的產(chǎn)生數(shù)據(jù),小粒度數(shù)據(jù)稱完全物化策略即生成所有的Cuboid。這種策略提為相應大粒度數(shù)據(jù)的產(chǎn)生源。OLAP主要是挖掘歷史數(shù)供了最短的查詢響應時間。但是在屬性統(tǒng)計表個數(shù)較多據(jù)中的一些隱含規(guī)律,大量的小粒度數(shù)據(jù)具有很大隨機.的情況’下,物化視圖的I/O成本較高,計算時間較長;而.性,OLAP很少會用他們直接進行分析處理,因此在多維且數(shù)據(jù)量可能是原來的幾百倍,空間花費很大;此外空間數(shù)據(jù)庫中可只存儲這些小粒度數(shù)據(jù)經(jīng)過聚集后的大粒度的占用也會影響索引性能。所以完全物化策略是-種在數(shù)據(jù),大量小粒度數(shù)據(jù)可以存儲在大容量、低速介質(zhì)以此存儲空間較大,CPU占用時間較長,對查詢速度有較高要解決OLAP響應速度與數(shù)據(jù)爆炸問題之間的矛盾。求的情況下的物化視圖方案。3OLAP性能優(yōu)化部分物化策略即生 成部分的Cuboid。有文獻記載生成所有的Cuboid是不必的:在物化視圖過程中,很多由于數(shù)據(jù)量大,且查詢復雜,性能是一個嚴重的問題,Cuboid可以從其他Cuboid中生成;通過選擇合適的Cu-為了提高性能,本文從以下幾個角度進行了研究:boid進行物化可以達到很好的查詢性能。所以,部分物化3.1提高OLAP性能所需的數(shù)據(jù)倉庫存儲優(yōu)化是在存儲空間有限、查詢速度要求不太高的情況下的一種采用一定的存儲策略可以提高OLAP的響應速度和物化視圖的策略。優(yōu)化查詢。本文從2方面改變存儲策略:不進行物化即不生成任何Cuboid,完會依賴數(shù)據(jù)庫將歷史數(shù)據(jù)以不同介質(zhì)、不同粒度進行存儲。以往數(shù)系統(tǒng)處理。據(jù)倉庫都是將數(shù)據(jù)以最小粒度存儲在數(shù)據(jù)倉庫中作為基從分析可知,在硬件環(huán)境允許和CPU有較大空閑的本數(shù)據(jù)。OLAP更關(guān)心數(shù)據(jù)發(fā)展變化的趨勢,大量的細粒情況下，為提高分析效率,完全物化是最好的策略。度數(shù)據(jù)具有很大的隨機性,OLAP很少直接對他進行分析(2)不增加動態(tài)計算前提下壓維數(shù)據(jù)立方體體積,增處理,往往將這些數(shù)據(jù)聚集到一定的粗粒度數(shù)據(jù)后才用來加綜合數(shù)據(jù)的存儲量。進行分析處理,將大量OLAP很少直接使用的細粒度數(shù)據(jù)目前OLAP的實現(xiàn)途徑面臨的最大問題是所生成的存儲在數(shù)據(jù)倉庫當中無疑是一種資源浪費。將很少被使數(shù)據(jù)立方體體積龐大,特別是當維屬性較多、基本元組也用的細粒度存儲到低速介質(zhì)上,然后將這些細粒度數(shù)據(jù)聚較多時這個問題尤為嚴重。而XML( eXtensible Markup集到相對粒度較粗的數(shù)據(jù)存儲到數(shù)據(jù)倉庫中供OLAP用Languagel作為數(shù)據(jù)交拖的標準格式,XML文檔具有明顯中國煤化工來分析處理,以此提高OLAP的響應速度和解決數(shù)據(jù)爆炸的層次種基于XML格式的問題。將哪些細粒度數(shù)據(jù)存儲到低速介質(zhì)上以及將這些OLAP實HcNMHGML本身的層次結(jié)構(gòu)體存儲在低速介質(zhì)上的數(shù)據(jù)聚集到什么樣的粗粒度數(shù)據(jù)?現(xiàn)數(shù)據(jù)立方體中元組之間的聚集關(guān)系,能有效地減小數(shù)據(jù)采用一種動態(tài)調(diào)整的方法。為了提高OLAP的響應速度立方體的體積[3]。防止數(shù)據(jù)爆炸,多維數(shù)據(jù)庫應能對數(shù)據(jù)集的物化進行動態(tài)X-OLAP模式為滿足下列條件的XML模式稱為X-117軟件技術(shù)李彩霞:OLAP性能分析及優(yōu)化OLAP模式:中，更顯出他的優(yōu)勢。用位圖索引查詢,主要是對二進制對于含有n個維屬性和m個度量屬性的數(shù)據(jù)立方體，位串進行按位與和按位或運算。位圖索引的優(yōu)點及適用將M個度量屬性用-個元素M表示，生成根Root;設(shè)維屬的范圍是:性的基按升序排列的順序為( D.,......，建立最宜在大表的低基數(shù)屬性.上建立位圖索引,主要用于Root→D、*→D2* .....1*→D*→M所示.多屬性條件查詢。的層次結(jié)構(gòu)，(其中X→Y表示X = parent(Y)(X,Y ∈位圖索引的維護比較麻煩,適用于只讀或以讀取為主( Root, D ,0..... ,M});的應用,面向的DW正好為只讀型的。從(D.......D.中選擇所有可能的維組合,對每位圖索引便于并行訪問。位圖與表按行對應,在搜索-維組合不破壞其排列的先后順序,建立層次結(jié)構(gòu):時主要通過按位邏輯運算。在查詢一個大表及位圖索引.Root→D,*→....D,*;很容易分成多塊,并行處理。對于通常采用并行處理的所有級元素都包含M, Refs,D,-ID和D,等屬性,其中DW位圖索引的這一性質(zhì)是一個重要優(yōu)點。M存儲聚集度量值,Refs用來來向其可能的孩子元素,Di位圖的數(shù)據(jù)冗余較大,有壓縮的余地。- ID和Di分別存儲維元素的標志和取值(i= .......(3)基于星型查詢優(yōu)化的方法有四種n);根節(jié)點Root包含M和Refs,屬性M用來存儲聚集度- 種是逐個將維表同事實表連接運算;第二種是由量值A(chǔ)LL;設(shè)Root→D....- D,為一條從根節(jié)點開.DW系統(tǒng)識別維表和事實表;第三種方法是索引連接。這始到任意非葉子節(jié)點結(jié)束的完整路徑，則在終節(jié)點D,的種方法是使用索引進行連接運算，然后根據(jù)索引連接的結(jié)屬性M中用來存儲由CUBEBY(.......產(chǎn)生的相果來查找對應表記錄;第四種方法一-位圖索引。前兩種應元組的聚集度量值。方法使得連接運算器需要很大的存儲空間來支持;以上幾3.2 OLAP實現(xiàn)方式的選擇種方法很難說哪-種是最優(yōu)的,對于小型的查詢,第-、二由于MOLAP和ROLAP有著各自的優(yōu)缺點,且他們種方法法簡單方便,對于范圍基數(shù)很小的維表的問題,第的結(jié)構(gòu)迥然不同,這給分析人員設(shè)計OLAP結(jié)構(gòu)提出了難四種方法較好,對于-次只從結(jié)果中選擇很少的記錄的查題,為此，必須選擇一個新的OLAP結(jié)構(gòu)- -- 混合型詢,第三種方法較好(1+5]。OLAP,他能把兩種結(jié)構(gòu)的優(yōu)點結(jié)合起來。存儲數(shù)據(jù)時采用ROLAP型;查詢分析時采用MOLAP型。本文重點研究的是OLAP實現(xiàn)技術(shù)及性能優(yōu)化的問.3.3基于OLAP性能優(yōu)化的查詢優(yōu)化策略對于聯(lián)機分析處理技術(shù)OLAP來說，系統(tǒng)執(zhí)行效率和題。首先分析了OLAP中影響性能的因素,分別對OLAP響應速度是用戶最為關(guān)心的問題,在OLAP中影響查詢性以多維分析為基礎(chǔ),對數(shù)據(jù)倉庫中的歷史數(shù)據(jù)進行多層面能有幾個因素,分別是索引方式、系統(tǒng)結(jié)構(gòu)等。特別是多角度分析和處理.提高OLAP的響應速度是當前數(shù)據(jù)倉OLAP中大量的計算是多維聚集函數(shù)的計算。因此,無論庫研究的核心問題之一。常規(guī)優(yōu)化數(shù)據(jù)庫的方法不能滿在查詢中還是在其他方面,多維聚集函數(shù)計算的優(yōu)化在足OLAP的要求,本文針對以上出現(xiàn)的問題分別從數(shù)據(jù)倉庫存儲優(yōu)化、OLAP實現(xiàn)方式的選擇等工作出發(fā),基于OLAP中是更加重要的。OLAP性能優(yōu)化的查詢優(yōu)化策略等多角度實現(xiàn)對OLAP(1)聚集函數(shù)的優(yōu)化根據(jù)對聚集函數(shù)的分析,在計算機聚集函數(shù)時,可靈響應速度及提高查詢優(yōu)化?；畹厥褂孟率鲈瓌t:參考文獻首先,利用最小實視圖法則,在查詢時常駐機構(gòu)會生成[1]陳京民.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)[M].北京:電子工業(yè)出實視圖,常由已有的實視圖導出。但可選擇的實視圖有多版社,2002.個，應在其中選擇元組最少的實視圖。其次,盡量減少I/O。[2] 唐林燕.數(shù)據(jù)倉庫查詢與智能查詢程序的實現(xiàn)[J].計算機在從磁盤中取出數(shù)據(jù)時,如果在以后的處理中還會再用,應工程與應用,2000(8):197 - 200.盡量保存在內(nèi)存中,以減少I/O。最后,共享排序結(jié)果。計3]陳小萍.數(shù)據(jù)開采的知識管理[J].計算機工程與應用，算聚集函數(shù)最費時的是GROUP BY子句,-般用排序方法2001,37(16):192 - 194.實現(xiàn)。一旦排序好,就要充分共享,避免重復排序。[4] 李慶忠，趙培英。鄭永清,等. Web數(shù)據(jù)的數(shù)據(jù)倉庫化模型(2)索引方法的選擇中國煤化工198 -201.在多維查詢的OLAP中,索引扮演了重要的角色。位[5]趙潔MHCNMHG面向主題的數(shù)據(jù)網(wǎng)絡(luò)模圖索引可以顯著提高性能和節(jié)省存儲空間,特別是在DW型[J].計算機應用研究,2004(12):85 - 87 ,90.作者簡介李彩霞女,1964年出生,青海民族學院計算機系副教授,實驗中心主任。研究方向為數(shù)據(jù)倉庫與數(shù)據(jù)挖掘。118