基于聯(lián)機(jī)分析處理技術(shù)的數(shù)據(jù)分析Data Analysis Based on OLAP封玲' 歐陽紅2Feng Ling Ou Yang Hong(1.深圳大學(xué)物理科學(xué)學(xué)院,深圳518060; 2. 南昌大學(xué)理學(xué)院，南昌330031)(1.Schoo1 of Physical Science, Shenzhen University, Shenzhen 518060;2.School of Science, Nanchang University, Nanchang 330031)摘要: 提出了基于聯(lián)機(jī)分析處理技術(shù)的一種數(shù)據(jù)分析方法，并以教學(xué)數(shù)據(jù)為例，介紹了教學(xué)數(shù)據(jù)分析與處理的設(shè)計(jì)方案，以及在分析處理過程中數(shù)據(jù)轉(zhuǎn)換問題的處理方法和聯(lián)機(jī)分析處理的結(jié)果。關(guān)鍵詞:數(shù)據(jù)分析;聯(lián)機(jī)分析處理;數(shù)據(jù)轉(zhuǎn)換中圖分類號: TN919.5文獻(xiàn)標(biāo)識碼: A文章編號: 1671-4792-(2007)5-01 60-03Abstract: Digest. This paper comes up a solution for the data analysis, based on the technology of On-1ineana1ytical processing. It not on1y describes the design of the teaching data analysis, but also offers someexamp1es of the data transform and shows the result of the on -1ine analytical processing.Keyword: Data Analysis; On -1ine Ana1ytical Processing; Data Transform0引言表是用于表述教學(xué)效果這- -主題，可以從教師、學(xué)生、時(shí)間數(shù)據(jù)分析是為了發(fā)現(xiàn)隱藏在大量數(shù)據(jù)背后有價(jià)值的信和教材四個(gè)維度來匯總和分析教學(xué)數(shù)據(jù),用以描述教學(xué)效果息，目前突出的問題不是無法得到數(shù)據(jù)，而是應(yīng)使用何種方的數(shù)值度量為考試成績。法進(jìn)行分析和處理數(shù)據(jù)，以充分利用這些數(shù)據(jù)得到有用的信教材維度表學(xué)期維度表息.聯(lián)機(jī)分析處理(On-1ine analytical processing, OLAP)教材ID學(xué)期ID可以極大地提高數(shù)據(jù)分析和處理的能力。我們采用0OLAP技教材類型教學(xué)事實(shí)表年教材名學(xué)期術(shù)，對大學(xué)物理公共課程的教學(xué)數(shù)據(jù)進(jìn)行分析。學(xué)期描述大學(xué)物理課程教學(xué)內(nèi)容規(guī)范化、穩(wěn)定化，考核標(biāo)準(zhǔn)也達(dá)教師ID到-致化,并具有大規(guī)模較為全面的教學(xué)數(shù)據(jù)。該課程是公教師維度表主修學(xué)生ID共基礎(chǔ)課程,上課的學(xué)生數(shù)量多，專業(yè)覆蓋面廣，而且承擔(dān)考試成績教學(xué)任務(wù)的教師相對較多,這些對于教學(xué)狀況的及時(shí)掌握與學(xué)生維度表評估,難度較大。采用聯(lián)機(jī)分析處理技術(shù)在已有的大量教學(xué)學(xué)位生修學(xué)生R稱數(shù)據(jù)的基礎(chǔ)上,建立合適的維度模型,提供給用戶多維度多姓名系名層次的分析，對于及時(shí)準(zhǔn)確掌握教學(xué)狀況、把握教學(xué)質(zhì)量、項(xiàng)目數(shù)專業(yè)論文數(shù)班級合理配置師資等都有著重要意義。1維度模型設(shè)計(jì)圖一星型數(shù)據(jù)倉庫模型維度模型設(shè)計(jì)是0LAP分析實(shí)施的重要- -環(huán), 可提供給用2聯(lián)機(jī)分析處理戶-個(gè)感興趣的多維視圖,包含事實(shí)表和維度表。維度模型2.1數(shù)據(jù)源結(jié)構(gòu)是圍繞著用戶所關(guān)心的主題來組織數(shù)據(jù),該主題用事實(shí)表表基于聯(lián)機(jī)分析處理技術(shù)的教學(xué)數(shù)據(jù)分析,其維度模型建示,事實(shí)表包括每個(gè)相關(guān)維表的關(guān)鍵字和數(shù)值度量.維度是立在原有的學(xué)生信息數(shù)據(jù)庫(圖二(a) )、教工科研信息數(shù)據(jù)人們觀察數(shù)據(jù)的特定角度。庫(圖二(b) )和教務(wù)管理數(shù)據(jù)庫(圖二(c) )三個(gè)數(shù)據(jù)源基基于聯(lián)機(jī)分析處理的教學(xué)數(shù)據(jù)分析維度模型采用的是星礎(chǔ)上。中國煤化工FoxPro 數(shù)據(jù)庫和型結(jié)構(gòu)，如圖一所示，包含-張事實(shí)表和四個(gè)維度表。事實(shí)saL Ser!YHC N M H GPTS抽取工具,分別79科技廣場20075從這三個(gè)數(shù)據(jù)源中抽取相關(guān)教學(xué)數(shù)據(jù),將多年來大學(xué)物理課OLAP多維度分析程的考試成績數(shù)據(jù)、以及相關(guān)的教師數(shù)據(jù)和學(xué)生數(shù)據(jù),按照維度模型集中存放在SQL SERVER 2000數(shù)據(jù)庫中,實(shí)現(xiàn)面向教學(xué)業(yè)務(wù)分析主題的數(shù)據(jù)集成、存儲和管理。采用OLAP工具實(shí)現(xiàn)專門針對教學(xué)效果、教師課時(shí)量和課程選修情況等多維教學(xué)數(shù)據(jù)分析度的分析。維度模型收據(jù)ETL| 學(xué)生信息數(shù)據(jù)庫教師科研信息庫 教務(wù)信息數(shù)據(jù)岸文本文件|VisualFoxproSQL SERVR圖三教學(xué)數(shù)據(jù)分 析的體系結(jié)構(gòu)(a)學(xué)生信息庫結(jié)構(gòu)類型存在不同，一般只要知道數(shù)據(jù)結(jié)構(gòu)信息,完成源數(shù)據(jù)結(jié)構(gòu)到目的數(shù)據(jù)結(jié)構(gòu)之間的映射就可以了，而無需關(guān)心數(shù)據(jù)內(nèi)容及其含義。例如系統(tǒng)實(shí)現(xiàn)過程中為解決“學(xué)生維度表”數(shù)據(jù)轉(zhuǎn)換時(shí)所遇到的源數(shù)據(jù)和目的數(shù)據(jù)的字段名沖突和數(shù)據(jù)類型沖突的問題，則可直接將源數(shù)據(jù)字段(單位、系名)與目的數(shù)據(jù)字段(學(xué)院、系別) -- -對應(yīng)， 若其數(shù)據(jù)類型不一-致，可運(yùn)用數(shù)據(jù)類型轉(zhuǎn)換函數(shù)(如cstr( )等),進(jìn)行類型轉(zhuǎn)換。以下是用于實(shí)現(xiàn)“學(xué)生維度表”中“學(xué)院”、“系別”和“學(xué)(b)教師科研信息庫結(jié)構(gòu)號”三個(gè)字段數(shù)據(jù)轉(zhuǎn)換的Microsoft DTS ActiveX轉(zhuǎn)換代碼:課程信息表選評成績表學(xué)生信息表+Function Main()DISDestination("學(xué)院") = trim (DISSource("單位"))青程名年DISDestination("系別") = trim(DTSSource("系名"))DISDestination("學(xué)號") = cstr (DISSource("學(xué)號"))Main = DISTransformStat OKEnd Function口建學(xué)生題語義異構(gòu)比語法異構(gòu)要復(fù)雜得多，往往需要破壞字段的(c)教務(wù)數(shù)據(jù)庫結(jié)構(gòu)原子性,即需要直接處理數(shù)據(jù)內(nèi)容,語義異構(gòu)往往需要多步圖二數(shù)據(jù)源結(jié)構(gòu)驟轉(zhuǎn)換。例如在進(jìn)行“教師維度表"的“論文數(shù)”和“項(xiàng)目2.2體系結(jié)構(gòu)數(shù)"字段轉(zhuǎn)換時(shí)，所遇到的是源數(shù)據(jù)字段(論文題目、項(xiàng)目基于聯(lián)機(jī)分析處理技術(shù)的數(shù)據(jù)分析體系結(jié)構(gòu)大體可以分名稱)和目的數(shù)據(jù)字段(論文數(shù)、項(xiàng)目數(shù))在字段內(nèi)容上的為三部分，如圖三所示。后臺是數(shù)據(jù)獲取層，完成從數(shù)據(jù)源轉(zhuǎn)換，其轉(zhuǎn)換要分為兩個(gè)步驟:系統(tǒng)將相關(guān)的教學(xué)數(shù)據(jù)抽取、轉(zhuǎn)換和裝載到多維模型數(shù)據(jù)倉(1)先將數(shù)據(jù)源中的字符類型字段“論文題目”和“項(xiàng)庫的工作;中間層是數(shù)據(jù)存儲層，完成數(shù)據(jù)的組織、存儲和目名稱”分別轉(zhuǎn)換成臨時(shí)表一“教師臨時(shí)維表” 中的整型計(jì)算引擎的功能;前端是數(shù)據(jù)展現(xiàn)層,使用OLAP 分析工具字段“論文數(shù)”和“項(xiàng)目數(shù)”，其ActiveX 轉(zhuǎn)換代碼如下:進(jìn)行數(shù)據(jù)分析，并將分析結(jié)果以圖表方式展示。2.3數(shù)據(jù)轉(zhuǎn)換if DTSSource(" 論文題目")o"" then系統(tǒng)采用Microsoft DTS作為數(shù)據(jù)抽取工具，負(fù)責(zé)完成DTSDestination("論文數(shù)") =1數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)庫轉(zhuǎn)換的過程,這是實(shí)施0LAP維度e1se模型的重要步驟。在進(jìn)行數(shù)據(jù)轉(zhuǎn)換工作時(shí)，會遇到數(shù)據(jù)源異DTSDestination(" 論文數(shù)") =0構(gòu)性問題，異構(gòu)性的主要難點(diǎn)表現(xiàn)在語法異構(gòu)和語義異構(gòu)上。中國煤化工名稱"))0”. then語法異構(gòu)一般指源數(shù)據(jù)和目的數(shù)據(jù)之間命名規(guī)則和數(shù)據(jù)YHC NMH G") =lelseDTSDestination("項(xiàng)目數(shù)") =0優(yōu)的比河良的比所中的比傳差的比的end ifMain = DTSTransformStat _OK1994 0.160.14 0.39、 0.02基End Function1995 0.1 0.45 0.39 0.02(2)然后再進(jìn)行-次轉(zhuǎn)換，將“教師臨時(shí)維表"中的19960. 180.52 0.28 0.02機(jī)整型字段“論文數(shù)”和“項(xiàng)目數(shù)”按“姓名”字段分組后再1997 0.170.51 0.29 0.03求和，最終完成目的數(shù)據(jù)字段“論文數(shù)”和“項(xiàng)目數(shù)”的轉(zhuǎn)19980. 130.52 0.32 0.03換。其SQL代碼為:1999 0.16 0.42 0.38 0.05SELECT distinct SUM(論文數(shù)) AS論文數(shù). suN(項(xiàng)目20000.05 0.28 0.59 0.09數(shù)) AS項(xiàng)目數(shù)FROM 教師臨時(shí)維表GROUP BY姓名20010.05 0.34 0.49 0.12|的2.4分析結(jié)果采用Business 0bject 公司的B05.0作為OLAP引|擎和前20020.05 L 0.280.57 0. 10端展示工具，可以從SQL標(biāo)準(zhǔn)數(shù)據(jù)庫中提取數(shù)據(jù)，并對所提20030.07 0.33 0.54 0.06析取的數(shù)據(jù)進(jìn)行深人分析和加工(如鉆取、旋轉(zhuǎn)，切片和切塊)，最終共享分析報(bào)表。應(yīng)用OLAP技術(shù)可對學(xué)生成績進(jìn)行圖三0LAP分析結(jié)果(b)多維分析。3結(jié)束語(1)不同教師教學(xué)效果情況分析文章介紹了基于聯(lián)機(jī)分析處理技術(shù)的教學(xué)數(shù)據(jù)分析與處將教師按職稱、學(xué)位、教齡.教研狀況進(jìn)行分類,根據(jù)理的方案設(shè)計(jì)與實(shí)現(xiàn)，并對大學(xué)物理課程的教學(xué)數(shù)據(jù)進(jìn)行分每項(xiàng)分類0LAP可進(jìn)行教師教學(xué)效果情況的分析，從而得到不析.該分析處理方法彌補(bǔ)了傳統(tǒng)教學(xué)評價(jià)方法的不足，可多同職稱、學(xué)位、教齡和教研狀況教師教學(xué)效果情況的比較。角度、多層次、準(zhǔn)確迅速總結(jié)教學(xué)效果的狀況,最終達(dá)到促如圖三(a)所示，從教師職稱與考試成績的分析圖表中，可進(jìn)教學(xué)質(zhì)量提高的目的。采用聯(lián)機(jī)分析處理技術(shù)對大學(xué)物理以直觀反映出職稱與教學(xué)效果的關(guān)系。課程的教學(xué)數(shù)據(jù)在其他方面的分析應(yīng)用還有待于今后進(jìn)步(2)不同時(shí)間段教學(xué)效果情況分析的研究，同時(shí)該數(shù)據(jù)分析方法還可用于其他公共課程的教學(xué)OLAP可按時(shí)間，如學(xué)期、學(xué)年,對教學(xué)數(shù)據(jù)進(jìn)行切塊,數(shù)據(jù)分析.可反映出不同時(shí)間段內(nèi)的教學(xué)效果情況,從而可以得到不同時(shí)間段內(nèi)實(shí)施的教學(xué)政策或教學(xué)改革措施對教學(xué)效果產(chǎn)生的參考文獻(xiàn)影響。如圖三(b)所示,從考試成績按學(xué)年的分布表中,可[1]Ralph Kimbell, Nargy Ross. The Data Warehouse以看出2000年以后學(xué)生成績有所下降,而高校擴(kuò)招政策正是Toolkit: the Complete Guide to Dimensional Modeling從2000年開始實(shí)施,因而可引導(dǎo)學(xué)校決策部門及時(shí)進(jìn)行原因M.北京:電子工業(yè)出版社, 2003.分析，以解決問題。[2]陳躍國,王京春.數(shù)據(jù)集成綜述[] .計(jì)算機(jī)科學(xué),2004(3)其他因素對教學(xué)效果的影響年,31(5) :48.還可通過教材、修課學(xué)生等維度進(jìn)行教學(xué)效果的分析,[3]王珊.數(shù)據(jù)倉庫技術(shù)與聯(lián)機(jī)分析處理[W].北京:科從而輔助教學(xué)管理部門及時(shí)掌握教學(xué)狀況，合理進(jìn)行相關(guān)教學(xué)出版社，1999.學(xué)政策的制定。作者簡介封玲(1972-),女,碩士研究生,主要研究方向:數(shù)據(jù)庫、數(shù)據(jù)倉庫;0.400.350.300.0F的比何只的1比何的比例0.050.00 副教視代的比剪中國煤化工圖三OLAP 分析結(jié)果(a)MYHCNMHG__81