第7卷第4期襄樊職業(yè)技術(shù)學院學報VoL7 No.42008年7月Joumal of Xiangfan Vocational and Technical CollegeJul .2008RRDtool性能優(yōu)化的研究與實現(xiàn)吳綱(湖北工業(yè)大學計算機學院, 湖北武漢430068)摘要:對Linux下開源軟件RRDtool進行了簡單的介紹,闡明了RRDtool存在性能優(yōu)化的空間,分析了RRD數(shù)據(jù)庫文件格式,提出了提高性能的RRDServer 后臺服務進程設(shè)計方案,并給出了相關(guān)的測試方法、測試結(jié)果與結(jié)論。關(guān)鍵詞:流量檢測系統(tǒng);RRD;DS中圖分類號:TP315文獻標識碼:A文章編號:1671-914X(2008)04 -0007 -031 RRDtool與RRD數(shù)據(jù)庫RRADSrRDtool全稱為round robin database tool,通常RRAo,0DSHDS2DS_-IDS。~RRAo, 1DS_I)S。應用在網(wǎng)絡流量系統(tǒng)中,用來存儲網(wǎng)絡流量信息。由于網(wǎng)絡流量較快，普通數(shù)據(jù)庫如MySQL.oracle很難RRAo,koDS.滿足在容量與性能等方面的需求,RRDtool卻用---種RRA,0特殊的設(shè)計方式解決了此類問題[2引1。RRDtool 以某RRA,k種統(tǒng)計形式(最大值、最小值、平均值等)來循環(huán)存儲RRA2,ODS，DS_1.............歷史數(shù)據(jù),從數(shù)據(jù)結(jié)構(gòu)的角度說就是循環(huán)隊列,從而RRA2,ks .實現(xiàn)了RRD數(shù)據(jù)庫文件大小不變的特性(1。RRDtool目前在設(shè)計上也存在一定的缺陷，如在RRA.m__DSDS,圖1RRA與DS的關(guān)系圖提取數(shù)據(jù)時只能提取所有的數(shù)據(jù)源，不能按數(shù)據(jù)源(DS)名稱提取數(shù)據(jù),靈活性較差。同時,由于RRD-cookieversiontool的數(shù)據(jù)更新為磁盤操作,對于某些實時系統(tǒng)頻繁ds countma count地更新、索引數(shù)據(jù)很不利,如果能夠?qū)RDtool的數(shù)last update time據(jù)庫文件放在內(nèi)存中將極大地提高系統(tǒng)的性能。所RRAg,0以無論在RRDtoo的靈活性和性能方面都有非常大RRAo,1.DS_ DS。的改進空間。RRAz.02RRD數(shù)據(jù)庫格式分析通過RRDtool創(chuàng)建的RRD數(shù)據(jù)庫文件大體上分成兩部分:數(shù)據(jù)庫文件頭部信息和數(shù)據(jù)庫文件實圖2RRDtool數(shù)據(jù)庫文件整體模型體數(shù)據(jù)部分5。頭部信息中主要包含一些版本信息3 RRD server設(shè)計如版本號、數(shù)據(jù)存儲信息如數(shù)據(jù)源(DataSource)數(shù)本文針對目前RRDtool存在的缺陷和性能方面量,RRA(Round Robin Area)數(shù)量最近更新時間、更的問題對RRDtool進行了一定的改進，改進后的新時間間隔等信息。RRD數(shù)據(jù)文件最重要的部分為RRDtool稱為RRD server。 該RRD server 不改變數(shù)據(jù)實體部分，該部分有兩個重要概念，分別為.RRDtool數(shù)據(jù)文件的存儲形式(RRA形式),目的是對RRA和DS。RRA- _循環(huán)存儲區(qū)域為數(shù)據(jù)載體,DS-數(shù)所有的RRDtool 的數(shù)據(jù)文件進行兼容，同時也減小據(jù)源為數(shù)據(jù)實體。一個RRD數(shù)據(jù)庫文件有多種工作量。RRDserver功能包括:數(shù)據(jù)庫文件load(加RRA，而每種RRA中存在多條RRA紀錄，在每條載)到內(nèi)存、更新內(nèi)存中數(shù)據(jù)庫數(shù)據(jù)、索引內(nèi)存中數(shù)RRA中存儲多個數(shù)據(jù)源(DS)6。據(jù)庫數(shù)據(jù)、網(wǎng)絡功能和數(shù)據(jù)備份功能。圖1為RRA與DS的關(guān)系圖,RRDtool數(shù)據(jù)庫3.1數(shù)據(jù)庫 文件load(加載)到內(nèi)存文件的整體模型如圖2所示中。中國煤化工命令創(chuàng)建的數(shù)據(jù)收璃日期:2008-03-28THCNMHG作者簡介:吳綱(1976- -).男,期北武穴人，武漢職業(yè)技術(shù)學院教師,湖北工業(yè)大學計算機學院20w減以上制九工。-7-第7卷第4期襄樊職業(yè)技術(shù)學院學報2008年第4期庫文件加載到內(nèi)存中。對該數(shù)據(jù)文件的更新全部改RRD server為對內(nèi)存區(qū)域的更新,同時指定一個定時時間間隔,在指定時間間隔到達時，將內(nèi)存中的數(shù)據(jù)更新到物RRD server命令行解析模塊理磁盤.上。3.2更新內(nèi)存中數(shù)據(jù)庫數(shù)據(jù)該功能更新通過第一步加載到內(nèi)存中的數(shù)據(jù)冒|庫,這樣相對于更新磁盤來說,有非常高的系統(tǒng)性能西系提升。信|統(tǒng)據(jù)昌|信存3.3索引 內(nèi)存中數(shù)據(jù)庫數(shù)據(jù)器|顯|儲從第一步加載到內(nèi)存的數(shù)據(jù)庫中提取所需要數(shù)奧|塊獲.快據(jù),相對于從磁盤提取數(shù)據(jù)來說,有非常高的性能提升。3.4 網(wǎng)絡功能圖4 RRDserver 程序框架圖將RRDserver設(shè)計成類似于MySQL的運行模式,數(shù)據(jù)庫的創(chuàng)建、加載、更新、索引等一系列操作都4測試是通過Client的命令行傳輸給Server 端，然后由4.1測試指標Server端進行相關(guān)的處理,Server將處理后的結(jié)果傳RRD server設(shè)計的目的就是彌補缺陷、提高效輸給Client。同時RRD server的一些運行信息,例如.率,但是首要的目標是正確性,所以RRDserver的測定時器時間間隔、數(shù)據(jù)庫備份目錄等Client可以通.試指標分為兩個指標,分別為正確性和運行效率。過get.set命令獲取到。其交互過程如圖3。4.2測試方案4.2.1 RRD server 正確性測試 正確性測試時利用RRD severshell腳本隨機生成數(shù)據(jù)分別向RRDtool和RRDRRD server裝規(guī)文件server插入數(shù)據(jù)，然后從RRDtool和RRD server中提裝載是否成功取數(shù)據(jù),最后對提取的數(shù)據(jù)進行比對,如果提取的數(shù)據(jù).創(chuàng)建數(shù)據(jù)庫創(chuàng)建數(shù)據(jù)庫是否成功一樣,則說明RRDserver滿足正確性,否則不滿足。引數(shù)據(jù)厙數(shù)據(jù)"4.2.2 RRD server性能測試在測試 RRD server性索引數(shù)據(jù)庫數(shù)據(jù)結(jié)果能時采用匯編指令Rdtsc來獲取數(shù)據(jù)更新或提取操更新數(shù)據(jù)庫數(shù)據(jù)作所消耗的時間。Rdtsc是一-條在Penium以上的更新數(shù)據(jù)庫是否成功CPU中提供的匯編指令。該指令能夠取得在開機以提取數(shù)據(jù)庫信息來CPU執(zhí)行的周期數(shù),本文采用內(nèi)聯(lián)匯編的方法將返回數(shù)據(jù)庫信息結(jié)果rdtse匯編進行封裝成-一個 函數(shù)，該函數(shù)返回值為計算機開啟到現(xiàn)在所執(zhí)行的機器周期。測試時,將該函圖3 RRDserver 交互圖.數(shù)放在數(shù)據(jù)更新和數(shù)據(jù)索引的前后位置,將兩者計3.5數(shù)據(jù)備份功能算的結(jié)果進行相減就是該更新或索引所消耗的CPU該功能的作用為保存已有的數(shù)據(jù)以避免在服務執(zhí)行的周期,再將CPU執(zhí)行周期除以CPU的主頻就器出現(xiàn)故障時引起數(shù)據(jù)的丟失。原有RRDtool數(shù)據(jù)為更新與索引的耗時,具體的公式見式(1)。這樣就能的更新和索引都是在磁盤進行操作，這樣不會引起能夠提高測試時間精度。數(shù)據(jù)丟失,但是RRDserver的所有數(shù)據(jù)信息都保留更新和索引耗時=: CPU執(zhí)行周期在內(nèi)存中,如果服務器出現(xiàn)問題，機器重新啟動,那CPU主頻么內(nèi)存中的數(shù)據(jù)將丟失，所以要定時將內(nèi)存中的數(shù)在進行測試時，對RRA與DS不同比例分別進據(jù)保存到硬盤上，以便在出現(xiàn)災難的時候能夠恢復行不同變形次數(shù)的測試，以全面測試RRDserver的到最近的狀態(tài)。定時的時間間隔可以寫在配置文件性能。 RRD serve的整體測試邏輯圖如圖5。中或者由Client端控制。4.3測試結(jié)果在備份了內(nèi)存中的數(shù)據(jù)庫文件后，磁盤上已有本文通過上面的測試方案進行測試得出RRD-的文件也要備份,從而達到雙重保險的功能。該備份server能夠滿足正確性，在此不列舉出測試數(shù)據(jù),性可以由Client發(fā)送命令來啟動，同時能夠設(shè)定備份能測試的部分數(shù)掘如夷1所示的目錄等一系列功能。根據(jù)上面功能點設(shè)計,RRD-中國煤化工樹的RRDserver 與Server程序框架如圖4。RRD.YHCNMHG9所示。通過測試數(shù). 8-吳綱:RRDtool 性能優(yōu)化的研究與實現(xiàn)∞r(nóng)clientRRDerverRRDnool04-RRDtool create西0.02RRDtool update<100N更新次數(shù)RRDtool fetch圖6 RRDServer 性能對比圖(RRA:DS=1:1)RRDrool fetch-致測試失敗)(測試成功圖7 RRDServer 性能對比圖(RRA:DS=1:50)圖5測試邏輯圖裘1 RRDServer 性能測試對比表RRA:DS更新數(shù)量(次) 110140200RRDtool0.0300.038 0.047 0.05:1毛0.1RRDserver0.0060.007 0.009 0.011書a0.056 0.069 0.083 0.0971:500.0160.020 0.025 0.0301:100RRDtoo0.0680.085 0.109 0.1260.027 0.034 0.041 0.049圖8 RRDServer性能對比圖(RRA:DS-=1:100)20:200.0420.048 0.064 0.07(0.0090.011 0.012 0.014十RDSem據(jù)的分析得出在單獨提高RRA或DS的數(shù)量時性能提升較小,大多控制在5到6倍之間,如果能夠同時毛.04提高RRA和DS的數(shù)量則性能提升較大。5結(jié)論通過對上面RRDserver測試結(jié)果的分析得出，RRDserver能夠在正確性和性能上滿足要求,所以改造后的RRDtool-RRDserver能夠應用在具體的項目中以提高系統(tǒng)性能。圖9 RRDServer性能對比圖(RRA:DS=20:20)參考文獻:[1 ]luca Der.fective Traffic Measurement Using ntop[J].Communications Magazine IEEE,2000, 38(5):138-143.[2]謝喜秋,梁潔.網(wǎng)絡流量采集工具的分析和比較[J].電信科學,2002, 184):63- -66.[3] Wlliam Salling. SNMP網(wǎng)絡管理[M].胡成松,汪凱,譯.北京:中國電力出版,2001.[4]唐海娜,李俊.基于RRD的網(wǎng)絡流量監(jiān)測方法[]J]微電子學與計算機,2003 20(7):52 -55.[5] Luca D.Monitoring Networks Using Ntopl[C]Satle1EEE/IFTP Intemati中國煤化工[6] Tobi 0O.RRDTOOL[EB/0Ttp:/:/people e.ethz. chl/~ oetiker/ Webools/[7] Ben R.Cetting Staretd with RRDtol[EB/0:T:tp://www .cuddlecb.comMHCNMHG.(責任編輯:張韶虹).9-