數(shù)字IGITCW通信Digital Communication大數(shù)據(jù)分析與處理方法分析孔志文(廣東省民政職業(yè)技術(shù)學(xué)校，廣州510310)[摘要]科學(xué)技術(shù)是第一生產(chǎn)力，生產(chǎn)力決定了生產(chǎn)關(guān)系的變化。大數(shù)據(jù)時代的到來，給予了社會經(jīng)濟(jì)生活嶄新的變化，大數(shù)據(jù)環(huán)境下，經(jīng)濟(jì)運(yùn)行方式顛覆了傳統(tǒng)的發(fā)展?fàn)顟B(tài)，在龐大的人群和應(yīng)用市場下，大數(shù)據(jù)給各個行業(yè)帶來了劃時代的改革，數(shù)據(jù)影響著商業(yè)的發(fā)展未來，數(shù)據(jù)給市場探索提出了基礎(chǔ)性的解決方案，通過對數(shù)據(jù)的觀察、分析和總結(jié)，開始了各種業(yè)務(wù)的精準(zhǔn)定位和具體拓展。[關(guān)鍵詞]大數(shù)據(jù);分析;處理;方法. [中圖分類號] TP311.52[文獻(xiàn)標(biāo)識碼] A[文章編號] 1672-7274 (2015) 12-0032-01引言.語義引擎，能解析、提取、分析數(shù)據(jù)，完成使用者所需要的信息大數(shù)據(jù)是信息時代人們最為感興趣的話題，大數(shù)據(jù)的到來席提取卷了各個領(lǐng)域的現(xiàn)實(shí)發(fā)展?fàn)顟B(tài)。大數(shù)據(jù)利用IT技術(shù)支持引領(lǐng)了三、大數(shù)據(jù)處理方法新的基礎(chǔ)架構(gòu)，在傳統(tǒng)的計(jì)算領(lǐng)域和存儲領(lǐng)域，借助私密數(shù)據(jù)和1.大數(shù)據(jù)處理流程公開數(shù)據(jù)的集合，打破了信息的局限，使數(shù)據(jù)資源能夠統(tǒng)- - 到一個全新的平臺，實(shí)現(xiàn)數(shù)據(jù)對于商業(yè)模式的沖擊。數(shù)據(jù)就是企業(yè)擁大數(shù)據(jù)整個處理流程可概括為四步。一是大數(shù)據(jù)采集過程。有的信息總量，而信息是市場變化中能夠變成競爭優(yōu)勢的物質(zhì)，用戶端數(shù)據(jù)通過多個數(shù)據(jù)庫來接收，用戶可以通過這些數(shù)據(jù)進(jìn)有了大范圍、大面積的信息數(shù)量，就會擁有掌握市場變化的砝碼。行簡單的查詢和處理，在大數(shù)據(jù)采集過程中，可能有大量的用戶大數(shù)據(jù)實(shí)際上就是具有突破性的經(jīng)濟(jì)技術(shù)力量，既是經(jīng)濟(jì)發(fā)展的來進(jìn) 行訪問和操作，并發(fā)訪間和使用量高，有時可峰值可達(dá)上資源集合，也是科學(xué)技術(shù)進(jìn)步到一-定程度的展示。在新興商業(yè)模百萬，需要采集端部署大量的數(shù)據(jù)庫才能支持正常運(yùn)行。二是進(jìn)式的前提下，大數(shù)據(jù)能夠?yàn)榭蛻魩韺?shí)質(zhì)性的經(jīng)濟(jì)增長效果，是行 大數(shù)據(jù)統(tǒng)計(jì)和分析過程。統(tǒng)計(jì)和分析是通過對分布式計(jì)算集群多個領(lǐng)域參與競爭取得優(yōu)勢的法寶。內(nèi)存儲的數(shù)據(jù)進(jìn)行分析和分類匯總，通過大數(shù)據(jù)處理方法，以滿足使用者需求，統(tǒng)計(jì)與分析主要特點(diǎn)和挑戰(zhàn)是分析所涉及的數(shù)據(jù)一、大數(shù)據(jù)分析數(shù)據(jù)分析是一個數(shù)據(jù)收集、處理并獲取信息的過程，它建立量大，極大地占用系統(tǒng)資源。三是大數(shù)據(jù)導(dǎo)入和預(yù)處理過程。因在審計(jì)分析模型基礎(chǔ)上，進(jìn)行核對數(shù)據(jù)、檢查數(shù)據(jù)、復(fù)算數(shù)據(jù)和為采集端本身有很多數(shù)據(jù)庫，在統(tǒng)計(jì)和分析數(shù)據(jù)時，如果對這些判斷數(shù)據(jù)等操作，將審計(jì)數(shù)據(jù)的理想狀態(tài)與現(xiàn)實(shí)狀態(tài)相比較，發(fā)海量數(shù)據(jù)進(jìn)行有效分析，還應(yīng)該把來自各個前端數(shù)據(jù)導(dǎo)入集中的現(xiàn)審計(jì)線索，通過在雜亂無章的信息數(shù)據(jù)中集中、提煉和萃取有大型分布式數(shù)據(jù)庫，也可以導(dǎo)入分布式存儲集群，導(dǎo)入后在集群效信息進(jìn)行內(nèi)在規(guī)律研究，審計(jì)證據(jù)搜集的整個過程。大數(shù)據(jù)分基礎(chǔ).上再進(jìn)行簡單的清洗和預(yù)處理工作，導(dǎo)入和預(yù)處理環(huán)節(jié)主要析則是巨大的規(guī)模數(shù)據(jù)分析，通過大量數(shù)據(jù)研究，在其研究過程特點(diǎn)是導(dǎo)入數(shù)據(jù)量大，每秒導(dǎo)入量經(jīng)常達(dá)到幾百兆，有時會達(dá)到中尋找其他有用的信息，能幫助求助者分析處理相關(guān)信息，做出千兆級別。四是大數(shù)據(jù)挖掘過程。數(shù)據(jù)挖掘與統(tǒng)計(jì)分析過程不同的是數(shù)據(jù)挖掘沒有預(yù)先設(shè)定好的主題，主要在依據(jù)現(xiàn)有的數(shù)據(jù)進(jìn)更加準(zhǔn)確的決策。行計(jì)算，從而實(shí)現(xiàn)- -些高級別數(shù)據(jù)分析的需求，達(dá)到預(yù)測效果。大數(shù)據(jù)分析比較傳統(tǒng)的數(shù)據(jù)分析具有數(shù)量更大、查詢分析更2.大數(shù)據(jù)處理技術(shù)為復(fù)雜的特點(diǎn)。某種程度來說，大數(shù)據(jù)是數(shù)據(jù)分析的最前沿技術(shù)，從各類數(shù)據(jù)中，快速獲得有價值信息的能力。具體地說大數(shù)據(jù)的(1)Hadoop架構(gòu)。Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布特點(diǎn)具有五個層面:數(shù)據(jù)量更大，數(shù)據(jù)體量從TB級別躍升PB式處理的軟件框架。 Hadoop 具有可靠性，能維護(hù)多個工作數(shù)據(jù)級別;速度更快，具有1秒定律;類型更多，涵蓋網(wǎng)絡(luò)視頻、日志、副本，可以對存儲失敗的節(jié)點(diǎn)重新分布處理。它具有高效性，通圖品、地理位置等大量信息;商業(yè)價值高，以視頻為例，連續(xù)不過并行處理加快處理速度。具有可伸縮性，能夠處理PB級數(shù)據(jù)。間斷的監(jiān)控過程中，可能有用的數(shù)據(jù)僅有一-兩秒:真實(shí)性更強(qiáng)，Hadoop架構(gòu)的關(guān)鍵點(diǎn)是借助大量PC構(gòu)成-一個 PC群難以實(shí)現(xiàn)對獲取、搜集的信息更具有可用性和真實(shí)性。大數(shù)據(jù)隨IT行業(yè)而誕數(shù)據(jù)的處理。處理數(shù)據(jù)時，現(xiàn)分析數(shù)據(jù)，后結(jié)合分配的相應(yīng)電腦生的一一個行業(yè)詞匯，隨著IT業(yè)的飛速發(fā)展，行業(yè)人士越來越爭相處理 數(shù)據(jù)，最后整合數(shù)據(jù)處理結(jié)果。追捧大數(shù)據(jù)所帶來的數(shù)據(jù)分析、數(shù)據(jù)安全、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘四、結(jié)語等利潤焦點(diǎn)，隨著大數(shù)據(jù)的時代到來，大數(shù)據(jù)分析也應(yīng)運(yùn)而生。對數(shù)據(jù)價值的正確認(rèn)識，使得越來越多的行業(yè)開始轉(zhuǎn)變傳統(tǒng)二、大數(shù)據(jù)分析的基本方面的做法。大數(shù)據(jù)把數(shù)據(jù)價值推向首位，在認(rèn)同數(shù)據(jù)價值的前提下，大數(shù)據(jù)分析可以劃分為五個基本方面。一是具有預(yù)測性分析各個行業(yè)都將數(shù)據(jù)價值作為行業(yè)發(fā)展的重要參考性目標(biāo)，使數(shù)據(jù)能力。分析員可以通過數(shù)據(jù)挖掘來更好地理解數(shù)據(jù)，而預(yù)測性分價值和大數(shù)據(jù)時代以及行業(yè) 發(fā)展形成一一個有機(jī)的鏈條。數(shù)據(jù)是資析是分析員在數(shù)據(jù)挖掘的基礎(chǔ)上結(jié)合可視化分析得到的結(jié)果做出源，數(shù)據(jù)開發(fā)需要技術(shù)的升級和更新，而技術(shù)進(jìn)步與產(chǎn)品開發(fā)具一些預(yù)測性的判斷。二是具有數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理能力。數(shù)據(jù)管有一 -致性。 數(shù)據(jù)價值認(rèn)定是各個行業(yè)公認(rèn)的標(biāo)準(zhǔn)性技術(shù)，是新時理和數(shù)據(jù)質(zhì)量是數(shù)據(jù)分析的重點(diǎn),是應(yīng)用在管理方面的最佳實(shí)踐，期行業(yè)發(fā)展的主攻力量。計(jì)算機(jī)、數(shù)據(jù)、商業(yè)構(gòu)成了一個嶄新的通過數(shù)據(jù)的標(biāo)準(zhǔn)化流程和工具，可以達(dá)到一個預(yù)先設(shè)定好的高質(zhì)模式，數(shù)據(jù)具有高度的靈活性，因此，數(shù)據(jù)也會通過技術(shù)改變，量的分析結(jié)果。三是具有可視化分析能力。可視化是服務(wù)于分析呈現(xiàn)出不同程度的新變化，以適應(yīng)各個行業(yè)的需求。專家和使用用戶的，數(shù)據(jù)可視化是數(shù)據(jù)分析的基本要求，它可以參考 文獻(xiàn)通過屏幕顯示器直觀地展示數(shù)據(jù)，提供給使用者，還可以讓數(shù)據(jù)[1]王堯，基于大數(shù)據(jù)的數(shù)據(jù)處理方法研究分析，數(shù)字技術(shù)與應(yīng)用，2014自己說話，讓使用者聽到結(jié)果。四是具有數(shù)據(jù)挖掘算法?？梢暬?期是給數(shù)據(jù)專家和使用用戶提供的，數(shù)據(jù)挖掘是給機(jī)器使用的，通[2]程學(xué)旗，靳小龍，王元卓， 郭嘉豐，張鐵贏，李國杰，大數(shù)據(jù)系統(tǒng)和過集群、分割、孤立點(diǎn)分析等算法，深入數(shù)據(jù)內(nèi)部，挖掘使用價值，分析技術(shù)綜述，2014年 9期數(shù)據(jù)挖掘算法不僅要處理大量的大數(shù)據(jù)，也要保持處理大數(shù)據(jù)的[3] 王桂強(qiáng)，海量數(shù)中國煤化工大學(xué)，2010年運(yùn)行速度。五是具有語義引擎。語義引擎能從“文檔”中只能提作者簡介:孔志文廣東省廣州市學(xué)歷:取信息，解決了非結(jié)構(gòu)化數(shù)據(jù)多樣性帶來的數(shù)據(jù)分析困擾，通過本科職稱:計(jì)算機(jī)MHCNMHG挖據(jù)等。32 DIGITCW2015.12