數(shù)字IGITCW通信Digital Communication大數(shù)據(jù)分析與處理方法分析孔志文(廣東省民政職業(yè)技術學校，廣州510310)[摘要]科學技術是第一生產(chǎn)力，生產(chǎn)力決定了生產(chǎn)關系的變化。大數(shù)據(jù)時代的到來，給予了社會經(jīng)濟生活嶄新的變化，大數(shù)據(jù)環(huán)境下，經(jīng)濟運行方式顛覆了傳統(tǒng)的發(fā)展狀態(tài)，在龐大的人群和應用市場下，大數(shù)據(jù)給各個行業(yè)帶來了劃時代的改革，數(shù)據(jù)影響著商業(yè)的發(fā)展未來，數(shù)據(jù)給市場探索提出了基礎性的解決方案，通過對數(shù)據(jù)的觀察、分析和總結(jié)，開始了各種業(yè)務的精準定位和具體拓展。[關鍵詞]大數(shù)據(jù);分析;處理;方法. [中圖分類號] TP311.52[文獻標識碼] A[文章編號] 1672-7274 (2015) 12-0032-01引言.語義引擎，能解析、提取、分析數(shù)據(jù)，完成使用者所需要的信息大數(shù)據(jù)是信息時代人們最為感興趣的話題，大數(shù)據(jù)的到來席提取卷了各個領域的現(xiàn)實發(fā)展狀態(tài)。大數(shù)據(jù)利用IT技術支持引領了三、大數(shù)據(jù)處理方法新的基礎架構(gòu)，在傳統(tǒng)的計算領域和存儲領域，借助私密數(shù)據(jù)和1.大數(shù)據(jù)處理流程公開數(shù)據(jù)的集合，打破了信息的局限，使數(shù)據(jù)資源能夠統(tǒng)- - 到一個全新的平臺，實現(xiàn)數(shù)據(jù)對于商業(yè)模式的沖擊。數(shù)據(jù)就是企業(yè)擁大數(shù)據(jù)整個處理流程可概括為四步。一是大數(shù)據(jù)采集過程。有的信息總量，而信息是市場變化中能夠變成競爭優(yōu)勢的物質(zhì)，用戶端數(shù)據(jù)通過多個數(shù)據(jù)庫來接收，用戶可以通過這些數(shù)據(jù)進有了大范圍、大面積的信息數(shù)量，就會擁有掌握市場變化的砝碼。行簡單的查詢和處理，在大數(shù)據(jù)采集過程中，可能有大量的用戶大數(shù)據(jù)實際上就是具有突破性的經(jīng)濟技術力量，既是經(jīng)濟發(fā)展的來進 行訪問和操作，并發(fā)訪間和使用量高，有時可峰值可達上資源集合，也是科學技術進步到一-定程度的展示。在新興商業(yè)模百萬，需要采集端部署大量的數(shù)據(jù)庫才能支持正常運行。二是進式的前提下，大數(shù)據(jù)能夠為客戶帶來實質(zhì)性的經(jīng)濟增長效果，是行 大數(shù)據(jù)統(tǒng)計和分析過程。統(tǒng)計和分析是通過對分布式計算集群多個領域參與競爭取得優(yōu)勢的法寶。內(nèi)存儲的數(shù)據(jù)進行分析和分類匯總，通過大數(shù)據(jù)處理方法，以滿足使用者需求，統(tǒng)計與分析主要特點和挑戰(zhàn)是分析所涉及的數(shù)據(jù)一、大數(shù)據(jù)分析數(shù)據(jù)分析是一個數(shù)據(jù)收集、處理并獲取信息的過程，它建立量大，極大地占用系統(tǒng)資源。三是大數(shù)據(jù)導入和預處理過程。因在審計分析模型基礎上，進行核對數(shù)據(jù)、檢查數(shù)據(jù)、復算數(shù)據(jù)和為采集端本身有很多數(shù)據(jù)庫，在統(tǒng)計和分析數(shù)據(jù)時，如果對這些判斷數(shù)據(jù)等操作，將審計數(shù)據(jù)的理想狀態(tài)與現(xiàn)實狀態(tài)相比較，發(fā)海量數(shù)據(jù)進行有效分析，還應該把來自各個前端數(shù)據(jù)導入集中的現(xiàn)審計線索，通過在雜亂無章的信息數(shù)據(jù)中集中、提煉和萃取有大型分布式數(shù)據(jù)庫，也可以導入分布式存儲集群，導入后在集群效信息進行內(nèi)在規(guī)律研究，審計證據(jù)搜集的整個過程。大數(shù)據(jù)分基礎.上再進行簡單的清洗和預處理工作，導入和預處理環(huán)節(jié)主要析則是巨大的規(guī)模數(shù)據(jù)分析，通過大量數(shù)據(jù)研究，在其研究過程特點是導入數(shù)據(jù)量大，每秒導入量經(jīng)常達到幾百兆，有時會達到中尋找其他有用的信息，能幫助求助者分析處理相關信息，做出千兆級別。四是大數(shù)據(jù)挖掘過程。數(shù)據(jù)挖掘與統(tǒng)計分析過程不同的是數(shù)據(jù)挖掘沒有預先設定好的主題，主要在依據(jù)現(xiàn)有的數(shù)據(jù)進更加準確的決策。行計算，從而實現(xiàn)- -些高級別數(shù)據(jù)分析的需求，達到預測效果。大數(shù)據(jù)分析比較傳統(tǒng)的數(shù)據(jù)分析具有數(shù)量更大、查詢分析更2.大數(shù)據(jù)處理技術為復雜的特點。某種程度來說，大數(shù)據(jù)是數(shù)據(jù)分析的最前沿技術，從各類數(shù)據(jù)中，快速獲得有價值信息的能力。具體地說大數(shù)據(jù)的(1)Hadoop架構(gòu)。Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布特點具有五個層面:數(shù)據(jù)量更大，數(shù)據(jù)體量從TB級別躍升PB式處理的軟件框架。 Hadoop 具有可靠性，能維護多個工作數(shù)據(jù)級別;速度更快，具有1秒定律;類型更多，涵蓋網(wǎng)絡視頻、日志、副本，可以對存儲失敗的節(jié)點重新分布處理。它具有高效性，通圖品、地理位置等大量信息;商業(yè)價值高，以視頻為例，連續(xù)不過并行處理加快處理速度。具有可伸縮性，能夠處理PB級數(shù)據(jù)。間斷的監(jiān)控過程中，可能有用的數(shù)據(jù)僅有一-兩秒:真實性更強，Hadoop架構(gòu)的關鍵點是借助大量PC構(gòu)成-一個 PC群難以實現(xiàn)對獲取、搜集的信息更具有可用性和真實性。大數(shù)據(jù)隨IT行業(yè)而誕數(shù)據(jù)的處理。處理數(shù)據(jù)時，現(xiàn)分析數(shù)據(jù)，后結(jié)合分配的相應電腦生的一一個行業(yè)詞匯，隨著IT業(yè)的飛速發(fā)展，行業(yè)人士越來越爭相處理 數(shù)據(jù)，最后整合數(shù)據(jù)處理結(jié)果。追捧大數(shù)據(jù)所帶來的數(shù)據(jù)分析、數(shù)據(jù)安全、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘四、結(jié)語等利潤焦點，隨著大數(shù)據(jù)的時代到來，大數(shù)據(jù)分析也應運而生。對數(shù)據(jù)價值的正確認識，使得越來越多的行業(yè)開始轉(zhuǎn)變傳統(tǒng)二、大數(shù)據(jù)分析的基本方面的做法。大數(shù)據(jù)把數(shù)據(jù)價值推向首位，在認同數(shù)據(jù)價值的前提下，大數(shù)據(jù)分析可以劃分為五個基本方面。一是具有預測性分析各個行業(yè)都將數(shù)據(jù)價值作為行業(yè)發(fā)展的重要參考性目標，使數(shù)據(jù)能力。分析員可以通過數(shù)據(jù)挖掘來更好地理解數(shù)據(jù)，而預測性分價值和大數(shù)據(jù)時代以及行業(yè) 發(fā)展形成一一個有機的鏈條。數(shù)據(jù)是資析是分析員在數(shù)據(jù)挖掘的基礎上結(jié)合可視化分析得到的結(jié)果做出源，數(shù)據(jù)開發(fā)需要技術的升級和更新，而技術進步與產(chǎn)品開發(fā)具一些預測性的判斷。二是具有數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理能力。數(shù)據(jù)管有一 -致性。 數(shù)據(jù)價值認定是各個行業(yè)公認的標準性技術，是新時理和數(shù)據(jù)質(zhì)量是數(shù)據(jù)分析的重點,是應用在管理方面的最佳實踐，期行業(yè)發(fā)展的主攻力量。計算機、數(shù)據(jù)、商業(yè)構(gòu)成了一個嶄新的通過數(shù)據(jù)的標準化流程和工具，可以達到一個預先設定好的高質(zhì)模式，數(shù)據(jù)具有高度的靈活性，因此，數(shù)據(jù)也會通過技術改變，量的分析結(jié)果。三是具有可視化分析能力?？梢暬欠沼诜治龀尸F(xiàn)出不同程度的新變化，以適應各個行業(yè)的需求。專家和使用用戶的，數(shù)據(jù)可視化是數(shù)據(jù)分析的基本要求，它可以參考 文獻通過屏幕顯示器直觀地展示數(shù)據(jù)，提供給使用者，還可以讓數(shù)據(jù)[1]王堯，基于大數(shù)據(jù)的數(shù)據(jù)處理方法研究分析，數(shù)字技術與應用，2014自己說話，讓使用者聽到結(jié)果。四是具有數(shù)據(jù)挖掘算法?？梢暬?期是給數(shù)據(jù)專家和使用用戶提供的，數(shù)據(jù)挖掘是給機器使用的，通[2]程學旗，靳小龍，王元卓， 郭嘉豐，張鐵贏，李國杰，大數(shù)據(jù)系統(tǒng)和過集群、分割、孤立點分析等算法，深入數(shù)據(jù)內(nèi)部，挖掘使用價值，分析技術綜述，2014年 9期數(shù)據(jù)挖掘算法不僅要處理大量的大數(shù)據(jù)，也要保持處理大數(shù)據(jù)的[3] 王桂強，海量數(shù)中國煤化工大學，2010年運行速度。五是具有語義引擎。語義引擎能從“文檔”中只能提作者簡介:孔志文廣東省廣州市學歷:取信息，解決了非結(jié)構(gòu)化數(shù)據(jù)多樣性帶來的數(shù)據(jù)分析困擾，通過本科職稱:計算機MHCNMHG挖據(jù)等。32 DIGITCW2015.12