大數(shù)據(jù)革命正FAApache Hadoop為中心如火如荼的進行著。自從開源分布式數(shù)據(jù)處理平臺在5年前發(fā)布時討論之聲就不絕于耳。但在過去的18個月中，Hadoop贏得了客戶的認可，并得到眾多商業(yè)化的支持以及眾多數(shù)據(jù)庫和數(shù)據(jù)集成軟件商的整合。在眾多廠商之中最著名的三個商業(yè)數(shù)據(jù)供應商當屬orack、IBM 和Microsoft。

Hadoop會在未來成為大數(shù)據(jù)的重大技術(shù)嗎?

    Hadoop是一個基于Java的分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架。Hadoop在很大程度上是受Google在2004年白皮書中闡述的MapReduce的技術(shù)啟發(fā)。MapReduce工作原理是將任務分解為成百上千塊的小任務，然后發(fā)送到計算機集群中。每臺計算機再傳送會自己那部分信息，MapReduce則迅速整合這些反饋并形成答案。

    Hadoop的擴展性非常優(yōu)秀，Hadoop可處理分布在數(shù)以千計的低成本x86服務器計算節(jié)點中的大型數(shù)據(jù)。同時由于眾所周知的摩爾定律，內(nèi)存和磁盤的容量也在不斷增長。Hadoop對硬件的支持也在加強，現(xiàn)在每個節(jié)點可部署16核的處理器，12TB甚至24TB磁盤。Cloudera透露其推出的產(chǎn)品每個節(jié)點的成本大約4000美元。這個價格對于關(guān)系數(shù)據(jù)庫部署每TB 10000至12000美元來說極具競爭優(yōu)勢。

    這種高容量低成本的組合引人注目，但Hadoop最吸引人的是其處理混合數(shù)據(jù)類型的能力。

    Hadoop可以管理結(jié)構(gòu)化數(shù)據(jù)，以及諸如服務器日志文件和Web點擊流的數(shù)據(jù)。同時還可以管理以非結(jié)構(gòu)化文本為中心的數(shù)據(jù)，如Facebook和Twitter。這種處理多類型數(shù)據(jù)能力非常重要。它催生了NoSQL平臺和產(chǎn)品。而傳統(tǒng)關(guān)系型數(shù)據(jù)庫如Oracle， IBM DB2， Microsoft SQLServer和MySQL則都不能處理混合數(shù)據(jù)類型和非結(jié)構(gòu)化數(shù)據(jù)。由于事務處理靈活性的需求，Hadoop獲得大多數(shù)數(shù)據(jù)分析廠商的關(guān)注和支持。

Hadoop已被廣泛應用

    現(xiàn)今，Hadoop已被認為是非結(jié)構(gòu)化數(shù)據(jù)的專用技術(shù)。低成本、高擴展性和靈活性等優(yōu)勢已成為處理大規(guī)模點擊流量分析和廣告定位等網(wǎng)絡(luò)巨頭(如AOL和comScore)的首選。

    AOL三年多時間一直使用Hadoop。AOL的研發(fā)團隊在加利福尼亞州的Mountain View部署了300節(jié)點的系統(tǒng)，該系統(tǒng)可以存儲每天數(shù)十億事件和超過500TB的點擊流數(shù)據(jù)。點擊所帶來流數(shù)據(jù)是高度結(jié)構(gòu)化的，但數(shù)據(jù)量是非常龐大和多樣的。所以幾乎不可能處理所有的提取、轉(zhuǎn)換和負載工作。AOL為了解決以上問題決定使用HadoopMapReduce處理分布在數(shù)百個計算節(jié)點的數(shù)據(jù)過濾和關(guān)聯(lián)任務。由于Hadoop為業(yè)務帶來的優(yōu)勢，AOL的Hadoop研發(fā)團隊在今年四月在其總部部署了700節(jié)點的系統(tǒng)。

    Hadoop適用于所有類型數(shù)據(jù)的特性注定將使Hadoop在更廣泛的領(lǐng)域使用。例如提供托管服務和中小型企業(yè)應用服務提供商SunGrad。他們將計劃推出基于云的托管服務，旨在幫助金融服務公司處理他們基于Hadoop MapReduce的數(shù)據(jù)處理。

    商用軟件廠商Tidemark最近也推出一款SaaS軟件，這種基于云的性能管理應用使用MapReduce將混合數(shù)據(jù)源轉(zhuǎn)化為產(chǎn)品或金融規(guī)劃方案。

核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領(lǐng)域、行業(yè)應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.vmgcyvh.cn/

本文標題：Hadoop掀起大數(shù)據(jù)革命：三巨頭齊發(fā)力

本文網(wǎng)址：http://www.vmgcyvh.cn/html/consultation/1083936031.html