仿佛只是一夜之間，“大數(shù)據(jù)(Big Data)”火了。

那一個(gè)個(gè)關(guān)于大數(shù)據(jù)的傳奇故事，一樁樁爭奪大數(shù)據(jù)制高點(diǎn)而展開的并購案，一個(gè)接一個(gè)輪流發(fā)布大數(shù)據(jù)戰(zhàn)略的IT廠商，還有那一場場以大數(shù)據(jù)為主題的各種研討會(huì)，無一不在宣告，IT界又迎來了新的興奮點(diǎn)、新的機(jī)遇，同時(shí)，也是新的挑戰(zhàn)。

“數(shù)”中自有黃金屋

嚴(yán)格地說，大數(shù)據(jù)并非一個(gè)新詞，被譽(yù)為“數(shù)據(jù)倉庫之父”的Bill Inmon早在上個(gè)世紀(jì)90年代就經(jīng)常將“Big Data”掛在嘴邊了。大數(shù)據(jù)之所以在近一兩年迅速走紅，要?dú)w結(jié)于互聯(lián)網(wǎng)、移動(dòng)設(shè)備、物聯(lián)網(wǎng)和云計(jì)算的迅猛發(fā)展，使得人類每分每秒都在產(chǎn)生巨量數(shù)據(jù)——從出現(xiàn)文明到2003年，人類總共才創(chuàng)造 5 EB(5 ExaBytes)的數(shù)據(jù)，但是我們現(xiàn)在僅在兩天內(nèi)就創(chuàng)造出相同的數(shù)據(jù)量。來自IDC全球存儲(chǔ)及大數(shù)據(jù)研究項(xiàng)目副總裁Benjamin Woo表示，到2020年，全球數(shù)據(jù)使用量預(yù)計(jì)暴增44倍，達(dá)到35.2ZB。35ZB是什么概念呢?(1ZB=1024EB=1048576PB=1073741824TB，1073741824TB×35=37580963840TB)，也就是說全球大概需要376億個(gè)1TB硬盤來存儲(chǔ)數(shù)據(jù)。

但是大數(shù)據(jù)并非單指數(shù)據(jù)量之大。對于大數(shù)據(jù)，IDC的定義是：“為了更經(jīng)濟(jì)地從高頻率獲取的、大容量的、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價(jià)值，而設(shè)計(jì)的新一代架構(gòu)和技術(shù)。”人們普遍將該定義概括為四個(gè)V，即更大的容量(volume，從TB級(jí)躍升至PB級(jí)，甚至EB級(jí))、更高的多樣性(variety，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù))，以及更快的生成速度(velocity)。前面三個(gè)“V”的組合推動(dòng)了第四個(gè)因素——價(jià)值(value)。

關(guān)于大數(shù)據(jù)所蘊(yùn)含的價(jià)值，有許多為人所津津樂道的故事可以佐證：

美國印地安那大學(xué)和英國曼徹斯特大學(xué)的學(xué)者通過提取Twitter上的非結(jié)構(gòu)化數(shù)據(jù)分析公眾情緒，再將情緒曲線與道瓊斯工業(yè)指數(shù)進(jìn)行對照分析，發(fā)現(xiàn)可以提前3~4天預(yù)測股市大盤走勢?；诖耍麄円呀?jīng)推出了歐洲第一只基于社交媒體的對沖基金。

                                                                                            （單位：百萬美元）

又例如，英國的科學(xué)家根據(jù)Twitter的數(shù)據(jù)來跟蹤流感的爆發(fā)。他們主要基于用戶發(fā)布信息中的關(guān)鍵詞，例如“我頭痛”等，并結(jié)合用戶的發(fā)布地點(diǎn)，按區(qū)域與英國衛(wèi)生部的官方數(shù)據(jù)進(jìn)行了比較，最終建立起一個(gè)預(yù)測模型。創(chuàng)業(yè)團(tuán)隊(duì)“SickWeather”甚至以預(yù)測疾病為主題開展了自己的創(chuàng)業(yè)項(xiàng)目。

象這樣的大數(shù)據(jù)經(jīng)典案例還有不少，而整個(gè)商業(yè)社會(huì)對大數(shù)據(jù)將帶來的影響給出了極高的評(píng)價(jià)——

麥肯錫全球研究機(jī)構(gòu)在2011年5月發(fā)布的《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個(gè)前沿領(lǐng)域》中表示，充分利用大數(shù)據(jù)可幫助全球個(gè)人定位服務(wù)提供商增加1000億美元收入、幫助歐洲公共部門的管理每年提升2500億美元產(chǎn)值、幫助美國醫(yī)療保健行業(yè)每年提升3000億美元產(chǎn)值，并可幫助美國零售業(yè)獲得60%以上的凈利潤增長。

在今年年初的瑞士達(dá)沃斯論壇上，一份題為《大數(shù)據(jù)，大影響》(Big Data，Big Impact)的報(bào)告宣稱，數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類別，就像貨幣或黃金一樣。

而《華爾街日報(bào)》在文章《科技變革即將引領(lǐng)新的經(jīng)濟(jì)繁榮》中更是大膽預(yù)測：“我們再次處于三場宏大技術(shù)變革的開端，他們可能足以匹敵20世紀(jì)的那場變革，這三場變革的震中都在美國，他們分別是大數(shù)據(jù)、智能制造和無線網(wǎng)絡(luò)革命。”

更加值得關(guān)注的則是，美國已經(jīng)把大數(shù)據(jù)上升到了國家戰(zhàn)略的層面。根據(jù)美國白宮今年3月29日新聞，奧巴馬政府宣布投資2億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”，希望增強(qiáng)收集海量數(shù)據(jù)、分析萃取信息的能力。

在我國，大數(shù)據(jù)作為一個(gè)較新的概念，目前尚未直接以專有名詞被我國政府提出來給予政策支持。不過，在2012年12月8日工信部發(fā)布的物聯(lián)網(wǎng)“十二五”規(guī)劃上，信息處理技術(shù)作為四項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一已經(jīng)被提出來，其中包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分。而另外三項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程，包括信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù)，也都與大數(shù)據(jù)密切相關(guān)。

大數(shù)據(jù)的價(jià)值和重要性已經(jīng)毋庸置疑，但大數(shù)據(jù)究竟帶來了哪些新的技術(shù)趨勢，它對當(dāng)前IT產(chǎn)業(yè)的勢力格局會(huì)造成何種影響，更關(guān)鍵的是，每個(gè)企業(yè)如何才能獲取大數(shù)據(jù)中的“寶藏”?則是我們真正關(guān)注的焦點(diǎn)。

淘金的工具、流程與方法

作為一門新興科學(xué)，大數(shù)據(jù)帶來新的挑戰(zhàn)的同時(shí)，催生了許多新的技術(shù)和趨勢。

“現(xiàn)有的軟件和工具主要適用于以結(jié)構(gòu)化數(shù)據(jù)為主的傳統(tǒng)數(shù)據(jù)，要想及時(shí)捕捉、存儲(chǔ)、聚合和管理這些大數(shù)據(jù)，以及對數(shù)據(jù)進(jìn)行深度分析和挖掘，我們不得不需要新的技術(shù)和能力。”英特爾亞太研發(fā)有限公司總經(jīng)理何京翔說。

英特爾亞太研發(fā)有限公司總經(jīng)理 何京翔

這些新技術(shù)包括分布式緩存、基于MPP(海量并行處理)的分布式數(shù)據(jù)庫、分布式文件系統(tǒng)、各種NoSQL分布式存儲(chǔ)方案等，而其中最炙手可熱的新技術(shù)就是Hadoop。

Hadoop主要由HDFS、MapReduce和Hbase組成。 它是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)，用戶可以在不了解分布式底層細(xì)節(jié)的情況下開發(fā)分布式程序。簡單地說來，Hadoop是一套開源的、基礎(chǔ)是Java的、能夠讓數(shù)千臺(tái)x86服務(wù)器組成一個(gè)穩(wěn)定的、強(qiáng)大的集群，對Pb級(jí)別的大數(shù)據(jù)進(jìn)行存儲(chǔ)、計(jì)算的軟件平臺(tái)。谷歌、雅虎、亞馬遜、Facebook，以及國內(nèi)的淘寶、百度等都采用了Hadoop技術(shù)來處理海量數(shù)據(jù)。

盡管Hadoop是開源軟件，但英特爾、IBM、Cloudera等廠商都推出他們各自的Hadoop特別發(fā)行版本。這些特別發(fā)行版本一般都會(huì)有一些附加特性，比如高級(jí)管理工具及相關(guān)的支持維護(hù)服務(wù)，主要適合企業(yè)用戶。畢竟絕大多數(shù)企業(yè)用戶都和互聯(lián)網(wǎng)公司一樣具有強(qiáng)大的技術(shù)實(shí)力，采用具有商業(yè)支持的開源Hadoop技術(shù)能夠快速切入到大數(shù)據(jù)應(yīng)用中去。民生證券技術(shù)總監(jiān)顏陽就特別強(qiáng)調(diào)：“做大數(shù)據(jù)的分析與應(yīng)用，全靠企業(yè)自身的話還是很有難度，也不見得是最省事的方式，而且最核心最有價(jià)值的工作其實(shí)是建立分析模型。因此，我建議企業(yè)用戶在大數(shù)據(jù)平臺(tái)建設(shè)上借助商用的大數(shù)據(jù)解決方案或有商業(yè)支持的開源技術(shù)，從而將更多的精力投入在商業(yè)模式上。”

民生證券技術(shù)總監(jiān) 顏陽

在大數(shù)據(jù)的具體處理流程上，人文科技創(chuàng)始人吳朱華表示：“大數(shù)據(jù)的處理流程一般包括采集、導(dǎo)入、分析、挖掘四個(gè)階段，每個(gè)階段都有許多挑戰(zhàn)。”

人文科技創(chuàng)始人 吳朱華