什麼是大數據?大數據技術的戰略意義不在于掌握龐大的數據信息,而在于對這些有意義的數據進行專業化處理。換句話說,如果把大數據比作一個行業,這個行業盈利的關鍵在于提高數據的“處理能力”,通過“處理”實現數據的“增值”。大數據的概念應用于IT運營工具生成的數據。大數據可以使信息技術管理軟件供應商解決廣泛的業務決策。IT系統、應用程序和技術基礎架構每天每秒都在生成數據。大數據的非結構化或結構化數據代表了“所有用戶的行為、服務級别、安全性、風險、欺詐和其他更多操作”的絕*對記錄。
“大數據”是一種海量、高增長、多樣化的信息資産,需要新的處理模式才能具備更強的決策、洞察發現和流程優化能力。個人認為,“新處理模式”是一個關鍵詞,這是我理解的最關鍵的特征之一,比如“大數據”不同于傳統的統計分析。這種所謂的“新處理模式”有兩層含義:A.由于海量數據以及對更高效的存儲和處理技術的需求,Hadoop已經成為大數據時代的象征;B.如果你認為大數據就是Hadoop,那就大錯特錯了。Hadoop隻是大數據時代的必要條件,大數據的另一個明顯标志就是數據挖掘和人工智能的緊密結合。這也是“大數據”和很多所謂“大數據”項目最明顯的區别之一。
先說說很多人眼中的大數據誤區:
1.隻有大公司才需要預測分析:雖然亞馬遜、塔吉特、沃爾瑪、Zipcar等大型企業是預測分析(尤其是客戶分析)的早期采用者和重要受益者,但各種形式和規模的企業都将受益于智能分析帶來的好處。例如,根據集團客戶分析和行為分析客戶保留模式,然後利用上述數據設計有針對性的推廣工作,可以對任何企業産生立竿見影的影響。
2.大數據是萬*能藥:大數據不是企業的萬*能藥。事實上,獲取更多信息,尤其是關于客戶行為的信息,将為某些企業提供競争優勢,就像互聯網一樣。然而,在許多情況下,相對無差别的互聯網和網絡功能并沒有帶來巨大的業務增長,既定的預測分析也是如此。相反,更好的數據管理和分析是幫助企業做出更好決策的工具。即使是“小數據”也能在投資的路線圖上被中小企業很好地利用,無需大規模的IT投資就能構建和多元化。
3.大數據是萬*能的:大數據顯然不是萬*能的。正因為如此,她才是真實的。在一些領域,由于各種原因,大數據的價值并沒有預期的那麼高。導緻這一現象的主要問題有兩個。一是數據本身質量或數量不足。二是算法不合适。不要認為海量數據會有價值。在以往的工作中,我們經常發現,來自甲方數據源的數據有80-90%是無用的。隻有10%-20%的數據會産生一定的價值。這讓我想起了Marry Meeker的比喻,“大數據的工作就像在一堆稻草中找針”。