不帶手機可以躲避大數據嗎? 容量非常大的數據稱為大數據通常我們處理的數據大小為MB(WordDoc,Excel)或最大GB(電影,代碼),但Peta字節(即10 ^ 15字節)的數據稱為大數據據說今天的數據幾乎有90%是在過去3年中生成的,下面我們就來聊聊關于不帶手機可以躲避大數據嗎?接下來我們就一起去了解一下吧!
不帶手機可以躲避大數據嗎
容量非常大的數據稱為大數據。通常我們處理的數據大小為MB(WordDoc,Excel)或最大GB(電影,代碼),但Peta字節(即10 ^ 15字節)的數據稱為大數據。據說今天的數據幾乎有90%是在過去3年中生成的。
大數據來源
這些數據來自許多來源,例如
- 社交網站: Facebook,Google,LinkedIn,這些網站每天都會産生大量數據,因為它們在全球擁有數十億用戶。
- 電子商務站點:諸如Amazon,Flipkart,阿裡巴巴之類的站點會生成大量日志,從中可以跟蹤用戶的購買趨勢。
- 氣象站:所有氣象站和衛星都提供非常龐大的數據,這些數據已存儲并處理以預測天氣。
- 電信公司: Airtel,Vodafone等電信巨頭研究了用戶趨勢,并據此發布了計劃,并為此存儲了數百萬用戶的數據。
- 股票市場:全球的證券交易所通過其日常交易産生大量數據。
3V大數據
- 速度:數據以非常快的速度增長。據估計,數據量将每兩年增加一倍。
- 種類:現在,天數據不再存儲在行和列中。數據是結構化的還是非結構化的。日志文件,CCTV素材是非結構化數據。可以保存在表中的數據是結構化的數據,例如銀行的交易數據。
- 數量: 我們處理的數據量非常大,超過了Peta字節。
用例
一家電子商務網站XYZ(擁有1億用戶)希望為其前一年消費最多的前10位客戶提供100美元的購物券,此外,他們還希望了解這些客戶的購買趨勢,以便公司可以建議與他們相關的更多商品。
問題
需要存儲,處理和分析的大量非結構化數據。
解決方案
存儲: Hadoop使用海量HDFS(Hadoop分布式文件系統),該海量數據使用商品硬件形成集群并以分布式方式存儲數據。它遵循一次寫入,多次讀取的原理。
處理:将 Map Reduce範式應用于通過網絡分發的數據,以查找所需的輸出。
分析:豬,蜂巢可用于分析數據。
成本: Hadoop是開源的,因此成本不再是問題。
,