概念速讀之“什么是大數據”(1)
大數據三字,在當下的生活中無論是技術人員也好,還是普通用戶也罷,都或多或少的接觸過。
可是到底大數據是什么?跟我們有什么關系?并沒有多少相關科普性文章能講明白說透徹。
而這篇文章,會用最簡潔明了的語言,來跟大家講講什么是大數據、和我們有什么關系。

“大數據”是一種泛概念,具體含義有兩層:大量的數據、處理大量數據的技術。這兩種含義其實是相輔相成、一脈而生的,為了便于各位看官理解,我們分開來講。
大量的數據:“數據”大家都有所認知,而在數據前冠以“大量”作為修飾,我們第一個要解決的通識問題就是“大量”的范圍在哪。
舉個栗子,大家經常性的會看到KB、MB、GB、TB這些描述手機內存大小、電腦硬盤大小、音視頻文件大小等等的字樣,認識歸認識,比如“我手機容量是128G的“、”我電腦硬盤1TB的”、“這個ACC無損音樂32MB呢”……可是如何度量,怎樣直觀的感受到這個數據量的大小呢?

那拿我們看書來說叭,高中人教版語文(必修一)教材書,總字數133000字,如果把這些字全部存到我們電腦上,用系統文本文檔存儲(txt格式),它占用空間多大呢?
389KB。
如果我們要用正常閱讀速讀,除去翻書用的時間,要將這本書看完,需要多長時間呢?
以知乎關于此問題最高贊回答的定義標準為準則(42000字/小時)。
需要3.17個小時。

389KB ——> 3.17小時,這是我們通過計算得出的結論,那為了方便后面計算,我們再規整一下,按每小時來算,看看一個小時我們能閱讀多大空間的數據。
122.71KB/小時/正常人。
計算這個目的的意義何在?很簡單,直觀的感受一下什么叫大數據!
如果你的手機內存是128GB,按1024進制換算后(1024KB = 1MB、1024MB = 1GB),假設你手機內存存滿了數據,而你要親自處理這些數據,拋卻吃飯睡覺上廁所和精力不足等客觀因素,很多人窮其一生都看不完這些數據,因為你需要124.86年···(計算過程如下,可跳過)
128GB X 1024 = 131072MB ——>
131072MB X 1024 = ?134217728KB ?——>
34217728KB / 122.71 = 1093779.9小時 ——>
1093779.9小時 / 24 = 45574.2天 ——>
45574.2天 / 365 = 124.86年
是不是感受到了一絲絲鴨梨?
那這只是我們一個人的手機內存大小,當然如果你非要像ETC一樣自動抬杠的跟我講:我手機怎么可能存儲滿128G / 我手機是256G / 為什么我要自己處理這么大的數據 ······
好叭,我的目的很簡單,就是想讓各位看官直觀的感受一下人工處理數據的速度和數據到底有多龐大而已,如果你有這方面的問題,大可忽略這些不妨礙閱讀的細節,咱們繼續往下看。
一般中型的互聯網公司,每天處理的數據量都在50-500GB,如果人工去處理那是極其不現實的,比如用咱們普通用戶常用到的Excel表格、Word文檔、Txt文本文件等,一般性能的計算機去處理這么大的數據,結果只有一個——卡到死機,有興趣的可以嘗試一下,單純的下載然后打開就可以了,可以檢驗一下電腦性能O不OK。
下載鏈接 :https://pan.baidu.com/s/1qnkbvpW4HxqHH1unvUeelQ 提取碼:pvwf
下載聲明:無毒無公害,可在指導下放心食用。
使用指導:下載后,將你電腦上所有打開的軟件都保存應用信息后關閉,然后用相應的軟件打開(如后綴為.txt的就用記事本軟件,是.doc的就用Word辦公軟件),如果出現程序卡住無響應,在任務欄右鍵,選擇任務管理器,找到你的無響應軟件,右擊選擇結束進程,OK了。
很多看官會說:那肯定啊,那些公司的服務器肯定比我這小破電腦NB啊,怎么會打不開?
是的,以前公司就是這樣處理數據的,但是以前局限于每天處理不到1G-10G的數據量,那用這樣的處理方式還可以。后來隨著用戶的增長及軟件反饋信息的增多,每天的信息量越來越大,一般想到的解決辦法就是:一臺服務器的運算能力不夠了買兩臺嘛,再不夠了再買嘛 ······
可是各位并不知道的是,高性能的單組服務器價格是極其昂貴的,隨便截張圖給大家欣賞一下。

可是哪怕是這樣的服務器增容以后,能再延拓容納的用戶數量還是相對比較少的,同樣企業里不但有處理數據的服務器,還得有備份服務器來存儲數據和應對突發情況,在使用量上,高性能單機器利用率也不算高,萬一出現故障維修費用也得不少錢,所以綜合來看,這樣的企業問題解決方案,性價比很低。
但是人類社會從已經淘汰的1G、2G,到正在使用的3G、4G,再到即將到來的5G時代,數據量的暴增是不可置否的客觀事實。很多企業怕自己光是買服務器和維護服務器,就把自己整垮了,所以覺得技術上應該另辟蹊徑,找到一種性價比高的策略方案來應對時代潮流,所以,大數據處理技術,誕生了。