你以為的大數據其實跟你想的不一樣

在告訴你什麼是大數據BigData之前，我發現身邊很多人，對於這些熱門的新技術、新趨勢往往趨之若鶩，卻又很難說的清楚，如果你問他大數據和你有什麽關係？估計沒幾個能說出個究竟。原因是因為，大家對新技術有著相同的原始渴求，所以至少知道個大概，避免在聊天時顯得很「落伍」；另外就是，在工作和生活環境中真正能參與實踐大數據的案例實在太少了，所以大家也沒有必要花時間去研究細節。然而，大數據卻會在未來大量滲入我們的生活。我希望自己有些不一樣，所以對該如何去認識大數據進行了一番思索，包括查閱了資料，翻閱了最新的專業書籍，但我並不想把那些零散的資料碎片，或不同理解論述簡單規整並堆積起來，形成毫無價值的轉述或評論，我很真誠地希望進入事物、探尋本質。如果你說大數據就是數據大，或者侃侃而談4個V（量Volume，多樣Variety，價值Value，速Velocity）、很有深度地談到Business Intelligence(商業智能，一種利用數據挖掘、分析出來的商業價值)或預測的價值，又或者拿Google和Amazon舉例，技術人可能會聊起Hadoop(Apache高速運算儲存系統)和Cloud Computing(雲計算)。這些不管對錯都無法勾勒出對大數據的整體認識，不說是片面，但至少有些管窺蠡測、隔衣瘙癢了。……也許，“解構”是最好的方法。

怎樣應用大數據？

首先，我認為大數據就是互聯網發展到現今階段的一種表象或特徵而已，沒有必要神話它或對它保持敬畏之心，在以雲計算為代表的技術創新大幕的襯托下，這些原本很難收集和使用的數據，變得容易利用起來了。透過各行各業的不斷創新，大數據會逐步為人類創造更多的價值。其次，想要有系統地認知大數據，就必須全面而細致地分解它，在此我從三個層面著手來展開：

大數據的三個層面

第一層面─理論理論是認知的必經途徑，也是被廣泛認同和傳播的基線。我會從大數據的特徵、定義，來理解行業對大數據的整體描繪和定性；從對大數據價值的探討，來深入解析大數據的珍貴所在；從大數據的現在和未來，去洞悉大數據的發展趨勢；從大數據隱私這個特別而重要的視角，去審視人和數據之間的長久博弈。第二層面─技術技術是大數據價值體現的手段和前進的基石。我將分別從雲計算、分布式處理技術、儲存技術和感知技術的發展，來說明大數據從采集、處理、儲存到形成結果的整個過程。第三層面─實踐實踐是大數據的最終價值體現。我將分別從互聯網的大數據、政府的大數據、企業的大數據和個人的大數據等四個方面，來描繪大數據已經展現的美好景象和即將實現的藍圖。和大數據相關的理論

企業龍頭給予大數據的定義

最早提出大數據時代到來的是麥肯錫：數據應用，早就已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。” 業界（IBM 最早定義）將大數據的特征歸納為4個“V”（量Volume，多樣Variety，價值Value，速Velocity），或者說特點有四個層面：第一，數據體量巨大。大數據的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）；第二，數據類型繁多。比如，網絡日誌、視頻、圖片、地理位置信息等等。第三，價值密度低，商業價值高。第四，處理速度快。最後這一點也是和傳統的數據挖掘技術有著本質的不同。其實這些V並不能真正說清楚大數據的所有特徵，下面這張圖對大數據的一些相關特性做出了有效的說明。

大數據就像諸葛孔明一樣知道你下步要做什麼

古語雲：三分技術，七分數據，得數據者得天下。先不論誰說的，但是這句話的正確性已經不用去論證了。維克托·邁爾-舍恩伯格在《大數據時代》一書中舉了百般例證，都是為了說明一個道理：在大數據時代到來的時候，要用大數據思維去挖掘大數據的潛在價值。書中，作者提及最多的是Google如何利用人們的搜索記錄，去挖掘數據二次利用的價值。比如預測某地流感爆發的趨勢、Amazon如何利用用戶的購買和瀏覽歷史數據，去進行有針對性的書籍購買推薦，以此有效提升銷售量、Farecast如何利用過去十年所有的航線機票價格打折數據，來預測用戶購買機票的時機是否合適。那麽，什麽是大數據思維？維克托·邁爾-舍恩伯格認為，