1. 最新長篇網路好書
盤龍 78229
流氓高手II 68829
琴帝 60254
惡魔法則 60067
諸神的黃昏 54668
極品家丁 37295
一路彩虹 35869
神墓 34540
龍蛇演義 31329
慶余年 31046
光芒傳奇 30361
機動風暴 29267
葵花老祖 28470
貌似高手在異界 28026
超級狀師 27131
2. 大數據技術及應用
大數據技術及應用
半個世紀以來,隨著計算機技術全面融入社會生活,信息爆炸已經積累到了一個開始引發變革的程度。21世紀是數據信息大發展的時代,移動互聯、社交網路、電子商務等極大拓展了互聯網的邊界和應用范圍,各種數據正在迅速膨脹並變大。互聯網(社交、搜索、電商)、移動互聯網(微博)、物聯網(感測器,智慧地球)、車聯網、GPS、醫學影像、安全監控、金融(銀行、股市、保險)、電信(通話、簡訊)都在瘋狂產生著數據。2011年5 月,在「雲計算相遇大數據」 為主題的EMC World 2011 會議中,EMC 拋出了Big Data概念。正如《紐約時報》2012年2月的一篇專欄中所稱,「大數據」時代已經降臨,在商業、經濟及其他領域中,決策將日益基於數據和分析而作出,而並非基於經驗和直覺。哈佛大學社會學教授加里?金說:「這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。」
二、什麼是大數據
大數據(Big Data)是指那些超過傳統資料庫系統處理能力的數據。它的數據規模和轉輸速度要求很高,或者其結構不適合原本的資料庫系統。為了獲取大數據中的價值,我們必須選擇另一種方式來處理它。數據中隱藏著有價值的模式和信息,在以往需要相當的時間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業都要付高昂的代價才能從大數據中挖掘信息。而當今的各種資源,如硬體、雲架構和開源軟體使得大數據的處理更為方便和廉價。即使是在車庫中創業的公司也可以用較低的價格租用雲服務時間了。對於企業組織來講,大數據的價值體現在兩個方面:分析使用和二次開發。對大數據進行分析能揭示隱藏其中的信息。例如零售業中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數據的二次開發則是那些成功的網路公司的長項。例如Facebook通過結合大量用戶信息,定製出高度個性化的用戶體驗,並創造出一種新的廣告模式。這種通過大數據創造出新產品和服務的商業行為並非巧合,谷歌、雅虎、亞馬遜和Facebook它們都是大數據時代的創新者。
(一)大數據的4V特徵
大量化(Volume):企業面臨著數據量的大規模增長。例如,IDC最近的報告預測稱,到2020年,全球數據量將擴大50倍。目前,大數據的規模尚是一個不斷變化的指標,單一數據集的規模範圍從幾十TB到數PB不等。簡而言之,存儲1PB數據將需要兩萬台配備50GB硬碟的個人電腦。此外,各種意想不到的來源都能產生數據。
多樣化(Variety):一個普遍觀點認為,人們使用互聯網搜索是形成數據多樣性的主要原因,這一看法部分正確。然而,數據多樣性的增加主要是由於新型多結構數據,以及包括網路日誌、社交媒體、互聯網搜索、手機通話記錄及感測器網路等數據類型造成。其中,部分感測器安裝在火車、汽車和飛機上,每個感測器都增加了數據的多樣性。
快速化(Velocity):高速描述的是數據被創建和移動的速度。在高速網路時代,通過基於實現軟體性能優化的高速電腦處理器和伺服器,創建實時數據流已成為流行趨勢。企業不僅需要了解如何快速創建數據,還必須知道如何快速處理、分析並返回給用戶,以滿足他們的實時需求。根據IMS Research關於數據創建速度的調查,據預測,到2020年全球將擁有220億部互聯網連接設備。
價值(Value):大量的不相關信息,浪里淘沙卻又彌足珍貴。對未來趨勢與模式的可預測分析,深度復雜分析(機器學習、人工智慧Vs傳統商務智能(咨詢、報告等)
三、大數據時代對生活、工作的影響
大數據,其影響除了經濟方面的,它同時也能在政治、文化等方面產生深遠的影響,大數據可以幫助人們開啟循「數」管理的模式,也是我們當下「大社會」的集中體現,三分技術,七分數據,得數據者得天下。
「大數據」的影響,增加了對信息管理專家的需求。事實上,大數據的影響並不僅僅限於信息通信產業,而是正在「吞噬」和重構很多傳統行業,廣泛運用數據分析手段管理和優化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業中,數據分析的技術與手段更是得到廣泛的應用,傳統企業如沃爾瑪通過數據挖掘重塑並優化供應鏈,新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析,為用戶提供更加專業化和個性化的服務。
大數據在個人隱私的方面,大量數據經常含有一些詳細的潛在的能夠展示有關我們的信息,逐漸引起了我們對個人隱私的擔憂。一些處理大數據公司需要認真的對待這個問題。例如美國天睿資訊給人留下比較深刻印象的是他的一個科學家提出,我們不應該簡單地服從法律方面的隱私保護問題,這些遠遠不夠的,公司都應該遵從谷歌不作惡的原則,甚至更應該做出更積極的努力。
四、大數據時代的發展方向、趨勢
根據ESM國際電子商情針對2013年大數據應用現狀和趨勢的調查顯示:被調查者最關注的大數據技術中,排在前五位的分別是大數據分析(12.91%)、雲資料庫(11.82%)、Hadoop(11.73%)、內存資料庫(11.64%)以及數據安全(9.21%)。Hadoop已不再是人們心目中僅有的大數據技術,而大數據分析成為最被關注的技術。從中可以看出,人們對大數據的了解已經逐漸深入,關注的技術點也越來越多。既然大數據分析是最被關注的技術趨勢,那麼大數據分析中的哪項功能是最重要的呢?從下圖可以看出,排在前三位的功能分別是實時分析(21.32%)、豐富的挖掘模型(17.97%)和可視化界面(15.91%)。2012年也曾做過類似的調查,當時選擇豐富的挖掘模型(27.22%)比實時分析(19.88%)多7.34%。短短一年時間內,企業對實時分析的需求激增,成就了很多以實時分析為創新技術的大數據廠商。從調查結果可以看出:企業在未來一兩年中有迫切部署大數據的需求,並且已經從一開始的基礎設施建設,逐漸發展為對大數據分析和整體大數據解決方案的需求。與此同時,大數據還面臨人才的缺乏的挑戰,需要企業和高校聯合起來,培養數據領域的復合型人才,幫助企業打贏這場「數據戰」。
五、大數據的應用
(一)行業拓展者,打造大數據行業基石
IBM:IBM大數據提供的服務包括數據分析,文本分析,藍色雲杉(混搭供電合作的網路平台);業務事件處理;IBM Mashup Center的計量,監測,和商業化服務(MMMS)。 IBM的大數據產品組合中的最新系列產品的InfoSphere bigInsights,基於Apache Hadoop。
該產品組合包括:打包的Apache Hadoop的軟體和服務,代號是bigInsights核心,用於開始大數據分析。軟體被稱為bigsheet,軟體目的是幫助從大量數據中輕松、簡單、直觀的提取、批註相關信息為金融,風險管理,媒體和娛樂等行業量身定做的行業解決方案。
微軟:2011年1月與惠普(具體而言是HP資料庫綜合應用部門) 合作目標是開發了一系列能夠提升生產力和提高決策速度的設備。
EMC:EMC 斬獲了紐交所和Nasdaq;大數據解決方案已包括40多個產品。
Oracle:Oracle大數據機與Oracle Exalogic中間件雲伺服器、Oracle Exadata資料庫雲伺服器以及Oracle Exalytics商務智能雲伺服器一起組成了甲骨文最廣泛、高度集成化系統產品組合。
(二)大數據促進了政府職能變革
重視應用大數據技術,盤活各地雲計算中心資產:把原來大規模投資產業園、物聯網產業園從政績工程,改造成智慧工程;在安防領域,應用大數據技術,提高應急處置能力和安全防範能力;在民生領域,應用大數據技術,提升服務能力和運作效率,以及個性化的服務,比如醫療、衛生、教育等部門;解決在金融,電信領域等中數據分析的問題:一直得到得極大的重視,但受困於存儲能力和計算能力的限制,只局限在交易數型數據的統計分析。一方面大數據的應用促進了政府職能變革,另一方面政府投入將形成示範效應,大大推動大數據的發展。
(三)打造「智慧城市」
美國奧巴馬政府在白宮網站發布《大數據研究和發展倡議》,提出「通過收集、處理龐大而復雜的數據信息,從中獲得知識和洞見,提升能力,加快科學、工程領域的創新步伐,強化美國國土安全,轉變教育和學習模式」 ;中國工程院院士鄔賀銓說道,「智慧城市是使用智能計算技術使得城市的關鍵基礎設施的組成和服務更智能、互聯和有效,隨著智慧城市的建設,社會將步入「大數據」時代。」
(四)未來,改變一切
未來,企業會依靠洞悉數據中的信息更加了解自己,也更加了解客戶。
數據的再利用:由於在信息價值鏈中的特殊位置,有些公司可能會收集到大量的數據,但他們並不急需使用也不擅長再次利用這些數據。例如,行動電話運營商手機用戶的位置信息來傳輸電話信號,這對以他們來說,數據只有狹窄的技術用途。但當它被一些發布個性化位置廣告服務和促銷活動的公司再次利用時,則變得更有價值。
六、機遇和挑戰
大數據賦予了我們洞察未來的能力,但同時諸多領域的問題亟待解決,最重要的是每個人的信息都被互聯網所記錄和保留了下來,並且進行加工和利用,為人所用,而這正是我們所擔憂的信息安全隱患!更多的隱私、安全性問題:我們的隱私被二次利用了。多少密碼和賬號是因為「社交網路」流出去的?
眼下中國互聯網熱門的話題之一就是互聯網實名制問題,我願意相信這是個好事。畢竟我們如果明著亮出自己的身份,互聯網才能對我們的隱私給予更好保護