⑴ 網路安全與大數據技術應用探討論文
網路安全與大數據技術應用探討論文
摘要： 隨著互聯網技術的高速發展與普及，現如今互聯網技術已經廣泛應用於人們工作與生活之中，這給人們帶來了前所未有的便利，但與此同時各種網路安全問題也隨之顯現。基於此，本文主要介紹了大數據技術在網路安全領域中的具體應用，希望在網路系統安全方面進行研究的同時，能夠為互聯網事業的持續發展提供可行的理論參考。
關鍵詞： 網路安全；大數據技術；應用分析
前言
隨著近年來互聯網技術的不斷深入，網路安全事故也隨之頻頻發生。出於對網路信息安全的重視，我國於2014年成立了國家安全委員會，正式將網路安全提升為國家戰略部署，這同時也表示我國網路信息安全形勢不容樂觀，網路攻擊事件處於高發狀態。木馬僵屍病毒、惡意勒索軟體、分布式拒絕服務攻擊、竊取用戶敏感信息等各類網路攻擊事件的數量都處於世界前列。時有發生的移動惡意程序、APT、DDOS、木馬病毒等網路攻擊不僅會嚴重阻礙網路帶寬、降低網路速度、並且對電信運營商的企業聲譽也會產生一定影響。根據大量數據表明，僅僅依靠傳統的網路防範措施已經無法應對新一代的網路威脅，而通過精確的檢測分析從而在早期預警，已經成為現階段網路安全能力的關鍵所在。
1網路安全問題分析
網路安全問題不僅涉及公民隱私與信息安全，更關乎國事安全，例如雅虎的信息泄露，導致至少五億條用戶信息被竊；美國棱鏡門與希拉里郵件門等等事件都使得網路安全問題進一步升級、擴大。隨著互聯網構架日益復雜，網路安全分析的數據量也在與日俱增，在由TB級向PB級邁進的過程，不僅數據來源豐富、內容更加細化，數據分析所需維度也更為廣泛。伴隨著現階段網路性能的增長，數據源發送速率更快，對安全信息採集的速度要求也就越高，版本更新延時等導致的Odav等漏洞日漸增多，網路攻擊的影響范圍也就進一步擴大；例如APT此類有組織、有目標且長期潛伏滲透的多階段組合式攻擊更加難以防範，唯有分析更多種類的安全信息並融合多種手段進行檢測抵禦。在傳統技術架構中，大多使用結構化資料庫來進行數據存儲，但由於數據存儲的成本過高，系統往往會將原始數據進行標准化處理後再進行存儲，如此易導致數據的丟失與失真以及歷史數據難以保存而造成的追蹤溯源困難；同時對於嘈雜的大型、非結構化數據集的執行分析以及復雜查詢效率很低，導致數據的實時性及准確性難以保證，安全運營效率不高，因此傳統網路安全技術已經難以滿足現階段網路安全分析的新要求。大數據技術這一概念最初由維克托.邁爾.舍恩伯格與肯尼斯.庫克耶在2008年出版的《大數據時代》一書中提出的，大數據是指不採用隨機分析法，而是對所有的數據進行綜合分析處理。大數據技術作為現階段信息架構發展的趨勢之首，其獨有的高速、多樣、種類繁多以及價值密度低等特點，近年來被廣泛應用於互聯網的多個領域中。大數據的戰略意義在於能夠掌握龐大的數據信息，使海量的原始安全信息的存儲與分析得以實現、分布式資料庫相比傳統資料庫的存儲成本得以降低，並且數據易於在低廉硬體上的水平擴展，極大地降低了安全投入成本；並且伴隨著數據挖掘能力的大幅提高，安全信息的採集與檢測響應速度更加快捷，異構及海量數據存儲的支持打造了多維度、多階段關聯分析的基礎，提升了分析的深度與廣度。對於網路安全防禦而言，通過對不同來源的數據進行綜合管理、處理、分析、優化，可實現在海量數據中極速鎖定目標數據，並將分析結果實時反饋，對於現階段網路安全防禦而言至關重要。
2大數據在網路安全中的應用
將大數據運用到網路安全分析中，不僅能夠實現數據的優化與處理，還能夠對日誌與訪問行為進行綜合處理，從而提高事件處理效率。大數據技術在網路安全分析的效果可從以下幾點具體分析：
2.1數據採集效率
大數據技術可對數據進行分布式地採集，能夠實現數百兆/秒的採集速度，使得數據採集速率得到了極大的提高，這也為後續的關聯分析奠定了基礎。
2.2數據的存儲
在網路安全分析系統中，原始數據的存儲是至關重要的，大數據技術能夠針對不同數據類型進行不同的數據採集，還能夠主動利用不同的方式來提高數據查詢的效率，比如在對日誌信息進行查詢時適合採用列式的存儲方式，而對於分析與處理標准化的數據，則適合採用分布式的模式進行預處理，在數據處理後可將結果存放在列式存儲中；或者也可以在系統中建立起MapRece的查詢模塊，在進行查詢的時候可直接將指令放在指定的節點，完成處理後再對各個節點進行整理，如此能夠確保查詢的速度與反應速度。
2.3實時數據的分析與後續數據的處理
在對實時數據的分析中，可以採用關聯分析演算法或CEP技術進行分析，如此能夠實現對數據的採集、分析、處理的綜合過程，實現了更高速度以及更高效率的處理；而對於統計結果以及數據的處理，由於這種處理對時效性要求不高，因此可以採用各種數據處理技術或是利用離線處理的方式，從而能夠更好地完成系統風險、攻擊方面的分析。
2.4關於復雜數據的分析
在針對不同來源、不同類型的復雜數據進行分析時，大數據技術都能夠更好的完成數據的分析與查詢，並且能夠有效完成復雜數據與安全隱患、惡意攻擊等方面的處理，當網路系統中出現了惡意破壞、攻擊行為，可採用大數據技術從流量、DNS的角度出發，通過多方面的數據信息分析實現全方位的防範、抵禦。
3基於大數據技術構建網路系統安全分析
在網路安全系統中引入大數據技術，主要涉及以下三個模塊：
3.1數據源模塊
網路安全系統中的`數據及數據源會隨著互聯網技術的進步而倍增技術能夠通過分布式採集器的形式，對系統中的軟硬體進行信息採集，除了防火牆、檢測系統等軟體，對設備硬體的要求也在提高，比如對伺服器、存儲器的檢查與維護工作。
3.2數據採集模塊
大數據技術可將數據進行對立分析，從而構建起分布式的數據基礎，能夠做到原始數據從出現到刪除都做出一定說明，真正實現數據的訪問、追溯功能，尤其是對數據量與日俱增的今天而言，分布式數據存儲能夠更好地實現提高資料庫的穩定性。
3.3數據分析模塊
對網路安全系統的運營來說，用戶的業務系統就是安全的最終保障對象，大數據分析能夠在用戶數據產生之初，及時進行分析、反饋，從而能夠讓網路用戶得到更加私人化的服務體驗。而對於用戶而言，得其所想也會對網路系統以及大數據技術更加的信任，對於個人的安全隱私信息在系統上存儲的疑慮也會大幅降低。當前網路與信息安全領域正在面臨著全新的挑戰，企業、組織、個人用戶每天都會產生大量的安全數據，現有的安全分析技術已經難以滿足高效率、精確化的安全分析所需。而大數據技術靈活、海量、快速、低成本、高容量等特有的網路安全分析能力，已經成為現階段業界趨勢所向。而對互聯網企業來說，實現對數據的深度「加工處理」，則是實現數據增值的關鍵所在，對商業運營而言是至關重要的。
4結語
在當下時代，信息數據已經滲透到各個行業及業務領域中，成為重要的社會生產因素。正因如此，互聯網數據產生的數量也在與日倍增中，這給網路安全分析工作帶來了一定難度與壓力，而大數據技術則能夠很好的完善這一問題。在網路系統中應用大數據技術不僅能夠滿足人們對數據處理時所要求的高效性與精準性，並且能夠在此基礎上構建一套相對完善的防範預警系統，這對維護網路系統的安全起著非常關鍵的作用，相信大數據技術日後能夠得到更加廣泛的應用。
參考文獻：
[1]魯宛生.淺談網路安全分析中大數據技術的應用[J].數碼世界，2017.
[2]王帥,汪來富,金華敏等.網路安全分析中的大數據技術應用[J].電信科學，2015.
[3]孫玉.淺談網路安全分析中的大數據技術應用[J].網路安全技術與應用，2017.
;⑵ 信息與網路安全需要大數據安全分析
信息與網路安全需要大數據安全分析
毫無疑問，我們已經進入了大數據（Big Data）時代。人類的生產生活每天都在產生大量的數據，並且產生的速度越來越快。根據IDC和EMC的聯合調查，到2020年全球數據總量將達到40ZB。2013年，Gartner將大數據列為未來信息架構發展的10大趨勢之首。Gartner預測將在2011年到2016年間累計創造2320億美元的產值。
大數據早就存在，只是一直沒有足夠的基礎實施和技術來對這些數據進行有價值的挖據。隨著存儲成本的不斷下降、以及分析技術的不斷進步，尤其是雲計算的出現，不少公司已經發現了大數據的巨大價值：它們能揭示其他手段所看不到的新變化趨勢，包括需求、供給和顧客習慣等等。比如，銀行可以以此對自己的客戶有更深入的了解，提供更有個性的定製化服務；銀行和保險公司可以發現詐騙和騙保；零售企業更精確探知顧客需求變化，為不同的細分客戶群體提供更有針對性的選擇；制葯企業可以以此為依據開發新葯，詳細追蹤葯物療效，並監測潛在的副作用；安全公司則可以識別更具隱蔽性的攻擊、入侵和違規。
當前網路與信息安全領域，正在面臨著多種挑戰。一方面，企業和組織安全體系架構的日趨復雜，各種類型的安全數據越來越多，傳統的分析能力明顯力不從心；另一方面，新型威脅的興起，內控與合規的深入，傳統的分析方法存在諸多缺陷，越來越需要分析更多的安全信息、並且要更加快速的做出判定和響應。信息安全也面臨大數據帶來的挑戰。安全數據的大數據化
安全數據的大數據化主要體現在以下三個方面：
1） 數據量越來越大：網路已經從千兆邁向了萬兆，網路安全設備要分析的數據包數據量急劇上升。同時，隨著NGFW的出現，安全網關要進行應用層協議的分析，分析的數據量更是大增。與此同時，隨著安全防禦的縱深化，安全監測的內容不斷細化，除了傳統的攻擊監測，還出現了合規監測、應用監測、用戶行為監測、性能檢測、事務監測，等等，這些都意味著要監測和分析比以往更多的數據。此外，隨著APT等新型威脅的興起，全包捕獲技術逐步應用，海量數據處理問題也日益凸顯。
2） 速度越來越快：對於網路設備而言，包處理和轉發的速度需要更快；對於安管平台、事件分析平台而言，數據源的事件發送速率（EPS，Event per Second，事件數每秒）越來越快。
3） 種類越來越多：除了數據包、日誌、資產數據，安全要素信息還加入了漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應用信息、業務信息、外部情報信息等。
安全數據的大數據化，自然引發人們思考如何將大數據技術應用於安全領域。
傳統的安全分析面臨挑戰
安全數據的數量、速度、種類的迅速膨脹，不僅帶來了海量異構數據的融合、存儲和管理的問題，甚至動搖了傳統的安全分析方法。
當前絕大多數安全分析工具和方法都是針對小數據量設計的，在面對大數據量時難以為繼。新的攻擊手段層出不窮，需要檢測的數據越來越多，現有的分析技術不堪重負。面對天量的安全要素信息，我們如何才能更加迅捷地感知網路安全態勢？
傳統的分析方法大都採用基於規則和特徵的分析引擎，必須要有規則庫和特徵庫才能工作，而規則和特徵只能對已知的攻擊和威脅進行描述，無法識別未知的攻擊，或者是尚未被描述成規則的攻擊和威脅。面對未知攻擊和復雜攻擊如APT等，需要更有效的分析方法和技術！如何做到知所未知？
面對天量安全數據，傳統的集中化安全分析平台（譬如SIEM，安全管理平台等）也遭遇到了諸多瓶頸，主要表現在以下幾方面：
——高速海量安全數據的採集和存儲變得困難
——異構數據的存儲和管理變得困難
——威脅數據源較小，導致系統判斷能力有限
——對歷史數據的檢測能力很弱
——安全事件的調查效率太低
——安全系統相互獨立，無有效手段協同工作
——分析的方法較少
——對於趨勢性的東西預測較難，對早期預警的能力比較差
——系統交互能力有限，數據展示效果有待提高
從上世紀80年代入侵檢測技術的誕生和確立以來，安全分析已經發展了很長的時間。當前，信息與網路安全分析存在兩個基本的發展趨勢：情境感知的安全分析與智能化的安全分析。
Gartner在2010年的一份報告中指出，「未來的信息安全將是情境感知的和自適應的」。所謂情境感知，就是利用更多的相關性要素信息的綜合研判來提升安全決策的能力，包括資產感知、位置感知、拓撲感知、應用感知、身份感知、內容感知，等等。情境感知極大地擴展了安全分析的縱深，納入了更多的安全要素信息，拉升了分析的空間和時間范圍，也必然對傳統的安全分析方法提出了挑戰。
同樣是在2010年，Gartner的另一份報告指出，要「為企業安全智能的興起做好准備」。在這份報告中，Gartner提出了安全智能的概念，強調必須將過去分散的安全信息進行集成與關聯，獨立的分析方法和工具進行整合形成交互，從而實現智能化的安全分析與決策。而信息的集成、技術的整合必然導致安全要素信息的迅猛增長，智能的分析必然要求將機器學習、數據挖據等技術應用於安全分析，並且要更快更好地的進行安全決策。
信息與網路安全需要大數據安全分析
安全數據的大數據化，以及傳統安全分析所面臨的挑戰和發展趨勢，都指向了同一個技術——大數據分析。正如Gartner在2011年明確指出，「信息安全正在變成一個大數據分析問題」。
於是，業界出現了將大數據分析技術應用於信息安全的技術——大數據安全分析（Big Data Security Analysis，簡稱BDSA），也有人稱做針對安全的大數據分析（Big Data Analysis for Security）。
藉助大數據安全分析技術，能夠更好地解決天量安全要素信息的採集、存儲的問題，藉助基於大數據分析技術的機器學習和數據挖據演算法，能夠更加智能地洞悉信息與網路安全的態勢，更加主動、彈性地去應對新型復雜的威脅和未知多變的風險。
⑶ 大數據與大規模網路安全感知技術初探
大數據與大規模網路安全感知技術初探
快速發展的互聯網技術不斷地改變人們的生活方式，然而，多層面的安全威脅和安全風險也不斷出現。對於一個大型網路，在網路安全層面，除了訪問控制、入侵檢測、身份識別等基礎技術手段，需要安全運維和管理人員能夠及時感知網路中的異常事件與整體安全態勢。對於安全運維人員來說，如何從成千上萬的安全事件和日誌中找到最有價值、最需要處理和解決的安全問題，從而保障網路的安全狀態，是他們最關心也是最需要解決的問題。與此同時，對於安全管理者和高層管理者而言，如何描述當前網路安全的整體狀況，如何預測和判斷風險發展的趨勢，如何指導下一步安全建設與規劃，則是一道持久的難題。
隨著大數據技術的成熟、應用與推廣，網路安全態勢感知技術有了新的發展方向，大數據技術特有的海量存儲、並行計算、高效查詢等特點，為大規模網路安全態勢感知的關鍵技術創造了突破的機遇。本文將對大規模網路環境下的安全態勢感知、大數據技術在安全感知方面的促進做一些探討。
對於一個大規模的網路而言，面臨的風險也是巨大的，可分為廣度風險和深度風險。從廣度上講，以中國移動的CMNET網路為例，所轄IP地址超過3000萬個，提供對外服務的網站數千個，規模大、節點類型豐富多樣，伴隨其中的安全問題隨網路節點數量的增加呈指數級上升。從深度上講，下一代移動互聯網安全威脅主要表現在傳統攻擊依然存在且手段多樣、APT（高級持續性威脅）攻擊逐漸增多且造成的損失不斷增大。而攻擊者的工具和手段呈現平台化、集成化和自動化的特點，具有更強的隱蔽性、更長的攻擊與潛伏時間、更加明確和特定的攻擊目標。以上造成了下一代安全威脅具有更強的殺傷能力與逃避能力。結合廣度風險與深度風險來看，大規模網路所引發的安全保障的復雜度激增，主要面臨的問題包括：安全數據量巨大；安全事件被割裂，從而難以感知；安全的整體狀況無法描述。
網路安全感知能力具體可分為資產感知、脆弱性感知、安全事件感知和異常行為感知4個方面。資產感知是指自動化快速發現和收集大規模網路資產的分布情況、更新情況、屬性等信息；脆弱性感知則包括3個層面的脆弱性感知能力：不可見、可見、可利用；安全事件感知是指能夠確定安全事件發生的時間、地點、人物、起因、經過和結果；異常行為感知是指通過異常行為判定風險，以彌補對不可見脆弱性、未知安全事件發現的不足，主要面向的是感知未知的攻擊。
一個相對完整的網路安全感知的能力模型與架構設計如下圖所示：
隨著Hadoop、NoSQL等技術的興起，BigData大數據的應用逐漸增多和成熟，而大數據自身擁有Velocity快速處理、Volume大數據量存儲、Variety支持多類數據格式三大特性。大數據的這些天生特性，恰巧可以用於大規模網路的安全感知。首先，多類數據格式可以使網路安全感知獲取更多類型的日誌數據，包括網路與安全設備的日誌、網路運行情況信息、業務與應用的日誌記錄等；其次，大數據量存儲與快速處理為高速網路流量的深度安全分析提供了技術支持，可以為高智能模型演算法提供計算資源；最後，在異常行為的識別過程中，核心是對正常業務行為與異常攻擊行為之間的未識別行為進行離群度分析，大數據使得在分析過程中採用更小的匹配顆粒與更長的匹配時間成為可能。
中國移動自2010年起在雲計算和大數據方面就開始了積極探索。中國移動的「大雲」系統目前已實現了分布式海量數據倉庫、分布式計算框架、雲存儲系統、彈性計算系統、並行數據挖掘工具等關鍵功能。在「大雲」系統的基礎上，中國移動的網路安全感知也具備了一定的技術積累，進行了大規模網路安全感知和防禦體系的技術研究，在利用雲平台進行脆弱性發現方面的智能型任務調度演算法、主機和網路異常行為發現模式等關鍵技術上均有突破，在安全運維中取得了一些顯著的效果。
大數據的出現，擴展了計算和存儲資源，提供了基礎平台和大數據量處理的技術支撐，為安全態勢的分析、預測創造了無限可能。
⑷ 大數據時代下網路安全的重要性
隨著互聯網的飛速發展，出現了海量的數據信息，人類 社會 也逐步邁進了大數據時代。大數據時代可以為人們帶來更多的關於時代發展的實時信息，使人類的思想能夠跟上時代發展的腳步，為人們之間的交流與溝通帶來便利。即使大數據時代互聯網技術自身擁有諸多的優點，但是在應用過程中依然存在很多的網路信息安全風險，這將會導致信息數據不真實，同時又會對人們使用信息的時效性造成不良影響。所以，在大數據時代，我們應該更加重視網路信息的安全性，依託科學合理的網路信息安全管理方案來防止網路安全問題的發生，從而加快中國現代化信息建設的腳步。
大數據時代網路存在的安全問 題
由於網路具有較強的開放性特質，能夠實現跨越時空的交流與互動，但於此同時，也容易遭受不同空間與主題的入侵和攻擊，這就會導致數據信息發生泄露，繼而造成嚴重的網路安全問題。其次就是人為操作失誤，由於網民在上網過程中沒有清晰的安全意識，容易下載並點擊危險的軟體和網站，導致手機或電腦遭受病毒的襲擊，進而丟失私人信息、賬戶信息等。再次就是網路黑客問題，黑客能夠通過竊取網路信息或網路密鑰的方式，破壞用戶的網路系統，使用戶的私人信息受到威脅，甚至會導致整個網路系統出現故障或癱瘓。
大數據時代下網路安全的防護措施
1、使用安全的殺毒軟體和加強監管工作
計算機不僅需要採用適當的防火牆技術，營造優良的網路運營氛圍，且還需要安裝殺毒軟體。這樣一來便可詳細檢查計算機當中的數據信息，全面提高計算機的安全性，防止因為病毒入侵帶來的安全隱患。另一方面，企業也需要做好計算機網路安全的監管工作，集中管理企業現有賬號，強化自身安全管理的意識。
2、加強網路安全意識
相關工作人員應深入了解計算機的操作步驟和注意事項，注意可能存在的危險，不下載、不點擊來源不明的鏈接，提升自身的網路安全意識。此外，還需要強化學習，拓展知識面，提升防範能力，養成正確的使用計算機的習慣。
3、加強網路管控能力
影響計算機安全的主要原因是工作人員對網路維護的重視程度不夠，只是計算機安全受到影響。網路管理者應加強對信息安全的維護力度，構建出相應的網路管控機制。可通過相關的防控軟體對網路病毒、黑客入侵的行為進行監控，同時該系統也能夠對用戶所參與的網路活動進行分析和把控，及時彈出安全彈窗，以此避免網路安全問題的發生。
4、加強網路安全管理
加強網路安全管理，注重技術應用，為網路安全提供基礎保障。即通過網路維護，定期檢查網路安全問題，提升對網路安全及數據安全的管理力度，保障信息網路的正常運作。在這個過程中，網路管理者需要定期檢查系統漏洞，及時地更新殺毒軟體的病毒庫等。
結語