1. (1)什麼是安全大數據
安全數據的大數據化主要體現在以下三個方面：
一、數據量越來越大：網路已經從千兆邁向了萬兆，網路安全設備要分析的數據包數據量急劇上升。此外，隨著APT等新型威脅的興起，全包捕獲技術逐步應用，海量數據處理問題也日益凸顯。
二、速度越來越快：對於網路設備而言，包處理和轉發的速度需要更快；對於安管平台、事件分析平台而言，數據源的事件發送速率（EPS，EventperSecond，事件數每秒）越來越快。
三、種類越來越多：除了數據包、日誌、資產數據，安全要素信息還加入了漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應用信息、業務信息、外部情報信息等。
我們需要大數據安全分析
安全數據的大數據化，以及傳統安全分析所面臨的挑戰和發展趨勢，都指向了同一個技術——大數據分析。正如Gartner在2011年明確指出，「信息安全正在變成一個大數據分析問題」。
於是，業界出現了將大數據分析技術應用於信息安全的技術——大數據安全分析（BigDataSecurityAnalysis，簡稱BDSA），也有人稱做針對安全的大數據分析（BigDataAnalysisforSecurity）。
藉助大數據安全分析技術，能夠更好地解決天量安全要素信息的採集、存儲的問題，藉助基於大數據分析技術的機器學習，能夠更加智能地洞悉信息與網路安全的態勢，更加主動、彈性地去應對新型復雜的威脅和未知多變的風險。
2. 網路安全與大數據技術應用探討論文
網路安全與大數據技術應用探討論文
摘要： 隨著互聯網技術的高速發展與普及，現如今互聯網技術已經廣泛應用於人們工作與生活之中，這給人們帶來了前所未有的便利，但與此同時各種網路安全問題也隨之顯現。基於此，本文主要介紹了大數據技術在網路安全領域中的具體應用，希望在網路系統安全方面進行研究的同時，能夠為互聯網事業的持續發展提供可行的理論參考。
關鍵詞： 網路安全；大數據技術；應用分析
前言
隨著近年來互聯網技術的不斷深入，網路安全事故也隨之頻頻發生。出於對網路信息安全的重視，我國於2014年成立了國家安全委員會，正式將網路安全提升為國家戰略部署，這同時也表示我國網路信息安全形勢不容樂觀，網路攻擊事件處於高發狀態。木馬僵屍病毒、惡意勒索軟體、分布式拒絕服務攻擊、竊取用戶敏感信息等各類網路攻擊事件的數量都處於世界前列。時有發生的移動惡意程序、APT、DDOS、木馬病毒等網路攻擊不僅會嚴重阻礙網路帶寬、降低網路速度、並且對電信運營商的企業聲譽也會產生一定影響。根據大量數據表明，僅僅依靠傳統的網路防範措施已經無法應對新一代的網路威脅，而通過精確的檢測分析從而在早期預警，已經成為現階段網路安全能力的關鍵所在。
1網路安全問題分析
網路安全問題不僅涉及公民隱私與信息安全，更關乎國事安全，例如雅虎的信息泄露，導致至少五億條用戶信息被竊；美國棱鏡門與希拉里郵件門等等事件都使得網路安全問題進一步升級、擴大。隨著互聯網構架日益復雜，網路安全分析的數據量也在與日俱增，在由TB級向PB級邁進的過程，不僅數據來源豐富、內容更加細化，數據分析所需維度也更為廣泛。伴隨著現階段網路性能的增長，數據源發送速率更快，對安全信息採集的速度要求也就越高，版本更新延時等導致的Odav等漏洞日漸增多，網路攻擊的影響范圍也就進一步擴大；例如APT此類有組織、有目標且長期潛伏滲透的多階段組合式攻擊更加難以防範，唯有分析更多種類的安全信息並融合多種手段進行檢測抵禦。在傳統技術架構中，大多使用結構化資料庫來進行數據存儲，但由於數據存儲的成本過高，系統往往會將原始數據進行標准化處理後再進行存儲，如此易導致數據的丟失與失真以及歷史數據難以保存而造成的追蹤溯源困難；同時對於嘈雜的大型、非結構化數據集的執行分析以及復雜查詢效率很低，導致數據的實時性及准確性難以保證，安全運營效率不高，因此傳統網路安全技術已經難以滿足現階段網路安全分析的新要求。大數據技術這一概念最初由維克托.邁爾.舍恩伯格與肯尼斯.庫克耶在2008年出版的《大數據時代》一書中提出的，大數據是指不採用隨機分析法，而是對所有的數據進行綜合分析處理。大數據技術作為現階段信息架構發展的趨勢之首，其獨有的高速、多樣、種類繁多以及價值密度低等特點，近年來被廣泛應用於互聯網的多個領域中。大數據的戰略意義在於能夠掌握龐大的數據信息，使海量的原始安全信息的存儲與分析得以實現、分布式資料庫相比傳統資料庫的存儲成本得以降低，並且數據易於在低廉硬體上的水平擴展，極大地降低了安全投入成本；並且伴隨著數據挖掘能力的大幅提高，安全信息的採集與檢測響應速度更加快捷，異構及海量數據存儲的支持打造了多維度、多階段關聯分析的基礎，提升了分析的深度與廣度。對於網路安全防禦而言，通過對不同來源的數據進行綜合管理、處理、分析、優化，可實現在海量數據中極速鎖定目標數據，並將分析結果實時反饋，對於現階段網路安全防禦而言至關重要。
2大數據在網路安全中的應用
將大數據運用到網路安全分析中，不僅能夠實現數據的優化與處理，還能夠對日誌與訪問行為進行綜合處理，從而提高事件處理效率。大數據技術在網路安全分析的效果可從以下幾點具體分析：
2.1數據採集效率
大數據技術可對數據進行分布式地採集，能夠實現數百兆/秒的採集速度，使得數據採集速率得到了極大的提高，這也為後續的關聯分析奠定了基礎。
2.2數據的存儲
在網路安全分析系統中，原始數據的存儲是至關重要的，大數據技術能夠針對不同數據類型進行不同的數據採集，還能夠主動利用不同的方式來提高數據查詢的效率，比如在對日誌信息進行查詢時適合採用列式的存儲方式，而對於分析與處理標准化的數據，則適合採用分布式的模式進行預處理，在數據處理後可將結果存放在列式存儲中；或者也可以在系統中建立起MapRece的查詢模塊，在進行查詢的時候可直接將指令放在指定的節點，完成處理後再對各個節點進行整理，如此能夠確保查詢的速度與反應速度。
2.3實時數據的分析與後續數據的處理
在對實時數據的分析中，可以採用關聯分析演算法或CEP技術進行分析，如此能夠實現對數據的採集、分析、處理的綜合過程，實現了更高速度以及更高效率的處理；而對於統計結果以及數據的處理，由於這種處理對時效性要求不高，因此可以採用各種數據處理技術或是利用離線處理的方式，從而能夠更好地完成系統風險、攻擊方面的分析。
2.4關於復雜數據的分析
在針對不同來源、不同類型的復雜數據進行分析時，大數據技術都能夠更好的完成數據的分析與查詢，並且能夠有效完成復雜數據與安全隱患、惡意攻擊等方面的處理，當網路系統中出現了惡意破壞、攻擊行為，可採用大數據技術從流量、DNS的角度出發，通過多方面的數據信息分析實現全方位的防範、抵禦。
3基於大數據技術構建網路系統安全分析
在網路安全系統中引入大數據技術，主要涉及以下三個模塊：
3.1數據源模塊
網路安全系統中的`數據及數據源會隨著互聯網技術的進步而倍增技術能夠通過分布式採集器的形式，對系統中的軟硬體進行信息採集，除了防火牆、檢測系統等軟體，對設備硬體的要求也在提高，比如對伺服器、存儲器的檢查與維護工作。
3.2數據採集模塊
大數據技術可將數據進行對立分析，從而構建起分布式的數據基礎，能夠做到原始數據從出現到刪除都做出一定說明，真正實現數據的訪問、追溯功能，尤其是對數據量與日俱增的今天而言，分布式數據存儲能夠更好地實現提高資料庫的穩定性。
3.3數據分析模塊
對網路安全系統的運營來說，用戶的業務系統就是安全的最終保障對象，大數據分析能夠在用戶數據產生之初，及時進行分析、反饋，從而能夠讓網路用戶得到更加私人化的服務體驗。而對於用戶而言，得其所想也會對網路系統以及大數據技術更加的信任，對於個人的安全隱私信息在系統上存儲的疑慮也會大幅降低。當前網路與信息安全領域正在面臨著全新的挑戰，企業、組織、個人用戶每天都會產生大量的安全數據，現有的安全分析技術已經難以滿足高效率、精確化的安全分析所需。而大數據技術靈活、海量、快速、低成本、高容量等特有的網路安全分析能力，已經成為現階段業界趨勢所向。而對互聯網企業來說，實現對數據的深度「加工處理」，則是實現數據增值的關鍵所在，對商業運營而言是至關重要的。
4結語
在當下時代，信息數據已經滲透到各個行業及業務領域中，成為重要的社會生產因素。正因如此，互聯網數據產生的數量也在與日倍增中，這給網路安全分析工作帶來了一定難度與壓力，而大數據技術則能夠很好的完善這一問題。在網路系統中應用大數據技術不僅能夠滿足人們對數據處理時所要求的高效性與精準性，並且能夠在此基礎上構建一套相對完善的防範預警系統，這對維護網路系統的安全起著非常關鍵的作用，相信大數據技術日後能夠得到更加廣泛的應用。
參考文獻：
[1]魯宛生.淺談網路安全分析中大數據技術的應用[J].數碼世界，2017.
[2]王帥,汪來富,金華敏等.網路安全分析中的大數據技術應用[J].電信科學，2015.
[3]孫玉.淺談網路安全分析中的大數據技術應用[J].網路安全技術與應用，2017.
;3. 大數據環境下的網路安全分析
大數據環境下的網路安全分析
「大數據」一詞常被誤解。事實上，使用頻率太高反而使它幾乎沒有什麼意義了。大數據確實存儲並處理大量的數據集合，但其特性體現遠不止於此。
在著手解決大數據問題時，將其看作是一種觀念而不是特定的規模或技術非常有益。就其最簡單的表現來說，大數據現象由三個大趨勢的交集所推動：包含寶貴信息的大量數據、廉價的計算資源、幾乎免費的分析工具。
大數據架構和平台算是新事物，而且還在以一種非凡的速度不斷發展著。商業和開源的開發團隊幾乎每月都在發布其平台的新功能。當今的大數據集群將會與將來我們看到的數據集群有極大不同。適應這種新困難的安全工具也將發生變化。在採用大數據的生命周期中，業界仍處於早期階段，但公司越早開始應對大數據的安全問題，任務就越容易。如果安全成為大數據集群發展過程中的一種重要需求，集群就不容易被黑客破壞。此外，公司也能夠避免把不成熟的安全功能放在關鍵的生產環境中。
如今，有很多特別重視不同數據類型（例如，地理位置數據）的大數據管理系統。這些系統使用多種不同的查詢模式、不同的數據存儲模式、不同的任務管理和協調、不同的資源管理工具。雖然大數據常被描述為「反關系型」的，但這個概念還無法抓住大數據的本質。為了避免性能問題，大數據確實拋棄了許多關系型資料庫的核心功能，卻也沒犯什麼錯誤：有些大數據環境提供關系型結構、業務連續性和結構化查詢處理。
由於傳統的定義無法抓住大數據的本質，我們不妨根據組成大數據環境的關鍵要素思考一下大數據。這些關鍵要素使用了許多分布式的數據存儲和管理節點。這些要素存儲多個數據副本，在多個節點之間將數據變成「碎片」。這意味著在單一節點發生故障時，數據查詢將會轉向處理資源可用的數據。正是這種能夠彼此協作的分布式數據節點集群，可以解決數據管理和數據查詢問題，才使得大數據如此不同。
節點的鬆散聯系帶來了許多性能優勢，但也帶來了獨特的安全挑戰。大數據資料庫並不使用集中化的「圍牆花園」模式（與「完全開放」的互聯網相對而言，它指的是一個控制用戶對網頁內容或相關服務進行訪問的環境），內部的資料庫並不隱藏自己而使其它應用程序無法訪問。在這兒沒有「內部的」概念，而大數據並不依賴數據訪問的集中點。大數據將其架構暴露給使用它的應用程序，而客戶端在操作過程中與許多不同的節點進行通信。
規模、實時性和分布式處理：大數據的本質特徵（使大數據解決超過以前數據管理系統的數據管理和處理需求，例如，在容量、實時性、分布式架構和並行處理等方面）使得保障這些系統的安全更為困難。大數據集群具有開放性和自我組織性，並可以使用戶與多個數據節點同時通信。驗證哪些數據節點和哪些客戶應當訪問信息是很困難的。別忘了，大數據的本質屬性意味著新節點自動連接到集群中，共享數據和查詢結果，解決客戶任務。
嵌入式安全：在涉及大數據的瘋狂競賽中，大部分的開發資源都用於改善大數據的可升級、易用性和分析功能上。只有很少的功能用於增加安全功能。但是，你希望得到嵌入到大數據平台中的安全功能。你希望開發人員在設計和部署階段能夠支持所需要的功能。你希望安全功能就像大數據集群一樣可升級、高性能、自組織。問題是，開源系統或多數商業系統一般都不包括安全產品。而且許多安全產品無法嵌入到Hadoop或其它的非關系型資料庫中。多數系統提供最少的安全功能，但不足以包括所有的常見威脅。在很大程度上，你需要自己構建安全策略。
應用程序：面向大數據集群的大多數應用都是Web應用。它們利用基於Web的技術和無狀態的基於REST的API。雖然全面討論大數據安全的這個問題超出了本文的范圍，但基於Web的應用程序和API給這些大數據集群帶來了一種最重大的威脅。在遭受攻擊或破壞後，它們可以提供對大數據集群中所存儲數據的無限制訪問。應用程序安全、用戶訪問管理及授權控制非常重要，與重點保障大數據集群安全的安全措施一樣都不可或缺。
數據安全：存儲在大數據集群中的數據基本上都保存在文件中。每一個客戶端應用都可以維持其自己的包含數據的設計，但這種數據是存儲在大量節點上的。存儲在集群中的數據易於遭受正常文件容易感染的所有威脅，因而需要對這些文件進行保護，避免遭受非法的查看和復制。
4. 大數據安全分析的6個要點
大數據安全分析的6個要點
現在，很多行業都已經開始利用大數據來提高銷售，降低成本，精準營銷等等。然而，其實大數據在網路安全與信息安全方面也有很長足的應用。特別是利用大數據來甄別和發現風險和漏洞。
通過大數據，人們可以分析大量的潛在安全事件，找出它們之間的聯系從而勾勒出一個完整的安全威脅。通過大數據，分散的數據可以被整合起來，使得安全人員能夠採用更加主動的安全防禦手段。
今天，網路環境極為復雜，APT攻擊以及其他一些網路攻擊可以通過對從不同數據源的數據的搜索和分析來對安全威脅加以甄別，要做到這一點，就需要對一系列數據源的進行監控，包括DNS數據，命令與控制(C2)，黑白名單等。從而能夠把這些數據進行關聯來進行發囧。
企業針對安全的大數據分析下面是一些要點：
DNS數據
DNS數據能夠提供一系列新注冊域名，經常用來進行垃圾信息發送的域名，以及新創建的域名等等，所有這些信息都可以和黑白名單結合起來，所有這些數據都應該收集起來做進一步分析。
如果自有DNS伺服器，就能過檢查那些對外的域名查詢，這樣可能發現一些無法解析的域名。這種情況就可能意味著你檢測到了一個「域名生成演算法」。這樣的信息就能夠讓安全團隊對公司網路進行保護。而且如果對區域網流量數據日誌進行分析的話，就有可能找到對應的受到攻擊的機器。
命令與控制(C2)系統
把命令與控制數據結合進來可以得到一個IP地址和域名的黑名單。對於公司網路來說，網路流量絕對不應該流向那些已知的命令與控制系統。如果網路安全人員要仔細調查網路攻擊的話，可以把來自C2系統的流量引導到公司設好的「蜜罐」機器上去。
安全威脅情報
有一些類似與網路信譽的數據源可以用來判定一個地址是否是安全的。有些數據源提供「是」與「否」的判定，有的還提供一些關於威脅等級的信息。網路安全人員能夠根據他們能夠接受的風險大小來決定某個地址是否應該訪問。
網路流量日誌
有很多廠商都提供記錄網路流量日誌的工具。在利用流量日誌來分析安全威脅的時候，人們很容易被淹沒在大量的「噪音」數據中。不過流量日誌依然是安全分析的基本要求。有一些好的演算法和軟體能夠幫助人們提供分析質量。
「蜜罐」數據
「蜜罐」可以有效地檢測針對特定網路的惡意軟體。此外，通過「蜜罐」獲得的惡意軟體可以通過分析獲得其特徵碼，從而進一步監控網路中其他設備的感染情況。這樣的信息是非常有價值的，尤其是很多APT攻擊所採用的定製的惡意代碼往往無法被常規防病毒軟體所發現。參見本站文章企業設置「蜜罐」的五大理由
數據質量很重要
最後，企業要注意數據的質量。市場上有很多數據可用，在安全人員進行大數據安全分析時，這些數據的質量和准確性是一個最重要的考量。因此，企業需要有一個內部的數據評估團隊針對數據來源提出相應的問題，如：最近的數據是什麼時候添加的?有沒有樣本數據以供評估?每天能夠添加多少數據?這些數據哪些是免費的?數據總共收集了多久?等等。
安全事件和數據泄露的新聞幾乎每天都能夠出現在報紙上，即使企業已經開始採取手段防禦APT，傳統的安全防禦手段對於APT之類的攻擊顯得辦法不多。而利用大數據，企業可以採取更為主動的防禦措施，使得安全防禦的深度和廣度都大為加強。
5. 大數據時代下網路安全的重要性
隨著互聯網的飛速發展，出現了海量的數據信息，人類 社會 也逐步邁進了大數據時代。大數據時代可以為人們帶來更多的關於時代發展的實時信息，使人類的思想能夠跟上時代發展的腳步，為人們之間的交流與溝通帶來便利。即使大數據時代互聯網技術自身擁有諸多的優點，但是在應用過程中依然存在很多的網路信息安全風險，這將會導致信息數據不真實，同時又會對人們使用信息的時效性造成不良影響。所以，在大數據時代，我們應該更加重視網路信息的安全性，依託科學合理的網路信息安全管理方案來防止網路安全問題的發生，從而加快中國現代化信息建設的腳步。
大數據時代網路存在的安全問 題
由於網路具有較強的開放性特質，能夠實現跨越時空的交流與互動，但於此同時，也容易遭受不同空間與主題的入侵和攻擊，這就會導致數據信息發生泄露，繼而造成嚴重的網路安全問題。其次就是人為操作失誤，由於網民在上網過程中沒有清晰的安全意識，容易下載並點擊危險的軟體和網站，導致手機或電腦遭受病毒的襲擊，進而丟失私人信息、賬戶信息等。再次就是網路黑客問題，黑客能夠通過竊取網路信息或網路密鑰的方式，破壞用戶的網路系統，使用戶的私人信息受到威脅，甚至會導致整個網路系統出現故障或癱瘓。
大數據時代下網路安全的防護措施
1、使用安全的殺毒軟體和加強監管工作
計算機不僅需要採用適當的防火牆技術，營造優良的網路運營氛圍，且還需要安裝殺毒軟體。這樣一來便可詳細檢查計算機當中的數據信息，全面提高計算機的安全性，防止因為病毒入侵帶來的安全隱患。另一方面，企業也需要做好計算機網路安全的監管工作，集中管理企業現有賬號，強化自身安全管理的意識。
2、加強網路安全意識
相關工作人員應深入了解計算機的操作步驟和注意事項，注意可能存在的危險，不下載、不點擊來源不明的鏈接，提升自身的網路安全意識。此外，還需要強化學習，拓展知識面，提升防範能力，養成正確的使用計算機的習慣。
3、加強網路管控能力
影響計算機安全的主要原因是工作人員對網路維護的重視程度不夠，只是計算機安全受到影響。網路管理者應加強對信息安全的維護力度，構建出相應的網路管控機制。可通過相關的防控軟體對網路病毒、黑客入侵的行為進行監控，同時該系統也能夠對用戶所參與的網路活動進行分析和把控，及時彈出安全彈窗，以此避免網路安全問題的發生。
4、加強網路安全管理
加強網路安全管理，注重技術應用，為網路安全提供基礎保障。即通過網路維護，定期檢查網路安全問題，提升對網路安全及數據安全的管理力度，保障信息網路的正常運作。在這個過程中，網路管理者需要定期檢查系統漏洞，及時地更新殺毒軟體的病毒庫等。
結語