⑴ 信息與網路安全需要大數據安全分析
信息與網路安全需要大數據安全分析
毫無疑問，我們已經進入了大數據（Big Data）時代。人類的生產生活每天都在產生大量的數據，並且產生的速度越來越快。根據IDC和EMC的聯合調查，到2020年全球數據總量將達到40ZB。2013年，Gartner將大數據列為未來信息架構發展的10大趨勢之首。Gartner預測將在2011年到2016年間累計創造2320億美元的產值。
大數據早就存在，只是一直沒有足夠的基礎實施和技術來對這些數據進行有價值的挖據。隨著存儲成本的不斷下降、以及分析技術的不斷進步，尤其是雲計算的出現，不少公司已經發現了大數據的巨大價值：它們能揭示其他手段所看不到的新變化趨勢，包括需求、供給和顧客習慣等等。比如，銀行可以以此對自己的客戶有更深入的了解，提供更有個性的定製化服務；銀行和保險公司可以發現詐騙和騙保；零售企業更精確探知顧客需求變化，為不同的細分客戶群體提供更有針對性的選擇；制葯企業可以以此為依據開發新葯，詳細追蹤葯物療效，並監測潛在的副作用；安全公司則可以識別更具隱蔽性的攻擊、入侵和違規。
當前網路與信息安全領域，正在面臨著多種挑戰。一方面，企業和組織安全體系架構的日趨復雜，各種類型的安全數據越來越多，傳統的分析能力明顯力不從心；另一方面，新型威脅的興起，內控與合規的深入，傳統的分析方法存在諸多缺陷，越來越需要分析更多的安全信息、並且要更加快速的做出判定和響應。信息安全也面臨大數據帶來的挑戰。安全數據的大數據化
安全數據的大數據化主要體現在以下三個方面：
1） 數據量越來越大：網路已經從千兆邁向了萬兆，網路安全設備要分析的數據包數據量急劇上升。同時，隨著NGFW的出現，安全網關要進行應用層協議的分析，分析的數據量更是大增。與此同時，隨著安全防禦的縱深化，安全監測的內容不斷細化，除了傳統的攻擊監測，還出現了合規監測、應用監測、用戶行為監測、性能檢測、事務監測，等等，這些都意味著要監測和分析比以往更多的數據。此外，隨著APT等新型威脅的興起，全包捕獲技術逐步應用，海量數據處理問題也日益凸顯。
2） 速度越來越快：對於網路設備而言，包處理和轉發的速度需要更快；對於安管平台、事件分析平台而言，數據源的事件發送速率（EPS，Event per Second，事件數每秒）越來越快。
3） 種類越來越多：除了數據包、日誌、資產數據，安全要素信息還加入了漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應用信息、業務信息、外部情報信息等。
安全數據的大數據化，自然引發人們思考如何將大數據技術應用於安全領域。
傳統的安全分析面臨挑戰
安全數據的數量、速度、種類的迅速膨脹，不僅帶來了海量異構數據的融合、存儲和管理的問題，甚至動搖了傳統的安全分析方法。
當前絕大多數安全分析工具和方法都是針對小數據量設計的，在面對大數據量時難以為繼。新的攻擊手段層出不窮，需要檢測的數據越來越多，現有的分析技術不堪重負。面對天量的安全要素信息，我們如何才能更加迅捷地感知網路安全態勢？
傳統的分析方法大都採用基於規則和特徵的分析引擎，必須要有規則庫和特徵庫才能工作，而規則和特徵只能對已知的攻擊和威脅進行描述，無法識別未知的攻擊，或者是尚未被描述成規則的攻擊和威脅。面對未知攻擊和復雜攻擊如APT等，需要更有效的分析方法和技術！如何做到知所未知？
面對天量安全數據，傳統的集中化安全分析平台（譬如SIEM，安全管理平台等）也遭遇到了諸多瓶頸，主要表現在以下幾方面：
——高速海量安全數據的採集和存儲變得困難
——異構數據的存儲和管理變得困難
——威脅數據源較小，導致系統判斷能力有限
——對歷史數據的檢測能力很弱
——安全事件的調查效率太低
——安全系統相互獨立，無有效手段協同工作
——分析的方法較少
——對於趨勢性的東西預測較難，對早期預警的能力比較差
——系統交互能力有限，數據展示效果有待提高
從上世紀80年代入侵檢測技術的誕生和確立以來，安全分析已經發展了很長的時間。當前，信息與網路安全分析存在兩個基本的發展趨勢：情境感知的安全分析與智能化的安全分析。
Gartner在2010年的一份報告中指出，「未來的信息安全將是情境感知的和自適應的」。所謂情境感知，就是利用更多的相關性要素信息的綜合研判來提升安全決策的能力，包括資產感知、位置感知、拓撲感知、應用感知、身份感知、內容感知，等等。情境感知極大地擴展了安全分析的縱深，納入了更多的安全要素信息，拉升了分析的空間和時間范圍，也必然對傳統的安全分析方法提出了挑戰。
同樣是在2010年，Gartner的另一份報告指出，要「為企業安全智能的興起做好准備」。在這份報告中，Gartner提出了安全智能的概念，強調必須將過去分散的安全信息進行集成與關聯，獨立的分析方法和工具進行整合形成交互，從而實現智能化的安全分析與決策。而信息的集成、技術的整合必然導致安全要素信息的迅猛增長，智能的分析必然要求將機器學習、數據挖據等技術應用於安全分析，並且要更快更好地的進行安全決策。
信息與網路安全需要大數據安全分析
安全數據的大數據化，以及傳統安全分析所面臨的挑戰和發展趨勢，都指向了同一個技術——大數據分析。正如Gartner在2011年明確指出，「信息安全正在變成一個大數據分析問題」。
於是，業界出現了將大數據分析技術應用於信息安全的技術——大數據安全分析（Big Data Security Analysis，簡稱BDSA），也有人稱做針對安全的大數據分析（Big Data Analysis for Security）。
藉助大數據安全分析技術，能夠更好地解決天量安全要素信息的採集、存儲的問題，藉助基於大數據分析技術的機器學習和數據挖據演算法，能夠更加智能地洞悉信息與網路安全的態勢，更加主動、彈性地去應對新型復雜的威脅和未知多變的風險。
⑵ 澶ф暟鎹鏃朵唬錛岀綉緇滃畨鍏ㄩ槻鎶ゆ湁鍝浜涢毦鐐癸紝濡備綍鍋氬ソ鏁版嵁淇濇姢鏇村彲闈犲憿錛
鍦ㄥぇ鏁版嵁鏃朵唬錛岀綉緇滃畨鍏ㄩ槻鎶ら潰涓寸潃涓緋誨垪鎸戞垬銆備互涓嬫槸鍑犱釜涓昏佺殑闅劇偣錛
1. 鏁版嵁瑙勬ā鍜屽嶆潅鎬э細搴炲ぇ鐨勬暟鎹閲忓拰澶氭牱鐨勬暟鎹綾誨瀷浣垮緱瀹夊叏鍒嗘瀽鍜岀洃鎺у彉寰楁洿鍔犲嶆潅銆傛敾鍑昏呰兘澶熷埄鐢ㄨ繖浜涙暟鎹瀹炴柦闅愯斀鐨勬敾鍑伙紝鍥犳わ紝闇瑕佹洿寮哄ぇ鐨勫畨鍏ㄦ帾鏂芥潵搴斿廣
2. 楂樼駭濞佽儊錛氶殢鐫鎮舵剰杞浠跺拰緗戠粶鏀誨嚮鎶鏈鐨勮繘鍖栵紝楂樼駭濞佽儊鍙樺緱鏇村姞闅愯斀鍜屽嶆潅銆傝繖浜涙敾鍑誨線寰闅句互琚浼犵粺鐨勫畨鍏ㄩ槻鎶ゆ帾鏂藉彂鐜板拰紼垮巻孌甸樆姝錛岄渶瑕佷嬌鐢ㄥ厛榪涚殑瀹夊叏鎶鏈榪涜屾嫻嬪拰搴斿廣
3. 鏁版嵁闅愮佷繚鎶わ細鍦ㄥぇ鏁版嵁鐜澧冧腑錛屾秹鍙婁釜浜烘晱鎰熶俊鎮鐨勬暟鎹瓚婃潵瓚婂氥傚洜姝わ紝淇濇姢鏁版嵁闅愮佹垚涓轟竴涓閲嶈佺殑鎸戞垬銆傛暟鎹鐨勬敹闆嗐佸瓨鍌ㄥ拰澶勭悊蹇呴』閬靛畧鐩稿叧鐨勯殣縐佹硶瑙勫拰鍚堣勮佹眰錛屽悓鏃墮渶瑕侀噰鍙栦弗鏍肩殑瀹夊叏鎺鏂芥潵淇濇姢鏁版嵁鐨勬満瀵嗘у拰瀹屾暣鎬с
涓轟簡鏇村彲闈犲湴淇濇姢鏁版嵁錛屽彲浠ラ噰鍙栦互涓嬫帾鏂斤細
1. 寮哄寲緗戠粶瀹夊叏鍩虹璁炬柦錛氬緩絝嬬儌閰嶅拰緇存姢寮哄ぇ鐨勯槻鐏澧欍佸叆渚墊嫻嬬郴緇熴佸畨鍏ㄨよ瘉鍜岃塊棶鎺у埗絳夊熀紜璁炬柦錛屼互闃繪㈡綔鍦ㄧ殑鏀誨嚮鍜屼繚鎶ょ綉緇滃畨鍏ㄣ
2. 瀹炴柦鏁版嵁鍔犲瘑鍜岃韓浠借よ瘉錛氶噰鐢ㄥ己澶х殑鍔犲瘑綆楁硶鏉ヤ繚鎶ゆ暟鎹鐨勫畨鍏ㄦэ紝鍚屾椂浣跨敤澶氬洜緔犺韓浠借よ瘉鏉ョ『淇濆彧鏈夌粡榪囨巿鏉冪殑浜哄憳鑳藉熻塊棶鏁忔劅鏁版嵁銆
3. 寮曞叆鍏堣繘鐨勫▉鑳佹嫻嬫妧鏈錛氫嬌鐢ㄦ満鍣ㄥ︿範銆佽屼負鍒嗘瀽鍜屼漢宸ラ敭瑾夋櫤鑳界瓑鍏堣繘鎶鏈鏉ユ嫻嬪拰搴斿歸珮綰у▉鑳侊紝鍙婃椂鍙戠幇騫跺簲瀵規綔鍦ㄧ殑鏀誨嚮銆
4. 鍔犲己鍛樺伐鍩硅鍜屾剰璇嗭細鎻愰珮鍛樺伐鐨勫畨鍏ㄦ剰璇嗭紝鏁欒偛浠栦滑濡備綍姝ｇ『浣跨敤鍜屼繚鎶ゆ暟鎹錛屼互鍑忓皯鍐呴儴瀹夊叏婕忔礊鐨勯庨櫓銆
5. 瀹氭湡澶囦喚鍜岀伨闅炬仮澶嶈″垝錛氬畾鏈熷囦喚閲嶈佹暟鎹錛屽苟寤虹珛鐏鵑毦鎮㈠嶈″垝錛屼互渚垮湪鏁版嵁閬鍙楃牬鍧忔垨涓㈠け鏃惰兘澶熷揩閫熸仮澶嶃
緇間笂鎵榪幫紝鍦ㄥぇ鏁版嵁鏃朵唬錛屼負浜嗘洿鍙闈犲湴淇濇姢鏁版嵁錛屽簲褰撳姞寮虹綉緇滃畨鍏ㄥ熀紜璁炬柦錛岄噰鐢ㄥ厛榪涚殑濞佽儊媯嫻嬫妧鏈錛屽姞寮哄憳宸ュ煿璁鍜屾剰璇嗭紝騫跺緩絝嬪畬鍠勭殑澶囦喚鍜岀伨闅炬仮澶嶈″垝銆傚悓鏃訛紝鍚堣勬у拰闅愮佷繚鎶や篃鏄涓嶅彲蹇借嗙殑閲嶈佹柟闈銆
⑶ 如何利用大數據來處理網路安全攻擊
「大數據」已經成為時下最火熱的IT行業詞彙，各行各業的大數據解決方案層出不窮。究竟什麼是大數據、大數據給信息安全帶來哪些挑戰和機遇、為什麼網路安全需要大數據，以及怎樣把大數據思想應用於網路安全技術，本文給出解答。
一切都源於APT
APT（Advanced Persistent Threat）攻擊是一類特定的攻擊，為了獲取某個組織甚至是國家的重要信息，有針對性的進行的一系列攻擊行為的整個過程。APT攻擊利用了多種攻擊手段，包括各種最先進的手段和社會工程學方法，一步一步的獲取進入組織內部的許可權。APT往往利用組織內部的人員作為攻擊跳板。有時候，攻擊者會針對被攻擊對象編寫專門的攻擊程序，而非使用一些通用的攻擊代碼。此外，APT攻擊具有持續性，甚至長達數年。這種持續體現在攻擊者不斷嘗試各種攻擊手段，以及在滲透到網路內部後長期蟄伏，不斷收集各種信息，直到收集到重要情報。更加危險的是，這些新型的攻擊和威脅主要就針對國家重要的基礎設施和單位進行，包括能源、電力、金融、國防等關繫到國計民生，或者是國家核心利益的網路基礎設施。
現有技術為什麼失靈
先看兩個典型APT攻擊案例，分析一下盲點在哪裡：
1、 RSA SecureID竊取攻擊
1) 攻擊者給RSA的母公司EMC的4名員工發送了兩組惡意郵件。郵件標題為「2011 Recruitment Plan」，寄件人是[email protected]，正文很簡單，寫著「I forward this file to you for review. Please open and view it.」;裡面有個EXCEL附件名為「2011 Recruitment plan.xls」；
2) 很不幸，其中一位員工對此郵件感到興趣，並將其從垃圾郵件中取出來閱讀，殊不知此電子表格其實含有當時最新的Adobe Flash的0day漏洞(CVE-2011-0609)。這個Excel打開後啥也沒有，除了在一個表單的第一個格子裡面有個「X」(叉)。而這個叉實際上就是內嵌的一個Flash；
3) 該主機被植入臭名昭著的Poison Ivy遠端控制工具，並開始自BotNet的C&C伺服器(位於 good.mincesur.com)下載指令進行任務；
4) 首批受害的使用者並非「位高權重」人物，緊接著相關聯的人士包括IT與非IT等伺服器管理員相繼被黑；
5) RSA發現開發用伺服器(Staging server)遭入侵，攻擊方隨即進行撤離，加密並壓縮所有資料(都是rar格式)，並以FTP傳送至遠端主機，又迅速再次搬離該主機，清除任何蹤跡；
6) 在拿到了SecurID的信息後，攻擊者就開始對使用SecurID的公司(例如上述防務公司等)進行攻擊了。
2、 震網攻擊
遭遇超級工廠病毒攻擊的核電站計算機系統實際上是與外界物理隔離的，理論上不會遭遇外界攻擊。堅固的堡壘只有從內部才能被攻破，超級工廠病毒也正充分的利用了這一點。超級工廠病毒的攻擊者並沒有廣泛的去傳播病毒，而是針對核電站相關工作人員的家用電腦、個人電腦等能夠接觸到互聯網的計算機發起感染攻擊，以此 為第一道攻擊跳板，進一步感染相關人員的U盤，病毒以U盤為橋梁進入「堡壘」內部，隨即潛伏下來。病毒很有耐心的逐步擴散，利用多種漏洞，包括當時的一個 0day漏洞，一點一點的進行破壞。這是一次十分成功的APT攻擊，而其最為恐怖的地方就在於極為巧妙的控制了攻擊范圍，攻擊十分精準。
以上兩個典型的APT攻擊案例中可以看出，對於APT攻擊，現代安全防禦手段有三個主要盲點：
1、0day漏洞與遠程加密通信
支撐現代網路安全技術的理論基礎最重要的就是特徵匹配，廣泛應用於各類主流網路安全產品，如殺毒、入侵檢測/防禦、漏洞掃描、深度包檢測。Oday漏洞和遠程加密通信都意味著沒有特徵，或者說還沒來得及積累特徵，這是基於特徵匹配的邊界防護技術難以應對的。
2、長期持續性的攻擊
現代網路安全產品把實時性作為衡量系統能力的一項重要指標，追求的目標就是精準的識別威脅，並實時的阻斷。而對於APT這種Salami式的攻擊，則是基於實時時間點的檢測技術難以應對的。
3、內網攻擊
任何防禦體系都會做安全域劃分，內網通常被劃成信任域，信任域內部的通信不被監控，成為了盲點。需要做接入側的安全方案加固，但不在本文討論范圍。
大數據怎麼解決問題
大數據可總結為基於分布式計算的數據挖掘，可以跟傳統數據處理模式對比去理解大數據：
1、數據采樣——>全集原始數據（Raw Data）
2、小數據+大演算法——>大數據+小演算法+上下文關聯+知識積累
3、基於模型的演算法——>機械窮舉（不帶假設條件）
4、精確性+實時性——>過程中的預測
使用大數據思想，可對現代網路安全技術做如下改進：
1、特定協議報文分析——>全流量原始數據抓取（Raw Data）
2、實時數據+復雜模型演算法——>長期全流量數據+多種簡單挖掘演算法+上下文關聯+知識積累
3、實時性+自動化——>過程中的預警+人工調查
通過傳統安全防禦措施很難檢測高級持續性攻擊，企業必須先確定日常網路中各用戶、業務系統的正常行為模型是什麼，才能盡早確定企業的網路和數據是否受到了攻擊。而安全廠商可利用大數據技術對事件的模式、攻擊的模式、時間、空間、行為上的特徵進行處理，總結抽象出來一些模型，變成大數據安全工具。為了精準地描述威脅特徵，建模的過程可能耗費幾個月甚至幾年時間，企業需要耗費大量人力、物力、財力成本，才能達到目的。但可以通過整合大數據處理資源，協調大數據處理和分析機制，共享資料庫之間的關鍵模型數據，加快對高級可持續攻擊的建模進程，消除和控制高級可持續攻擊的危害。
⑷ 澶嶅嵃鏈虹綉緇滄帴鍙ｆ晠闅
澶嶅嵃鏈烘槸鐜頒唬浼佷笟涓涓嶅彲鎴栫己鐨勪竴縐嶅姙鍏璁懼囷紝瀹冭兘澶熷皢綰歌川鏂囦歡鎴栧浘鍍忕瓑璧勬枡浠ュ揩閫熴佹柟渚跨殑鏂瑰紡榪涜屽嶅埗錛屽苟涓斿彲浠ラ氳繃緗戠粶鎺ュ彛瀹炵幇榪滃垽鑵旂▼鎺у埗錛屼嬌寰楀嶅嵃鏈虹殑搴旂敤鑼冨洿鏇村姞鐏墊椿澶氭牱銆備絾鏄錛屽湪瀹為檯浣跨敤榪囩▼涓錛屽嶅嵃鏈虹綉緇滄帴鍙ｆ晠闅滄槸涓縐嶆瘮杈冨父瑙佺殑闂棰橈紝榪欎笉浠呬細褰卞搷鍔炲叕鏁堢巼錛岃繕浼氱粰浼佷笟甯︽潵涓嶅繀瑕佺殑鎹熷け銆傛湰鏂囧皢鍥寸粫澶嶅嵃鏈虹綉緇滄帴鍙ｆ晠闅滅殑鍘熷洜銆佽В鍐蟲柟娉曡繘琛屽垎鏋愶紝浠ヤ究鏇村ソ鍦板府鍔╁ぇ瀹惰В鍐沖嶆墜閾懼嵃鏈洪棶棰樸
澶嶅嵃鏈虹綉緇滄帴鍙ｆ晠闅滅殑鍘熷洜
1.緗戠粶紜浠舵晠闅滐細澶嶅嵃鏈虹綉緇滄帴鍙ｈ繛鎺ヨ懼囧彂鐢熸晠闅滐紝緗戠粶綰胯礬銆佽礬鐢卞櫒絳夌‖浠舵晠闅滅瓑閮藉彲鑳藉艱嚧澶嶅嵃鏈虹綉緇滄帴鍙ｅ紓甯搞
2.緗戠粶璁劇疆闂棰橈細緗戠粶閰嶇疆涓嶆ｇ『錛孖P鍦板潃銆丏NS鏈嶅姟鍣ㄧ瓑緗戠粶鍙傛暟璁劇疆閿欒浼氬艱嚧澶嶅嵃鏈虹綉緇滄帴鍙ｆ晠闅溿
3.椹卞姩紼嬪簭闂棰橈細澶嶅嵃鏈洪┍鍔ㄧ▼搴忚繃鏃舵垨涓嶅吋瀹癸紝涔熶細瀵瑰嶅嵃鏈虹綉緇滄帴鍙ｄ駭鐢熷獎鍝嶃
4.緗戠粶瀹夊叏闂棰橈細緗戠粶榪炴帴琚鎷︽埅銆佹柇寮鎴栦腑閫斿嚭鐜板畨鍏ㄩ棶棰樺彲鑳藉艱嚧澶嶅嵃鏈虹綉緇滄帴鍙ｅ紓甯搞
澶嶅嵃鏈虹綉緇滄帴鍙ｆ晠闅滅殑瑙ｅ喅鏂規硶
1.媯鏌ョ綉緇滅‖浠惰懼囷細媯鏌ュ嶅嵃鏈鴻繛鎺ョ殑璁懼囷紝濡傝礬鐢卞櫒銆佷氦鎹㈡満絳夋槸鍚︽ｅ父宸ヤ綔錛屾垨鑰呭皾璇曟洿鎹㈢綉緇滅嚎璺鎴栨帴鍙ｇ瓑紜浠惰懼囥
2.媯鏌ョ綉緇滆劇疆錛氬湪澶嶅嵃鏈轟腑媯鏌ョ綉緇滃弬鏁幫紝鐗瑰埆鏄疘P鍦板潃銆丏NS鏈嶅姟鍣ㄣ佺綉鍏崇瓑璁劇疆鏄鍚︽ｇ『錛屽苟涓旂『璁ゅ叾涓庡叾浠栬懼囩殑璁劇疆鐩稿尮閰嶃
3.鏇存柊椹卞姩紼嬪簭錛氳冭檻鏇存柊澶嶅嵃鏈洪┍鍔ㄧ▼搴忥紝紜淇濆叾涓庡綋鍓嶇殑緗戠粶鐜澧冨拰鍏朵粬璁懼囪兘澶熷吋瀹廣
4.媯鏌ョ綉緇滃畨鍏錛氱『淇濈綉緇滆繛鎺ユ槸瀹夊叏鐨勫苟涓旀湭琚鎷︽埅錛屽傛灉鍙戠幇闂姣曞啿瀛欓樺彲浠ュ皾璇曟洿鎹㈢綉緇滅鍙ｆ垨閲嶆柊璁劇疆緗戠粶榪炴帴銆
鎬諱箣錛屽嶅嵃鏈虹綉緇滄帴鍙ｆ晠闅滄槸浼佷笟涓姣旇緝甯歌佺殑闂棰橈紝鑰屼笖鏁呴殰鍘熷洜涔熻緝澶氥傚洜姝わ紝鍦ㄤ嬌鐢ㄥ嶅嵃鏈烘椂錛屾垜浠搴旇ユ敞鎰忓瑰叾榪涜岀淮鎶ゅ拰淇濆吇錛屼互淇濊瘉鍏舵ｅ父宸ヤ綔銆傚傛灉鍙戠幇鏁呴殰錛屽強鏃跺簲瀵硅В鍐籌紝浠ュ厤褰卞搷鍔炲叕鏁堢巼鍜岀敓浜ф晥鐜囥
⑸ 大數據信息安全分析
大數據信息安全分析
企業和其他組織一直在充滿敵意的信息安全環境中運行，在這個環境中，計算和存儲資源成為攻擊者使用入侵系統進行惡意攻擊的目標。其中，個人機密信息被竊取，然後被放在地下市場出售，而國家支持的攻擊導致大量數據泄露。在這種情況下，一個企業需要部署大數據安全性分析工具
來保護有價值的公司資源。
信息安全的很大一部分工作是監控和分析伺服器、網路和其他設備上的數據。如今大數據分析方面的進步也已經應用於安防監控中，並且它們可被用於實現更廣泛和更深入的分析。它們與傳統的信息安全分析存在顯著的差異，本文將從兩個方面分別介紹大數據安全分析的新的特點，以及企業在選擇大數據分析技術時需要考慮的關鍵因素。
大數據安全分析的特徵
在許多方面，大數據安全分析是[安全信息和事件管理security information and event management ，SIEM)及相關技術的延伸。雖然只是在分析的數據量和數據類型方面存在量的差異，但對從安全設備和應用程序提取到的信息類型來說，卻導致了質的差異。
大數據安全分析工具通常包括兩種功能類別：SIEM，以及性能和可用性監控(PAM)。SIEM工具通常包括日誌管理、事件管理和行為分析，以及資料庫和應用程序監控。而PAM工具專注於運行管理。然而，大數據分析工具比純粹地將SIEM和PAM工具放在一起要擁有更多的功能;它們的目的是實時地收集、整合和分析大規模的數據，這需要一些額外的功能。
與SIEM一樣，大數據分析工具具有在網路上准確發現設備的能力。在一些情況下，一個配置管理資料庫可以補充和提高自動收集到的數據的質量。此外，大數據分析工具還必須能夠與LDAP或ActiveDirectory伺服器，以及其他的第三方安全工具進行集成。對事件響應工作流程的支持對於SIEM工具可能並不是非常重要，但是當日誌和其他來源的安全事件數據的的數據量非常大時，這項功能就必不可少了。
大數據信息安全分析與其他領域的安全分析的區別主要表現在五個主要特徵。
主要特性1：可擴展性
大數據分析其中的一個主要特點是可伸縮性。這些平台必須擁有實時或接近實時的數據收集能力。網路流通是一個不間斷的數據包流，數據分析的速度必須要和數據獲取的速度一樣快。 該分析工具不可能讓網路流通暫停來趕上積壓的需要分析的數據包。
大數據的安全分析不只是用一種無狀態的方式檢查數據包或進行深度數據包分析，對這個問題的理解是非常重要的。雖然這些都是非常重要和必要的，但是具備跨越時間和空間的事件關聯能力是大數據分析平台的關鍵。這意味著只需要一段很短的時間，一個設備(比如web伺服器)上記錄的事件流，可以明顯地與一個終端用戶設備上的事件相對應。
主要特性2：報告和可視化
大數據分析的另一個重要功能是對分析的報告和支持。安全專家早就通過報表工具來支持業務和合規性報告。他們也有通過帶預配置安全指標的儀錶板來提供關鍵性能指標的高層次概述。雖然現有的這兩種工具是必要的，但不足以滿足大數據的需求。
對安全分析師來說，要求可視化工具通過穩定和快速的識別方式將大數據中獲得的信息呈現出來。例如，Sqrrl使用可視化技術，能夠幫助分析師了解相互連接的數據(如網站，用戶和HTTP交易信息)中的復雜關系。
主要特性3：持久的大數據存儲
大數據安全分析名字的由來，是因為區別於其他安全工具，它提供了突出的存儲和分析能力。大數據安全分析的平台通常採用大數據存儲系統，例如Hadoop分布式文件系統(HDFS)和更長的延遲檔案儲存，以及後端處理，以及一個行之有效的批處理計算模型MapRece。但是MapRece並不一定是非常有效的，它需要非常密集的I / O支出。一個流行工具Apache Spark可以作為MapRece的替代，它是一個更廣義的處理模型，相比MapRece能更有效地利用內存。
大數據分析系統，如MapRece和Spark，解決了安全分析的計算需求。同時，長時持久存儲通常還取決於關系或NoSQL資料庫。例如，SplunkHunk平台支持在Hadoop和NoSQL資料庫之上的分析和可視化。該平台位於一個組織的非關系型數據存儲與應用環境的其餘部分之間。Hunk應用直接集成了數據存儲，不需要被轉移到二級內存存儲。Hunk平台包括用於分析大數據的一系列工具。它支持自定義的儀錶板和Hunk應用程序開發，它可以直接構建在一個HDFS環境，以及自適應搜索和可視化工具之上。
大數據安全分析平台的另一個重要特點是智能反饋，在那裡建立了漏洞資料庫以及安全性博客和其他新聞來源，潛在的有用信息能夠被持續更新。大數據安全平台可從多種來源提取數據，能夠以它們自定義的數據收集方法復制威脅通知和關聯信息。
主要特性4：信息環境
由於安全事件產生這么多的數據，就給分析師和其他信息安全專業人員帶來了巨大的風險，限制了他們辨別關鍵事件的能力。有用的大數據安全分析工具都在特定用戶、設備和時間的環境下分析數據。
沒有這種背景的數據是沒什麼用的，並且會導致更高的誤報率。背景信息還改善了行為分析和異常檢測的質量。背景信息可以包括相對靜態的信息，例如一個特定的雇員在特定部門工作。它還可以包括更多的動態信息，例如，可能會隨著時間而改變的典型使用模式。例如，周一早晨有大量對數據倉庫的訪問數據是很正常的，因為管理者需要進行一些臨時查詢，以便更好地了解周報中描述的事件。
主要特性5：功能廣泛性
大數據安全分析的最後一個顯著特徵是它的功能涵蓋了非常廣泛的安全領域。當然，大數據分析將收集來自終端設備的數據，可能是通過網際網路連接到TCP或IP網路的任何設備，包括筆記本電腦、智能手機或任何物聯網設備。除了物理設備和虛擬伺服器，大數據安全分析必須加入與軟體相關的安全性。例如，脆弱性評估被用於確定在給定的環境中的任何可能的安全漏洞。網路是一個信息和標準的豐富來源，例如Cisco開發的NetFlow網路協議，其可以被用於收集給定網路上的流量信息。
大數據分析平台，也可以使用入侵檢測產品分析系統或環境行為，以發現可能的惡意活動。
大數據安全分析與其他形式的安全分析存在質的不同。需要可擴展性，需要集成和可視化不同類型數據的工具，環境信息越來越重要，安全功能的廣泛性，其讓導致供應商應用先進的數據分析和存儲工具到信息安全中。
如何選擇合適的大數據安全分析平台
大數據安全分析技術結合了先進的安全事件分析功能和事故管理系統功能(SIEM)，適用於很多企業案例，但不是全部。在投資大數據分析平台之前，請考慮公司使用大數據安全系統的組織的能力水平。這里需要考慮幾個因素，從需要保護的IT基礎設施，到部署更多安全控制的成本和益處。
基礎設施規模
擁有大量IT基礎設施的組織是大數據安全分析主要候選者。應用程序、操作系統和網路設備都可以捕獲到惡意活動的痕跡。單獨一種類型的數據不能提供足夠的證據來標識活動的威脅，多個數據源的組合可以為一個攻擊的狀態提供更全面的視角。
現有的基礎設施和安全控制生成了原始數據，但是大數據分析應用程序不需要收集、採集和分析所有的信息。在只有幾台設備，而且網路結構不是很復雜的環境中，大數據安全分析可能並不是十分必要，在這種情況下，傳統的SEIM可能已經足夠。
近實時監控
驅動大數據安全分析需求的另一個因素是近實時採集事故信息的必要性。在一些保存著高價值數據、同時又容易遭受到嚴重攻擊的環境中，實時監控尤為重要，如金融服務、醫療保健、政府機構等。
最近Verizon的研究發現，在60%的事件，攻擊者能夠在幾分鍾內攻克系統，但幾天內檢測到漏洞的比例也很低。減少檢測時間的一種方法是從整個基礎設施中實時地收集多樣數據，並立即篩選出與攻擊事件有關的數據。這是一個大數據分析的關鍵用例。
詳細歷史數據
盡管盡了最大努力，在一段時間內可能檢測不到攻擊。在這種情況下，能夠訪問歷史日誌和其它事件數據是很重要的。只要有足夠的數據可用，取證分析可以幫助識別攻擊是如何發生的。
在某些情況下，取證分析不需要確定漏洞或糾正安全弱點。例如，如果一個小企業受到攻擊，最經濟有效的補救措施可能雇安全顧問來評估目前的配置和做法，並提出修改建議。在這種情況下，並不需要大數據安全分析。其他的安全措施就可能很有效，而且價格便宜。
本地vs雲基礎架構
顧名思義，大數據安全分析需要收集和分析大量各種類型的數據。如捕獲網路上的所有流量的能力，對捕獲安全事件信息的任何限制，都可能對從大數據安全分析系統獲得的信息的質量產生嚴重影響。這一點在雲環境下尤其突出。
雲提供商限制網路流量的訪問，以減輕網路攻擊的風險。例如，雲計算客戶不能開發網段來收集網路數據包的全面數據。前瞻性的大數據安全分析用戶應該考慮雲計算供應商是如何施加限制來遏制分析范圍的。
有些情況下，大數據安全分析對雲基礎設施是有用的，但是，特別是雲上有關登錄生成的數據。例如，亞馬遜Web服務提供了性能監控服務，稱為CloudWatch的，和雲API調用的審計日誌，稱為CloudTrail。雲上的操作數據可能不會和其他數據源的數據一樣精細，但它可以補充其他數據源。
利用數據的能力
大數據安全分析攝取和關聯了大量數據。即使當數據被概括和聚集的時候，對它的解釋也可能是很有挑戰性的。從大數據分析產生的信息的質量，部分上講是分析師解釋數據能力的一項指標。當企業與安全事件扯上關系的時候，它們需要那些能夠切斷攻擊鏈路，以及理解網路流量和操作系統事件的安全分析師。
例如，分析師可能會收到一個資料庫伺服器上有關可疑活動的警報。這很可能不是一個攻擊的第一步。分析師是否可以啟動一個警報，並通過導航歷史數據找到相關事件來確定它是否確實是一個攻擊?如果不能，那麼該組織並沒有意識到大數據安全分析平台帶來的好處。
其他安全控制
企業在投身大數據安全分析之前，需要考慮它們在安全實踐方面的整體成熟度。也就是說，其他更便宜和更為簡單的控制應該放在第一位。
應該定義、執行和監測清晰的身份和訪問管理策略。例如，操作系統和應用程序應該定期修補。在虛擬環境的情況下，機器圖像應定期重建，以確保最新的補丁被並入。應該使用警報系統監視可疑事件或顯著的環境變化(例如伺服器上增加了一個管理員帳戶)。應當部署web應用防火牆來減少注入攻擊的風險和其他基於應用程序的威脅。
大數據安全分析的好處可能是巨大的，尤其是當部署到已經實現了全面的防禦戰略的基礎設施。
大數據安全分析商業案例
大數據安全分析是一項新的信息安全控制技術。這些系統的主要用途是合並來自於多個來源的數據，並減少手動集成解決方案的需求。同時還解決了其他安全控制存在的不足，例如跨多個數據源查詢困難。通過捕獲來自於多個來源的數據流，大數據分析系統提高了收集取證重要細節的機會。
⑹ 大數據網路安全的建議是什麼
大數據網路安全的建議是什麼？鑒於大數據資源在國家安全中的戰略價值，除加強基礎軟硬體設施建設、網路攻擊監控、防護等方面外，對國內大數據服務和大數據應用提出以下建議。
對重要的大數據應用或服務進行國家網路安全審查。重要的大數據應用程序或服務涉及國民經濟、人民生活和政府治理應該被包括在國家網路安全審查的范圍,並明確安全評估規范應盡快制定確保這些大數據平台有嚴格的和可靠的安全措施,防止受到攻擊和受到敵對勢力。
合理限制敏感和重要部門使用社交網路工具。政府部門、中央企業和重要信息系統單位應避免或限制使用社交網路工具作為日常辦公的通訊工具，將辦公移動終端和個人移動終端分開使用，防止重要保密信息的泄露。
大數據網路安全的建議是什麼？敏感和重要的部門應該謹慎使用第三方雲計算服務。雲計算服務是大數據的主要載體。越來越多的政府部門、企事業單位在第三方雲計算平台上建立了電子政務和企業業務系統。然而，由於缺乏安全意識、安全專業知識和安全措施，第三方雲計算平台本身的安全往往得不到保障。因此，政府、中央企業和重要信息系統單位應謹慎使用第三方雲服務，避免使用公共雲服務。同時，國家應盡快出台雲服務安全評估和測試的相關規范和標准。
嚴格規范和限制境外機構數據跨境流動。在中國提供大數據應用或服務的海外機構應接受更嚴格的網路安全審計，以確保其數據存儲在國內伺服器上，並嚴格限制數據跨境流動。
大數據網路安全的建議有哪些?大數據工程師可以這樣解決，在攜程信用卡信息泄露、小米社區用戶信息泄露、OpenSSL“心臟出血”漏洞等事件中，大量用戶信息數據被盜，可以點擊本站的其他文章進行學習。
⑺ 大數據關繫到網路信息安全,比較明顯的影響主要表現在哪幾個方面。
大數據關繫到網路信息安全,比較明顯的影響主要表現方面如下：
一、規模、實時性和分布式處理大數據的本質特徵（使大數據解決超過以前數據管理系統的數據管理和處理需求，例如，在容量、實時性、分布式架構和並行處理等方面）
使得保障這些系統的安全更為困難。大數據集群具有開放性和羨凱自我組織性，並可以使用戶與多個數據節點同時通信。
二、嵌入式安全：在涉及大數據的瘋狂競賽中，大部分的開發資源都用於改善大數據的可升級、易用性和分析功能沒升上。只有很少的功能用於增加安全功能。
但是，你希望得到嵌入到大數據平台中的安全功能。你希望開發人員在設計和部署階段能夠支持所需要的功能。你希望安全功能就像大數據集群一樣可升級、高性能、自組織。
三、應用程序：面向大數據集群的大多數應用都是Web應用它們利用基於Web的技術和無狀態的基於REST的API。基於Web的應用程序和API給這些大數據集群帶來了一種最重大的威脅。在遭受攻擊或破壞後。
它們枯派老可以提供對大數據集群中所存儲數據的無限制訪問應用程序安全、用戶訪問管理及授權控制非常重要，與重點保障大數據集群安全的安全措施一樣都不可或缺。
⑻ 澶ф暟鎹鏃朵唬錛岀綉緇滃畨鍏ㄩ槻鎶ゆ湁鍝浜涢毦鐐癸紝濡備綍鍋氬ソ鏁版嵁淇濇姢鏇村彲闈犲憿錛
鍦ㄥぇ鏁版嵁鏃朵唬錛岀綉緇滃畨鍏ㄩ槻鎶ら潰涓寸潃涓浜涙寫鎴樺拰闅劇偣銆備互涓嬫槸鍏朵腑涓浜涗富瑕佺殑闂棰橈細
1. 鏁版嵁瑙勬ā鍜屽嶆潅鎬э細澶ф暟鎹鐜澧冧腑浜х敓鐨勬暟鎹閲忓法澶т笖澶嶆潅澶氭牱錛岃繖澧炲姞浜嗗畨鍏ㄥ垎鏋愬拰鐩戞祴鐨勫嶆潅鎬с傛敾鍑昏呭彲浠ュ埄鐢ㄨ繖浜涙暟鎹榪涜岄殣钄界殑鏀誨嚮錛屽洜姝ら渶瑕佹洿寮哄ぇ鐨勫畨鍏ㄩ槻鎶ゆ潵搴斿廣
2. 楂樼駭濞佽儊錛澶ф暟鎹鏃朵唬錛屾伓鎰忚蔣浠跺拰緗戠粶鏀誨嚮鎶鏈涓嶆柇婕旇繘錛屽嚭鐜頒簡鏇村姞闅愯斀鍜屽嶆潅鐨勯珮綰у▉鑳併傝繖浜涙敾鍑誨線寰闅句互琚浼犵粺鐨勫畨鍏ㄩ槻鎶ゆ帾鏂芥墍鍙戠幇鍜岄樆姝錛岄渶瑕佷嬌鐢ㄦ洿鍏堣繘鐨勫畨鍏ㄦ妧鏈榪涜屾嫻嬪拰搴斿廣
3. 鏁版嵁闅愮佷繚鎶わ細澶ф暟鎹鐜澧冧腑錛屾秹鍙婁釜浜烘晱鎰熶俊鎮鐨勬暟鎹瓚婃潵瓚婂氥傚洜姝わ紝淇濇姢鏁版嵁闅愮佹垚涓轟竴涓閲嶈佺殑鎸戞垬銆傛暟鎹鐨勬敹闆嗐佸瓨鍌ㄥ拰澶勭悊蹇呴』絎﹀悎鐩稿叧鐨勯殣縐佹硶瑙勫拰鍚堣勮佹眰錛屽悓鏃墮渶瑕侀噰鍙栦弗鏍肩殑瀹夊叏鎺鏂芥潵淇濇姢鏁版嵁鐨勬満瀵嗘у拰瀹屾暣鎬с
涓轟簡鍋氬ソ鏁版嵁淇濇姢騫舵彁楂樺彲闈犳э紝鍙浠ラ噰鍙栦互涓嬫帾鏂斤細
1. 寮哄寲緗戠粶瀹夊叏鍩虹璁炬柦錛寤虹珛鍜岀淮鎶ゅ己澶х殑闃茬伀澧欍佸叆渚墊嫻嬬郴緇熴佸畨鍏ㄨよ瘉鍜岃塊棶鎺у埗絳夊熀紜璁炬柦錛屼互闃繪㈡綔鍦ㄧ殑鏀誨嚮鍜屼繚鎶ょ綉緇滃畨鍏ㄣ
2. 瀹炴柦鏁版嵁鍔犲瘑鍜岃韓浠借よ瘉錛閲囩敤寮哄ぇ鐨勫姞瀵嗙畻娉曟潵淇濇姢鏁版嵁鐨勫畨鍏ㄦэ紝鍚屾椂浣跨敤澶氬洜緔犺韓浠借よ瘉鏉ョ『淇濆彧鏈夌粡榪囨巿鏉冪殑浜哄憳鑳藉熻塊棶鏁忔劅鏁版嵁銆
3. 寮曞叆鍏堣繘鐨勫▉鑳佹嫻嬫妧鏈錛浣跨敤鏈哄櫒瀛︿範銆佽屼負鍒嗘瀽鍜屼漢宸ユ櫤鑳界瓑鍏堣繘鎶鏈鏉ユ嫻嬪拰搴斿歸珮綰у▉鑳侊紝鍙婃椂鍙戠幇騫跺簲瀵規綔鍦ㄧ殑鏀誨嚮銆
4. 鍔犲己鍛樺伐鍩硅鍜屾剰璇嗭細鎻愰珮鍛樺伐鐨勫畨鍏ㄦ剰璇嗭紝鏁欒偛浠栦滑濡備綍姝ｇ『浣跨敤鍜屼繚鎶ゆ暟鎹錛屼互鍑忓皯鍐呴儴瀹夊叏婕忔礊鐨勯庨櫓銆
5. 瀹氭湡澶囦喚鍜岀伨闅炬仮澶嶈″垝錛瀹氭湡澶囦喚閲嶈佹暟鎹錛屽苟寤虹珛鐏鵑毦鎮㈠嶈″垝錛屼互渚垮湪鏁版嵁閬鍙楃牬鍧忔垨涓㈠け鏃惰兘澶熷揩閫熸仮澶嶃
緇間笂鎵榪幫紝涓轟簡鍋氬ソ鏁版嵁淇濇姢騫舵彁楂樺彲闈犳э紝鍦ㄥぇ鏁版嵁鏃朵唬搴旇ュ姞寮虹綉緇滃畨鍏ㄥ熀紜璁炬柦錛岄噰鐢ㄥ厛榪涚殑濞佽儊媯嫻嬫妧鏈錛屽姞寮哄憳宸ュ煿璁鍜屾剰璇嗭紝騫跺緩絝嬪畬鍠勭殑澶囦喚鍜岀伨闅炬仮澶嶈″垝銆傚悓鏃訛紝鍚堣勬у拰闅愮佷繚鎶や篃鏄涓嶅彲蹇借嗙殑閲嶈佸洜緔犮