⑴ 信息与网络安全需要大数据安全分析
信息与网络安全需要大数据安全分析
毫无疑问，我们已经进入了大数据（Big Data）时代。人类的生产生活每天都在产生大量的数据，并且产生的速度越来越快。根据IDC和EMC的联合调查，到2020年全球数据总量将达到40ZB。2013年，Gartner将大数据列为未来信息架构发展的10大趋势之首。Gartner预测将在2011年到2016年间累计创造2320亿美元的产值。
大数据早就存在，只是一直没有足够的基础实施和技术来对这些数据进行有价值的挖据。随着存储成本的不断下降、以及分析技术的不断进步，尤其是云计算的出现，不少公司已经发现了大数据的巨大价值：它们能揭示其他手段所看不到的新变化趋势，包括需求、供给和顾客习惯等等。比如，银行可以以此对自己的客户有更深入的了解，提供更有个性的定制化服务；银行和保险公司可以发现诈骗和骗保；零售企业更精确探知顾客需求变化，为不同的细分客户群体提供更有针对性的选择；制药企业可以以此为依据开发新药，详细追踪药物疗效，并监测潜在的副作用；安全公司则可以识别更具隐蔽性的攻击、入侵和违规。
当前网络与信息安全领域，正在面临着多种挑战。一方面，企业和组织安全体系架构的日趋复杂，各种类型的安全数据越来越多，传统的分析能力明显力不从心；另一方面，新型威胁的兴起，内控与合规的深入，传统的分析方法存在诸多缺陷，越来越需要分析更多的安全信息、并且要更加快速的做出判定和响应。信息安全也面临大数据带来的挑战。安全数据的大数据化
安全数据的大数据化主要体现在以下三个方面：
1） 数据量越来越大：网络已经从千兆迈向了万兆，网络安全设备要分析的数据包数据量急剧上升。同时，随着NGFW的出现，安全网关要进行应用层协议的分析，分析的数据量更是大增。与此同时，随着安全防御的纵深化，安全监测的内容不断细化，除了传统的攻击监测，还出现了合规监测、应用监测、用户行为监测、性能检测、事务监测，等等，这些都意味着要监测和分析比以往更多的数据。此外，随着APT等新型威胁的兴起，全包捕获技术逐步应用，海量数据处理问题也日益凸显。
2） 速度越来越快：对于网络设备而言，包处理和转发的速度需要更快；对于安管平台、事件分析平台而言，数据源的事件发送速率（EPS，Event per Second，事件数每秒）越来越快。
3） 种类越来越多：除了数据包、日志、资产数据，安全要素信息还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。
安全数据的大数据化，自然引发人们思考如何将大数据技术应用于安全领域。
传统的安全分析面临挑战
安全数据的数量、速度、种类的迅速膨胀，不仅带来了海量异构数据的融合、存储和管理的问题，甚至动摇了传统的安全分析方法。
当前绝大多数安全分析工具和方法都是针对小数据量设计的，在面对大数据量时难以为继。新的攻击手段层出不穷，需要检测的数据越来越多，现有的分析技术不堪重负。面对天量的安全要素信息，我们如何才能更加迅捷地感知网络安全态势？
传统的分析方法大都采用基于规则和特征的分析引擎，必须要有规则库和特征库才能工作，而规则和特征只能对已知的攻击和威胁进行描述，无法识别未知的攻击，或者是尚未被描述成规则的攻击和威胁。面对未知攻击和复杂攻击如APT等，需要更有效的分析方法和技术！如何做到知所未知？
面对天量安全数据，传统的集中化安全分析平台（譬如SIEM，安全管理平台等）也遭遇到了诸多瓶颈，主要表现在以下几方面：
——高速海量安全数据的采集和存储变得困难
——异构数据的存储和管理变得困难
——威胁数据源较小，导致系统判断能力有限
——对历史数据的检测能力很弱
——安全事件的调查效率太低
——安全系统相互独立，无有效手段协同工作
——分析的方法较少
——对于趋势性的东西预测较难，对早期预警的能力比较差
——系统交互能力有限，数据展示效果有待提高
从上世纪80年代入侵检测技术的诞生和确立以来，安全分析已经发展了很长的时间。当前，信息与网络安全分析存在两个基本的发展趋势：情境感知的安全分析与智能化的安全分析。
Gartner在2010年的一份报告中指出，“未来的信息安全将是情境感知的和自适应的”。所谓情境感知，就是利用更多的相关性要素信息的综合研判来提升安全决策的能力，包括资产感知、位置感知、拓扑感知、应用感知、身份感知、内容感知，等等。情境感知极大地扩展了安全分析的纵深，纳入了更多的安全要素信息，拉升了分析的空间和时间范围，也必然对传统的安全分析方法提出了挑战。
同样是在2010年，Gartner的另一份报告指出，要“为企业安全智能的兴起做好准备”。在这份报告中，Gartner提出了安全智能的概念，强调必须将过去分散的安全信息进行集成与关联，独立的分析方法和工具进行整合形成交互，从而实现智能化的安全分析与决策。而信息的集成、技术的整合必然导致安全要素信息的迅猛增长，智能的分析必然要求将机器学习、数据挖据等技术应用于安全分析，并且要更快更好地的进行安全决策。
信息与网络安全需要大数据安全分析
安全数据的大数据化，以及传统安全分析所面临的挑战和发展趋势，都指向了同一个技术——大数据分析。正如Gartner在2011年明确指出，“信息安全正在变成一个大数据分析问题”。
于是，业界出现了将大数据分析技术应用于信息安全的技术——大数据安全分析（Big Data Security Analysis，简称BDSA），也有人称做针对安全的大数据分析（Big Data Analysis for Security）。
借助大数据安全分析技术，能够更好地解决天量安全要素信息的采集、存储的问题，借助基于大数据分析技术的机器学习和数据挖据算法，能够更加智能地洞悉信息与网络安全的态势，更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。
⑵ 澶ф暟鎹镞朵唬锛岀绣缁滃畨鍏ㄩ槻鎶ゆ湁鍝浜涢毦镣癸纴濡备綍锅氩ソ鏁版嵁淇濇姢镟村彲闱犲憿锛
鍦ㄥぇ鏁版嵁镞朵唬锛岀绣缁滃畨鍏ㄩ槻鎶ら溃涓寸潃涓绯诲垪鎸戞垬銆备互涓嬫槸鍑犱釜涓昏佺殑闅剧偣锛
1. 鏁版嵁瑙勬ā鍜屽嶆潅镐э细搴炲ぇ镄勬暟鎹閲忓拰澶氭牱镄勬暟鎹绫诲瀷浣垮缑瀹夊叏鍒嗘瀽鍜岀洃鎺у彉寰楁洿锷犲嶆潅銆傛敾鍑昏呰兘澶熷埄鐢ㄨ繖浜涙暟鎹瀹炴柦闅愯斀镄勬敾鍑伙纴锲犳わ纴闇瑕佹洿寮哄ぇ镄勫畨鍏ㄦ帾鏂芥潵搴斿广
2. 楂樼骇濞佽儊锛氶殢镌鎭舵剰杞浠跺拰缃戠粶鏀诲嚮鎶链镄勮繘鍖栵纴楂樼骇濞佽儊鍙桦缑镟村姞闅愯斀鍜屽嶆潅銆傝繖浜涙敾鍑诲线寰闅句互琚浼犵粺镄勫畨鍏ㄩ槻鎶ゆ帾鏂藉彂鐜板拰绋垮巻娈甸樆姝锛岄渶瑕佷娇鐢ㄥ厛杩涚殑瀹夊叏鎶链杩涜屾娴嫔拰搴斿广
3. 鏁版嵁闅愮佷缭鎶わ细鍦ㄥぇ鏁版嵁鐜澧冧腑锛屾秹鍙娄釜浜烘晱镒熶俊鎭镄勬暟鎹瓒婃潵瓒婂氥傚洜姝わ纴淇濇姢鏁版嵁闅愮佹垚涓轰竴涓閲嶈佺殑鎸戞垬銆傛暟鎹镄勬敹闆嗐佸瓨鍌ㄥ拰澶勭悊蹇呴’阆靛畧鐩稿叧镄勯殣绉佹硶瑙勫拰钖堣勮佹眰锛屽悓镞堕渶瑕侀噰鍙栦弗镙肩殑瀹夊叏鎺鏂芥潵淇濇姢鏁版嵁镄勬満瀵嗘у拰瀹屾暣镐с
涓轰简镟村彲闱犲湴淇濇姢鏁版嵁锛屽彲浠ラ噰鍙栦互涓嬫帾鏂斤细
1. 寮哄寲缃戠粶瀹夊叏锘虹璁炬柦锛氩缓绔嬬儌閰嶅拰缁存姢寮哄ぇ镄勯槻𨱔澧欍佸叆渚垫娴嬬郴缁熴佸畨鍏ㄨよ瘉鍜岃块梾鎺у埗绛夊熀纭璁炬柦锛屼互阒绘㈡綔鍦ㄧ殑鏀诲嚮鍜屼缭鎶ょ绣缁滃畨鍏ㄣ
2. 瀹炴柦鏁版嵁锷犲瘑鍜岃韩浠借よ瘉锛氶噰鐢ㄥ己澶х殑锷犲瘑绠楁硶𨱒ヤ缭鎶ゆ暟鎹镄勫畨鍏ㄦэ纴钖屾椂浣跨敤澶氩洜绱犺韩浠借よ瘉𨱒ョ‘淇濆彧链夌粡杩囨巿𨱒幂殑浜哄憳鑳藉熻块梾鏁忔劅鏁版嵁銆
3. 寮曞叆鍏堣繘镄勫▉鑳佹娴嬫妧链锛氢娇鐢ㄦ満鍣ㄥ︿範銆佽屼负鍒嗘瀽鍜屼汉宸ラ敭瑾夋櫤鑳界瓑鍏堣繘鎶链𨱒ユ娴嫔拰搴斿归珮绾у▉鑳侊纴鍙婃椂鍙戠幇骞跺簲瀵规綔鍦ㄧ殑鏀诲嚮銆
4. 锷犲己锻桦伐锘硅鍜屾剰璇嗭细鎻愰珮锻桦伐镄勫畨鍏ㄦ剰璇嗭纴鏁栾偛浠栦滑濡备綍姝ｇ‘浣跨敤鍜屼缭鎶ゆ暟鎹锛屼互鍑忓皯鍐呴儴瀹夊叏婕忔礊镄勯庨橹銆
5. 瀹氭湡澶囦唤鍜岀伨闅炬仮澶嶈″垝锛氩畾链熷囦唤閲嶈佹暟鎹锛屽苟寤虹珛𨱔鹃毦鎭㈠嶈″垝锛屼互渚垮湪鏁版嵁阆鍙楃牬鍧忔垨涓㈠け镞惰兘澶熷揩阃熸仮澶嶃
缁间笂镓杩帮纴鍦ㄥぇ鏁版嵁镞朵唬锛屼负浜嗘洿鍙闱犲湴淇濇姢鏁版嵁锛屽簲褰揿姞寮虹绣缁滃畨鍏ㄥ熀纭璁炬柦锛岄噰鐢ㄥ厛杩涚殑濞佽儊妫娴嬫妧链锛屽姞寮哄憳宸ュ煿璁鍜屾剰璇嗭纴骞跺缓绔嫔畬锽勭殑澶囦唤鍜岀伨闅炬仮澶嶈″垝銆傚悓镞讹纴钖堣勬у拰闅愮佷缭鎶や篃鏄涓嶅彲蹇借嗙殑閲嶈佹柟闱銆
⑶ 如何利用大数据来处理网络安全攻击
“大数据”已经成为时下最火热的IT行业词汇，各行各业的大数据解决方案层出不穷。究竟什么是大数据、大数据给信息安全带来哪些挑战和机遇、为什么网络安全需要大数据，以及怎样把大数据思想应用于网络安全技术，本文给出解答。
一切都源于APT
APT（Advanced Persistent Threat）攻击是一类特定的攻击，为了获取某个组织甚至是国家的重要信息，有针对性的进行的一系列攻击行为的整个过程。APT攻击利用了多种攻击手段，包括各种最先进的手段和社会工程学方法，一步一步的获取进入组织内部的权限。APT往往利用组织内部的人员作为攻击跳板。有时候，攻击者会针对被攻击对象编写专门的攻击程序，而非使用一些通用的攻击代码。此外，APT攻击具有持续性，甚至长达数年。这种持续体现在攻击者不断尝试各种攻击手段，以及在渗透到网络内部后长期蛰伏，不断收集各种信息，直到收集到重要情报。更加危险的是，这些新型的攻击和威胁主要就针对国家重要的基础设施和单位进行，包括能源、电力、金融、国防等关系到国计民生，或者是国家核心利益的网络基础设施。
现有技术为什么失灵
先看两个典型APT攻击案例，分析一下盲点在哪里：
1、 RSA SecureID窃取攻击
1) 攻击者给RSA的母公司EMC的4名员工发送了两组恶意邮件。邮件标题为“2011 Recruitment Plan”，寄件人是[email protected]，正文很简单，写着“I forward this file to you for review. Please open and view it.”;里面有个EXCEL附件名为“2011 Recruitment plan.xls”；
2) 很不幸，其中一位员工对此邮件感到兴趣，并将其从垃圾邮件中取出来阅读，殊不知此电子表格其实含有当时最新的Adobe Flash的0day漏洞(CVE-2011-0609)。这个Excel打开后啥也没有，除了在一个表单的第一个格子里面有个“X”(叉)。而这个叉实际上就是内嵌的一个Flash；
3) 该主机被植入臭名昭着的Poison Ivy远端控制工具，并开始自BotNet的C&C服务器(位于 good.mincesur.com)下载指令进行任务；
4) 首批受害的使用者并非“位高权重”人物，紧接着相关联的人士包括IT与非IT等服务器管理员相继被黑；
5) RSA发现开发用服务器(Staging server)遭入侵，攻击方随即进行撤离，加密并压缩所有资料(都是rar格式)，并以FTP传送至远端主机，又迅速再次搬离该主机，清除任何踪迹；
6) 在拿到了SecurID的信息后，攻击者就开始对使用SecurID的公司(例如上述防务公司等)进行攻击了。
2、 震网攻击
遭遇超级工厂病毒攻击的核电站计算机系统实际上是与外界物理隔离的，理论上不会遭遇外界攻击。坚固的堡垒只有从内部才能被攻破，超级工厂病毒也正充分的利用了这一点。超级工厂病毒的攻击者并没有广泛的去传播病毒，而是针对核电站相关工作人员的家用电脑、个人电脑等能够接触到互联网的计算机发起感染攻击，以此 为第一道攻击跳板，进一步感染相关人员的U盘，病毒以U盘为桥梁进入“堡垒”内部，随即潜伏下来。病毒很有耐心的逐步扩散，利用多种漏洞，包括当时的一个 0day漏洞，一点一点的进行破坏。这是一次十分成功的APT攻击，而其最为恐怖的地方就在于极为巧妙的控制了攻击范围，攻击十分精准。
以上两个典型的APT攻击案例中可以看出，对于APT攻击，现代安全防御手段有三个主要盲点：
1、0day漏洞与远程加密通信
支撑现代网络安全技术的理论基础最重要的就是特征匹配，广泛应用于各类主流网络安全产品，如杀毒、入侵检测/防御、漏洞扫描、深度包检测。Oday漏洞和远程加密通信都意味着没有特征，或者说还没来得及积累特征，这是基于特征匹配的边界防护技术难以应对的。
2、长期持续性的攻击
现代网络安全产品把实时性作为衡量系统能力的一项重要指标，追求的目标就是精准的识别威胁，并实时的阻断。而对于APT这种Salami式的攻击，则是基于实时时间点的检测技术难以应对的。
3、内网攻击
任何防御体系都会做安全域划分，内网通常被划成信任域，信任域内部的通信不被监控，成为了盲点。需要做接入侧的安全方案加固，但不在本文讨论范围。
大数据怎么解决问题
大数据可总结为基于分布式计算的数据挖掘，可以跟传统数据处理模式对比去理解大数据：
1、数据采样——>全集原始数据（Raw Data）
2、小数据+大算法——>大数据+小算法+上下文关联+知识积累
3、基于模型的算法——>机械穷举（不带假设条件）
4、精确性+实时性——>过程中的预测
使用大数据思想，可对现代网络安全技术做如下改进：
1、特定协议报文分析——>全流量原始数据抓取（Raw Data）
2、实时数据+复杂模型算法——>长期全流量数据+多种简单挖掘算法+上下文关联+知识积累
3、实时性+自动化——>过程中的预警+人工调查
通过传统安全防御措施很难检测高级持续性攻击，企业必须先确定日常网络中各用户、业务系统的正常行为模型是什么，才能尽早确定企业的网络和数据是否受到了攻击。而安全厂商可利用大数据技术对事件的模式、攻击的模式、时间、空间、行为上的特征进行处理，总结抽象出来一些模型，变成大数据安全工具。为了精准地描述威胁特征，建模的过程可能耗费几个月甚至几年时间，企业需要耗费大量人力、物力、财力成本，才能达到目的。但可以通过整合大数据处理资源，协调大数据处理和分析机制，共享数据库之间的关键模型数据，加快对高级可持续攻击的建模进程，消除和控制高级可持续攻击的危害。
⑷ 澶嶅嵃链虹绣缁沧帴鍙ｆ晠闅
澶嶅嵃链烘槸鐜颁唬浼佷笟涓涓嶅彲鎴栫己镄勪竴绉嶅姙鍏璁惧囷纴瀹冭兘澶熷皢绾歌川鏂囦欢鎴栧浘镀忕瓑璧勬枡浠ュ揩阃熴佹柟渚跨殑鏂瑰纺杩涜屽嶅埗锛屽苟涓斿彲浠ラ氲繃缃戠粶鎺ュ彛瀹炵幇杩滃垽鑵旂▼鎺у埗锛屼娇寰楀嶅嵃链虹殑搴旂敤锣冨洿镟村姞𨱔垫椿澶氭牱銆备絾鏄锛屽湪瀹为檯浣跨敤杩囩▼涓锛屽嶅嵃链虹绣缁沧帴鍙ｆ晠闅沧槸涓绉嶆瘆杈冨父瑙佺殑闂棰桡纴杩欎笉浠呬细褰卞搷锷炲叕鏁堢巼锛岃缮浼氱粰浼佷笟甯︽潵涓嶅繀瑕佺殑鎹熷け銆傛湰鏂囧皢锲寸粫澶嶅嵃链虹绣缁沧帴鍙ｆ晠闅灭殑铡熷洜銆佽В鍐虫柟娉曡繘琛屽垎鏋愶纴浠ヤ究镟村ソ鍦板府锷╁ぇ瀹惰В鍐冲嶆坠阈惧嵃链洪梾棰樸
澶嶅嵃链虹绣缁沧帴鍙ｆ晠闅灭殑铡熷洜
1.缃戠粶纭浠舵晠闅滐细澶嶅嵃链虹绣缁沧帴鍙ｈ繛鎺ヨ惧囧彂鐢熸晠闅滐纴缃戠粶绾胯矾銆佽矾鐢卞櫒绛夌‖浠舵晠闅灭瓑閮藉彲鑳藉艰嚧澶嶅嵃链虹绣缁沧帴鍙ｅ纾甯搞
2.缃戠粶璁剧疆闂棰桡细缃戠粶閰岖疆涓嶆ｇ‘锛孖P鍦板潃銆丏NS链嶅姟鍣ㄧ瓑缃戠粶鍙傛暟璁剧疆阌栾浼氩艰嚧澶嶅嵃链虹绣缁沧帴鍙ｆ晠闅溿
3.椹卞姩绋嫔簭闂棰桡细澶嶅嵃链洪┍锷ㄧ▼搴忚繃镞舵垨涓嶅吋瀹癸纴涔熶细瀵瑰嶅嵃链虹绣缁沧帴鍙ｄ骇鐢熷奖鍝嶃
4.缃戠粶瀹夊叏闂棰桡细缃戠粶杩炴帴琚𨰾︽埅銆佹柇寮鎴栦腑阃斿嚭鐜板畨鍏ㄩ梾棰桦彲鑳藉艰嚧澶嶅嵃链虹绣缁沧帴鍙ｅ纾甯搞
澶嶅嵃链虹绣缁沧帴鍙ｆ晠闅灭殑瑙ｅ喅鏂规硶
1.妫镆ョ绣缁灭‖浠惰惧囷细妫镆ュ嶅嵃链鸿繛鎺ョ殑璁惧囷纴濡傝矾鐢卞櫒銆佷氦鎹㈡満绛夋槸钖︽ｅ父宸ヤ綔锛屾垨钥呭皾璇曟洿鎹㈢绣缁灭嚎璺鎴栨帴鍙ｇ瓑纭浠惰惧囥
2.妫镆ョ绣缁滆剧疆锛氩湪澶嶅嵃链轰腑妫镆ョ绣缁滃弬鏁帮纴鐗瑰埆鏄疘P鍦板潃銆丏NS链嶅姟鍣ㄣ佺绣鍏崇瓑璁剧疆鏄钖︽ｇ‘锛屽苟涓旂‘璁ゅ叾涓庡叾浠栬惧囩殑璁剧疆鐩稿尮閰嶃
3.镟存柊椹卞姩绋嫔簭锛氲冭槛镟存柊澶嶅嵃链洪┍锷ㄧ▼搴忥纴纭淇濆叾涓庡綋鍓岖殑缃戠粶鐜澧冨拰鍏朵粬璁惧囱兘澶熷吋瀹广
4.妫镆ョ绣缁滃畨鍏锛氱‘淇濈绣缁滆繛鎺ユ槸瀹夊叏镄勫苟涓旀湭琚𨰾︽埅锛屽傛灉鍙戠幇闂姣曞啿瀛欓桦彲浠ュ皾璇曟洿鎹㈢绣缁灭鍙ｆ垨閲嶆柊璁剧疆缃戠粶杩炴帴銆
镐讳箣锛屽嶅嵃链虹绣缁沧帴鍙ｆ晠闅沧槸浼佷笟涓姣旇缉甯歌佺殑闂棰桡纴钥屼笖鏁呴㱩铡熷洜涔熻缉澶氥傚洜姝わ纴鍦ㄤ娇鐢ㄥ嶅嵃链烘椂锛屾垜浠搴旇ユ敞镒忓瑰叾杩涜岀淮鎶ゅ拰淇濆吇锛屼互淇濊瘉鍏舵ｅ父宸ヤ綔銆傚傛灉鍙戠幇鏁呴㱩锛屽强镞跺簲瀵硅В鍐筹纴浠ュ厤褰卞搷锷炲叕鏁堢巼鍜岀敓浜ф晥鐜囥
⑸ 大数据信息安全分析
大数据信息安全分析
企业和其他组织一直在充满敌意的信息安全环境中运行，在这个环境中，计算和存储资源成为攻击者使用入侵系统进行恶意攻击的目标。其中，个人机密信息被窃取，然后被放在地下市场出售，而国家支持的攻击导致大量数据泄露。在这种情况下，一个企业需要部署大数据安全性分析工具
来保护有价值的公司资源。
信息安全的很大一部分工作是监控和分析服务器、网络和其他设备上的数据。如今大数据分析方面的进步也已经应用于安防监控中，并且它们可被用于实现更广泛和更深入的分析。它们与传统的信息安全分析存在显着的差异，本文将从两个方面分别介绍大数据安全分析的新的特点，以及企业在选择大数据分析技术时需要考虑的关键因素。
大数据安全分析的特征
在许多方面，大数据安全分析是[安全信息和事件管理security information and event management ，SIEM)及相关技术的延伸。虽然只是在分析的数据量和数据类型方面存在量的差异，但对从安全设备和应用程序提取到的信息类型来说，却导致了质的差异。
大数据安全分析工具通常包括两种功能类别：SIEM，以及性能和可用性监控(PAM)。SIEM工具通常包括日志管理、事件管理和行为分析，以及数据库和应用程序监控。而PAM工具专注于运行管理。然而，大数据分析工具比纯粹地将SIEM和PAM工具放在一起要拥有更多的功能;它们的目的是实时地收集、整合和分析大规模的数据，这需要一些额外的功能。
与SIEM一样，大数据分析工具具有在网络上准确发现设备的能力。在一些情况下，一个配置管理数据库可以补充和提高自动收集到的数据的质量。此外，大数据分析工具还必须能够与LDAP或ActiveDirectory服务器，以及其他的第三方安全工具进行集成。对事件响应工作流程的支持对于SIEM工具可能并不是非常重要，但是当日志和其他来源的安全事件数据的的数据量非常大时，这项功能就必不可少了。
大数据信息安全分析与其他领域的安全分析的区别主要表现在五个主要特征。
主要特性1：可扩展性
大数据分析其中的一个主要特点是可伸缩性。这些平台必须拥有实时或接近实时的数据收集能力。网络流通是一个不间断的数据包流，数据分析的速度必须要和数据获取的速度一样快。 该分析工具不可能让网络流通暂停来赶上积压的需要分析的数据包。
大数据的安全分析不只是用一种无状态的方式检查数据包或进行深度数据包分析，对这个问题的理解是非常重要的。虽然这些都是非常重要和必要的，但是具备跨越时间和空间的事件关联能力是大数据分析平台的关键。这意味着只需要一段很短的时间，一个设备(比如web服务器)上记录的事件流，可以明显地与一个终端用户设备上的事件相对应。
主要特性2：报告和可视化
大数据分析的另一个重要功能是对分析的报告和支持。安全专家早就通过报表工具来支持业务和合规性报告。他们也有通过带预配置安全指标的仪表板来提供关键性能指标的高层次概述。虽然现有的这两种工具是必要的，但不足以满足大数据的需求。
对安全分析师来说，要求可视化工具通过稳定和快速的识别方式将大数据中获得的信息呈现出来。例如，Sqrrl使用可视化技术，能够帮助分析师了解相互连接的数据(如网站，用户和HTTP交易信息)中的复杂关系。
主要特性3：持久的大数据存储
大数据安全分析名字的由来，是因为区别于其他安全工具，它提供了突出的存储和分析能力。大数据安全分析的平台通常采用大数据存储系统，例如Hadoop分布式文件系统(HDFS)和更长的延迟档案储存，以及后端处理，以及一个行之有效的批处理计算模型MapRece。但是MapRece并不一定是非常有效的，它需要非常密集的I / O支出。一个流行工具Apache Spark可以作为MapRece的替代，它是一个更广义的处理模型，相比MapRece能更有效地利用内存。
大数据分析系统，如MapRece和Spark，解决了安全分析的计算需求。同时，长时持久存储通常还取决于关系或NoSQL数据库。例如，SplunkHunk平台支持在Hadoop和NoSQL数据库之上的分析和可视化。该平台位于一个组织的非关系型数据存储与应用环境的其余部分之间。Hunk应用直接集成了数据存储，不需要被转移到二级内存存储。Hunk平台包括用于分析大数据的一系列工具。它支持自定义的仪表板和Hunk应用程序开发，它可以直接构建在一个HDFS环境，以及自适应搜索和可视化工具之上。
大数据安全分析平台的另一个重要特点是智能反馈，在那里建立了漏洞数据库以及安全性博客和其他新闻来源，潜在的有用信息能够被持续更新。大数据安全平台可从多种来源提取数据，能够以它们自定义的数据收集方法复制威胁通知和关联信息。
主要特性4：信息环境
由于安全事件产生这么多的数据，就给分析师和其他信息安全专业人员带来了巨大的风险，限制了他们辨别关键事件的能力。有用的大数据安全分析工具都在特定用户、设备和时间的环境下分析数据。
没有这种背景的数据是没什么用的，并且会导致更高的误报率。背景信息还改善了行为分析和异常检测的质量。背景信息可以包括相对静态的信息，例如一个特定的雇员在特定部门工作。它还可以包括更多的动态信息，例如，可能会随着时间而改变的典型使用模式。例如，周一早晨有大量对数据仓库的访问数据是很正常的，因为管理者需要进行一些临时查询，以便更好地了解周报中描述的事件。
主要特性5：功能广泛性
大数据安全分析的最后一个显着特征是它的功能涵盖了非常广泛的安全领域。当然，大数据分析将收集来自终端设备的数据，可能是通过因特网连接到TCP或IP网络的任何设备，包括笔记本电脑、智能手机或任何物联网设备。除了物理设备和虚拟服务器，大数据安全分析必须加入与软件相关的安全性。例如，脆弱性评估被用于确定在给定的环境中的任何可能的安全漏洞。网络是一个信息和标准的丰富来源，例如Cisco开发的NetFlow网络协议，其可以被用于收集给定网络上的流量信息。
大数据分析平台，也可以使用入侵检测产品分析系统或环境行为，以发现可能的恶意活动。
大数据安全分析与其他形式的安全分析存在质的不同。需要可扩展性，需要集成和可视化不同类型数据的工具，环境信息越来越重要，安全功能的广泛性，其让导致供应商应用先进的数据分析和存储工具到信息安全中。
如何选择合适的大数据安全分析平台
大数据安全分析技术结合了先进的安全事件分析功能和事故管理系统功能(SIEM)，适用于很多企业案例，但不是全部。在投资大数据分析平台之前，请考虑公司使用大数据安全系统的组织的能力水平。这里需要考虑几个因素，从需要保护的IT基础设施，到部署更多安全控制的成本和益处。
基础设施规模
拥有大量IT基础设施的组织是大数据安全分析主要候选者。应用程序、操作系统和网络设备都可以捕获到恶意活动的痕迹。单独一种类型的数据不能提供足够的证据来标识活动的威胁，多个数据源的组合可以为一个攻击的状态提供更全面的视角。
现有的基础设施和安全控制生成了原始数据，但是大数据分析应用程序不需要收集、采集和分析所有的信息。在只有几台设备，而且网络结构不是很复杂的环境中，大数据安全分析可能并不是十分必要，在这种情况下，传统的SEIM可能已经足够。
近实时监控
驱动大数据安全分析需求的另一个因素是近实时采集事故信息的必要性。在一些保存着高价值数据、同时又容易遭受到严重攻击的环境中，实时监控尤为重要，如金融服务、医疗保健、政府机构等。
最近Verizon的研究发现，在60%的事件，攻击者能够在几分钟内攻克系统，但几天内检测到漏洞的比例也很低。减少检测时间的一种方法是从整个基础设施中实时地收集多样数据，并立即筛选出与攻击事件有关的数据。这是一个大数据分析的关键用例。
详细历史数据
尽管尽了最大努力，在一段时间内可能检测不到攻击。在这种情况下，能够访问历史日志和其它事件数据是很重要的。只要有足够的数据可用，取证分析可以帮助识别攻击是如何发生的。
在某些情况下，取证分析不需要确定漏洞或纠正安全弱点。例如，如果一个小企业受到攻击，最经济有效的补救措施可能雇安全顾问来评估目前的配置和做法，并提出修改建议。在这种情况下，并不需要大数据安全分析。其他的安全措施就可能很有效，而且价格便宜。
本地vs云基础架构
顾名思义，大数据安全分析需要收集和分析大量各种类型的数据。如捕获网络上的所有流量的能力，对捕获安全事件信息的任何限制，都可能对从大数据安全分析系统获得的信息的质量产生严重影响。这一点在云环境下尤其突出。
云提供商限制网络流量的访问，以减轻网络攻击的风险。例如，云计算客户不能开发网段来收集网络数据包的全面数据。前瞻性的大数据安全分析用户应该考虑云计算供应商是如何施加限制来遏制分析范围的。
有些情况下，大数据安全分析对云基础设施是有用的，但是，特别是云上有关登录生成的数据。例如，亚马逊Web服务提供了性能监控服务，称为CloudWatch的，和云API调用的审计日志，称为CloudTrail。云上的操作数据可能不会和其他数据源的数据一样精细，但它可以补充其他数据源。
利用数据的能力
大数据安全分析摄取和关联了大量数据。即使当数据被概括和聚集的时候，对它的解释也可能是很有挑战性的。从大数据分析产生的信息的质量，部分上讲是分析师解释数据能力的一项指标。当企业与安全事件扯上关系的时候，它们需要那些能够切断攻击链路，以及理解网络流量和操作系统事件的安全分析师。
例如，分析师可能会收到一个数据库服务器上有关可疑活动的警报。这很可能不是一个攻击的第一步。分析师是否可以启动一个警报，并通过导航历史数据找到相关事件来确定它是否确实是一个攻击?如果不能，那么该组织并没有意识到大数据安全分析平台带来的好处。
其他安全控制
企业在投身大数据安全分析之前，需要考虑它们在安全实践方面的整体成熟度。也就是说，其他更便宜和更为简单的控制应该放在第一位。
应该定义、执行和监测清晰的身份和访问管理策略。例如，操作系统和应用程序应该定期修补。在虚拟环境的情况下，机器图像应定期重建，以确保最新的补丁被并入。应该使用警报系统监视可疑事件或显着的环境变化(例如服务器上增加了一个管理员帐户)。应当部署web应用防火墙来减少注入攻击的风险和其他基于应用程序的威胁。
大数据安全分析的好处可能是巨大的，尤其是当部署到已经实现了全面的防御战略的基础设施。
大数据安全分析商业案例
大数据安全分析是一项新的信息安全控制技术。这些系统的主要用途是合并来自于多个来源的数据，并减少手动集成解决方案的需求。同时还解决了其他安全控制存在的不足，例如跨多个数据源查询困难。通过捕获来自于多个来源的数据流，大数据分析系统提高了收集取证重要细节的机会。
⑹ 大数据网络安全的建议是什么
大数据网络安全的建议是什么？鉴于大数据资源在国家安全中的战略价值，除加强基础软硬件设施建设、网络攻击监控、防护等方面外，对国内大数据服务和大数据应用提出以下建议。
对重要的大数据应用或服务进行国家网络安全审查。重要的大数据应用程序或服务涉及国民经济、人民生活和政府治理应该被包括在国家网络安全审查的范围,并明确安全评估规范应尽快制定确保这些大数据平台有严格的和可靠的安全措施,防止受到攻击和受到敌对势力。
合理限制敏感和重要部门使用社交网络工具。政府部门、中央企业和重要信息系统单位应避免或限制使用社交网络工具作为日常办公的通讯工具，将办公移动终端和个人移动终端分开使用，防止重要保密信息的泄露。
大数据网络安全的建议是什么？敏感和重要的部门应该谨慎使用第三方云计算服务。云计算服务是大数据的主要载体。越来越多的政府部门、企事业单位在第三方云计算平台上建立了电子政务和企业业务系统。然而，由于缺乏安全意识、安全专业知识和安全措施，第三方云计算平台本身的安全往往得不到保障。因此，政府、中央企业和重要信息系统单位应谨慎使用第三方云服务，避免使用公共云服务。同时，国家应尽快出台云服务安全评估和测试的相关规范和标准。
严格规范和限制境外机构数据跨境流动。在中国提供大数据应用或服务的海外机构应接受更严格的网络安全审计，以确保其数据存储在国内服务器上，并严格限制数据跨境流动。
大数据网络安全的建议有哪些?大数据工程师可以这样解决，在携程信用卡信息泄露、小米社区用户信息泄露、OpenSSL“心脏出血”漏洞等事件中，大量用户信息数据被盗，可以点击本站的其他文章进行学习。
⑺ 大数据关系到网络信息安全,比较明显的影响主要表现在哪几个方面。
大数据关系到网络信息安全,比较明显的影响主要表现方面如下：
一、规模、实时性和分布式处理大数据的本质特征（使大数据解决超过以前数据管理系统的数据管理和处理需求，例如，在容量、实时性、分布式架构和并行处理等方面）
使得保障这些系统的安全更为困难。大数据集群具有开放性和羡凯自我组织性，并可以使用户与多个数据节点同时通信。
二、嵌入式安全：在涉及大数据的疯狂竞赛中，大部分的开发资源都用于改善大数据的可升级、易用性和分析功能没升上。只有很少的功能用于增加安全功能。
但是，你希望得到嵌入到大数据平台中的安全功能。你希望开发人员在设计和部署阶段能够支持所需要的功能。你希望安全功能就像大数据集群一样可升级、高性能、自组织。
三、应用程序：面向大数据集群的大多数应用都是Web应用它们利用基于Web的技术和无状态的基于REST的API。基于Web的应用程序和API给这些大数据集群带来了一种最重大的威胁。在遭受攻击或破坏后。
它们枯派老可以提供对大数据集群中所存储数据的无限制访问应用程序安全、用户访问管理及授权控制非常重要，与重点保障大数据集群安全的安全措施一样都不可或缺。
⑻ 澶ф暟鎹镞朵唬锛岀绣缁滃畨鍏ㄩ槻鎶ゆ湁鍝浜涢毦镣癸纴濡备綍锅氩ソ鏁版嵁淇濇姢镟村彲闱犲憿锛
鍦ㄥぇ鏁版嵁镞朵唬锛岀绣缁滃畨鍏ㄩ槻鎶ら溃涓寸潃涓浜涙写鎴桦拰闅剧偣銆备互涓嬫槸鍏朵腑涓浜涗富瑕佺殑闂棰桡细
1. 鏁版嵁瑙勬ā鍜屽嶆潅镐э细澶ф暟鎹鐜澧冧腑浜х敓镄勬暟鎹閲忓法澶т笖澶嶆潅澶氭牱锛岃繖澧炲姞浜嗗畨鍏ㄥ垎鏋愬拰鐩戞祴镄勫嶆潅镐с傛敾鍑昏呭彲浠ュ埄鐢ㄨ繖浜涙暟鎹杩涜岄殣钄界殑鏀诲嚮锛屽洜姝ら渶瑕佹洿寮哄ぇ镄勫畨鍏ㄩ槻鎶ゆ潵搴斿广
2. 楂樼骇濞佽儊锛澶ф暟鎹镞朵唬锛屾伓镒忚蒋浠跺拰缃戠粶鏀诲嚮鎶链涓嶆柇婕旇繘锛屽嚭鐜颁简镟村姞闅愯斀鍜屽嶆潅镄勯珮绾у▉鑳併傝繖浜涙敾鍑诲线寰闅句互琚浼犵粺镄勫畨鍏ㄩ槻鎶ゆ帾鏂芥墍鍙戠幇鍜岄樆姝锛岄渶瑕佷娇鐢ㄦ洿鍏堣繘镄勫畨鍏ㄦ妧链杩涜屾娴嫔拰搴斿广
3. 鏁版嵁闅愮佷缭鎶わ细澶ф暟鎹鐜澧冧腑锛屾秹鍙娄釜浜烘晱镒熶俊鎭镄勬暟鎹瓒婃潵瓒婂氥傚洜姝わ纴淇濇姢鏁版嵁闅愮佹垚涓轰竴涓閲嶈佺殑鎸戞垬銆傛暟鎹镄勬敹闆嗐佸瓨鍌ㄥ拰澶勭悊蹇呴’绗﹀悎鐩稿叧镄勯殣绉佹硶瑙勫拰钖堣勮佹眰锛屽悓镞堕渶瑕侀噰鍙栦弗镙肩殑瀹夊叏鎺鏂芥潵淇濇姢鏁版嵁镄勬満瀵嗘у拰瀹屾暣镐с
涓轰简锅氩ソ鏁版嵁淇濇姢骞舵彁楂桦彲闱犳э纴鍙浠ラ噰鍙栦互涓嬫帾鏂斤细
1. 寮哄寲缃戠粶瀹夊叏锘虹璁炬柦锛寤虹珛鍜岀淮鎶ゅ己澶х殑阒茬伀澧欍佸叆渚垫娴嬬郴缁熴佸畨鍏ㄨよ瘉鍜岃块梾鎺у埗绛夊熀纭璁炬柦锛屼互阒绘㈡綔鍦ㄧ殑鏀诲嚮鍜屼缭鎶ょ绣缁滃畨鍏ㄣ
2. 瀹炴柦鏁版嵁锷犲瘑鍜岃韩浠借よ瘉锛閲囩敤寮哄ぇ镄勫姞瀵嗙畻娉曟潵淇濇姢鏁版嵁镄勫畨鍏ㄦэ纴钖屾椂浣跨敤澶氩洜绱犺韩浠借よ瘉𨱒ョ‘淇濆彧链夌粡杩囨巿𨱒幂殑浜哄憳鑳藉熻块梾鏁忔劅鏁版嵁銆
3. 寮曞叆鍏堣繘镄勫▉鑳佹娴嬫妧链锛浣跨敤链哄櫒瀛︿範銆佽屼负鍒嗘瀽鍜屼汉宸ユ櫤鑳界瓑鍏堣繘鎶链𨱒ユ娴嫔拰搴斿归珮绾у▉鑳侊纴鍙婃椂鍙戠幇骞跺簲瀵规綔鍦ㄧ殑鏀诲嚮銆
4. 锷犲己锻桦伐锘硅鍜屾剰璇嗭细鎻愰珮锻桦伐镄勫畨鍏ㄦ剰璇嗭纴鏁栾偛浠栦滑濡备綍姝ｇ‘浣跨敤鍜屼缭鎶ゆ暟鎹锛屼互鍑忓皯鍐呴儴瀹夊叏婕忔礊镄勯庨橹銆
5. 瀹氭湡澶囦唤鍜岀伨闅炬仮澶嶈″垝锛瀹氭湡澶囦唤閲嶈佹暟鎹锛屽苟寤虹珛𨱔鹃毦鎭㈠嶈″垝锛屼互渚垮湪鏁版嵁阆鍙楃牬鍧忔垨涓㈠け镞惰兘澶熷揩阃熸仮澶嶃
缁间笂镓杩帮纴涓轰简锅氩ソ鏁版嵁淇濇姢骞舵彁楂桦彲闱犳э纴鍦ㄥぇ鏁版嵁镞朵唬搴旇ュ姞寮虹绣缁滃畨鍏ㄥ熀纭璁炬柦锛岄噰鐢ㄥ厛杩涚殑濞佽儊妫娴嬫妧链锛屽姞寮哄憳宸ュ煿璁鍜屾剰璇嗭纴骞跺缓绔嫔畬锽勭殑澶囦唤鍜岀伨闅炬仮澶嶈″垝銆傚悓镞讹纴钖堣勬у拰闅愮佷缭鎶や篃鏄涓嶅彲蹇借嗙殑閲嶈佸洜绱犮