1. (1)什么是安全大数据
安全数据的大数据化主要体现在以下三个方面：
一、数据量越来越大：网络已经从千兆迈向了万兆，网络安全设备要分析的数据包数据量急剧上升。此外，随着APT等新型威胁的兴起，全包捕获技术逐步应用，海量数据处理问题也日益凸显。
二、速度越来越快：对于网络设备而言，包处理和转发的速度需要更快；对于安管平台、事件分析平台而言，数据源的事件发送速率（EPS，EventperSecond，事件数每秒）越来越快。
三、种类越来越多：除了数据包、日志、资产数据，安全要素信息还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。
我们需要大数据安全分析
安全数据的大数据化，以及传统安全分析所面临的挑战和发展趋势，都指向了同一个技术——大数据分析。正如Gartner在2011年明确指出，“信息安全正在变成一个大数据分析问题”。
于是，业界出现了将大数据分析技术应用于信息安全的技术——大数据安全分析（BigDataSecurityAnalysis，简称BDSA），也有人称做针对安全的大数据分析（BigDataAnalysisforSecurity）。
借助大数据安全分析技术，能够更好地解决天量安全要素信息的采集、存储的问题，借助基于大数据分析技术的机器学习，能够更加智能地洞悉信息与网络安全的态势，更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。
2. 网络安全与大数据技术应用探讨论文
网络安全与大数据技术应用探讨论文
摘要： 随着互联网技术的高速发展与普及，现如今互联网技术已经广泛应用于人们工作与生活之中，这给人们带来了前所未有的便利，但与此同时各种网络安全问题也随之显现。基于此，本文主要介绍了大数据技术在网络安全领域中的具体应用，希望在网络系统安全方面进行研究的同时，能够为互联网事业的持续发展提供可行的理论参考。
关键词： 网络安全；大数据技术；应用分析
前言
随着近年来互联网技术的不断深入，网络安全事故也随之频频发生。出于对网络信息安全的重视，我国于2014年成立了国家安全委员会，正式将网络安全提升为国家战略部署，这同时也表示我国网络信息安全角势不容乐观，网络攻击事件处于高发状态。木马僵尸病毒、恶意勒索软件、分布式拒绝服务攻击、窃取用户敏感信息等各类网络攻击事件的数量都处于世界前列。时有发生的移动恶意程序、APT、DDOS、木马病毒等网络攻击不仅会严重阻碍网络带宽、降低网络速度、并且对电信运营商的企业声誉也会产生一定影响。根据大量数据表明，仅仅依靠传统的网络防范措施已经无法应对新一代的网络威胁，而通过精确的检测分析从而在早期预警，已经成为现阶段网络安全能力的关键所在。
1网络安全问题分析
网络安全问题不仅涉及公民隐私与信息安全，更关乎国事安全，例如雅虎的信息泄露，导致至少五亿条用户信息被窃；美国棱镜门与希拉里邮件门等等事件都使得网络安全问题进一步升级、扩大。随着互联网构架日益复杂，网络安全分析的数据量也在与日俱增，在由TB级向PB级迈进的过程，不仅数据来源丰富、内容更加细化，数据分析所需维度也更为广泛。伴随着现阶段网络性能的增长，数据源发送速率更快，对安全信息采集的速度要求也就越高，版本更新延时等导致的Odav等漏洞日渐增多，网络攻击的影响范围也就进一步扩大；例如APT此类有组织、有目标且长期潜伏渗透的多阶段组合式攻击更加难以防范，唯有分析更多种类的安全信息并融合多种手段进行检测抵御。在传统技术架构中，大多使用结构化数据库来进行数据存储，但由于数据存储的成本过高，系统往往会将原始数据进行标准化处理后再进行存储，如此易导致数据的丢失与失真以及历史数据难以保存而造成的追踪溯源困难；同时对于嘈杂的大型、非结构化数据集的执行分析以及复杂查询效率很低，导致数据的实时性及准确性难以保证，安全运营效率不高，因此传统网络安全技术已经难以满足现阶段网络安全分析的新要求。大数据技术这一概念最初由维克托.迈尔.舍恩伯格与肯尼斯.库克耶在2008年出版的《大数据时代》一书中提出的，大数据是指不采用随机分析法，而是对所有的数据进行综合分析处理。大数据技术作为现阶段信息架构发展的趋势之首，其独有的高速、多样、种类繁多以及价值密度低等特点，近年来被广泛应用于互联网的多个领域中。大数据的战略意义在于能够掌握庞大的数据信息，使海量的原始安全信息的存储与分析得以实现、分布式数据库相比传统数据库的存储成本得以降低，并且数据易于在低廉硬件上的水平扩展，极大地降低了安全投入成本；并且伴随着数据挖掘能力的大幅提高，安全信息的采集与检测响应速度更加快捷，异构及海量数据存储的支持打造了多维度、多阶段关联分析的基础，提升了分析的深度与广度。对于网络安全防御而言，通过对不同来源的数据进行综合管理、处理、分析、优化，可实现在海量数据中极速锁定目标数据，并将分析结果实时反馈，对于现阶段网络安全防御而言至关重要。
2大数据在网络安全中的应用
将大数据运用到网络安全分析中，不仅能够实现数据的优化与处理，还能够对日志与访问行为进行综合处理，从而提高事件处理效率。大数据技术在网络安全分析的效果可从以下几点具体分析：
2.1数据采集效率
大数据技术可对数据进行分布式地采集，能够实现数百兆/秒的采集速度，使得数据采集速率得到了极大的提高，这也为后续的关联分析奠定了基础。
2.2数据的存储
在网络安全分析系统中，原始数据的存储是至关重要的，大数据技术能够针对不同数据类型进行不同的数据采集，还能够主动利用不同的方式来提高数据查询的效率，比如在对日志信息进行查询时适合采用列式的存储方式，而对于分析与处理标准化的数据，则适合采用分布式的模式进行预处理，在数据处理后可将结果存放在列式存储中；或者也可以在系统中建立起MapRece的查询模块，在进行查询的时候可直接将指令放在指定的节点，完成处理后再对各个节点进行整理，如此能够确保查询的速度与反应速度。
2.3实时数据的分析与后续数据的处理
在对实时数据的分析中，可以采用关联分析算法或CEP技术进行分析，如此能够实现对数据的采集、分析、处理的综合过程，实现了更高速度以及更高效率的处理；而对于统计结果以及数据的处理，由于这种处理对时效性要求不高，因此可以采用各种数据处理技术或是利用离线处理的方式，从而能够更好地完成系统风险、攻击方面的分析。
2.4关于复杂数据的分析
在针对不同来源、不同类型的复杂数据进行分析时，大数据技术都能够更好的完成数据的分析与查询，并且能够有效完成复杂数据与安全隐患、恶意攻击等方面的处理，当网络系统中出现了恶意破坏、攻击行为，可采用大数据技术从流量、DNS的角度出发，通过多方面的数据信息分析实现全方位的防范、抵御。
3基于大数据技术构建网络系统安全分析
在网络安全系统中引入大数据技术，主要涉及以下三个模块：
3.1数据源模块
网络安全系统中的`数据及数据源会随着互联网技术的进步而倍增技术能够通过分布式采集器的形式，对系统中的软硬件进行信息采集，除了防火墙、检测系统等软件，对设备硬件的要求也在提高，比如对服务器、存储器的检查与维护工作。
3.2数据采集模块
大数据技术可将数据进行对立分析，从而构建起分布式的数据基础，能够做到原始数据从出现到删除都做出一定说明，真正实现数据的访问、追溯功能，尤其是对数据量与日俱增的今天而言，分布式数据存储能够更好地实现提高数据库的稳定性。
3.3数据分析模块
对网络安全系统的运营来说，用户的业务系统就是安全的最终保障对象，大数据分析能够在用户数据产生之初，及时进行分析、反馈，从而能够让网络用户得到更加私人化的服务体验。而对于用户而言，得其所想也会对网络系统以及大数据技术更加的信任，对于个人的安全隐私信息在系统上存储的疑虑也会大幅降低。当前网络与信息安全领域正在面临着全新的挑战，企业、组织、个人用户每天都会产生大量的安全数据，现有的安全分析技术已经难以满足高效率、精确化的安全分析所需。而大数据技术灵活、海量、快速、低成本、高容量等特有的网络安全分析能力，已经成为现阶段业界趋势所向。而对互联网企业来说，实现对数据的深度“加工处理”，则是实现数据增值的关键所在，对商业运营而言是至关重要的。
4结语
在当下时代，信息数据已经渗透到各个行业及业务领域中，成为重要的社会生产因素。正因如此，互联网数据产生的数量也在与日倍增中，这给网络安全分析工作带来了一定难度与压力，而大数据技术则能够很好的完善这一问题。在网络系统中应用大数据技术不仅能够满足人们对数据处理时所要求的高效性与精准性，并且能够在此基础上构建一套相对完善的防范预警系统，这对维护网络系统的安全起着非常关键的作用，相信大数据技术日后能够得到更加广泛的应用。
参考文献：
[1]鲁宛生.浅谈网络安全分析中大数据技术的应用[J].数码世界，2017.
[2]王帅,汪来富,金华敏等.网络安全分析中的大数据技术应用[J].电信科学，2015.
[3]孙玉.浅谈网络安全分析中的大数据技术应用[J].网络安全技术与应用，2017.
;3. 大数据环境下的网络安全分析
大数据环境下的网络安全分析
“大数据”一词常被误解。事实上，使用频率太高反而使它几乎没有什么意义了。大数据确实存储并处理大量的数据集合，但其特性体现远不止于此。
在着手解决大数据问题时，将其看作是一种观念而不是特定的规模或技术非常有益。就其最简单的表现来说，大数据现象由三个大趋势的交集所推动：包含宝贵信息的大量数据、廉价的计算资源、几乎免费的分析工具。
大数据架构和平台算是新事物，而且还在以一种非凡的速度不断发展着。商业和开源的开发团队几乎每月都在发布其平台的新功能。当今的大数据集群将会与将来我们看到的数据集群有极大不同。适应这种新困难的安全工具也将发生变化。在采用大数据的生命周期中，业界仍处于早期阶段，但公司越早开始应对大数据的安全问题，任务就越容易。如果安全成为大数据集群发展过程中的一种重要需求，集群就不容易被黑客破坏。此外，公司也能够避免把不成熟的安全功能放在关键的生产环境中。
如今，有很多特别重视不同数据类型（例如，地理位置数据）的大数据管理系统。这些系统使用多种不同的查询模式、不同的数据存储模式、不同的任务管理和协调、不同的资源管理工具。虽然大数据常被描述为“反关系型”的，但这个概念还无法抓住大数据的本质。为了避免性能问题，大数据确实抛弃了许多关系型数据库的核心功能，却也没犯什么错误：有些大数据环境提供关系型结构、业务连续性和结构化查询处理。
由于传统的定义无法抓住大数据的本质，我们不妨根据组成大数据环境的关键要素思考一下大数据。这些关键要素使用了许多分布式的数据存储和管理节点。这些要素存储多个数据副本，在多个节点之间将数据变成“碎片”。这意味着在单一节点发生故障时，数据查询将会转向处理资源可用的数据。正是这种能够彼此协作的分布式数据节点集群，可以解决数据管理和数据查询问题，才使得大数据如此不同。
节点的松散联系带来了许多性能优势，但也带来了独特的安全挑战。大数据数据库并不使用集中化的“围墙花园”模式（与“完全开放”的互联网相对而言，它指的是一个控制用户对网页内容或相关服务进行访问的环境），内部的数据库并不隐藏自己而使其它应用程序无法访问。在这儿没有“内部的”概念，而大数据并不依赖数据访问的集中点。大数据将其架构暴露给使用它的应用程序，而客户端在操作过程中与许多不同的节点进行通信。
规模、实时性和分布式处理：大数据的本质特征（使大数据解决超过以前数据管理系统的数据管理和处理需求，例如，在容量、实时性、分布式架构和并行处理等方面）使得保障这些系统的安全更为困难。大数据集群具有开放性和自我组织性，并可以使用户与多个数据节点同时通信。验证哪些数据节点和哪些客户应当访问信息是很困难的。别忘了，大数据的本质属性意味着新节点自动连接到集群中，共享数据和查询结果，解决客户任务。
嵌入式安全：在涉及大数据的疯狂竞赛中，大部分的开发资源都用于改善大数据的可升级、易用性和分析功能上。只有很少的功能用于增加安全功能。但是，你希望得到嵌入到大数据平台中的安全功能。你希望开发人员在设计和部署阶段能够支持所需要的功能。你希望安全功能就像大数据集群一样可升级、高性能、自组织。问题是，开源系统或多数商业系统一般都不包括安全产品。而且许多安全产品无法嵌入到Hadoop或其它的非关系型数据库中。多数系统提供最少的安全功能，但不足以包括所有的常见威胁。在很大程度上，你需要自己构建安全策略。
应用程序：面向大数据集群的大多数应用都是Web应用。它们利用基于Web的技术和无状态的基于REST的API。虽然全面讨论大数据安全的这个问题超出了本文的范围，但基于Web的应用程序和API给这些大数据集群带来了一种最重大的威胁。在遭受攻击或破坏后，它们可以提供对大数据集群中所存储数据的无限制访问。应用程序安全、用户访问管理及授权控制非常重要，与重点保障大数据集群安全的安全措施一样都不可或缺。
数据安全：存储在大数据集群中的数据基本上都保存在文件中。每一个客户端应用都可以维持其自己的包含数据的设计，但这种数据是存储在大量节点上的。存储在集群中的数据易于遭受正常文件容易感染的所有威胁，因而需要对这些文件进行保护，避免遭受非法的查看和复制。
4. 大数据安全分析的6个要点
大数据安全分析的6个要点
现在，很多行业都已经开始利用大数据来提高销售，降低成本，精准营销等等。然而，其实大数据在网络安全与信息安全方面也有很长足的应用。特别是利用大数据来甄别和发现风险和漏洞。
通过大数据，人们可以分析大量的潜在安全事件，找出它们之间的联系从而勾勒出一个完整的安全威胁。通过大数据，分散的数据可以被整合起来，使得安全人员能够采用更加主动的安全防御手段。
今天，网络环境极为复杂，APT攻击以及其他一些网络攻击可以通过对从不同数据源的数据的搜索和分析来对安全威胁加以甄别，要做到这一点，就需要对一系列数据源的进行监控，包括DNS数据，命令与控制(C2)，黑白名单等。从而能够把这些数据进行关联来进行发囧。
企业针对安全的大数据分析下面是一些要点：
DNS数据
DNS数据能够提供一系列新注册域名，经常用来进行垃圾信息发送的域名，以及新创建的域名等等，所有这些信息都可以和黑白名单结合起来，所有这些数据都应该收集起来做进一步分析。
如果自有DNS服务器，就能过检查那些对外的域名查询，这样可能发现一些无法解析的域名。这种情况就可能意味着你检测到了一个“域名生成算法”。这样的信息就能够让安全团队对公司网络进行保护。而且如果对局域网流量数据日志进行分析的话，就有可能找到对应的受到攻击的机器。
命令与控制(C2)系统
把命令与控制数据结合进来可以得到一个IP地址和域名的黑名单。对于公司网络来说，网络流量绝对不应该流向那些已知的命令与控制系统。如果网络安全人员要仔细调查网络攻击的话，可以把来自C2系统的流量引导到公司设好的“蜜罐”机器上去。
安全威胁情报
有一些类似与网络信誉的数据源可以用来判定一个地址是否是安全的。有些数据源提供“是”与“否”的判定，有的还提供一些关于威胁等级的信息。网络安全人员能够根据他们能够接受的风险大小来决定某个地址是否应该访问。
网络流量日志
有很多厂商都提供记录网络流量日志的工具。在利用流量日志来分析安全威胁的时候，人们很容易被淹没在大量的“噪音”数据中。不过流量日志依然是安全分析的基本要求。有一些好的算法和软件能够帮助人们提供分析质量。
“蜜罐”数据
“蜜罐”可以有效地检测针对特定网络的恶意软件。此外，通过“蜜罐”获得的恶意软件可以通过分析获得其特征码，从而进一步监控网络中其他设备的感染情况。这样的信息是非常有价值的，尤其是很多APT攻击所采用的定制的恶意代码往往无法被常规防病毒软件所发现。参见本站文章企业设置“蜜罐”的五大理由
数据质量很重要
最后，企业要注意数据的质量。市场上有很多数据可用，在安全人员进行大数据安全分析时，这些数据的质量和准确性是一个最重要的考量。因此，企业需要有一个内部的数据评估团队针对数据来源提出相应的问题，如：最近的数据是什么时候添加的?有没有样本数据以供评估?每天能够添加多少数据?这些数据哪些是免费的?数据总共收集了多久?等等。
安全事件和数据泄露的新闻几乎每天都能够出现在报纸上，即使企业已经开始采取手段防御APT，传统的安全防御手段对于APT之类的攻击显得办法不多。而利用大数据，企业可以采取更为主动的防御措施，使得安全防御的深度和广度都大为加强。
5. 大数据时代下网络安全的重要性
随着互联网的飞速发展，出现了海量的数据信息，人类 社会 也逐步迈进了大数据时代。大数据时代可以为人们带来更多的关于时代发展的实时信息，使人类的思想能够跟上时代发展的脚步，为人们之间的交流与沟通带来便利。即使大数据时代互联网技术自身拥有诸多的优点，但是在应用过程中依然存在很多的网络信息安全风险，这将会导致信息数据不真实，同时又会对人们使用信息的时效性造成不良影响。所以，在大数据时代，我们应该更加重视网络信息的安全性，依托科学合理的网络信息安全管理方案来防止网络安全问题的发生，从而加快中国现代化信息建设的脚步。
大数据时代网络存在的安全问 题
由于网络具有较强的开放性特质，能够实现跨越时空的交流与互动，但于此同时，也容易遭受不同空间与主题的入侵和攻击，这就会导致数据信息发生泄露，继而造成严重的网络安全问题。其次就是人为操作失误，由于网民在上网过程中没有清晰的安全意识，容易下载并点击危险的软件和网站，导致手机或电脑遭受病毒的袭击，进而丢失私人信息、账户信息等。再次就是网络黑客问题，黑客能够通过窃取网络信息或网络密钥的方式，破坏用户的网络系统，使用户的私人信息受到威胁，甚至会导致整个网络系统出现故障或瘫痪。
大数据时代下网络安全的防护措施
1、使用安全的杀毒软件和加强监管工作
计算机不仅需要采用适当的防火墙技术，营造优良的网络运营氛围，且还需要安装杀毒软件。这样一来便可详细检查计算机当中的数据信息，全面提高计算机的安全性，防止因为病毒入侵带来的安全隐患。另一方面，企业也需要做好计算机网络安全的监管工作，集中管理企业现有账号，强化自身安全管理的意识。
2、加强网络安全意识
相关工作人员应深入了解计算机的操作步骤和注意事项，注意可能存在的危险，不下载、不点击来源不明的链接，提升自身的网络安全意识。此外，还需要强化学习，拓展知识面，提升防范能力，养成正确的使用计算机的习惯。
3、加强网络管控能力
影响计算机安全的主要原因是工作人员对网络维护的重视程度不够，只是计算机安全受到影响。网络管理者应加强对信息安全的维护力度，构建出相应的网络管控机制。可通过相关的防控软件对网络病毒、黑客入侵的行为进行监控，同时该系统也能够对用户所参与的网络活动进行分析和把控，及时弹出安全弹窗，以此避免网络安全问题的发生。
4、加强网络安全管理
加强网络安全管理，注重技术应用，为网络安全提供基础保障。即通过网络维护，定期检查网络安全问题，提升对网络安全及数据安全的管理力度，保障信息网络的正常运作。在这个过程中，网络管理者需要定期检查系统漏洞，及时地更新杀毒软件的病毒库等。
结语