以企业入侵检测日志分析为场景漫谈大数据安全前言写这篇文章有三个原因，一是在工作中一直艰难地摸索着这块也曾写过一篇很粗略的大数据之安全漫谈(想继续吐槽);二是看到了阿里的招聘广告-一起来聊聊这个新职位：大数据安全分析师;三是整个2015的RSA会议IntelligenceData-Driven出境率太高了，于是想谈谈。大数据安全，顾名思义，用大数据技术解决安全问题。核心——解决安全问题，手段——大数据技术。我们从核心出发，安全问题抽象来说就是攻击与防御，接下来明确防御对象是什么?攻击目的是什么?攻击手段是怎样的?攻击者的特征?一句话——搞清楚谁为了什么目的通过什么手段攻击了谁。比如说防御对象有企业内部安全，有对外发布产品安全，同时防御对象又决定了不同的攻击目的与攻击手段，有企业入侵，有对产品本身的攻击(比如说软件破解，游戏外挂，订单欺诈)，有对产品用户的攻击(比如利用支付漏洞窃取用户财产)，同样发起攻击的攻击者们特征又是迥异的，有无特定目的批量散弹攻击，有靠接单挣钱的赏金黑客，有外挂作坊等等。在明确了的问题后，接下来就是确定解决问题的方法，传统方法的缺陷是什么?大数据技术解决问题的优势又是什么?比如说WAF系统中，传统的检测机制——基于签名库(黑名单)，缺陷是对未知漏洞(0day)不可感知。解决方案——基于异常(白名单)，如何鉴定异常——机器学习(学习正常的行为模式)，如何对大量数据鉴定异常——大数据技术支撑下的机器学习。在这一过程，我们需要具备领域知识(安全知识)，数据科学知识(数据分析知识，机器学习，文本分析，可视化)，大数据知识(数据收集，数据存储，数据传输，数据分布式计算)，编程知识。路漫漫其修远兮，吾将死磕到底…本文就以企业入侵检测日志分析为场景来谈谈大数据安全。一、安全领域大数据安全分析最容易走偏的就是过度强调数据计算平台(大数据)，算法(机器学习)，而失去了本心，忽略了我们使用这一技术的目的，以入侵检测为例，我们希望日志分析达到以下目的：如何感知威胁，我们可以先对攻击者进行画像，攻击手段进行建模。1.攻击者画像这里是非常粗略的分类，实际上我们可以用关系图(社交网挖掘)的方式将攻击者关联起来，对取证抓坏人也是有效果的。2.攻击手段建模相信喜欢撸paper、ppt的人对AttackModels、AttackTrees、KillChain这三个术语特别熟悉，特别是看过2013年后的各大安全会议文档后，其实说的都是攻击行为建模。(1)渗透模型(2)普通攻击模型(3)攻击模型(升级版)注意以上攻击手段只是高度精炼的攻击环节，实际的攻击检测中，我们需要尽可能精确的还原入侵场景(包括对应的正常场景是怎样的)，从入侵场景中提炼关键环节，从而检测出异常的攻击行为。在熟悉了杀生链(killchain)后，接下来要做的就是在构成链的每个环节进行狙击，注意越往后成本越高。而每个阶段的操作必然会雁过留痕，这些痕迹，就是我们进行数据分析的数据源，知道对什么数据进行分析是最最重要的(数据量要恰到好处，要多到足够支撑数据分析与取证，要少到筛选掉噪音数据)。二、数据科学在明确了我们要解决的问题，接下来我们来普及一下数据分析的基本流程：从上图可以看出，传统的数据分析在模型选择上都仅仅用了0——规则，1——统计分析，设置基线，依靠阈值的方法。数据分析与领域知识是紧密耦合的，千万不要误入套用算法的误区，要进行基于行为建模(攻击行为，正常行为)的数据分析，可以从单点分析(单条数据的深度分析，例如分析单条HTTP请求是否是攻击请求)，简单的关联分析(例如分析一个session下，多条HTTP请求的关联关系，是否为扫描器行为，是否有尝试绕过WAF的操作，是否符合攻击链的关键步骤)，复杂的关联分析(例如Web日志，数据库日志，操作系统日志的联动分析，例如SQL注入写马攻击中HTTP请求对应的数据库操作，主机操作)来逐步深入分析，当攻击场景很复杂的时候，我们可以考虑从结果出发的方式来回溯，这些技巧都取决于领域知识。下面列举一些传统的关联技巧：1.规则关联IfthesystemseesanEVENTE1whereE1.eventType=portscanfollowedbyaneventE2whereE2.srcip=E1.srcipandE2.dstip=E1.dstipandE2.eventType=fw.rejectth...