一种基于网络安全数据流的混合CUBE模型摘要：目前，国家在骨干网安全监控方面的一大难题是，面对安全事件数据流具有的海量性、实时性、多变性和持续性等特点，如何高效、可靠地管理这些数据，并从中挖掘关键信息，以进行安全态势分析与预测。本文提出一种基于数据流的混合数据立方体构建方法，并在国家公共互联网监控平台上得以实现。通过实际数据的检验，该方法可以有效实现对于大规模数据流数据的管理，极大缩短了查询响应的时间。关键词：网络安全；数据流；部分物化；数据立方体：TP309文献标识码：A自二十世纪九十年代以来，针对数据流的分析处理技术研究己成为热点课题。BrianBabcock等人提出了在数据流流量突然增大而现有系统无法处理的情况下，为尽可能减小查询误差而决定什么时候丢弃数据，丢弃多少数据的一种算法。该方法仅针对数据[来自wwlw5U]流的在线查询，而没有考虑历史数据的管理ruJ题。张冬冬等人提出了一种数据流历史数据的存储管理及聚集查询处理方法，通过对[来自wwlw5u]历史数据实施多层递阶抽样存储，并在内存中建立存储数据流历史数据聚集值的HDS-Tree索引，实现对无限数据流历史数据的存储管理。该方法考虑了历史数据的存储，对聚集查询的实时性和精确性做出了分析。然而对于多维历史数据联机分析处理该文没有给出方法。激AWEIHAN等人提出了“STREAMCUBE”结构来应对流数据的在线多维分析处理，并关于STREAMCUBE的汁算，提出了倾斜的时间框架、部分物化立方体以及常用路径等概念。该文对于流数据的多维分析处理给出了一个很好的解决方法。然而该方法更多地侧重于节省空间的数据压缩技术，而且没有考虑到用户查询需求可能会发生改变。基于网络安全事件数据流所具有的海量性、实时性、多变性和多维度等特点，本文提出了一种基于大规模数据流的混合CUBE的系统构建方法。事实证明，该方法可以有效实现对数据流历史数据的联机在线分析。2混合CUBE模型2.1两种不同类型的物化CUBE方式CUBE是OLAP（联机分析处理）的一种常用模型，它允许从多维对数据建模和观察，由维和事实定义。为了提高分这里的CUBE是星型模式，定义CUBE的维数为D，第i维的级别数是￡．。一种物化方式是完全物化，如果要完全物化，则需要物化的方体总数是ri(/+lI。该CUBE有5维，其中运营商维(对应INOUTID字段)有2个级别，源地址维(对应SRCIP)和目标地址维（对应DSTIP字段）都有4个级别，事件类型维（对应EVENTTYPEID字段）有3个级别，时间维（对应EVENTTIME字段）有6个级别。这样，如果全部物化，需要物化的方体总数是12600。由于有的级别上的成员数非常大，比如说地址维的最低一级的成员大约有6X106个，而时间维最低级别成员更多，并且随着时时间的不断推移，其大小呈线性增长。按一年的数据量来算，则需要计算的最细粒度的方体格大约是4.5×1023个。另外一种物化方法是部分物化，就是针对特定的维度和级别进行物化，比如说只对于地址维的PROVINCE级别和时问维的MONTH级别进行物化，那么需要物化的基本方体个数是3000个。2.2混合CUBE模型通过以上分析可以看出，完全物化CUBE要占用非常大的存储空间，而且对于数据流系统也是一个很大的挑战，在目前软硬件条件下acute;这样做不切实际而且没有必要。另外，直接查询完全CUBE，也会造成计算资源的浪费。应当看到，用户的查询存在很大的时空局部性，也就是说，用户一段时间内只对某一时期某一聚集层面的数据感兴趣。这样，只要对经常要查询的维和级别进行物化，就可以满足大多数查询的需要。鉴于此，本文提出一种混合CUBE的方法，混合CUBE就是对原始数据进行两方面的处理，一方面以事实表和维表的形式存放在外存中，一方面通过预计算将用户感兴趣的那部分数据形成部分物化CUBE。如果要查询的对象可以利用部分物化CUBE计算，则直接查询部分物化CUBE，否则，查询二维表。2.3混合CUBE在网络监控系统中的应用网络监控(NetworkMonitoring)就是通过分析从网络上获取的通讯、安全事件等信息，实现对网络运行状态的监视，帮助网络管理人员了解目标网络的运行状况，发现目标网络存在的安全问题，达到对网络进行有效管理和控制的目的，保证网络（系统）资源使用...