分布式海量数据处理平台设计与实现摘要：为了提高电力行业网络各类监控设备告警信息和告警事件的处理速度，本文设计了由中心控制节点、计算节点、配置服务节点等构成的海量数据处理平台。通过中心控制节点实现任务的分解与控制，计算节点实现任务计算。使用基于文件格式的方式进行数据采集，利用Map/Reduce的模型进行数据汇总。采用本平台能够实现对海量告警信息的捕获和处理，保证告警分析的效率。关键词：海量告警；分布式；数据处理：TP311文献标识码：A：1673-1069（2016）35-175-20引言随着当今世界互联网的迅猛发展，电力行业也开始运用现代信息技术对电网的运行状况进行监控，电力网络各类监控设备每天都会产生大量的告警信息和告警事件，这些信息的采集、清洗、分析以及汇总所包含数据的计算与处理复杂度非常高，计算量非常大，所以会对计算机硬件性能有很高的要求。分布式计算技术能够将一些本身适合分解成大量更小计算片段的复杂问题进行分解，然后再将这些更小的计算片段分配到多个计算资源上，利用多个计算资源分别对这些小的计算片段进行分布式求解，这样不但有效的利用了各个闲置的计算资源，也加快了计算执行的效率，充分发挥了计算的高并行性。为此我们可以将分布式计算技术引入到电力行业告警信息和告警事件的处理中，提高信息的处理速度，为电力系统的运维监管提高效率。本文是通过对当前已有的成熟的分布式计算系统如google的map/reduce架构以及hadoopDB等系统的研究调查，借鉴了map/reduce的基本思想，针对电力行业运维监控中的各种海量告警数据处理的业务，提出的分布式海量数据处理系统平台。1总体结构设计海量分布式处理平台完成数据采集、任务分发、任务处理以及任务汇总等多项内容。平台主要包括了中心控制节点、计算节点、配置服务节点、拆分节点、日志节点、数据采集传输部件以及电信网络单元这七大部分。各部分之间互相通信，互相配合完成任务的拆分，发送及执行。其中Master为中心控制节点，CU为计算节点，CS为配置服务节点，TS为拆分节点，LS为日志节点，MED为数据采集传输部件，NES为电信网络单元，能独立完成一定的传输功能。2节点设计2.1中心控制节点在整个系统中，中心控制节点是核心，负责系统中所有资源的调度，并根据计算节点的状态分配系统中的任务，进行相关的数据分析和计算，协调系统的整体运行。同时，为了防止主控节点意外挂机导致的数据丢失的现象，采用双机热备的机制来作为主控节点的备份。Master中包含的主要子模块有通信、任务调度、任务管理、定时器和Corba、锁管理等模块。①通信子模块：主要负责的是Master和其他子模块之间的通信，负责分发和接收模块间的消息报文；②任务管理子模块：主要负责对系统中处理任务的管理，包括最初的任务创建、任务运行过程中的状态保持、大任务的分解、所有任务的维护以及任务执行等功能。③任务调度子模块：主要完成任务调度的相关工作，包括依据任务的优先级对系统任务进行调度安排，锁进程的管理与维护，维持进程间的通讯等。④定时器模块：主要负责检查系统是否超时，以及处理超时后触发的事件等问题，定时的检测系统的各种状态等。⑤Master-Standby同步模块：主要负责同步Master上的任务到Standby，以减少因为Master出故障后造成的损失。2.2分布式计算节点计算节点负责的是对海量数据进行具体的计算分析以及对数据的具体任务处理，涉及到最初的数据采集、计算完毕后的数据汇总、汇总结束后的数据备份以及最终结果的查询等阶段。计算节点是整个系统中的基础，是任务执行的基本单元，节点在运行的过程中，要分别与中心控制节点、外部模块以及参数配置节点等部分进行消息通讯，在处理这些信息的同事，还要通过任务调度实现对任务的并行处理调度。一个完整的计算节点通常由任务管理模块、通讯模块、数据操作模块以及定时器构成。计算节点中采用多线程技术实现以上的各项功能。CU的主要作用就是并行高性能化地执行各种小作业，当有小作业需要被执行时，CU的具体执行流程为：①通过负载均衡模块，计算节点CU主动向Master主控节点请求作业，并获去作业的相关任务；②Master向主控进程中通信模块的...