基于Hadoop的民航日志分析系统及应用李建+曾新励摘要摘要：民航信息系统日志包含大量信息，但由于日志数据非结构化，不易被读取且数据量巨大，难以通过人工分析得出有价值信息。Hadoop分布式计算技术恰好可以很好地解决这个问题。设计了基于Hadoop的民航日志分析系统，系统结合数据挖掘领域经典的KNN分类算法，对算法进行了并行化改进，给出算法在Hadoop平台的MapReduce编程模型上的执行流程。对系统进行单机和集群测试，集群系统在处理较大规模数据时更高效。实验结果证明，系统具有较高的执行效率和可扩展性，对民航日志分析具有较高的实用价值。关键词关键词：日志分析；Hadoop；KNN算法；并行计算；MapReduceDOIDOI：10.11907/rjdk.162386：TP319：A：16727800（2017）001010004引言随着民航信息化建设的深入，民航信息系统越来越多，复杂度越来越高。系统每天产生大量日志数据，这些数据记录着系统的运行状态。目前民航系统日志数据分为两部分：①过去运行生成的大文件，约56GB；②每天生成的文件，大约是200-300MB。日志是apachecommon格式，分析系统产生的日志数据成为了解系统安全与可扩展性的重要途径，相关业务指标可供运营决策者使用。由于日志信息不易读懂且数据量不断增长，利用人工或传统分析技术难以发掘出有效信息。Hadoop提供的分布式计算技术为解决此问题提供了思路。Hadoop平台提供的分布式文件存储和并行计算能力，充分利用了集群高速运算和存储的优点，用户可在不了解分布式底层细节的情况下，利用Hadoop所提供的MapReduce并行计算框架，开发一个高度可扩展的分布式处理系统，进行大数据分类工作。数据分类作为数据挖掘领域的重要分支，是数据挖掘非常重要的研究方向[1]，其中KNN分类算法是数据挖掘领域的经典算法[2]。该算法是一种基于实例的学习算法，其核心是根据已知对象与未知对象之间相似度的比较来对未知对象进行分类。当给定一个未知实例时，KNN分类算法根据与该实例最近的k个实例进行分类。本文基于Hadoop平台下的MapReduce并行技术，研究并实现民航日志分析系统。利用Hadoop提供的分布式存储来存放日志数据，结合KNN数据挖掘算法对数据进行更深层次的分析，提高数据利用价值。算法整体分为数据预处理、训练、分类3个阶段。KNN分类算法进行MapReduce并行化的基本思路是：首先将训练样本和测试样本数据预处理并上传到Hadoop的文件系统中，然后将计算量很大的数据预处理阶段和训练阶段作业内容交由Map计算过程处理，完成测试样本与训练样本的欧式距离计算，再将Map计算结果提交到Reduce进行数据分类，最终得到测试样本分类结果。实验选取系统产生的几组日志数据在Hadoop集群上测试，并与单机环境比对。实验结果证明，集群系统具有较高的执行效率、良好的加速比和扩展性。1相关工作1.1Hadoop平台Hadoop是Apache软件基金会的开源项目，也是并行处理大规模数据的代表性产品。用户可以在不了解分布式底层细节的情况下，利用Hadoop提供的分布式系统基础架构开发分布式应用，将集群存储资源、网络资源和计算资源统一起来，实现海量数据的高速运算和存储。Hadoop层次结构如图1所示。Hadoop框架最核心的设计是HDFS和MapReduce。HDFS是一个分布式文件系统，具有高容错性特点，可以部署在廉价硬件上，由一个名称节点（NameNode）和N个数据节点（DataNode）组成。NameNode节点是整个文件系统的管理节点，它维护着整个文件系统的目录树，文件根目录的元信息和每个文件对应的数据块列表，接收用户的操作请求，以及数据块列表到具体存储数据DataNode节点的映射。集群中的DataNode节点在NameNode节点的统一调度下提供数据文件的存储服务，并且提供数据块的创建、删除和复制功能[4]。1.2MapReduce分布式計算框架MapReduce是一种并行编程模型，基于HDFS基础上实现，主要针对大规模数据集的并行计算。MapReduce编程模型原理：JobTracker主节点负责接收用户提交的作业，负责启动、跟踪任务执行，对大数据集按块进行分割，然后将数据块分发到若干个TaskTracker节点上。TaskTracker节点负责执行用户自定义的MapReduce任务，并将执行完成得到的结果返回JobTracker主节点。整...