HDFS小文件读写优化策略*朱永强++周珂++李丹++赵亚萌DOI：10.16644/jki33-1094/tp.2016.09.003摘要：HDFS是一种高容错性的分布式系统。它支持的数据集在GB到TB级别，然而对大量小文件存取支持不足。由于在处理大数量级的小文件时，会使得NameNode内存消耗过度，造成文件的存取性能降低。因此提出了一种根据文件类型分类小文件的合并策略。通过建立索引信息服务器来存储存放在用户文件中的小文件的元数据信息，可以达到高效读取小文件的目的。实验结果表明，该优化策略能有效降低NameNode内存消耗，提高HDFS文件系统对大量小文件读取效率。关键词：HDFS；小文件存取；文件类型；用户文件；元数据信息：TP391文献标志码：A：1006-8228（2016）09-09-04HDFSsmallfilereadandwriteoptimizationstrategyZhuYongqiang1，2，ZhouKe1，2，LiDan1，2，ZhaoYameng2（1.SchoolofComputerandInformationEngineeringHenanUniversity，Kaifeng，Henan475004，China；2.InstituteofRemoteSensingandDigitalEarthChineseAcademyofSciences）Abstract：HDFSisakindofdistributedsystemwithhighfaulttolerance.ItsupportsdatasetattheGBtotheTBlevel，butlacksofsupportfortheaccesstoalargenumberofsmallfiles.TheprocessingoflargenumberofsmallfileswillmaketheNameNodememoryconsumptionexcessive，andresultinareductionofthefileaccessperformance.Thispaperpresentsamethodofmergingsmallfilesaccordingtothefiletype.Throughtheestablishmentofanindexinformationservertostorethemetadataofsmallfilesstoredintheuserfiles，thepurposeofreadingsmallfilesefficientlycanbeachieved.ExperimentalresultsshowthattheoptimizationstrategycaneffectivelyreducetheNameNodememoryconsumption，improvethereadingefficiencyofHDFSfilesystemtoalargenumberofsmallfiles.Keywords：HDFS；smallfileaccess；filetype；userfile；Metadatainformation0引言随着网络和信息技术的不断普及，人类产生的数据量正在呈指数级增长，大约每两年翻一番，根据监测，这个速度在2020年之前会继续保持下去，这意味着人类在最近两年产生的数据量相当于之前产生的数据量总和。资料显示，2011年，全球数据规模为1.8ZB，可以填满575亿个32GB的iPad，这些iPad可以在中国修建两座长城。淘宝网网站每天有超过数千万笔交易，单日产生数据量超过50TB，存储量40PB（1PB等于1000TB）。百度公司存储网页数量接近1万亿页，每天约处理60亿次搜索请求，几十PB数据[1]。云计算[2]已成为当今研究的热门课题，它很好的解决了大数据运算与存储的难题。HDFS是ApacheHadoopCore项目的一部分，现在已成为研究大数据，实现云存储服务的一个很好的模型[3]，它是一个不错的分布式文件系统，大部分的HDFS程序对文件操作需要的是一次写多次读的操作模式[4]。它是一个主从结构，一个HDFS集群是由一个名字节点和多个数据节点组成，名字节点是一个管理文件命名空间和调节客户端访问文件的主服务器，数据节点用于存储数据。HDFS采用的是流式读取海量级数据，然而它在文件存储方面也有不足。这是由于HDFS是由单一NameNode多DataNode组成的，在集群运行时NameNode的内存中加载了命名空间的元数据信息，因此大量小文件的使用会造成节点的内存消耗过多从而使系统的性能降低[5]。社交网络、电商平台以及其他大数据领域每天都会产生大量的数据文件。据统计分析，邮件、文本、音乐、视频、互联网档案、网站图片等小于1M的海量小文件会占据整个集群小文件总数的90%以上。根据美国国家能源研究科学计算中心一个关于共享并行文件系统的研究显示，该系统存储的1300万个文件中，99%的文件大小不超过64MB，43%的文件大小不超过64KB[6]。由于HDFS是面向大文件存储与访问而设计的，面对这些大量小文件的存在，NameNode元数据的检索效率就会降低。本文提出了一种根据文件类型分类的小文件的合并策略，通过将不同类型的小文件的元数据信息存放在用户文件的不同位置，从而实现将小文件合并为大文件，很好的解决了HDFS存取海量小文件效率低下的问题。1研究现状以及存...