标签“HDFS”的相关文档,共1条
  • HDFS小文件读写优化策略-

    HDFS小文件读写优化策略*朱永强++周珂++李丹++赵亚萌DOI:10.16644/jki33-1094/tp.2016.09.003摘要:HDFS是一种高容错性的分布式系统。它支持的数据集在GB到TB级别,然而对大量小文件存取支持不足。由于在处理大数量级的小文件时,会使得NameNode内存消耗过度,造成文件的存取性能降低。因此提出了一种根据文件类型分类小文件的合并策略。通过建立索引信息服务器来存储存放在用户文件中的小文件的元数据信息,可以达到高效读取...

    156.43 KB
确认删除?