日期：2015-10-10文章来源：国研网文章录入：李金金[关闭]海量数据的不断剧增形成大数据时代的显著特征。而大数据的生产和交易的重要前提之一是数据的清洗。目前，我国已经形成了基本的数据清洗产业格局，但因各自利益的追求，导致仍存在不少问题。因此，我国未来应重点强化数据清洗环节的规范和标准，推动大数据产业的健康发展。海量数据不断剧增是未来的发展趋势在席卷全球的信息化浪潮中，互联网、移动互联网、云计算、物联网等技术迅猛发展、加速创新，其中积淀的数据爆炸式增长，成为重要的生产要素和社会财富，堪称信息时代的矿产和石油。据预测，中国2015年可能突破10EB数据保有量，且每两年会翻一番。针对这种史无前例的数据洪流，如何挖掘信息时代的“数字石油”，将大数据转换为大智慧、大市场和大生态，是我们这个时代的历史机遇。2015年6月24日，国务院常务会议通过的《互联网+”行动指南意见》明确提出，要加强新一代信息基础设施建设和云计算、大数据的应用。此外，根据中国信息通信研究院(原工信部电信研究院)6月21日发布的《中国大数据发展调查报告》，2014年我国大数据市场规模达到84亿元人民币，预计2015年将达到115.9亿元人民币，增速为38%。大数据交易显现出对数据清洗的迫切需求大数据已经渗透到各个行业和业务职能领域，成为重要的生产因素。数据的来源主要有政府数据、行业数据、企业数据和从数据交易所交换的数据。在数据交易方面，2014年2月20日，国内首个面向数据交易的产业组织——中关村大数据交易产业联盟成立。同时成立的中关村数海大数据交易平台是国内首个重点面向大数据的数据交易服务平台，目前有1203家数据提供商。2015年4月14日，全国首家以大数据命名的交易所，即贵阳大数据交易所正式挂牌成立，并在当日成功完成了首笔数据交易。值得注意的是，贵阳大数据交易所交易的并不是底层数据，而是基于底层数据，通过数据的清洗、分析、建模、可视化出来的结果。而采取这一过程的目的，就是为了解决数据交易和使用过程中保护隐私及数据所有权的问题。以传统方式构建的基本架构对数据进行清洗大数据必须经过清洗、分析、建模、可视化才能体现其潜在的价值。然而，由于网民数量的增加、业务应用的多样化和社交网络的繁荣，单个文件(比如日志文件、音视频文件等)变得越来越大，硬盘的读取速度和文件的存储成本越来越显得捉襟见肘。与此同时，政府、银行和保险公司等内部存在海量的非结构化、不规则的数据；而只有将这些数据采集并清洗为结构化、规则的数据，才能提高公司决策支撑能力和政府决策服务水平，使之发挥应有的作用。因此，目前的数据清洗主要是将数据划分为结构化数据和非结构化数据，分别采用传统的数据提取、转换、加载(ETL)工具和分布式并行处理来实现。其总体架构如图1所示。图1大数据清洗总体架构具体来讲，结构化数据可以存储在传统的关系型数据库中。关系型数据库在处理事务、及时响应、保证数据的一致性方面有天然的优势。非结构化数据可以存储在新型的分布式存储中，比如Hadoop的HDFS。分布式存储在系统的横向扩展性、降低存储成本、提高文件读取速度方面有着独特的优势。此外，就是结构化数据和非结构化数据之间的数据迁移。如果要将传统结构化数据，例如关系型数据库中的数据导入到分布式存储中，可以利用sqoop等工具，先将关系型数据库(mysql、postgresql等)的表结构导入分布式数据库(Hive)，然后再向分布式数据库的表中导入结构化数据。对不同质量的原数据进行分类以适应清洗工作数据清洗在汇聚多个维度、多个来源、多种结构的数据之后，就可以对数据进行抽取、转换和集成加载。在这个过程中，除了更正、修复系统中的一些错误数据之外，更多的是对数据进行归并整理，并储存到新的存储介质中。其中，分清和掌握数据的质量至关重要。常见的数据质量问题可以根据数据源的多少和所属层次(定义Scheme层和实例sample层)分为四类。第一类，单数据源定义层：违背字段约束条件(比如日期出现1月0日)、字段属性依赖冲突(比如两条记录描述同一个人的某一个属性，但数值不一致)、违反唯一性(同一个主键ID出现了多次)。第二类，单数据源实例层...