目录2.3数据抽取层研发.................................................................................................................12.3.1分布式ETL研发......................................................................................................12.3.1.1ETL数据仓库概述........................................................................................12.3.1.2分布式数据仓库系统...................................................................................22.3.1.3ETL.................................................................................................................22.3.1.4分布式ETL....................................................................................................42.3.1.5分布式ETL的体系结构和特点....................................................................42.3.2兼容大数据处理架构的ETL研发...........................................................................42.3.2.1kettle.............................................................................................................52.3.2.2Hadoop..........................................................................................................62.3.2.3将ETL数据输入hadoop..............................................................................62.3.2.4将hadoop数据输入ETL..............................................................................72.3.2.5直接将数据输入hadoop..............................................................................82.3.2.6基于mapreduce的ETL处理........................................................................92.3数据抽取层研发2.3.1分布式ETL研发2.3.1.1ETL数据仓库概述数据仓库之父比尔·恩门（BillInmon）在1991年出版的“BuildingtheDataWarehouse”（《建立数据仓库》）一书中所提出的定义被广泛接受——数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策(DecisionMakingSupport)。数据采集(ETL)，即数据抽取（Extract）、转换（Transform）、清洗（Cleaning）、装载（Loading）的过程，是构建数据仓库的重要环节。用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。具体来讲，数据抽取：是数据源接口，包括原始数据接口和外部数据接口，源数据接口从业务系统中抽取数据，为数据仓库输入数据。数据转换：数据转化包含对来自多个生产系统的数据源的处理，保证数据按照要求装入数据仓库。数据清洗：一个确保数据集中的所有数值是一致的和被正确记录的处理过程。数据装载：数据装载部件负责将数据按照物理模型定义的表结构装入数据仓库。这些步骤包括清空数据域、填充空格、有效性检查等。2.3.1.2分布式数据仓库系统分布式数据仓库系统（DDWS,DistributedDataWarehouseSystem）是物理上分散的数据仓库系统，是为了联系分析处理的需求，使用计算机网络将多个逻辑单位联接起来，共同组成一个逻辑上统一的数据仓库系统。分布式数据仓库的体系结构，W.H.Inmon在《数据仓库》中一书中论述了分布式数据仓库，并提供了以后总典型的分布式数据仓库的体系结构，如图2-1所示：图2-1分布式数据仓库体系结构分布式数据仓库室友局部数据仓库和全局数据仓库组成。2.3.1.3ETL在数据集成领域，基于企业应用的需求，出现了一种轻量级的数据集成中间件-ETL工具，利用它能够灵活地完成绝大部分的数据集成工作。RTL负责将分布、异构数据源中的数据如关系数据库、文本数据库、HTML、XML数据等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库，成为决策支持如OLAP、数据挖掘、可视化报表的基础。1.ETL...