第1页共12页基于角色控制的异构数据展示在企业门户中的应用摘要：企业的信息系统是一个由传统系统、不兼容数据源、数据库与应用所共同构成的复杂数据集合，各部分之间彼此独立。为了保证智能决策的需要，对数据源中的源数据按照一定的数据转换原则进行映射和转换，通过对异构数据源的抽取、转换、装载，从已有传统环境与平台中采集数据进而形成目标数据源，并使用存储过程、触发器、中间表和动态SQL语句进行查询优化，采用哈希表存储解析后的数据，初步建立数据仓库，实现数据聚合。结合角色控制的方法对目标数据源进行多维度报表展示，将海量的应用数据转换为有价值的信息，为企业智能决策提供有效的数据支持。关键词：数据源；元数据；数据抽取；智能决策：TN911?34文献标识码：A：1004?373X（2015）12?0025?04第2页共12页0引言随着军工行业科研任务的逐渐增加、科研队伍的持续壮大以及信息化进程的不断推进，每天都会产生大量的科研数据和管理数据，因此如何通过系统、高效的手段分析并利用这些数据就显得尤为重要，这需要通过合理的手段对数据进行加工分析、提炼升华。目前，由于企业业务系统开发有一个较长的时间跨度，这就造成同一种数据在业务系统中有多种完全不同的存储格式，形成不同的数据源[1]。在这种情况下，本文提出使用ETL工具将数据从各种原始的业务系统中读取出来，按照预先设计好的规则将抽取的数据进行转换，将分布的、异构数据源中的数据抽取到中间表，使本来异构的数据格式能统一起来，并将转换后的数据倒入到数据仓库中，最终进行报表展示。通过报表服务处理科研和管理数据，结合角色管理的方法实现用直观的方式展现数据，进而发现数据变化规律，提炼有价值的数据信息，为更好的管理和决策提供一种数据参考。1数据抽取、转换、装载第3页共12页1.1数据抽取、转换、装载模型目前，因为现有业务数据源多，为保证数据的一致性，真正理解数据的业务含义，保证跨越多平台、多系统的数据整合，最大可能提高数据的质量，满足业务需求不断变化的特性，需将各子系统上的数据进行抽取、清洗和转化处理，然后加载到目标数据库。数据抽取、转换、装载模型如图1所示。数据抽取过程为从数据源开始通过数据清洗过滤掉数据源中不需要的源数据字段，清洗后的数据通过源数据映射将各局部数据视图按照源数据映射的方式转换成语义语法一致的数据[2]，通过映射，源数据定义了数据源的位置及数据源的属性、确定从源数据到目标数据的对应规则、确定相关的业务逻辑后插入临时数据库中[3]，并通过定义的业务规则进行格式和类型转换获取符合需要的数据，转换完的数据仍存放在临时数据库中，然后通过SQL语句进行装载将数据从临时数据库迁移到目标数据库。1.2数据转换原则第4页共12页数据转换是按照数据仓库的数据结构，对源数据源每条记录进行处理，转换后写入目标数据源。在进行数据转换时，由于数据源之间存在不一致的问题[4]，通过数据转换统一数据名称和格式，同时对于数据源中不存在的数据创建新的视图并进行相应的转换。在整个过程中坚持原则为：（1）直接引用：数据源字段和目标字段格式和名称相同，不做任何转换；否则，按以下第（2）～（8）条处理。（2）字符串操作：从数据源的数据列中获取部分数据作为目标数据库的某个字段，需对字符串作转换数据类型、截取字符串、连接字符串等操作。（3）列间运算：对于数值型数据列来说，有时需数据源的一个或多个数据列进行数学运算生成目标数据，并对生成的目标数据进行格式转换。（4）空值转换：对于数据源字段中的空值，可能在转换过程中出现异常，因此必须把空值转换成指定的数据类型和固定的值。第5页共12页（5）统一日期格式：若目标数据源与数据源日期格式不同，需通过日期格式转换，转换成相同的日期格式。（6）聚合运算：对目标数据源需要展示的汇总数据，一般需要通过对数据源中一个或多个数据列运用聚合函数来实现，如sum，avg，count，max，min等函数。（7）取固定值：目标字段取一个固定的或是依赖系统的值，如系统时间、常数值等，与数据源数据无关。（8）增量装载：根据源系统的更新时间或其他标识来记录那些自上次装载以...