电信运营商大数据变现关键技术环节探讨邓逸斌张晓川摘要：数据资产正在各行业中催生商业价值，引起社会的第三次产业革命。实现大数据资产的规模变现、依靠大数据能力构筑新生态环境成为电信运营商转型的迫切诉求。该文在描述电信运营商大数据资产变现途径和困难的基础上，对其中包括跨域数据采集与整合、大数据存储与处理、实时数据处理、数据管控等关键技术环节进行了探讨。关键词：大数据运营商产品化数据咨询：F626文献标识码：A：1674-098X（2014）12（a）-0046-01随着大数据时代的来临，行业分工正出现深刻的变革，促使掌握数以亿计客户资料与通信行为大数据的电信运营商考虑与寻找崭新的生态环境。所谓大数据资产变现，就是通过构筑大数据能力解决提高流程效率与降低成本、提升客户体验与价值、以及产品创新等关键业务问题，将数据分析能力转化为竞争力。对运营商而言，其数据资产具有用户量大、数据量大、数据与业务强相关、时效性强、精确性高、数据价值高等特点，实现大数据资产的运营和变现，对内可以服务于业务运营决策与超细分精准营销，对外可以开拓包括广告投放、店面经营、企业选址、O2O位置营销、互联网精确营销等在内的产品化数据咨询蓝海，是实现从“电信网络运营商”到“信息运营商”转型的重要支点。当前从管理到技术层面，运营商要实现从“管理驱动运营”到“数据驱动运营”的转变都存在许多困难，包括O域（网络）/B域（计费营帐）/M域（ERP）等各域数据的割裂、数据标准化程度低、管理流程长、传统IT架构及数据策略不适应大数据要求等，其中关键技术环节包括跨域数据采集与整合、大数据存储与处理、实时数据处理以及数据管控等。1关键技术环节探讨1.1跨域数据采集与整合传统的电信经营分析系统主要处理计费清单、客户业务订购关系以及业务平台使用数据，采用文件批处理的方式进行数据仓库的ETL处理，不能适应整合接入毫秒级的网络侧海量信令与位置数据的要求。因此，需采用“分布式文件存储+分布式计算”技术，以Hadoop为基础构建端到端的云数据处理平台，基于通用X86平台端到端支撑ETL和主库外汇总计算，直接对开源Hadoop平台进行底层优化，支持数据的迅猛增长。在传统的B域数据（从BSS、CRM等采集）和M域数据（从ERP采集）采集平台基础上，还需实现对OMC/设备、参数、信令、拨测等数据的统一采集与管控，通过Gn口采集数据业务信令合成xDR详单，对语音行为、位置分析则通过采集A口或MC口信令实现。1.2大数据存储与处理“高性能硬件+SMP数据库”和“X86平台+MPP数据库”等传统电信架构具有实时性高、研发成本低、可以实现复杂业务逻辑等优点，但关系数据模型固有的不能直接处理非结构化数据的缺点导致其不适用于大数据环境。其中，“高性能硬件+SMP数据库”因成本昂贵和线性扩展能力差已较少在数据仓库环境下采用，“X86平台+MPP数据库”则可与Hadoop分布式系统（X86平台+HDFS分布式文件系统）组成混搭方案，利用非关系模型编程灵活和分布式系统扩展能力强的优势支持高效低成本的系统搭建。NoSQL数据库抛弃了关系数据库复杂的关联操作、事务处理等功能，仅提供简单的键值对（Key，Value）数据的存储与查询，换取高扩展性和高性能。可引入NoSQL技术，把以写为主数据集中在RDBS里，读为主的数据集中在NoSQL数据库中，主数据库负责写操作，从数据库负责读操作，通过“读写分离”提高海量数据处理效率。1.3实时数据处理O2O位置营销和互联网营销尤其强调从捕捉客户网络行为数据到触发营销推荐这一过程的时效性，运营商除了在采集、存储与处理环节运用分布式技术减少时延外，还可引入流计算技术和内存数据库，通过流处理和快速缓存将行为识别与营销推送时延缩短至分钟级。Storm是一种开源的分布式实时计算系统，可以简单、高效、可靠地处理大量的数据流。SparkStreaming是基于Spark衍生的开源流处理工具，以类似批处理方式来处理这部分小数据。这两种流计算技术可以应用于营销信息定制化推荐、电子渠道信息推送等实时营销服务以及热点区域用户监控等实时场景。内存数据库是将数据存储在内存RAM中并进行计算和查询，充分发挥多核CPU能力的数据库管理系统，其和流计...