媒体大数据服务平台设计与构建方法研究陈珺摘要：为了贯彻落实中央关于媒体融合发展的战略要求，需要积极应对互联网发展带来的传播格局调整和用户需求变化，努力构建与媒体发展趋势相适应、与建设新型一流媒体集团相适应的媒体大数据服务体系。通过汇聚内外媒体数据资源，紧密围绕媒体融合发展业务需求，构建大数据基础平台、大数据资源管理平台、大数据分析平台和大数据服务能力开放平台四大层级，逐步形成“数据整合、能力共享、应用创新”的媒体大数据工作体系。关键词：媒体大数据；大数据平台；数据资源管理；数据分析；数据服务：G220.7：A：1671-0134（2018）09-064-03DOI：10.19483/j.cnki.11-4653/n.2018.09.025引言根据中央关于推动传统媒体和新兴媒体融合发展的重要指示与要求，要强化互联网思维，坚持传统媒体和新兴媒体優势互补、一体发展，坚持以先进技术为支撑，内容建设为根本，推动传统媒体和新兴媒体在内容、渠道、平台、经营、管理等方面的深度融合。为了贯彻落实中央关于媒体融合发展的战略要求，需要积极应对互联网发展带来的传播格局调整和用户需求变化，努力构建与媒体发展趋势相适应、与建设新型一流媒体集团相适应的媒体大数据服务体系。1.需求分析随着传统媒体和新兴媒体融合发展的进一步深化，媒体企业在大数据资源整合、大数据资产管理、大数据分析挖掘能力建设以及数据服务开放共享等方面面临一系列问题，从而对技术系统的规划建设提出了更高的要求。1.1实现统一的大数据资源采集引进汇聚媒体机构通过各种渠道采集和引进了大量外部数据，包括国内外互联网网站、数字报刊杂志、“两微一端”、社交媒体等。同时，媒体机构内部也产生各类稿件数据、产品数据、运营数据、用户行为数据等。如此众多的外部和内部数据分散存储在不同的部门和技术系统里，数据资源之间存在大量重复和冗余，数据关联关系没有打通，数据资源条块化分隔情况比较严重，数据资源共享和再利用能力较低。因此，需要整合机构现有大数据资源采集能力和引进能力，按需汇聚各类数据资源，实现数据资源的汇聚融合、开放共享和互联互通。1.2实现媒体大数据资产全生命周期管理一个媒体大数据服务体系离不开高效的数据存储与计算基础平台，由于数据种类多、数据量大、计算处理效率不同，因此，对大数据存储与计算处理能力提出了更高的要求。需要基于互联网主流大数据平台技术架构，分层构建高效分布式媒体大数据存储与计算平台，能够实现PB量级的大数据存储和处理能力，并根据业务需要实现从实时到离线的不同数据处理效率。同时，需要实现对平台上所有媒体大数据资产的全生命周期管理，实现数据存储管理、标准管理、流程管理、质量管理和安全管理。1.3建设统一的大数据分析平台现在，策划、采集、编写、发布、反馈等各类媒体业务环节越来越离不开大数据分析的支持，因此有必要进一步加强自然语言处理、数据挖掘、机器学习、数据可视化等智能信息处理技术创新，提升知识发现、大数据分析挖掘能力，助力提升策采编发供馈等各项媒体业务创新能力，提供满足业务需要的各类公共性媒体大数据分析服务。1.4提供开发共享的媒体大数据能力开放平台通过制订统一的平台标准、数据标准、服务标准和管理标准，将媒体大数据平台形成的各项服务进行封装，实现这些服务的模块化和标准化，形成各类公共模型、工具和组件，提供面向各类媒体创新业务的公共性、基础性和开放共享的服务能力支撑。2.建设目标基于互联网思维，汇聚内外媒体数据资源，围绕媒体融合发展业务需求，构建统一的媒体大数据服务平台，逐步形成“数据整合、能力共享、应用创新”的媒体大数据工作体系。汇聚内外数据资源，形成媒体大数据服务体系；面向互联网思维，构建媒体大数据能力开放平台。3.总体架构设计3.1总体架构媒体大数据服务体系从总体架构上可划分为大数据基础平台、大数据资源管理平台、大数据分析平台和大数据服务能力开放平台四个层级。3.2大数据基础平台大数据基础平台是大数据存储管理以及分析计算运行的基础环境，包含大数据的基础运行环境搭建、资源任务调度管理、实时/离线计算支撑、结构化和非结构化数据存储、数据检索...