基于Storm的实时消息处理系统

基于Storm的实时消息处理系统#孔祥起,张海涛**(北京邮电大学计算机学院智能通信软件与多媒体北京市重点实验室,北京100876)5101520摘要:随着互联网的飞速发展以及网络提供商带宽的不断升级,能够在互联网上进行网络活动的人数日益增长,总人数增长带来的结果就是提高了各网站的用户数量,无论新闻,视频,还是应用型网站的用户数量猛增,用户数量对网络后台的要求越来越高,有一套能够同时满足实时性与高效性的后台消息处理系统来说迫在眉睫。本文针对当前网络系统对大数据处理以及实时性处理的需求,结合流式计算框架Storm与消息队列系统Kafka提出一套解决方案,用来解决大数据处理以及实时处理的需求问题。关键词:分布式计算;实时性;Storm;Kafka中图分类号:TP302Thereal-timeinformationprocessingsystembasedonStormKONGXiangqi,ZHANGHaitao(BeijingKeyLaboratoryofIntelligentTelecommunicationsSoftwareandMultimedia,SchoolofComputerScience,BeijingUniversityofPostsandTelecommunications,Beijing100876)Abstract:WiththerapiddevelopmentofInternetandwidernetworkbandwidth,theresultofgrowthistheincrementoftheusernumberofthesiteswhichincludesnews,videos,andotherapplications.Theincrementputforwardtorequirementsonhugedataprocessingandrealtimeprocessing.Arealtimeandefficientinformationprocessingsystemisimminent.ThispaperproposesasolutionformeetingtherequirementsbycombiningStormandKafka.Keywords:distributedcomputing;realtime;Storm;Kafka250引言随着互联网的高速发展,互联网应用所针对的用户数量持续攀升,随之而来的是跟随用户而来的各种各样的数据,基于大规模的用户群,互联网公司所需处理的数据量同样规模巨大,这就是所谓的大数据。企业针对大数据的处理主要基于两个方面的需求:提高数据处理3035效率、挖掘用户需求[1]。网络带宽不断升级,用户关注点已经由传统的功能需求转向性能需求,它们希望互联网公司能够提供更高效,快速并且细心的服务,因此能够给用户快速高效的功能反馈成了互联网公司服务用户的另一个重点。为了能够提供给用户更优质的服务并且借助数据分析来帮助企业了解用户需求这两项对互联网应用后台数据的处理提出了要求,一方面能够快速响应用户请求,另一方面能够对用户行为进行实时分析供公司运营实时调整不仅能提高用户的体验更能给公司方面积累更多的用户带来更好的效益。本文针对以上需求提出一种后台实时数据处理方案,意在解决大数据下的高效计算与实时性问题,结合当前流行的缓存队列Kafka[2]与流式计算框架Storm[3]提出一种满足高效性与实时性的后台数据处理方案。40基金项目:高等学校博士学科点专项科研基金(No.20130005120011)作者简介:孔祥起(1988-),男,硕士研究生,主要研究方向:多媒体与网络信息处理通信联系人:张海涛(1983-),男,讲师,主要研究方向:多媒体与网络信息处理.korn_0426@126.com-1-1系统设计要点系统设计要点主要包含数据量,实时性,高效性三个方面。1.1数据量数据量涉及持久化数据库与缓存系统。451.1.1持久化数据库用户数据的持久化需要用到大容量的数据库,大容量数据库一方面能解决数据容量的过载问题,另一方面能够解决负载均衡,并且能够防止特殊情况下的数据丢失问题。然而通常支持持久化的分布式数据库的读写性能有限,这就提出了数据库在实时性方面的需求,对于多用户同时访问网站的问题来讲,需要有一个有效的系统来处理同时涌进来的用户数据,这50就需要用到消息队列系统。1.1.2缓存系统:消息队列消息队列是用来保存消息的容器.用来存储前台收集到的但尚未及时处理的数据。队列的主要目的是保证消息的传递;当接收者得到的消息不可用时,消息队列会保留消息并重复发送知道成功地传递它。由以上相关介绍可以看出消息队列主要负责消息的收集与发送,对55于大数据来讲,他能够满足大容量存储与高速读取的要求。1.2实时性实时性要求获取数据之后立即进行处理,一方面要求实时处理另一方面尽可能的缩短处理时间,这就要求数据在收集、传输和处理等各个阶...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供参考,付费前请自行鉴别。
3、如文档内容存在侵犯商业秘密、侵犯著作权等,请点击“举报”。

常见问题具体如下:

1、问:已经付过费的文档可以多次下载吗?

      答:可以。登陆您已经付过费的账号,付过费的文档可以免费进行多次下载。

2、问:已经付过费的文档不知下载到什么地方去了?

     答:电脑端-浏览器下载列表里可以找到;手机端-文件管理或下载里可以找到。

            如以上两种方式都没有找到,请提供您的交易单号或截图及接收文档的邮箱等有效信息,发送到客服邮箱,客服经核实后,会将您已经付过费的文档即时发到您邮箱。

注:微信交易号是以“420000”开头的28位数字;

       支付宝交易号是以“2024XXXX”交易日期开头的28位数字。

客服邮箱:

biganzikefu@outlook.com

所有的文档都被视为“模板”,用于写作参考,下载前须认真查看,确认无误后再购买;

文档大部份都是可以预览的,笔杆子文库无法对文档的真实性、完整性、准确性以及专业性等问题提供审核和保证,请慎重购买;

文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为依据;

如果您还有什么不清楚的或需要我们协助,可以联系客服邮箱:

biganzikefu@outlook.com

常见问题具体如下:

1、问:已经付过费的文档可以多次下载吗?

      答:可以。登陆您已经付过费的账号,付过费的文档可以免费进行多次下载。

2、问:已经付过费的文档不知下载到什么地方去了?

     答:电脑端-浏览器下载列表里可以找到;手机端-文件管理或下载里可以找到。

            如以上两种方式都没有找到,请提供您的交易单号或截图及接收文档的邮箱等有效信息,发送到客服邮箱,客服经核实后,会将您已经付过费的文档即时发到您邮箱。

注:微信交易号是以“420000”开头的28位数字;

       支付宝交易号是以“2024XXXX”交易日期开头的28位数字。

笔杆子文秘
机构认证
内容提供者

为您提供优质文档,供您参考!

确认删除?