大数据：概念与核心技术杨仕奇（河北工业大学廊坊分校165842）摘要：随着物联网、云计算、移动互联网的迅猛发展，大数据(BigData)吸引了越来越多的关注，正成为信息社会的重要财富，同时也给数据的处理与管理带来了巨大挑战。首先从大数据概念入手，阐述了大数据的来源、主要挑战、关键技术、大数据处理工具和应用实例等，并对比了大数据与云计算、物联网、移动互联网等技术之间关系，然后剖析了大数据核心技术、大数据企业解决方案，讨论了目前大数据应用实例，最后归纳总结了大数据发展趋势。旨在为了解大数据当前发展状况、关键技术以及科学地进行大数据分析与处理提供参考。关键词：大数据;云计算;大数据处理中图分类号TP393.4文献标志码A0引言近来，当人们对“物联网”、“云计算”、“移动互联网”等热词还感觉模糊时，“大数据”(BigData)又横空出世且其发展成燎原之势。2014年巴西世界杯与往届世界杯最大不同的是，其融入了诸多的科技元素如“云计算”、“大数据”等。IBM研究表明，在整个人类文明所获得的全部数据中，有90%是过去2年内产生的，到2020年，全世界所产生的数据规模将达到2009年的44倍。根据国际数据公司IDC监测，人类产生的数据量正在呈指数级增长，大约每2年翻一番，2020年全球数量将达到35ZB。据统计，平均每一秒都有200万用户在使用Google搜索，Facebook注册用户超过10亿，每天生成300TB以上的日志数据。同时，传感网、物联网、社交网络等技术迅猛发展，引发数据规模爆炸式增长，各种视频监控、监测、感应设备也源源不断地产生巨量流媒体数据，能源、交通、医疗卫生、金融、零售业等各行业也有大量数据不断产生，积累了TB级、PB级的大数据。上述情况表明，现在已进入大数据时代，大数据已经开始造福于人类，成为信息社会的宝贵财富。1定义研究机构Gartner的定义：大数据是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。维基百科的定义：大数据指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策目的的资讯。麦肯锡的定义：大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存储、管理和分析的数据集合。无论哪种定义，我们可以看出，大数据并不是一种新的产品也不是一种新的技术，如同本世纪初提出的“海量数据”概念一样，大数据只是数字化时代出现的一种现象。那么海量数据与大数据的差别何在[1]？从翻译的角度看，“大数据”和“海量数据”均来自英文，“bigdata”翻译为“大数据”，而“large-scaledata”或者“vastdata”则翻译为“海量数据”。从组成的角度看，海量数据包括结构化和半结构化的交易数据，而大数据除此以外还包括非结构化数据和交互数据。formatica大中国区首席产品顾问但彬进一步指出，大数据意味着包括交易和交互数据集在内的所有数据集，其规模或复杂程度超出了常用技术，按照合理的成本和时限捕捉、管理及处理这些数据集的能力。可见，大数据由海量交易数据、海量交互数据和海量数据处理三大主要的技术趋势汇聚而成。2大数据技术大数据处理技术正在改变当前计算机的运行模式，正在改变着这个世界。它能处理几乎各种类型的海量数据，无论是微博、文章、电子邮件、文档、音频、视频，还是其他形态的数据。它实时、高效、可视化呈现结果。它依托云计算将计算任务分布在大量计算机构成的廉价的资源池上，使用户能够按需获取计算资源、存储资源、网络资源和信息服务。云计算技术的应用使得大数据处理和利用成为可能。大数据作为信息金矿，对其采集、传输、处理和应用的相关技术就是大数据处理技术，是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理技术，或简称大数据技术。2.1大数据技术框架根据大数据处理的生命周期，大数据的技术体系涉及大数据的采集与预处理、大数据存储与管理、大数据计算模式与系统、大数据分析与挖掘、大数据可视化分析及大数据隐私与安全等几个方面［2-3,4］。2.1.1大数据采集与预处理大数...