海量数据挖掘的关键技术及应用现状

网络化时代信息膨胀成为必然,如何准确、高效地从丰富而膨胀的数据中筛选出对经营决策有用的信息已经成为企业和机构迫切需要解决的问题,针对于此,海量数据挖掘技术应运而生,并显示出强大的解决能力。Gartner的报告指出,数据挖掘会成为未来10年内重要的技术之一。一、海量数据挖掘关键技术随时代而变化所谓海量数据挖掘,是指应用一定的算法,从海量的数据中发现有用的信息和知识。海量数据挖掘关键技术主要包括海量数据存储、云计算、并行数据挖掘技术、面向数据挖掘的隐私保护技术和数据挖掘集成技术。1.海量数据存储海量存储系统的关键技术包括并行存储体系架构、高性能对象存储技术、并行I/O访问技术、海量存储系统高可用技术、嵌入式64位存储操作系统、数据保护与安全体系、绿色存储等。海量数据存储系统为云计算、物联网等新一代高新技术产业提供核心的存储基础设施;为我国的一系列重大工程如平安工程等起到了核心支撑和保障作用;海量存储系统已经使用到石油、气象、金融、电信等国家重要行业与部门。发展具有自主知识产权、达到国际先进水平的海量数据存储系统不仅能够填补国内在高端数据存储系统领域的空白,而且可以满足国内许多重大行业快速增长的海量数据存储需要,并创造巨大的经济效益。2.云计算目前云计算的相关应用主要有云物联、云安全、云存储。云存储是在云计算(cloudcomputing)概念上延伸和发展出来的新概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。3.并行数据挖掘技术高效率的数据挖掘是人们所期望的,但当数据挖掘的对象是一个庞大的数据集或是许多广泛分布的数据源时,效率就成为数据挖掘的瓶颈。随着并行处理技术的快速发展,用并行处理的方法来提高数据挖掘效率的需求越来越大。并行数据挖掘涉及到了一系列体系结构和算法方面的技术,如硬件平台的选择(共享内存的或者分布式的)、并行的策略(任务并行、数据并行或者任务并行与数据并行结合)、负载平衡的策略(静态负载平衡或者动态负载平衡)、数据划分的方式(横向的或者纵向的)等。处理并行数据挖掘的策略主要涉及三种算法:并行关联规则挖掘算法、并行聚类算法和并行分类算法。4.面向数据挖掘的隐私保护技术数据挖掘在产生财富的同时也随之出现了隐私泄露的问题。如何在防止隐私泄露的前提下进行数据挖掘,是信息化时代各行业现实迫切的需求。基于隐私保护的数据挖掘是指采用数据扰乱、数据重构、密码学等技术手段,能够在保证足够精度和准确度的前提下,使数据挖掘者在不触及实际隐私数据的同时,仍能进行有效的挖掘工作。受数据挖掘技术多样性的影响,隐私保护的数据挖掘方法呈现多样性。基于隐私保护的数据挖掘技术可从4个层面进行分类:从数据的分布情况,可以分为原始数据集中式和分布式两大类隐私保护技术;从原始数据的隐藏情况,可以分为对原始数据进行扰动、替换和匿名隐藏等隐私保护技术;从数据挖掘技术层面,可以分为针对分类挖掘、聚类挖掘、关联规则挖掘等隐私保护技术;从隐藏内容层面,可以分为原始数据隐藏、模式隐藏。5.数据挖掘集成技术数据挖掘体系框架由三部分组成:数据准备体系、建模与挖掘体系、结果解释与评价体系。其中最为核心的部分是建模与挖掘体系,它主要是根据挖掘主题和目标,通过挖掘算法和相关技术(如统计学、人工智能、数据库、相关软件技术等),对数据进行分析,挖掘出数据之间内在的联系和潜在的规律。大体上,数据挖掘应用集成可分为几类:数据挖掘算法的集成、数据挖掘与数据库的集成、数据挖掘与数据仓库的集成、数据挖掘与相关软件技术的集成、数据挖掘与人工智能技术的集成等。二、海量数据挖掘应用广泛但深度不足2011年中国数据挖掘软件市场规模达接近2亿元,2012-2014年还将快速增长。从数据挖掘应用行业上...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供参考,付费前请自行鉴别。
3、如文档内容存在侵犯商业秘密、侵犯著作权等,请点击“举报”。

常见问题具体如下:

1、问:已经付过费的文档可以多次下载吗?

      答:可以。登陆您已经付过费的账号,付过费的文档可以免费进行多次下载。

2、问:已经付过费的文档不知下载到什么地方去了?

     答:电脑端-浏览器下载列表里可以找到;手机端-文件管理或下载里可以找到。

            如以上两种方式都没有找到,请提供您的交易单号或截图及接收文档的邮箱等有效信息,发送到客服邮箱,客服经核实后,会将您已经付过费的文档即时发到您邮箱。

注:微信交易号是以“420000”开头的28位数字;

       支付宝交易号是以“2024XXXX”交易日期开头的28位数字。

客服邮箱:

biganzikefu@outlook.com

所有的文档都被视为“模板”,用于写作参考,下载前须认真查看,确认无误后再购买;

文档大部份都是可以预览的,笔杆子文库无法对文档的真实性、完整性、准确性以及专业性等问题提供审核和保证,请慎重购买;

文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为依据;

如果您还有什么不清楚的或需要我们协助,可以联系客服邮箱:

biganzikefu@outlook.com

常见问题具体如下:

1、问:已经付过费的文档可以多次下载吗?

      答:可以。登陆您已经付过费的账号,付过费的文档可以免费进行多次下载。

2、问:已经付过费的文档不知下载到什么地方去了?

     答:电脑端-浏览器下载列表里可以找到;手机端-文件管理或下载里可以找到。

            如以上两种方式都没有找到,请提供您的交易单号或截图及接收文档的邮箱等有效信息,发送到客服邮箱,客服经核实后,会将您已经付过费的文档即时发到您邮箱。

注:微信交易号是以“420000”开头的28位数字;

       支付宝交易号是以“2024XXXX”交易日期开头的28位数字。

笔杆子文秘
机构认证
内容提供者

为您提供优质文档,供您参考!

确认删除?