大数据架构关系分析及应用摘要：用哪种平台能更有效地从海量数据中找到有价值的信息并利用，是现代IT人不断追求的目标。简述了大数据的定义与特征，提出大数据的架构模型。从软件角度对大数据架构平台进行了分析与研宄，分析了大数据架构模型各层次的意义与关系，描述了数据存储层及计算框架层的技术应用，并对大数据应用进行了展望。关健词：大数据；大数据定义；大数据架构;计算框架：TP393文献标志码：A:1006-8228(2016)12-42-04Abstract：Whichplatformcanbeusedmoreeffectivelytofindvaluableinformationfromthemassdataandtomakeuseofit，isthegoalofmodernITpeoplecontinuetopursue.Thispaperbrieflyintroducesthedefinitionandcharacteristicsofbigdata，andputsforwardthearchitecturemodelofbigdata.Thebigdataarchitectureisanalyzedandstudiedfromthesoftwarepointofview，themeaningandrelationshipofalllayersofthebigdataarchitecturemodelareanalyzed，thetechnologiesusedinthedatastoragelayerandcomputingframeworklayeraredescribed,andtheapplicationofbigdataisprospected.Keywords：bigdata；bigdatadefinition；bigdataarchitecture；computingframework0引言当前，大数据存储信息全球所拥有的数据总量已经远远超过历史上的任何时期，且数据量的增加速度呈现倍增趋势。技术的发展往往不是那么一往无前，而是一直不停的迭代，然后论证，再互相影响。大数据技术也同样如此，从各种各样类型的数据中，做到快速获得有价值信息的能力，主要是大数据技术。就现今数据分析方法而言，更多倾向于数据的关联性，精确性。数据种类繁多，在编码方式、存储格式和应用特征等多个方面也存在多层次、多方面的差异性，结构化、半结构化、非结构化数据并存；如何处理隐含于生产者和消费者之间产生的数据知识的价值信息延迟，一直是现代计算构架不断演进的主要动力。1大数据的定义在大数据的快速发展中，各个学者试图对大数据理论、模型、分析、解决方案等提出自己的见解，并且定义也多种多样，但是被大多人所认可的是由道格拉斯?兰尼(DouglasLaney)在2001年提出的经典的3V定义:规模庞大的数据集合(volume)，高速(velocity)地累积和变化，以及广泛(variety)的种类［1］。在2012年世界经济论坛上增加了第四个V:价值(value),将大数据作为一种新的经济资产。大数具有以下最为重要的五大特征。⑴非竞争性(non-Rival)：它可以被许多消费者同时使用和重复使用。这意味着向个人提供大数据的边际成本是零。⑵持续增长(Rising):大数据还呈指数级增长(Rising)。最小的基本单位是Byte，1TB=1,024GB；1PB=1,024TB；1EB=1,024PB；1ZB=1,024EB；1YB=1，024ZB。在现阶段的TB时代，1NB=2的60次方TB=1152921504606846976TB=115292150460684697个1TB硬盘。⑶精炼(Refinable)：这些海量数据很容易处理和精炼(Refinable),一家公司越使用大数据，它的质量和价值就越高。⑷可再生(Renewable):大数据是可再生的(Renewable),像风能一样。(5)可转变用途(Repurposable)：大数据是可延展和转变用途的(Repurposable)。作为一种资源，大数据是非竞争性、不断增长、可精炼、可再生以及可转变用途的。大数据是应用领域一项伟大的资产，它是一种非常真实的现象，是一种对任何组织来说都非常珍贵的资源［2］。2大数据架构模型近年来，世界产生的数据就超过了可用存储量。已经从思考“存储什么”转向了“清除什么”。当下智能手机由于存储了过多的图片而变得空间不足，这已经是一个全球性的问题了。经常是存储后再也没看过，或是偶尔查阅，这样就成就了一句话：存储中的一半数据是垃圾。只有那些知道怎样提出正确问题的人才知道哪些数据可能会对提问有用和相关，从而值得收集和处理，目的是开发它们的宝贵模式。我们需要更多更好的思路来筛选有价值的数据信息，大数据还会不断地增长［3］。对此类技术的需求正在堆积，单位业务、创新和福利都取决与数据科学的价值量，现在是时候开发一3大数据架构模型分析(1)文件系统层：在这一层，分布式文件系统需具备存套大数据系统的方法论了型图。1为大数据架构关系模储管理...