分布式存储系统在通信运营商中的应用分析黄柳【摘要】随着运营商的网路的发展，数据大部分存储在不同的区域网络，所以数据管理系统将面临数据的存取效率以及确保取得的数据内容一致的问题。针对数据分散存储与数据存取的问题，本论文提出一个通过阶层式逻辑数据索引与快取的设计建立在分布式数据管理系统中的数据存取机制，在现有网络带宽与架构下，提供更有效率的数据传输与数据管理。【关键词】分布式数据存取阶层式索引分散存储引言：现今数据管理系统的数据大部分存储在不同的区域网络，且数据存放越来越分散，如何做到有效率的管理十分重要。对于此种情况，使用者取数据的存取效率以及使用者取得的数据内容一致的问题变得更繁琐。以上所面临的问题可分为：1.数据内容一致性问题：由于数据内容可能不断持续在更新，即使采用异地备份或数据复制机制，数据的同步仍须配合复杂的算法才能达成;2.数据存取效率问题：使用者必须从远端下载文件至本端，如果有多线程同时下载文件，将会导致原本的网络带宽不敷使用。没有效率的数据存取机制将会用尽所有网络带宽，甚至影响到正在运作的其他系统。任由使用者在服务器间传输大量数据，对运营商来说是一个无形的成本支出。我们将重点放在如何快速有效率的取得远端数据，寻求更好更佳的解决办法，在不改变现在低效能的网络带宽与架构下，系统能自动适应使用者位置，自动调整数据存取位置的分布式数据管理系统，希望能满足运营商所需的数据集中管理、分散存储的需求。一、适应性数据存取机制本论文主要在不改变运营商现有的网络架构与带宽的情况下，大量提升数据管理与存取效率，提供运营商完整的数据管理解决方案。此方法的重点在于设计通过集中管理的知识地图，提供使用者一个一致性的存取界面，通过这个界面，使用者可以从任何地方进行数据存取的动作，而做到数据集中管理、分散存储的管理机制。另一重点则是实体文件分散存储，系统必须能自动适应使用者所在位置，并且动态的调整回复实体文件的文件服务器。通过快取机制（Cache）的设计、多层逻辑文件索引等使用者适应性机制的建立，所有的使用者将只通过本地端的文件服务器存取文件，如此可让99%以上的数据存取效率与本地数据存取效率几乎一样快。各个客户端的文件树通过中间层的分布式文件服务器（DistributedFileServer），对应至各个不同地区存储器的实体文件。黄色部分为文件服务器之间互相快取（Cache）的实体文件。此系统的软件架构如图2所示，整个适应性分布式数据存取系统大致上可以分为两个主要子系统，分别为DMS服务器（DocumentManagementSystem）以及DMS文件服务器。一个DMS可以连接多个DMS文件服务器，每DMS文件服务器也会借由内部的CachePolicy模块连接到其他DMS文件服务器或通过索引分割树（IndexPartitioner）来与下一阶层的DMS文件服务器互动。以下将描述本架构的内部设计。1.1DMS服务器DMS服务器主要负责接收所有的使用者的请求。对于Metadata的相关请求，则于DMS服务器直接回应，如果是对于远端文件的上传或下载请求，则会通过AdaptiveFileServerLocator模块的判断，将该请求送到对应的DMS文件服务器。DMS服务器主要由GlobalDocumentIndex、AdaptiveFileServerLocator、GlobelIndexPartitioiner、MetadataManager、FileServerManager以及Authentication/Authorization模块组成。以下概述2个核心模块的主要功能。1.2GlobalIndexPartitioner此模塊的主要功能是将运营商内的单一知识地图切成许多个子地图，分别由一个DMS文件服务器来负责存储。图2-3可以清楚描述设计该模块的主要目的。树状结构即是运营商内部完整的知识文件地图。FS1～FS4各代表不同文件关系树，整个完整的文件树可以被切分为三个主要Partition，而每一个Partition分别为文件服务器FS1，FS2与FS3负责。其中FS4为FS2的下游文件服务器。此外，系统也可以再将FS2的其中一个文件交由FS4管理。如此，通过FS2与FS4的委托关系，便可建构出阶层式的文件服务器软件架构。1.3CachePolicy模块CachePolicy模块负责管理当地使用者存取文件时，发生Cachemiss的文件实体文件。目前我们规划的CachePolicy如下：1.3.1Cac...