高性能计算平台的IO性能测试与分析亮1,聂瑞华2李(1.华南师范大学计算机学院,广东广州510631;2.华南师范大学网络中心,广东广州510631)摘要:在高性能计算平台上测试NFS和Lustre文件系统在大规模并行计算环境下的IO速率,根据测试结果分析该实验平台的IO瓶颈并提出改进方案;之后测试本地Cache、并行应用进行IO时的TransferSize和并行程序存取文件的FileSize等因素对分布式文件系统性能的影响,并根据实验结果提出如何合理地部署并行软件以有效地利用本地Cache,以及提出在编写并行程序时设置合适的TransferSize和FileSize以提高IO性能的建议。关键词:高性能计算;并行IO性能;并行文件系统;IO性能测试;Lustre文件中图分类号:TP344文献标识码:Adoi:10.3969/j.issn.100622475.2011.06.045TestandAnalysisofIOPerformanceonHighPerformanceComputingPlatformLILiang1,NIERui2hua2Abstract:ThispaperteststheperformanceofNFSandLustrefilesysteminthelargescaledistributedcomputingenvironmentonhighperformancecomputingplatform.Accordingtotheresults,theIObottleneckisknowninthishighperformancecomputingplatformandanadviceisgiventoimprovetheIOperformancetosolvethebottleneckproblem.Thenthispapertestshowthelocalcache,file’ssizeandtransferSizeaffecttheparallelfilesystems’IOperformance,andproposeshowtodeploytheparallelappli2ferSize和FileSize,以提高IO性能的建议。0引言1高性能计算平台简介我校高性能计算平台采用Cluster机群体系结构[5],节点系统包括计算节点、胖SMP计算节点、IO节点和管理节点。其中计算节点的配置为43AMD8374HE2.2GHz4核处理器,32GDDRII667内存,13160G硬盘;IO节点配置为23AMD23782.4GHz4核处理器,16GDDRII667内存,23300G15KSAS硬盘;管理节点配置为23AMD23782.4GHz4核处理器,16GDDRII667内存,23300G15KSAS硬盘。网络系统包括计算网络、数据网络和管理网络。计算网络使用20Gbps速率的Infiniband[6]网络将计算节点全相连,数据网络通过千兆以太网将计算节点与IO节点全相连,管理网络将管理节点、计算节点高性能计算已被公认为继理论科学和实验科学之后,人类认识世界改造世界的第三大科学研究方法,是科技创新的重要手段[1]。高性能计算机的快速发展,尤其是计算能力的飞速提升,对位于底层起支撑作用的并行IO系统产生了更高的性能需求。为了设计更高性能的分布式IO系统,为了更为有效地利用现存的并行IO系统,需要了解高性能计算机上IO系统的存储方式、工作性能及影响IO吞吐率的各种因素[2]。本文介绍我校高性能计算机的体系结构和存储系统,描述我校高性能计算平台上IO系统的总体性能测试结果,测试并行计算中对IO性能产生影响的各种因素,根据实验结果,分析本实验平台的IO收稿日期:2011203210作者简介:李亮(19852),男,湖北天门人,华南师范大学计算机学院硕士研究生,研究方向:高性能计算,分布式存储系统;聂瑞华,男,华南师范大学网络中心教授,研究方向:计算机网络及应用,网格计算。2011年第6期李亮等:高性能计算平台的IO性能测试与分析161层的分布式文件系统。存储系统通过4Gbps的SAN交换机将磁盘阵列系统与IO节点相连,高层的文件系统包括NFS文件系统和Lustre文件系统。目前NFS文件系统存储容量是1.0TB,Lustre文件系统存储容量是3.6TB,NFS和Lustre文件系统通过数据网络为计算节点提供存储。2NFS和Lustre文件系统网络文件系统NFS是由SUN公司开发,目前已被移植到几乎所有的Unix和Linux系统上,并成为事实上的工业标准。NFS通过网络提供给不同操作平台上的用户共享文件,其体系结构基于客户/服务器模型,客户机和服务器之间通过SUNRPC进行通信,其特点是(1)透明性:提供透明的文件访问,客户端上的应用程序能够像访问本地文件一样访问远程文件。(2)兼容性:可实现异构机,异种操作系统下的网络文件共享。(3)健壮性:其协议的无状态性保证了客户机与服务器之间产生的每个请求的完整性。(4)配置灵活、简单,易于使用。其缺点是可扩展性差,这是由于其类似NAS的集中式服务器体系结构决定的。Lustre文件系统由客户端(Client)、存储目标(OST)和元数据服务器(MDS)组成。客户端通过...