Taobao分布式文件系统TFS简析blog.csdn/liuben/archive/2010/10/17/5946583.aspxTaobao自主研发分布式文件系统TFS(TaobaoFileSystem)的消息早有耳闻，最初来自网络上的一篇报道（或称软文）－“深度揭秘淘宝自主研发的文件系统TFS”。因为个人研究兴趣和工作内容相关的缘故，对TFS产生了很大的兴趣，很是期待和关注。TFS前面一直传说大致在2010.09月进行开源发布，国庆前后未能跟进关注，节后蓦然发现TFS已经于2010.09.29在Taobao的开源平台发布了，code.taobao.org/project/view/366/。网络上大家都戏称，TFS对时间把握真是太到位了，Taobao言必行，在9月的最后一天兑现了自己的承诺。正如大家所说，国内自主研发的文件系统真是可谓凤毛麟角，开源的文件系统就更是罕见，我现在所知道是就是FastDFS和TFS。从这个意义上，Taobao的开源精神是很值得称道的。FastDFS的开发者余庆和LVS的开发者章文嵩都在Taobao工作，我想这两位开源高手应该对TFS有着较大的影响，再借助Taobao的实力和平台，TFS的未来非常值得开源界和存储界期待。TFS官方称“TFS（TaobaoFileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据”。我个人花了点时间研究一下TFS的源码和相关技术文档，TFS与目前一些主流的开源分布式文件系统设计思想是相似的，如HDFS,MFS,KFS,Sector。TFS的高可扩展、高可用性是很好的，然而也存在一定不足，如通用性、用户接口、性能等方面。我这里粗略罗列一些自己认为TFS的不足之处，不当之处还请大家指正。1、通用性方面。TFS目前只支持小文件的应用，大文件应用是不支持的。对小图片、网页等几十KB内的数据存储非常适用，但对视频点播VOD、文件下载等应用暂时无法适用。2、性能方面。Client写文件是同步处理的，需要等所有dataserver写成功后才能返回，这很是影响性能。3、用户接口。TFS没有提供POSIX接口，提供的API也与标准接口不一致。另外，TFS有自己的文件命名规则，如果用户使用自定义的文件名，则需要自已维护文件名与TFS文件名之间的映射关系。4、代码方面。使用了C++实现，感觉相对臃肿一点，如果用纯C实现应该会简洁不少(可能我C中毒太深了)。代码注释基本没有，代码质量也不是很好。5、技术文档。官方有一些文档，但显然非常不够深入和全面。6、小文件优化。官方称针对海量小文件的随机读写访问性能做了特殊优化，现在只看到把众多小文件存放与一个Block中，这与Squid中的COSS原理相似。其他特殊优化措施未知，LOFS(Lostofsmallfiles)是个难点问题。揭秘淘宝自主研发的文件系统一—TFSwwinfoq/cn/s/tao-tfswwoschina/p/tfs作者崔康发布于2010年7月7日上午1时0分社区Java主题性能和可伸缩性,Linux,开放源代码,故事和案例分析标签开源软件,最佳实践,性能和扩展性目前，国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和实践，TaobaoFileSystem（TFS）作为淘宝内部使用的分布式文件系统，针对海量小文件的随机读写访问性能做了特殊优化，承载着淘宝主站所有图片、商品描述等数据存储。最近，淘宝核心系统团队工程师楚材（李震）在其官方博客上撰文（《TFS简介》，以下简称文章）简要介绍了TFS系统的基本情况，引起了社区的关注。文章首先概括了TFS的特点：完全扁平化的数据组织结构，抛弃了传统文件系统的目录结构。在块设备基础上建立自有的文件系统，减少EXT3等文件系统数据碎片带来的性能损耗。单进程管理单块磁盘的方式，摒除RAID5机制。带有HA机制的中央控制节点，在安全稳定和性能复杂度之间取得平衡。尽量缩减元数据大小，将元数据全部加载入内存，提升访问速度。跨机架和IDC的负载均衡和冗余安全策略。完全平滑扩容。当前，TFS在淘宝的应用规模达到“数百台PCServer，PB级数据量，百亿数据级别”，对于其性能参数，楚材透漏：TFS在淘宝的部署环境中前端有两层缓冲，到达TFS系统的请求非常离散，所以TFS内部是没有任何数据的内存缓冲的，包括传统文件系统的内存缓冲也不存在......基本上我们可以达到单块磁盘随机IOPS（即I/Opersecond）理论最大值的60%左右，整机的...