中小规模分布式文件系统集群构架的优化方案

摘要：

针对分布式文件系统的应用存在处理小文件效率不高的问题,提出一种适用于中小规模分布式文件系统集群的应用架构,将传统分布式文件系统集群中的内网划分为两个子网:对外子网和对内子网,对外子网中传输与外网之间的交互数据,对内子网中传输分布件系统集群的管理数据.每个数据结点同时与对外和对内两个子网连接,并代替名称节点负责与外网直接的数据交流;名称节点本身只与对内子网连接.对外子网与外网之间使用防火墙设备加强安全性,并使用负载均衡设备将来自外网的数据请求合理的分配到每个数据节点上;增加了缓存机制对系统处理小文件操作进行优化,部署实验环境,设计一个测试程序对缓存效率测试,对1000个100KB的文件,通过模拟多线程连续读取大量文件来测试缓存的性能,实验证明系统设计方案可行,增加磁盘缓存有利于提高系统处理小文件的存取效率,系统优化效果显著.

关键词：缓存、中小规模分布式文件系统、管理数据

所属期刊栏目：36

分类号：TP311.13(计算技术、计算机技术)

资助基金：十二五国家科技重大专项课题子课题2011ZX05023-005-006

在线出版日期：2014-03-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：69-73