基于Hadoop技术的科研大数据存储系统设计

摘要：

针对高校科研海量数据存储问题,为提高大数据存储系统的存储能力和效率,降低硬件搭建成本,本文提出了一种基于Hadoop技术的分布式存储系统设计方案.该系统以Hadoop技术为核心和基础,设计Hadoop分布式数据存储模型,结合科研数据存储结构的特征,考虑存储数据类型的多样性,以及低成本高可靠性的存储需求,设计了三层结构的Hadoop分布式存储系统结构,并对系统中的文件块存储策略、科研资源网结构、数据库访问层三个子模块进行了具体设计.该存储系统结构简洁、构建成本低、存储安全可靠且便于扩展,与科研数据的存储需求相适应.

关键词：大数据;分布式存储;科研数据;云计算

所属期刊栏目：33

分类号：TP333(计算技术、计算机技术)

资助基金：杨凌职业技术学院院级科学研究基金项目;陕西省职业技术教育学会2020年研究课题

在线出版日期：2021-12-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：114-116