基于Hadoop的网络流量分析和特征计算

摘要：

长期以来,互联网流量的测量和分析可用于识别网络资源和用户行为,但随着互联网的快速发展和网络的高速访问,网络流量分析愈发困难.大规模的网络流量数据需要具备与之相匹配的存储、计算资源.基于此,提出了基于Hadoop平台的分布式网络流量存储和基于多层的并行计算流特征.通过10个节点,进行针对2 TB流跟踪文件的37个网络流侯选特征的计算试验.结果 表明,基于Hadoop平台的分布式存储和计算,大大提高了大规模网络流的处理速度,且随着网络流量规模的扩大,网络流量的分析和特征计算时间非常稳定.

关键词：网络流量分析、Hadoop、MapReduce

分类号：TP393.06(计算技术、计算机技术)

资助基金：湖南省教育厅科学研究项目15C0081

在线出版日期：2019-11-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共2页

页码：75-76