基于Hadoop与RabbitMQ的人脸识别算法测试平台的设计与实现

摘要：

针对人脸识别算法研究过程中测试效率低下的问题,基于分布式技术,设计并实现了通用的分布式大数据测试平台.为了提高人脸识别算法的大数据测试的执行效率,提高测试结果统计计算的执行效率,基于RabbitMQ设计分布式并行执行架构,利用Hadoop集群的MapReduce框架进行分布式并行计算.利用Java语言的Spring框架开发测试平台,将测试代码与测试图片托管于Hadoop集群的HDFS文件系统,实现了测试业务与测试平台的分离,提高了平台的通用性.该测试平台不仅实现了单个测试任务的分布式执行而且满足多个测试任务同时执行,可对测试任务以及测试相关的代码与数据进行有效的管理.与传统测试方法相比,该平台测试效率提高10余倍,测试图片的数量越大测试效率提升越明显.该测试平台具有业务通用性、容量可扩展性,对于其他人工智能算法的大量数据测试具有借鉴意义与参考价值.

关键词：人脸识别算法、测试平台、分布式、Hadoop、RabbitMQ

所属期刊栏目：42

分类号：TP391(计算技术、计算机技术)

资助基金：湖南省教育厅科学研究项目;长沙市自然科学基金项目

在线出版日期：2023-04-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：38-43