基于Scrapy的中药材网络信息采集方法研究

摘要：

以中药材天地网站的信息收集为例,基于Scrapy框架设计了中药材品名、规格、产地、价格等信息提取的爬虫.首先,借助浏览器的网页审查元素工具分析目标网页的结构,并抽取目标元素的XPath路径;接着,采用Scrapy框架构建网络爬虫工程,分别在相应的文件中设计目标元素的解析规则及元素的存储方法;最后利用设计的爬虫采集目标网站信息进行测试,以西洋参、三七为例,将线上采集数据与线下实地调研的数据进行对比.结果表明,所设计的爬虫能快速、高效、准确获取目标网站的信息,且与线下实地调研数据相符,可为后续的研究提供数据支撑.

关键词：Scrapy、中药材、爬虫

所属期刊栏目：46

分类号：TP391.3(计算技术、计算机技术)

资助基金：安徽省青年人才支持计划项目gxyq2018215;安徽省高校自然科学研究重大项目KJ2016SD41

在线出版日期：2019-03-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：522-527