基于Scrapy框架的网络爬虫技术应用 ——以豆瓣网为例

摘要：

本文基于Scrapy框架,以Python语言为脚本,以豆瓣网站为例,设计并实现了对电影网站票房排名TOP250条数据关键字段信息的爬取,以及对爬取数据的过滤提纯,并存储结果数据.可利用该结果做进一步的数据分析处理,得出观众的口味喜好,电影行情的发展趋势,具有一定的经济效益.

关键词：Python;Scrapy框架;网络爬虫;豆瓣数据

资助基金：2020年河北科技师范学院大学生创新训练项目"优聘君"微信小程序;2018年教育部产学合作协同育人项目"基于Python的数据分析与智能开发人才培养实践";"Python全栈开发人才培养实践"

在线出版日期：2021-09-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：87-89