基于Python的豆瓣网站数据爬取与分析

摘要：

大数据时代,随着社交网络的发展,社会媒体数据量呈现指数级增长.通过基于Python的网络爬虫程序爬取豆瓣网站的有关数据,使用非关系型数据库MongoDB存储数据,并利用Matplotlib和PyEcharts对爬取结果进行了可视化分析.对豆瓣电影和图书Top250排行榜的数据进行可视化分析,可以了解作品排名、评分、年份、地区和导演及作家的分布情况,从而分析得出数据之间的相关性和文化产业的发展趋势.

关键词：Python、网络爬虫、数据采集、数据分析、可视化

所属期刊栏目：16

分类号：G642(高等教育)

资助基金：省级一般项目——辽宁省大连外国语大学大学生创新训练项目项目编号:201910172069

在线出版日期：2020-12-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：51-53