基于CheerIO的MEAN Stack气象数据网络爬虫研究

摘要：

为全面、即时搜集分散于互联网上游离的气象数据,满足各行业、各领域、各学科科研部门的数据需求,提出使用Google MEAN Stack全栈技术开发基于CheerIO的高效定向爬虫,充分利用Node.js高性能I/O的特性,实现气象信息的快速搜集.同时将技术栈与地理信息系统技术、数据可视化技术以及云计算技术相结合,通过地理信息系统的数据存储、查询、自动制图、统计分析等功能对信息进行分析和处理,在阿里云平台上构建了一个能抓取并存储海量数据、提供实时气象数据的应用系统,提供便捷的检索、查询功能,有较强的实用性.本文结合气象数据爬虫的解决方案,对MEAN Stack数据爬虫的开发框架、项目架构以及爬虫核心技术(抓取目标策略、网页分析算法、多线程并发运算等)进行了深入分析研究与实现.

关键词：CheerIO、MEAN Stack、定向爬虫、大气气象数据

所属期刊栏目：47

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金项目41371001和北京林业大学青年教师科学研究中长期项目2015ZCQ-LX-01

在线出版日期：2016-07-18（万方平台首次上网日期，不代表论文的发表时间）

页码：275-282