基于Hive的海量公交客流起讫点挖掘方法

摘要：

目前起讫点(origin-destination,OD)挖掘方法普遍存在无法并行分析多条线路、低效率、预测率不足的问题.考虑到Hive在海量数据上的查询性能优势,基于Hive实现了OD挖掘,克服了上述问题.基于时间阈值匹配上车站点,失配记录基于站点上客数再次匹配.基于表连接的出行链算法预测下车站点,预测失败的记录基于概率进行两次预测.以石家庄2018年1月1日—2018年3月27日的IC卡刷卡数据和调度数据进行OD挖掘,在清洗后的11312505条出行记录中挖掘出11270037条OD记录,预测率达到99.6％,出行与吸引校验质量较高,Hive并行调优开启后耗时17829.04 s.可见该方法满足生产环境中离线挖掘OD的业务需求.

关键词：客流、起讫点(OD)、下车站点、Hive

所属期刊栏目：20

分类号：TP391.9(计算技术、计算机技术)

资助基金：天津市科技计划;天津市自然科学基金

在线出版日期：2020-08-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：8300-8309