Spark集群中还贷问题的逻辑回归模型研究

摘要：

在Spark集群环境下,通过Sparklyr调用MLib中的并行逻辑回归算法对大规模抵押贷款数据的训练集进行监督学习,使用R语言建立一个预测客户是否会如期归还贷款的逻辑回归分类模型.为了研究该模型的可信性以及获取效率,本文补充了伪判定系数、分类评价指标、测试集性能几个指标对模型可信性进行评价,并判定了模型的可信性.在获得了可信模型的基础上,实验结果表明:当数据量增加到一定阈值后,在集群环境下使用并行的算法获得逻辑回归分类模型的速度要优于对应的串行算法.

关键词：Spark集群、逻辑回归、R语言、大数据

所属期刊栏目：42

分类号：TP311(计算技术、计算机技术)

在线出版日期：2020-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：113-118