基于Spark框架的能源互联网电力能源大数据清洗模型

摘要：

对能源大数据清洗可提高能源大数据质量的正确性、完整性、一致性、可靠性.针对能源大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于Spark框架的能源能源大数据清洗模型.首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正.通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证了清洗模型的高效性、准确性.

关键词：能源大数据、数据清洗、异常识别、异常修正、Spark框架

所属期刊栏目：55

分类号：TK01(一般性问题)

资助基金：国家自然科学基金资助项目51277023;吉林省科技计划重点转化项目20140307008GX

在线出版日期：2018-06-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：39-44