基于电力客服业务的一种数据仓库实时数据接入技术

摘要：

随着市场上自主研发的数据库的大量出现,面对各具特色的数据库因差异性而导致的数据etl过程困难的问题,本文探讨了一种通过kafka作为可靠的实时数据中转,然后通过spark streaming任务来实现数据入库的技术路线,最终解决了基于电力客服业务的数据仓库实时数据接入的问题.该技术路线能够一定程度上解决一部分数据实时数据接入的困难.与此同时,可以在数据接入过程中进行复杂的数据流式计算.

关键词：实时数据接入、kafka offset、spark streaming

分类号：TM769(输配电工程、电力网及电力系统)

在线出版日期：2020-07-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：38-40,42