分布式异构数据库数据同步工具

摘要：

一般而言,读写分离技术可以解决当前大数据环境下的读写速度失配的部分问题,但是现有的读写分离技术主要是针对同构数据库的解决方案.由于存储结构的不一致,由行式存储数据库和列式存储数据库构成的异构分布式数据库系统相较于同构分布式数据库系统在数据同步的过程中就会面临格式转换、同步速度不匹配等诸多难题.提出了基于MySQL二进制日志(Binlog)进行SQL还原的方法TD-Reduction,设计并实现了Binlog解析器BinParser和Binlog还原器BinReducer,它们可以基于Mixed格式的Binlog,针对不同的事件(event)进行日志的解析,并依据相应的规则进行还原,生成可执行的SQL语句.综合以上技术,实现了一款分布式数据库数据同步工具Cynomys.在实验环境中,Cynomys表现出较好的性能.该方法适用于所有具有类似Binlog机制的其他异构数据库之间进行数据同步.

关键词：数据同步、读写分离、SQL还原

所属期刊栏目：30

分类号：TP311(计算技术、计算机技术)

资助基金：国家重点研发计划2018YFB1004401;国家自然科学基金61732014;北京市科技计划Z171100005117002

在线出版日期：2019-04-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：684-699