【大数据新手上路】“零基础”系列课程--MySQL 数据整库迁移到 MaxCompute 工作mysqlsql

阅读全文http://click.aliyun.com/m/23737/


核心业务简介

任务中心汇聚了集团的所有工作流任务，并提供统一的入口给用户处理集团的工作任务。


TB1aYudRVXXXXapXXXXXXXXXXXX-991-916.png

面临主要问题

1、单表存储量超高
目前已有4千万的数据，并且在急速的增长。预计年增长在200%以上。
2、业务需要大范围的查询
由于业务需要查询多张表，比如查询在线，再查离线表。而且频率和复杂度在提升。会导致慢sql的出现。



如何架构改造

在线数据与离线数据隔离，在数据访问层面不相互影响
在线数据到离线数据必须实时同步，保障高稳定性
定时清理在线表的离线数据。保证在线存储的合理使用，保证数据从产生到移除的闭环过程。
保证离线存储容量问题，离线数据不会清除，所以需要有合理的机制或充足的空间来保证离线数据的存储。
离线数据太多的情况下，要保证数据查询的效率，不能太慢。

这个过程进行了多种技术方案的调研。最终选择了基于 HybridDB for MySQL 的在线离线数据分离。

选型产品优点
1、能解决在线数据过多的问题
2、能解决在线与离线同一个库离线影响在线的问题
3、在阿里云上使用比较多，方案成熟
4、基本完全兼容MySQL
5、通过DTS同步，保证数据的可靠性、实时性
6、存储是线性扩展，不用担心存储容量问题
7、hybridDB是新型的HTAP（事务与分析一体）关系数据库，适合日志、消息轨迹、历史等数据的存储
对比性能


阅读全文http://click.aliyun.com/m/23737/