HybridDB for MySQL 实现在线与离线数据分离的实践 mysqlsql
程序员文章站
2022-07-08 17:01:40
...
全文连接 http://click.aliyun.com/m/23737/
本文将重点介绍HybridDB for MySQL 实现在线与离线数据分离的实践，特别推荐！
核心业务简介
任务中心汇聚了集团的所有工作流任务，并提供统一的入口给用户处理集团的工作任务。
TB1aYudRVXXXXapXXXXXXXXXXXX-991-916.png
面临主要问题
1、单表存储量超高
目前已有4千万的数据，并且在急速的增长。预计年增长在200%以上。
2、业务需要大范围的查询
由于业务需要查询多张表，比如查询在线，再查离线表。而且频率和复杂度在提升。会导致慢sql的出现。
如何架构改造
在线数据与离线数据隔离，在数据访问层面不相互影响
在线数据到离线数据必须实时同步，保障高稳定性
定时清理在线表的离线数据。保证在线存储的合理使用，保证数据从产生到移除的闭环过程。
保证离线存储容量问题，离线数据不会清除，所以需要有合理的机制或充足的空间来保证离线数据的存储。
离线数据太多的情况下，要保证数据查询的效率，不能太慢。
这个过程进行了多种技术方案的调研。最终选择了基于 HybridDB for MySQL 的在线离线数据分离。
选型产品优点
1、能解决在线数据过多的问题
2、能解决在线与离线同一个库离线影响在线的问题
3、在阿里云上使用比较多，方案成熟
4、基本完全兼容MySQL
5、通过DTS同步，保证数据的可靠性、实时性
6、存储是线性扩展，不用担心存储容量问题
7、hybridDB是新型的HTAP（事务与分析一体）关系数据库，适合日志、消息轨迹、历史等数据的存储
对比性能
参考数据量查询扫描行数的对比
TB1r8h_RVXXXXbZXpXXXXXXXXXX-500-136.png
从上图来看，小数据量的SQL，MySQL响应快于HybridDB，随着数据量的增加，MySQL的性能远不如HybridDB。
所以，在小数据量的SQL推荐MySQL，超过千万的数据量查询，推荐使用HybridDB for MySQL。
HybridDB for MySQL
她是同时支持在线事务(OLTP)和在线分析(OLAP)的关系型 HTAP 类数据库。
HTAP是Hybrid Transaction/Analytical Processing的简写，意为将数据的事务处理（TP）与分析（AP）混合处理，从而实现对数据的实时处理分析。
1、HybridDB for MySQL采用一份数据存储来进行OLTP和OLAP处理，解决了以往需要把一份数据进行多次复制来分别进行业务交易和数据分析的问题，极大的降低了数据存储的成本。
2、因为采用一份数据，HybridDB for MySQL免去了以往在线数据库（Operational Database）和数据仓库（Data Warehouse）之间的海量数据加载过程，极大的缩短了数据分析的延迟，使得实时分析决策系统成为可能。
2、HybridDB for MySQL兼容MySQL的语法及函数，并且增加了对Oracle常用分析函数的支持，100%完全兼容TPC-H和TPC-DS测试标准，从而降低了用户的开发、迁移和维护成本。
主要使用场景
全文连接http://click.aliyun.com/m/23737/
本文将重点介绍HybridDB for MySQL 实现在线与离线数据分离的实践，特别推荐！
核心业务简介
任务中心汇聚了集团的所有工作流任务，并提供统一的入口给用户处理集团的工作任务。
TB1aYudRVXXXXapXXXXXXXXXXXX-991-916.png
面临主要问题
1、单表存储量超高
目前已有4千万的数据，并且在急速的增长。预计年增长在200%以上。
2、业务需要大范围的查询
由于业务需要查询多张表，比如查询在线，再查离线表。而且频率和复杂度在提升。会导致慢sql的出现。
如何架构改造
在线数据与离线数据隔离，在数据访问层面不相互影响
在线数据到离线数据必须实时同步，保障高稳定性
定时清理在线表的离线数据。保证在线存储的合理使用，保证数据从产生到移除的闭环过程。
保证离线存储容量问题，离线数据不会清除，所以需要有合理的机制或充足的空间来保证离线数据的存储。
离线数据太多的情况下，要保证数据查询的效率，不能太慢。
这个过程进行了多种技术方案的调研。最终选择了基于 HybridDB for MySQL 的在线离线数据分离。
选型产品优点
1、能解决在线数据过多的问题
2、能解决在线与离线同一个库离线影响在线的问题
3、在阿里云上使用比较多，方案成熟
4、基本完全兼容MySQL
5、通过DTS同步，保证数据的可靠性、实时性
6、存储是线性扩展，不用担心存储容量问题
7、hybridDB是新型的HTAP（事务与分析一体）关系数据库，适合日志、消息轨迹、历史等数据的存储
对比性能
参考数据量查询扫描行数的对比
TB1r8h_RVXXXXbZXpXXXXXXXXXX-500-136.png
从上图来看，小数据量的SQL，MySQL响应快于HybridDB，随着数据量的增加，MySQL的性能远不如HybridDB。
所以，在小数据量的SQL推荐MySQL，超过千万的数据量查询，推荐使用HybridDB for MySQL。
HybridDB for MySQL
她是同时支持在线事务(OLTP)和在线分析(OLAP)的关系型 HTAP 类数据库。
HTAP是Hybrid Transaction/Analytical Processing的简写，意为将数据的事务处理（TP）与分析（AP）混合处理，从而实现对数据的实时处理分析。
1、HybridDB for MySQL采用一份数据存储来进行OLTP和OLAP处理，解决了以往需要把一份数据进行多次复制来分别进行业务交易和数据分析的问题，极大的降低了数据存储的成本。
2、因为采用一份数据，HybridDB for MySQL免去了以往在线数据库（Operational Database）和数据仓库（Data Warehouse）之间的海量数据加载过程，极大的缩短了数据分析的延迟，使得实时分析决策系统成为可能。
2、HybridDB for MySQL兼容MySQL的语法及函数，并且增加了对Oracle常用分析函数的支持，100%完全兼容TPC-H和TPC-DS测试标准，从而降低了用户的开发、迁移和维护成本。
主要使用场景
全文连接http://click.aliyun.com/m/23737/