mysql千万级数据大表该如何优化?
程序员文章站
2023-12-19 15:53:04
1.数据的容量:1-3年内会大概多少条数据,每条数据大概多少字节; 2.数据项:是否有大字段,那些字段的值是否经常被更新; 3.数据查询sql条件:哪些数据项的列名称经常出...
1.数据的容量:1-3年内会大概多少条数据,每条数据大概多少字节;
2.数据项:是否有大字段,那些字段的值是否经常被更新;
3.数据查询sql条件:哪些数据项的列名称经常出现在where、group by、order by子句中等;
4.数据更新类sql条件:有多少列经常出现update或delete 的where子句中;
5.sql量的统计比,如:select:update+delete:insert=多少?
6.预计大表及相关联的sql,每天总的执行量在何数量级?
7.表中的数据:更新为主的业务 还是 查询为主的业务
8.打算采用什么数据库物理服务器,以及数据库服务器架构?
9.并发如何?
10.存储引擎选择innodb还是myisam?
大致明白以上10个问题,至于如何设计此类的大表,应该什么都清楚了!
至于优化若是指创建好的表,不能变动表结构的话,那建议innodb引擎,多利用点内存,减轻磁盘io负载,因为io往往是数据库服务器的瓶颈
另外对优化索引结构去解决性能问题的话,建议优先考虑修改类sql语句,使他们更快些,不得已只靠索引组织结构的方式,当然此话前提是,
索引已经创建的非常好,若是读为主,可以考虑打开query_cache,
以及调整一些参数值:sort_buffer_size,read_buffer_size,read_rnd_buffer_size,join_buffer_size
其他人建议:
1. 索引, 避免扫描,基于主键的查找,上亿数据也是很快的;
2. 反范式化设计,以空间换时间,避免join,有些join操作可以在用代码实现,没必要用数据库来实现;
2.数据项:是否有大字段,那些字段的值是否经常被更新;
3.数据查询sql条件:哪些数据项的列名称经常出现在where、group by、order by子句中等;
4.数据更新类sql条件:有多少列经常出现update或delete 的where子句中;
5.sql量的统计比,如:select:update+delete:insert=多少?
6.预计大表及相关联的sql,每天总的执行量在何数量级?
7.表中的数据:更新为主的业务 还是 查询为主的业务
8.打算采用什么数据库物理服务器,以及数据库服务器架构?
9.并发如何?
10.存储引擎选择innodb还是myisam?
大致明白以上10个问题,至于如何设计此类的大表,应该什么都清楚了!
至于优化若是指创建好的表,不能变动表结构的话,那建议innodb引擎,多利用点内存,减轻磁盘io负载,因为io往往是数据库服务器的瓶颈
另外对优化索引结构去解决性能问题的话,建议优先考虑修改类sql语句,使他们更快些,不得已只靠索引组织结构的方式,当然此话前提是,
索引已经创建的非常好,若是读为主,可以考虑打开query_cache,
以及调整一些参数值:sort_buffer_size,read_buffer_size,read_rnd_buffer_size,join_buffer_size
其他人建议:
1. 索引, 避免扫描,基于主键的查找,上亿数据也是很快的;
2. 反范式化设计,以空间换时间,避免join,有些join操作可以在用代码实现,没必要用数据库来实现;