1次查询优化的过程
基于拥有CRM系统进行扩展的过程,有一个工单的操作,数据库中tc_worksheettc_worksheet_1_1 tc_worksheet_attr tc_worksheet_mattr tc_worksheet_xattr。工单数据同时存储在以上几张表中。 最开始的实现方案:直接使用SQL进行表关联,大概关联了十几张表,那
基于拥有CRM系统进行扩展的过程,有一个工单的操作,数据库中tc_worksheettc_worksheet_1_1 tc_worksheet_attr tc_worksheet_mattr tc_worksheet_xattr。工单数据同时存储在以上几张表中。
最开始的实现方案:直接使用SQL进行表关联,大概关联了十几张表,那个时候查询出我们需要的工单大概需要20分钟左右。
优化方案:使用存储过程+触发器的方式汇总一张冗余临时表的数据,在原始的工单表中建立触发器,当用户在crm系统中工单时,调用存储过程,汇总这些数据到冗余临时表。
这种缺点,存储过程中汇总的sql速度比较慢,导致用户在CRM系统中建立工单的速度受到了影响。
优化方案:由于影响了crm系统中工单的操作的速度,我们想通过异步的方式实现数据的冗余同步,找到了SQLServer中Job的实现方案。这种方案实现后,发现在insert时数据没有办法同步到冗余中间表,查找了原因,意外发现了一个问题,用户在CRM系统中创建完一个工单,触发器前后共执行了13次,猜测crm系统中可能是操作是首先在tc_worksheet插入主键,然后需要修改某一些这条数据中某一些字段的值,才导致触发器被多次执行。
优化方案:在工单原始表和工单冗余中间表中建立另外一个中间表B,当用户工单表执行触发器后把操作的工单的id插入到中间表B中(首先判断中间表B中是否存在对应的工单字段,发现中间表B中存在该工单id,则不进行操作,否则插入工单id),在Web程序中启动一个线程,间隔一段查询中间表B中是否存在新数据,存在的话,就执行存储过程汇总工单数据到冗余中间表,不存在则休眠,等待下一次查询。
暂时没有找到更好的方案了,欢迎大家批评指正。
下一篇: mysql导入数据方法(txt,csv)