数据转发中心高并发访问次数统计（mysql实现）

公司内部系统和外部系统要通过数据转发中心做统一做数据梳理，然后供各个系统之间互相调用。系统之间的调用日志落地到mysql之中。随着系统接入量日渐增加，mysql数据量达到千万级别之后查询速度变得非常缓慢。

现在要达到一个需求，做日访问量统计和月访问量统计查询速度要在毫秒级。以前的全表查询就不适用了。

为了达到毫秒级的统计速度，需要新建了一张调用次数统计表。字段如下：
day，主键，保存当前的日期，使用data属性值，以天为单位进行分组。
slot，主键，保存当前的位置，用于并发插入时随机产生位置信息。
cnt，访问次数。
插入时执行语句如下：

INSERT INTO day_hit(day,slot,cnt) VALUES(CURRENT_DATE(),RAND() * 100 ,1) ON DUPLICATE key UPDATE cnt = cnt + 1

向mysql写入数据时，先随机生成位置（slot）主键的值（0-100），如果存在该主键就将访问次数（cnt）+1,不存在就插入一条数据，cnt设为1。这样是避免因为频繁修改一条字段造成的串行执行降低执行速度。

查询当日数据语句如下：

select SUM(cnt) from day_hit GROUP BY day HAVING day = CURRENT_DATE()

第二天把前一天保存的数据进行汇总，只保留一行数据。

UPDATE day_hit AS a
INNER JOIN (
    SELECT
        DAY,
        SUM(cnt) AS cnt,
        MIN(slot) AS mslot
    FROM
        day_hit
    GROUP BY
        DAY
    HAVING
        DAY = CURDATE()-1
) AS b USING (DAY)
SET a.cnt =
IF (a.slot = b.mslot, b.cnt, 0),
 a.slot =
IF (a.slot = b.mslot, 0, a.slot);
DELETE FROM day_hit where slot <> 0 and cnt = 0;

为了方便，将上述代码设置成定时任务，每天三点进行数据汇总清洗。先将代码改为存储过程，方便调用。

CREATE PROCEDURE p_day_hit_collect ()
BEGIN
    UPDATE day_hit AS a
INNER JOIN (
    SELECT
        DAY,
        SUM(cnt) AS cnt,
        MIN(slot) AS mslot
    FROM
        day_hit
    GROUP BY
        DAY
    HAVING
        DAY = CURDATE()
) AS b USING (DAY)
SET a.cnt =
IF (a.slot = b.mslot, b.cnt, 0),
 a.slot =
IF (a.slot = b.mslot, 0, a.slot);

DELETE
FROM
    day_hit
WHERE
    slot <> 0
AND cnt = 0;
END;

再创建定时任务，每天凌晨三点汇总前一天的数据。
开启定时任务：SET GLOBAL event_scheduler = 1;
查询定时任务：SHOW VARIABLES LIKE 'event_scheduler'
创建定时任务：

CREATE EVENT e_day_hit_collect 
ON SCHEDULE EVERY 1 DAY STARTS DATE_ADD(
  DATE(CURRENT_DATE() + 1),
  INTERVAL 3 HOUR
) DO CALL p_day_hit_collect()

以上部分参照于《高性能mysql》