HyperLogLog--统计用户访问量

使用场景

需要统计网页每天的用户访问量的数据，同一个用户一天之内的多次访问请求只能计数一次，要求每一个网页请求都需要带上用户的 ID，无论是登陆用户还是未登陆用户都需要一个唯一 ID 来标识。

基本思路1

为每一个页面一个独立的 set 集合来存储所有当天访问过此页面的用户 ID。当一个请求过来时，我们使用 sadd 将用户 ID 塞进去就可以了。通过 scard 可以取出这个集合的大小，这个数字就是这个页面的用户访问量数据。但是，页面访问量非常大，每天有几千万的用户访问量，需要一个很大的 set 集合来做统计，这就非常浪费空间。如果不止一个页面需要统计，那所需要的存储空间是非常巨大的。仅仅为这样一个统计功能去耗费大量的空间，是不划算的。同时，我们也考虑到实际的业务需求对用户访问量这个数字并不需要特别的精确，只需要算出一个大概即可。

使用HyperLogLog解决海量数据统计问题

HyperLogLog 提供不精确的去重计数方案，标准误差大概在 0.81%，这样的精确度已经可以满足上面的用户访问量的统计需求了。

基本指令（用法和set集合的sadd类似）

pfadd key value1 //新增一个元素（key value）
pfadd key value2 //新增一个元素（key value）
pfadd key value3 //新增一个元素（key value）
pfadd key value3 //新增一个元素（key value）
pfadd key value4 value5 value6 value7 //新增多个元素（key value4 value5 value6 value7）
pfcount key //统计该key去重后的元素个数（返回7）

pfmerge合并两个HyperLogLog

pfmerge key1 key2 //将两个key合并，用于统计两个网站访问量的总大小

HyperLogLog实现原理

给定一系列的随机整数，我们记录下低位连续零位的最大长度 k，通过这个 k 值可以估算出随机数的数量。因为通过计算可找到低位连续零位的最大长度k和数字大小n的关系：n≈2^k，根据这个规律，通过复杂的算法可将其精度进一步变得准确。