Hadoop Pig Uv
UV计算的方式,有好几种处理方式,粗略计算的方式有 ip, 或者服务器下发一个 id,如百度用的好像是 BDUSS或者BAIDUID之类的 但是要计算手机的用户的UV好像比PC上面复杂一点,这得感谢很多山寨厂商,并且各种平台,还有用户权限很多因素。 如 Android有的版本
UV计算的方式,有好几种处理方式,粗略计算的方式有 ip, 或者服务器下发一个 id,如百度用的好像是 BDUSS或者BAIDUID之类的
但是要计算手机的用户的UV好像比PC上面复杂一点,这得感谢很多山寨厂商,并且各种平台,还有用户权限很多因素。
如 Android有的版本如果要获取用户的 mac或者imei之类的,必须用户授权,ios平台的mac和openudid之类的,也会有这种情况
计算UV的标准,分平台,Android是用mac+imei,而ios是用 mac+openudid。
以android平台分例,会存在如下四种情况
MAC | IMEI |
A | 1 |
1 | |
A | |
B | 2 |
C | |
3 | |
D | 4 |
从上面的例子可以看出存在如下几种情况
1. 有mac 并且有imei
2. 有mac, 无imei
3. 无mac, 有imei
4. 无mac,无imei
计算uv的方法很简单,基本思路如下
1. 先找出有mac并且有imei的做为集合A
2. 找出MAC非空的集合标记为B
3. 找出MAC为空的集合标记为C
4. 用B LEFT JOIN A BY MAC得到集合D
5. FILTER D by imei IS NULL得到集合E
6. 用C LEFT JOIN A BY imei 得到集合F
7. FILTER F by mac IS NULL 得到集合G
8. UNIQUESET = UNION G, E, A
按照上面的计算步骤,用pig实现如下
A = FILTER UVSET BY (mac is not null) AND (imei is not null);
B = FILTER UVSET BY (mac is not null);
C = FILTER UVSET BY (mac is null);
D = JOIN B BY mac LEFT OUTER, A BY mac;
E = FILTER D by (A::mac is null);
E1 = FOREACH E GENERATE B::mac as mac, B::imei as imei;
F = JOIN C BY imei LEFT OUTER, A BY imei;
G = FILTER F BY (A::imei is null);
G1 = FOREACH G GENERATE G::mac as mac, G::imei as imei;
UNIQUESET = UNION G1, E1, A;
TMPSET = GROUP UNIQUESET ALL;
OUTRES = FOREACH TMPSET GENERATE COUNT(UNIQUESET);
DUMP OUTRES;
原文地址:Hadoop Pig Uv, 感谢原作者分享。