From awk to pig –美丽说数据统计变迁
程序员文章站
2022-05-06 17:45:52
...
第二十一期 《高性能数据库应用之“美丽说”技术专场 》 主题一:《From awk to pig 美丽说数据统计变迁》 简介: 1、美丽说简介。 2、数据统计问题描述。 3、数据统计的变迁。 a、石器时代 单机单进程(python+shell(sed, awk)) 。 b、青铜时代 单机单进程多
第二十一期 《高性能数据库应用之“美丽说”技术专场 》
主题一:《From awk to pig –美丽说数据统计变迁》
简介:
1、美丽说简介。 2、数据统计问题描述。 3、数据统计的变迁。 a、石器时代 –单机单进程(python+shell(sed, awk)) 。 b、青铜时代 –单机单进程多线程(mysql+python)。 c、农业时代 –单机多进程(hive+sqlite+python)。 d、工业时代 –多机多进程(hive+sqlite+python)。 e、信息时代 –hadoop集群(pig+python+java)。
嘉 宾:陈文江
原文地址:From awk to pig –美丽说数据统计变迁, 感谢原作者分享。