欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

From awk to pig –美丽说数据统计变迁

程序员文章站 2022-04-18 16:32:04
...

第二十一期 《高性能数据库应用之“美丽说”技术专场 》 主题一:《From awk to pig 美丽说数据统计变迁》 简介: 1、美丽说简介。 2、数据统计问题描述。 3、数据统计的变迁。 a、石器时代 单机单进程(python+shell(sed, awk)) 。 b、青铜时代 单机单进程多

第二十一期 《高性能数据库应用之“美丽说”技术专场 》
主题一:《From awk to pig –美丽说数据统计变迁》
简介:
1、美丽说简介。 2、数据统计问题描述。 3、数据统计的变迁。 a、石器时代 –单机单进程(python+shell(sed, awk)) 。 b、青铜时代 –单机单进程多线程(mysql+python)。 c、农业时代 –单机多进程(hive+sqlite+python)。 d、工业时代 –多机多进程(hive+sqlite+python)。 e、信息时代 –hadoop集群(pig+python+java)。
嘉 宾:陈文江