Hadoop基础教程

绪论

大数据处理

数据的价值

受众较少

一种不同的方法

hadoop

基于amazon web service的云计算

云太多

第三种方法

不同类型的成本

aws：amazon的弹性架构

本书内容

安装并运行hadoop

基于本地ubuntu主机的hadoop系统

实践环节：检查是否已安装jdk

实践环节：下载hadoop

实践环节：安装ssh

实践环节：使用hadoop计算圆周率

实践环节：配置伪分布式模式

实践环节：修改hdfs的根目录

实践环节：格式化namenode

实践环节：启动hadoop

实践环节：使用hdfs

实践环节：mapreduce的经典入门程序-字数统计

使用弹性mapreduce

实践环节：使用管理公职太在emr运行wordcount

使用emr的其它方式

aws生态系统

本地hadoop与emr hadoop的对比

小结

理解mapreduce

键值对

具体含义

为什么采用键/值数据

mapreduce作为一系列键/值变换

mapreduce的hadoop java api

编写mapreduce程序

实践环节：设置classpath

实践环节：实现wordcount

实践环节：构建jar文件

实践环节：在本地hadoop集群运行wordcount

实践环节：在emr上运行wordcount

0.20之前的版本的java mapreduce api

hadoop提供的mapper和reducer实现

 

 

开发mapreduce程序

高级mapreduce技术

故障处理

系统运行与维护

hive：数据的关系试图

与关系数据库协同工作

使用flume收集数据

展望未来