大数据常用技术栈一览
程序员文章站
2022-05-11 10:37:31
大数据常用技术栈一览 —— GitHub 地址:https://github.com/heibaiying/BigData Notes ,主要技术栈如下: :black_nib: 前 言 1. "大数据常用技术栈思维导图" 2. "大数据常用软件安装指南" 一、Hadoop 1. "分布式文件存储系 ......
大数据常用技术栈一览 —— github 地址:https://github.com/heibaiying/bigdata-notes,主要技术栈如下:
✒️ 前 言
一、hadoop
- 分布式文件存储系统——hdfs
- 分布式计算框架——mapreduce
- 集群资源管理器——yarn
- hadoop单机伪集群环境搭建
- hadoop集群环境搭建
- hdfs常用shell命令
- hdfs java api的使用
- 基于zookeeper搭建hadoop高可用集群
二、hive
- hive简介及核心概念
- linux环境下hive的安装部署
- hive cli和beeline命令行的基本使用
- hive 常用ddl操作
- hive 分区表和分桶表
- hive 视图和索引
- hive常用dml操作
- hive 数据查询详解
三、spark
spark core :
spark sql :
spark streaming :
四、storm
- storm和流处理简介
- storm核心概念详解
- storm单机环境搭建
- storm集群环境搭建
- storm编程模型详解
- storm项目三种打包方式对比分析
- storm集成redis详解
- storm集成hdfs/hbase
- storm集成kafka
五、flink
todo
六、hbase
- hbase 简介
- hbase系统架构及数据结构
- hbase基本环境搭建(standalone /pseudo-distributed mode)
- hbase集群环境搭建
- hbase常用shell命令
- hbase java api
- hbase 过滤器详解
- hbase 协处理器详解
- hbase 容灾与备份
- hbase的sql中间层——phoenix
- spring/spring boot 整合 mybatis + phoenix
七、kafka
八、zookeeper
- zookeeper 简介及核心概念
- zookeeper单机环境和集群环境搭建
- zookeeper常用shell命令
- zookeeper java 客户端——apache curator
- zookeeper acl权限控制
九、flume
十、sqoop
十一、azkaban
十二、scala
- scala简介及开发环境配置
- 基本数据类型和运算符
- 流程控制语句
- 数组——array
- 集合类型综述
- 常用集合类型之——list & set
- 常用集合类型之——map & tuple
- 类和对象
- 继承和特质
- 函数 & 闭包 & 柯里化
- 模式匹配
- 类型参数
- 隐式转换和隐式参数