欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

【hadoop】hadoop3.2.0应用环境搭建与使用指南

程序员文章站 2022-05-13 12:16:14
下面列出我搭建hadoop应用环境的文章整理在一起,不定期更新,供大家参考,互相学习!!! 第一篇 HADOOP部分 1.1 hadoop3.2.0的安装并测试 1.2 编译Hadoop连接eclipse的插件遇见的一系列错误,崩溃的操作 1.3 在eclipse上运行WordCount的操作过程 ......

下面列出我搭建hadoop应用环境的文章整理在一起,不定期更新,供大家参考,互相学习!!!

第一篇 hadoop部分

1.1 hadoop3.2.0的安装并测试

1.2 编译hadoop连接eclipse的插件遇见的一系列错误,崩溃的操作 

1.3 eclipse上运行wordcount的操作过程

第二篇 hive与hbase部分

2.1 centos7下mysql的安装以及基本操作

2.2 centos7下apache-hive-3.1.2-bin的安装测试

2.3 apache-zookeeper-3.5.5的安装测试

2.4 hbase-2.2.1配置独立的zookeeper的安装与测试

第三篇 sqoop与zookeeper部分

3.1 安装配置测试sqoop1

3.2 安装部署kafka集群(kafka版本:kafka_2.12-2.3.0)

第四篇 spark与scala部分

4.1 scala安装测试

4.2 spark-2.4.4的安装与测试

4.3 scala&sbt+idea安装配置与测试

4.4 scala&sbt+idea+spark使用过程中问题汇总(不定期更新)

脚本:

0.1 linux中编写脚本批量启动zookeeper

0.2 一键启动kafka脚本

命令 :


hadoop:
启动:sbin/start-all.sh 或 start-dfs.sh + start-yarn.sh
停止:stop-all.sh
启功历史服务器:sbin/mr-jobhistory-daemon.sh start jobhistoryserver
mysql:
启动:service mysqld start
停止:service mysqld stop
状态:service mysqld status
spark:
启动:sbin/start-all.sh
停止:stop-all.sh
idea:
启动:bin/idea.s

 文件分享:

链接:https://pan.baidu.com/s/1e6zz4p-rcbzze5dxma4efw
提取码:amdl