Hadoop入门——从头开始Hadoop的安装
Hadoop的安装
在全新安装的Linux系统下开始进行
一、赋予用户系统权限
1. 先切换到root用户下
【注销】=》【未列出】=》【root】(用户名) =》【123456】(密码)
2.打开/etc/sudoer
sudo vim /etc/sudoer
找到第98行，添加一句【“你的用户名” ALL=(ALL) ALL】，注意和root行格式对齐。保存退出。
3. 切换回自己的用户，重启。
reboot
二、设置网络
（由于此部分命令比较复杂，所以选择在桌面模式下进行）
在桌面右上角选择进入有线设置。
选择添加配置
添加IPv4模式下，用选择手动方式
修改里的地址，网络掩码，网管，DNS选项
地址在虚拟机设置中找到【编辑】=》【虚拟网络编辑】
进入NAT设置
里面的子网IP，前三组输入到地址里，最后一组从3——254，任选，（2是网关）
子网掩码照抄，网关照抄。DNS选一个服务器，（google是8.8.8.8）
进入终端界面，执行命令【sudo service network restart】重启网络，完成网络设置
可以执行命令ping 8.8.8.8, 查看网络是否连通（ctrl+c停止ping）
sudo service network restart
ping 8.8.8.8
可以使用ifconfig查看ip配置信息
三、关闭防火墙
1. 通过systemctl查看命令列表
2. 输入systemctl status firewalld.service（查看防火墙状态，Active栏显示active(running)表示防火墙正在开启）
systemctl status firewalld.service
3. 输入systemctl stop firewalld.service(关闭防火墙) 【需要输入密码验证】
再次查看防火墙状态systemctl status firewalld.service（查看状态）
【Active那里变为incative(dead)表示已经关闭】
systemctl stop firewalld.service
systemctl status firewalld.service
但是这只是在本次关闭了防火墙，如果重新启动电脑，防火墙还是会被再次启动。
所以需要关闭防火墙的自动启动。
4. 输入【system list-unit-files】显示开机自启动的服务
systemctl list-unit-files
向下找到firewalld.service看到后面是【enable】，表示防火墙开机自启动。
5. 输入（systemctl disable firewalld.service【关闭开机自启动】）需要验证两次密码
重新查看开机自启动列表
找到防火墙部分，后面显示“disabled”表示成功将开机自启动关闭
四、设置免密登录
配置前需设置本机结点
1. 输入（sudo vim /etc/hostname）进入hostname文件，将文件中的内容全部删除，改为自己想要的主机名
2. 输入（sudo vim /etc/hosts）进入host文件，另起一行，加上（“虚拟机IP”+“本节点名”），保存退出。 
ping本机节点名，查看是否联通。
至此节点名称设置完成
3. 进入根目录下，输入（cd -a）显示隐藏文件夹，验证是否有ssh文件夹
4. 输入（ssh-****** –t rsa）建立ssh文件，存储在默认路径下即可；
ssh文件建立成功，查看ssh文件夹下的内容（id_rsa为私钥，id_rsa.pub为公钥）
5. 将id_rsa.pub复制重命名为(authorized_keys) 【由于linux系统不识别id_rsa.pub文件，可识别authorized_keys文件】
登录“huang”节点，无须再输入密码，表示免密登录成功。
五、JDK的安装
1. 首先将jdk文件下载到用户目录下
2. 在根目录下创建一个名叫JDKinstall的文件夹（名字随意）
3. 将jdk文件拷贝到该文件夹下
4. 将jdk文件解压
解压后的文件
现在可以选择卸载之前已经装好的JDK【可选操作】
先查询现有的java版本
再查询现在安装的jdk包
按顺序一个一个卸载安装好的jdk包，知道全部卸载，并且查看java版本显示无安装的java版本
5. 开始配置之前解压的jdk。
回到根目录下，进入bashrc文件（隐藏文件夹）。【ls –a查看隐藏文件】
在文件中添加两行代码，保存后退出。
执行“source .bashrc”使文件立即生效
再次查看java版本，已变为我们需要的版本
六、安装Hadoop
1. 下载Hadoop文件
2. 如同jdk安装一样，建立hadoop文件夹，将解压包放入该文件夹
3. 在该目录下解压文件，并且改名为hadoop
tar -xvf hadoop-2.6.5.tar
mv hadoop-2.6.5 hadoop
4. 再次打开根目录下的bashrc文件进行修改
vim .barshrc
5. 再次使bashrc文件立即生效
source .bashrc
查看安装hadoop版本信息，检查是否成功安装。
七、配置hadoop信息
进入Hadoop/Hadoop/etc/hadoop文件夹下，修改六个配置文件
1. 修改core-site.xml文件，添加标签
2. 修改hadoop-env.sh文件
3. 进入yarn-env.sh文件，修改信息
4. 进入hdfs-site.xml修改信息(可选信息，如果不设置有系统自动默认值)
5. 将mapred-site.xml.template 文件改名为 mapred-site.xml(删除.template后缀)
mv mapred-site.xml.template mapred-site.xml
进入mapred-site.xml文件修改参数，指明yarn是我mapreducee资源管理框架
6. 进入yarn-site.xml文件修改参数【通过网络查询yarn端口默认是8032】
八、启动hadoop，首先先对hadoop进行格式化
1. 对hadoop进行格式化
hadoop namenode -format
如果最后出现【has been successfully formatted】则hadoop成功被格式化