hadoop环境搭建-伪分布模式

appache hadoop

版本：2.77   jdk:1.8  系统：centos7

注意不要在root下解压，要单独建一个用户安装hadoop及其组件。

一、先查看系统是否有自带j

　　#dk: rpm -qa|grep java

　　通常是如下4个包：

　　rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64

　　rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64

　　rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

　　rpm -e --nodeps java-1.7.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

 步骤三：验证一下是还有jdk

　　#rpm -qa|grep java

　　#rpm -qa | grep jdk

　　#rpm -qa | grep gc

　　#java -version

　　没有内容证明已经卸载干净了

二、安装jkd&hadoop：创建hadoop安装目录：mkdir /soft

　　在soft下：

　　tar –zxvf jdk-7u80-linux-x64.tar.gz

　　tar -xzvf hadoop-2.7.3.tar.gz

　　建立符号链接：

　　ln –s jkd文件名 jdk  

　　ln –s hadoop-2.7.3 hadoop

　　配置hadoop&jdk环境变量：

　　su root

　　vi /etc/profile

　　

　　使环境变量即刻生效

　　source /etc/profile

　　回到hadoop用户，进入任意目录下,测试是否ok

　　java –version

　　 

　　hadoop version

　　 

配置hadoop：

伪分布模式：

 

编辑：core-site.xml

<?xml version="1.0"?>

<!-- core-site.xml -->

<configuration>

      <property>

            <name>fs.defaultfs</name>

            <value>hdfs://localhost/</value>

      </property>

</configuration>

编辑：httpfs-site.xml

<?xml version="1.0"?>

<!-- hdfs-site.xml -->

<configuration>

      <property>

            <name>dfs.replication</name>

            <value>1</value>

      </property>

</configuration>

编辑：mapred-site.xml (框架)–是由mapred-site.xml.template拷贝过来的模板

cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>

<!-- mapred-site.xml -->

<configuration>

      <property>

            <name>mapreduce.framework.name</name>

            <value>yarn</value>

      </property>

</configuration>

 

编辑：yarn-site.xml（底层）

<?xml version="1.0"?>

<!-- yarn-site.xml -->

<configuration>

      <property>

            <name>yarn.resourcemanager.hostname</name>

            <value>localhost</value>

      </property>

      <property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

      </property>

</configuration>

 

配置ssh:

1. 查看系统是否有安装的ssh包

yum list installed | grep ssh

 

如果没有要自行安装ssh

1. 检查是否启动了sshd进程：ps –af | grep sshd

 

1. 在client侧生产公私密匙对：ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa
2. 追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

1. 修改authorized_keys的权限为644：chmod 644 authoried_keys
2. 测试： ssh localhost