hadoop-1.0.3集群安装
1、下载vmware和centos，在vmware里安装2份centos（可安装好一个复制一个）
2、一个作为hadoop的master一个作为hadoop的slave
3、在两台机器上分别配置hosts文件 vim /etc/hosts 添加：
192.168.237.128 master
192.168.237.129 slave1
4、安装jdk ，vim /etc/profile export JAVA_HOME 和 PATH，
要让配置起效要执行
source /etc/profile
5、分别给两台机器新增用户hadoop用户组hadoop
6、ssh免登陆，两台机器分别配置如下命令
ssh-keygen -t rsa
cp id_rsa.pub authorized_keys (master端可不执行)
在master上执行：
ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@slave1 （将mater的公钥追加到slave1的authorized_keys中）
如果有更多机器同理(ssh slave1若出现“Agent admitted failure to sign using the key” 错误执行ssh-add /home/hadoop/.ssh/id_rsa
)
7、安装hadoop-1.0.3
下载hadoop-1.0.3.tar.gz ，分别在两台机器解压当前用户的目录下/home/hadoop
tar xzf hadoop-1.0.3.tar.gz
使用管理员对解压后的文件夹授权给hadoop用户及组
sudo chown -R hadoop:hadoop hadoop-1.0.3
在/etc/profile添加hadoop环境变量
export HADOOP_INSTALL=/usr/local/hadoop/hadoop-1.0.3
export PATH=$HADOOP_INSTALL/bin:$PATH
8、配置hadoop
修改hadoop-env.sh，去掉注释
export JAVA_HOME=/usr/lib/jvm/default-java
修改
core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
修改
hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/namedir</value>
<!--在master的这几个目录要自己建-->
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/datadir</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/home/hadoop/ckdir</value>
</property> <property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
修改
mapred-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>mapred.job.tracker</name> <value>namenode:9001</value> <final>true</final> </property> <property> <name>mapred.local.dir</name> <value>/home/hadooptest/mapred/local</value> <final>true</final> </property> <property> <name>mapred.system.dir</name> <value>/home/hadooptest/mapred/system</value> <final>true</final> </property> <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>2</value> <final>true</final> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>2</value> <final>true</final> </property> <property> <name>mapred.child.java.opts</name> <value>-Xmx400m</value> </property> </configuration>
修改masters
master
修改slaves
slave1
两台机器保持以上配置一致
9、格式化namenode
bin/hadoop namenode -format
10、启动hadoop
bin/start-all.sh
11、验证安装
jps
master上显示：
2900 NameNode 3075 SecondaryNameNode 3246 Jps 3154 JobTracker
slave1上显示:
2622 TaskTracker
2516 DataNode
2695 Jps
12、日志在hadoop安装包底下的logs里有任何错误请查看里面的报错日志