hadoop 部署配置
配置hadoop：
第一个：hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_65
选择修改日志文件目录（默认目录内日志文件太多易混）：
export HADOOP_LOG_DIR=/var/log/hadoop
第二个：core-site.xml
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
第三个：hdfs-site.xml
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>JD:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-2.4.1/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-2.4.1/dfs/data</value>
</property>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
<value>false</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>JD:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>JD:19888</value>
</property>
第五个：yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主机名</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
格式化namenode（首次启动需要先格式化，不然无法启动namenode）
hdfs namenode -format (hadoop namenode -format)
http://192.168.74.141:50070 （HDFS管理界面）
http://192.168.74.141:8088 （MR管理界面）
常见问题：
1.命令上传无法上传文件，eclipse上传后在hdfs中只有文件名没有内容，检查到dfs.replication误设为0；