Mac OS X Yosemite上安装Hadoop教程

1. 安装homebrew和cask

打开mac终端, 安装os x 不可或缺的套件管理器和

复制代码

代码如下:

$ ruby -e "$(curl -fssl https://raw.githubusercontent.com/homebrew/install/master/install)" $ brew install caskroom/cask/brew-cask

2. 安装java

hadoop是由java编写, 所以需要预先安装java 6或者更高的版本

复制代码

代码如下:

$ brew update && brew upgrade brew-cask && brew cleanup && brew cask cleanup $ brew cask install java

测试是否安装成功

复制代码

代码如下:

$ java -version

3. 配置ssh

为了确保在远程管理hadoop以及hadoop节点用户共享时的安全性, hadoop需要配置使用ssh协议

首先在系统偏好设置->共享->打开远程登录服务->右侧选择允许所有用户访问

生成密钥对,执行如下命令

复制代码

代码如下:

$ ssh-keygen -t rsa

执行这个命令后, 会在当前用户目录中的.ssh文件夹中生成id_rsa文件, 执行如下命令:

复制代码

代码如下:

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

使用下面命令测试是否能够不使用密码登录

复制代码

代码如下:

$ ssh localhost # last login: thu mar 5 17:30:07 2015

4. 安装hadoop

复制代码

代码如下:

$ brew install hadoop

hadoop会被安装在/usr/local/cellar/hadoop目录下

4.1. 配置hadoop

配置hadoop-env.sh

在目录/usr/local/cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hadoop-env.sh文件

找到其中一行:

复制代码

代码如下:

export hadoop_opts="$hadoop_opts -djava.net.preferipv4stack=true"

修改为:

复制代码

代码如下:

export hadoop_opts="$hadoop_opts -djava.net.preferipv4stack=true -djava.security.krb5.realm= -djava.security.krb5.kdc="

在目录/usr/local/cellar/hadoop/2.6.0/libexec/etc/hadoop下找到core-site.xml

复制代码

代码如下:

<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/cellar/hadoop/hdfs/tmp</value> <description>a base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>

在目录/usr/local/cellar/hadoop/2.6.0/libexec/etc/hadoop下找到mapred-site.xml, 在其中添加:

复制代码

代码如下:

<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9010</value> </property> </configuration>

在目录/usr/local/cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hdfs-site.xml

复制代码

代码如下:

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

在运行后台程序前, 必须格式化新安装的hdfs, 并通过创建存储目录和初始化元数据创新空的文件系统, 执行下面命令:

复制代码

代码如下:

$ hadoop namenode -format #生成类似下面的字符串: deprecated: use of this script to execute hdfs command is deprecated. instead use the hdfs command for it. 15/03/05 20:04:27 info namenode.namenode: startup_msg: /************************************************************ startup_msg: starting namenode startup_msg: host = andrew-liudemacbook-pro.local/192.168.1.100 startup_msg: args = [-format] startup_msg: version = 2.6.0 ... #此书省略大部分 startup_msg: java = 1.6.0_65 ************************************************************ /************************************************************ shutdown_msg: shutting down namenode at andrew-liudemacbook-pro.local/192.168.1.100 ************************************************************/

4.2. 启动后台程序

在/usr/local/cellar/hadoop/2.6.0/sbin目录下, 执行如下命令

复制代码

代码如下:

$ ./start-dfs.sh #启动hdfs $ ./stop-dfs.sh #停止hdfs

成功启动服务后, 可以直接在浏览器中输入访问hadoop页面