欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

hadoop client机搭建 博客分类: hadoop hadoop client机搭建 

程序员文章站 2024-03-12 18:44:02
...

hadoop client机作为集群的堡垒机使用,使得集群环境和开发环境分离开来

 

选择集群外的一台机器,搭建client机,流程如下:

(1)配置单向(master可以ssh到client,client不可以ssh到master)ssh免登陆, 把master的id_rsa.pub内容添加到client机器的authorized_keys中

hadoop client机搭建
            
    
    博客分类: hadoop hadoop client机搭建 
 

(2)修改client机器的 /etc/hosts 文件,添加master节点的ip和hostname

hadoop client机搭建
            
    
    博客分类: hadoop hadoop client机搭建 

 

(3)把master节点的hadoop包scp到client机

(4)修改client机器的 /etc/profile 文件,添加HADOOP_HOME

hadoop client机搭建
            
    
    博客分类: hadoop hadoop client机搭建 
  

(5)修改core-site.xml文件,其中 master_host:port 是NN的地址

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master_host:port</value>
</property>

 例如:

hadoop client机搭建
            
    
    博客分类: hadoop hadoop client机搭建 
 

(6)测试是否成功
hadoop client机搭建
            
    
    博客分类: hadoop hadoop client机搭建 
 

 

 

 

 

  • hadoop client机搭建
            
    
    博客分类: hadoop hadoop client机搭建 
  • 大小: 17 KB
  • hadoop client机搭建
            
    
    博客分类: hadoop hadoop client机搭建 
  • 大小: 4.6 KB
  • hadoop client机搭建
            
    
    博客分类: hadoop hadoop client机搭建 
  • 大小: 3.4 KB
  • hadoop client机搭建
            
    
    博客分类: hadoop hadoop client机搭建 
  • 大小: 4 KB
  • hadoop client机搭建
            
    
    博客分类: hadoop hadoop client机搭建 
  • 大小: 20.6 KB