这个人的博客不错 博客分类： hadoop

http://blog.csdn.net/xiaojiafei

 

 

 

模拟namenode崩溃，使用secondarynamenode恢复

因为资源有限，不再设置新的节点来代替原来的namenode，所以在原来 namenode节点上，将dfs.name.dir指定的目录中（这里是name目录）的内容 清空，以此来模拟故障发生。 方法一：将集群关闭后，再重新启动我们会看到namenode守护进程消失 并且查看HDFS中的文件失败 关闭集群，格式化namenode 从任意datanod...

2013-08-30 20:21 阅读(8) 评论(0)

 

 

修改HDFS文件块大小

1 通过hadoop自带的WEB监控管理界面我们可以看到文件块的大小现在为64MB。 2 关闭集群 3 设置每个namenode节点和datanode节点的hdfs-site.xml文件，将文件中 的dfs.block.size属性值改为33554432（32M），重启集群 4 再次添加一个文件 会看到文件块的大小变化了...

2013-08-29 22:20 阅读(16) 评论(0)

 

 

怎样控制namenode检查点的发生频率

在secondarynamenode定期访问namenode来进行镜像文件和编辑日志的备份，那么这个频率怎样修改呢？ 本实验是基于《》...

2013-08-21 22:25 阅读(18) 评论(0)

 

 

基于hadoop0.202版本的namenode与secondarynamenode分离实验

我们在配置集群时，经常将namenode与secondarynamenode存放在一个节点上，其实这是非常危险的，如果此节点崩溃的话，则整个集群不可恢复。下面介绍一下将namenode与secondarynamenode分离的方法。当然还存在好多不足和待改进的地方，欢迎各位大神指点和吐槽。 非常说明：我原本以为masters配置文件中的内容（主机名）是指的namenode的主机名称，但它实际上指...

2013-08-21 22:01 阅读(29) 评论(1)

 

 

hadoop部署成功后，重新格式化，怎样加入节点？

当hadoop集群部署成功以后，很多时候因为要进行其他配置，不得不再次进行格式化，但是集群格式化成功以后，重新启动，datanode节点不会启动。如下图所示 再次启动集群后，datanode节点不再运行datanode进程  究其原因是由于namenode格式化后，其name/current目录下的VERSION文件显示的namespaceID改变了，与datanode的data/cu...

2013-08-21 16:52 阅读(29) 评论(0)

 

 

给hadoop集群添加一个新节点

添加一个新的节点 (由于集群数量比较少，所以以下都是手动完成，如果集群特大，在某些步骤，如设置集群中每个节点的hosts文件，这会是一个庞大的工作，此时可编写脚本减少工作量) 1 在一台新的主机上装好Linux系统（与集群中的Linux版本相同），并且安装好Java虚拟机。 2 修改主机名和IP地址（看集群部署一章），使其与集群处在同一个网段中,保证ping通集群中的任何节点。比如主机...

2013-08-21 09:23 阅读(84) 评论(0)

 

 

关于linux中etc/hosts文件的修改问题

由于本人的Linux水平实属菜鸟级别，所以在搭建hadoop平台时，不免遇到许多问题。使用redhat 9.0版本，在修改etc/hosts文件后，重启系统时，在starting sendmail这个地方能停留大约3分钟左右，然后在starting sm-client这个地方又会停留大概2分中左右（不知道其他Linux版本是否也出现此问题）。 查找其原因，是由于red hat 在启动时，要进行域...

2013-08-19 10:35 阅读(20) 评论(0)

 

 

hadoop分布式集群部署 hadoop0.202+WMware+redhat9.0

作为刚刚踏入IT行业的菜鸟，什么都是新鲜和无知的，自己需要学习的东西太多太多 。但是我坚信只要朝着自己的目标努力奋斗，不断积累，终有一天会拨云见日，一片美好。              hadoop的学习高潮如火如荼，这些天的辛苦总算没有白费，自己通过搜集各种文档，终于搭建了hadoop0.202版本的小的分布式集群。追后总结出几点学习心得：1、学习新东西，适当的囫囵吞枣，先建立一个整体...