hadoop灾备
程序员文章站
2022-06-15 17:52:52
...
master 故障测试(冷备方案NameNode故障手动切换):
1. 不切换 NameNode 主机。
1).复制 SecondaryNameNode 的 fs.checkpoint.dir 目录的数据到 NameNode 的对应目录。
2).清空 NameNode 的 dfs.name.dir 目录的数据,保留空目录。
3).在 NameNode 主机执行 hadoop namenode -importCheckpoint 。
4).执行 hadoop fsck / 检查文件系统,"The filesystem under path '/' is HEALTHY" 为正常结果。
5).结束 步骤 3). 中的命令,Ctrl + C,结束 checkpoint
6).清空 NameNode 的 fs.checkpoint.dir 目录的数据
7). start-dfs.sh 正常启动 datenode
2. 切换 NameNode 主机
0). 修改 DNS 服务器,把 master.hadoop 指向新的 NameNode
1).复制 SecondaryNameNode 的 fs.checkpoint.dir 目录的数据到 NameNode 的对应目录。
2).清空 NameNode 的 dfs.name.dir 目录的数据,保留空目录。
3).在 NameNode 主机执行 hadoop namenode -importCheckpoint 。
3.1). 结束 步骤 3). 中的命令,Ctrl + C,结束 checkpoint
3.2). stop-all.sh 停掉 hadoop 集群
4). 清空 NameNode 的 fs.checkpoint.dir 目录的数据
5). start-all.sh 启动 hadoop 集群
6). 执行 hadoop fsck / 检查文件系统,检查数据的完整性,"The filesystem under path '/' is HEALTHY" 为正常结果。
1. 不切换 NameNode 主机。
1).复制 SecondaryNameNode 的 fs.checkpoint.dir 目录的数据到 NameNode 的对应目录。
2).清空 NameNode 的 dfs.name.dir 目录的数据,保留空目录。
3).在 NameNode 主机执行 hadoop namenode -importCheckpoint 。
4).执行 hadoop fsck / 检查文件系统,"The filesystem under path '/' is HEALTHY" 为正常结果。
5).结束 步骤 3). 中的命令,Ctrl + C,结束 checkpoint
6).清空 NameNode 的 fs.checkpoint.dir 目录的数据
7). start-dfs.sh 正常启动 datenode
2. 切换 NameNode 主机
0). 修改 DNS 服务器,把 master.hadoop 指向新的 NameNode
1).复制 SecondaryNameNode 的 fs.checkpoint.dir 目录的数据到 NameNode 的对应目录。
2).清空 NameNode 的 dfs.name.dir 目录的数据,保留空目录。
3).在 NameNode 主机执行 hadoop namenode -importCheckpoint 。
3.1). 结束 步骤 3). 中的命令,Ctrl + C,结束 checkpoint
3.2). stop-all.sh 停掉 hadoop 集群
4). 清空 NameNode 的 fs.checkpoint.dir 目录的数据
5). start-all.sh 启动 hadoop 集群
6). 执行 hadoop fsck / 检查文件系统,检查数据的完整性,"The filesystem under path '/' is HEALTHY" 为正常结果。