hadoop学习——第二天 博客分类: hadoop hadoop第二天伪分布式
程序员文章站
2024-03-13 14:47:09
...
继续昨天问题:今天已经解决,调通了(hadoop 1.0.0)
- 问题
2012-03-13 20:12:57,764 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
原因是没有fomat namenode 执行如下命令
- bin/hadoop namenode -format
在这之前需要检查:是否有hadoop进程没有关闭
- ps -aux|grep "hadoop"
检查是否有hadoop运行
- bin/start-all.sh
运行结果
输入
-
查看NameNode结果
http://IP地址:50070/ 或者http://localhost:50070/
NameNode 'localhost:9000'
Started: | Wed Mar 14 18:48:41 CST 2012 |
Version: | 1.0.1-SNAPSHOT, r |
Compiled: | Wed Dec 28 11:13:26 CST 2011 by somo |
Upgrades: | There are no upgrades in progress. |
Browse the filesystem
Namenode Logs
Cluster Summary
Safe mode is ON. The ratio of reported blocks 0.0000 has not reached the threshold 0.9990. Safe mode will be turned off automatically.
6 files and directories, 1 blocks = 7 total. Heap Size is 240.69 MB / 888.94 MB (27%)
Configured Capacity | : | 0 KB |
DFS Used | : | 0 KB |
Non DFS Used | : | 0 KB |
DFS Remaining | : | 0 KB |
DFS Used% | : | 100 % |
DFS Remaining% | : | 0 % |
Live Nodes | : | 0 |
Dead Nodes | : | 0 |
Decommissioning Nodes | : | 0 |
Number of Under-Replicated Blocks | : | 0 |
There are no datanodes in the cluster
NameNode Storage:
Storage Directory | Type | State |
/tmp/hadoop-somo/dfs/name | IMAGE_AND_EDITS | Active |
This is Apache Hadoop release 1.0.1-SNAPSHOT
查看JobTracker
上面页面显示,成功,不过集群没有Data Node
推荐阅读
-
hadoop学习——第二天 博客分类: hadoop hadoop第二天伪分布式
-
ZooKeeper的运行 博客分类: ZooKeeperHadoop云计算 ZooKeeper云计算Hadoop集群伪分布式
-
MapReduce 从作业、任务(task)、管理员角度调优 博客分类: 自学记录HaDoop学习笔记 mapreduce调优hadoop操作系统调优hadoop硬件调优
-
R语言与hadoop之间的千万柔情 博客分类: HaDoop学习笔记 收藏
-
hive建的表丢了?其实它一直在 博客分类: HaDoop学习笔记HIVE derbyhive表找不到了
-
32位hadoop编译实现与64位操作系统兼容 博客分类: 自学记录HaDoop学习笔记 hadop编译mavengcc
-
Hadoop_Avro数据类型与模式 博客分类: HaDoop学习笔记 Avro对大量小文件的合并能力Avro数据类型
-
hadoop作业的优化常用手段 博客分类: HaDoop学习笔记自学记录 mapreduce作业调优手段
-
hadoop_AVRO数据序列化系统_简介 博客分类: HaDoop学习笔记AVRO数据序列化系统 Avro简介avro数据模式
-
hadoop JOB的性能优化实践 博客分类: 数据挖掘&机器学习