NoSql选型:Hbase+hadoop想说爱你不容易之单机配置(一)
程序员文章站
2022-07-14 21:24:48
...
Hbase+hadoop单机配置经历
Hbase默认使用本地文件系统,如果使用hdfs,就需要修改一下配置文件。官方建议不要修改hbase-default.xml的默认配置,而是采用hbase-site.xml里面加入配置进行覆盖相同的配置项。我觉得这个默认规则很好,保持hbase-default不变,修改项全部在hbase-site里面,查阅起来很方便。如果hbase-default修改多了,以后就忘了到底修改了哪些,查询很麻烦,不利于维护。
hadoop配置文件展示
core-site.xml
hadoop-env.sh
如果修改ssh端口,可以修改hadoop-env.sh的配置
hdfs-site.xml
mapred-site.xml
masters和slaves单机的时候就可以不修改。
Hbase配置文件展示
hbase-site.xml
以上配置就可以正常工作,先启动hadoop,后启动hbase
运行hadoop/hbase,命令根据实际的目录为准,不一定与我的一致:
Hbase默认使用本地文件系统,如果使用hdfs,就需要修改一下配置文件。官方建议不要修改hbase-default.xml的默认配置,而是采用hbase-site.xml里面加入配置进行覆盖相同的配置项。我觉得这个默认规则很好,保持hbase-default不变,修改项全部在hbase-site里面,查阅起来很方便。如果hbase-default修改多了,以后就忘了到底修改了哪些,查询很麻烦,不利于维护。
hadoop配置文件展示
core-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://129.42.13.118:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/root/hadoop/tmp</value> </property> </configuration>
hadoop-env.sh
如果修改ssh端口,可以修改hadoop-env.sh的配置
export HADOOP_SSH_OPTS="-p 9092"
hdfs-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.name.dir</name> <value>/root/hadoop/namenode</value> </property> <property> <name>dfs.data.dir</name> <value>/root/hadoop/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.block.size</name> <value>5120000</value> <description>The default block size for new files.</description> </property> </configuration>
mapred-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>129.42.13.118:9001</value> </property> </configuration>
masters和slaves单机的时候就可以不修改。
Hbase配置文件展示
hbase-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://icache-9200.site:9000/hbase</value> <description>The directory shared by region servers. </description> </property> </configuration>
以上配置就可以正常工作,先启动hadoop,后启动hbase
运行hadoop/hbase,命令根据实际的目录为准,不一定与我的一致:
1. hadoop-0.20.2/bin/hadoop namenode -format 2. hadoop-0.20.2/bin/start-all.sh 3. hbase-0.20.6/bin/start-hbase.sh