MR整合HBase注意事项
程序员文章站
2022-04-13 20:48:26
...
版本兼容问题
Hadoop和HBase兼容性十分不好,注意官方的兼容性版本,我找出这个问题花了两天的时间挺疼的。
hadoop版本向下兼容,但是构建项目的依赖版本必须符合官方的指导。
本地和集群运行job的配置问题
官方文档案例没有特别说明
当需要从hbase读取数据的时候,必须使用TableMapReduceUtil.initTableMapperJob()
当需要写数据到hbase的时候,必须使用 TableMapReduceUtil.initTableReduceJob()
- 本地:
1)conf.set(“mapreduce.framework.name”, “local”);
2)initTableJob的最后一个参数是false - 集群
2)initTableJob的最后一个参数是true
java.lang.UnsatisfiedLinkError异常处理
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)
at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:294)
at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:988)
at org.apache.hadoop.util.DiskChecker.checkAccessByFileMethods(DiskChecker.java:187)
at org.apache.hadoop.util.DiskChecker.checkDirAccess(DiskChecker.java:174)
at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:108)
at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.confChanged(LocalDirAllocator.java:285)
at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:344)
将org.apache.hadoop.io.nativeio.NativeIO的access重写放在java目录下,return true;
上一篇: ocp 1Z0-51 23-70题解析
下一篇: i++的有关问题
推荐阅读
-
Spring Boot整合邮件发送与注意事项
-
Hbase、elasticsearch整合中jar包冲突的问题解决
-
直钻初期推广分别是什么 直钻整合优化注意事项有哪些
-
在php的yii2框架中整合hbase库的方法
-
Hbase入门(五)——客户端(Java,Shell,Thrift,Rest,MR,WebUI)
-
CDH5.8手动安装spark2.1的运行错误整合spark访问Hbase数据导入mysql详解
-
HBase 系列(十一)—— Spring/Spring Boot + Mybatis + Phoenix 整合
-
SpringBoot整合Hbase的实现示例
-
flume+kafka+strom;zookeeper+hadoop+hbase(整合启动)
-
Impala、Hive与HBase整合实践