欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

用Sqoop导入数据到Hive中

程序员文章站 2022-05-10 09:16:49
...

用Sqoop导入数据到Hive中,从postgresql中导入大表到hive中会出现jvm内存溢出的错误,这是sqoop1.2及以前版本的一个bug,它把整个

1 安装sqoop

下载sqoop-1.2.0.tar.gz(1.20版兼容Hadoop0.20版本)

将 hadoop-core-0.20.2-cdh3u3.jar ,hadoop-tools-0.20.2-cdh3u3.jar 放入sqoop/lib目录下,这两个jar包是cloudera公司出的 ,可以去它的官网下载。

2 从mysql中导入数据

进入sqoop解压目录(需要将mysql-connector-java-5.1.17-bin.jar加入到sqoop/lib目录下)

bin/sqoop import --connect jdbc:mysql://IP:PORT/DATABASE --username USERNAME --password PASSWORD --table TABLENAME --hive-import -m 1

备注: -m 1 是启动多少个线程的意思,如果数据库没有主键 只能启动一个线程。

3 从postgresql中导入数据

bin/sqoop import --connect jdbc:postgresql://IP:PORT/DATABASE --username USERNAME --password PASSWORD --table TABLENAME --hive-import -m 1

4常见问题:

1 从postgresql中导入大表到hive中会出现jvm内存溢出的错误,这是sqoop1.2及以前版本的一个bug,它把整个数据表记录读入内存,导致内存溢出,解决办法是换sqoop1.3及以上版本,这个bug在1.3被修复,但是sqoop1.3 必须依赖chd3的hadoop版本,如果以前装的的纯hadoop版本的话只能换成chd3的版本。

2 在使用sqoop1.3版本,把hadoop换成cdh3之后,出现了一个奇怪为题:classNotFoundException:sqoop org.apache.hadoop.security.UserGroupInformation.login(xxx) ,这个问题是由于CDH3的hadoop版本引起的,在他的hadoop-core-0.20.2-cdh3u3.jar包中的UserGroupInformation 类确实没有login方法,,为此我又把hadoop恢复到apache 的hadoop0.20.2这个版本,然后下载了个sqoop1.4版本,居然sqoop1.4可以支持apache的hadoop,早知道这样完全不用安装CDH的hadoop版本了(这个问题困扰了我好久)

用Sqoop导入数据到Hive中