Sqoop1.4.2数据同步工具基础使用
程序员文章站
2022-06-22 20:54:06
...
我们使用Sqoop主要是用作数据库和HDFS之间的数据同步操作。
那么在HDFS中主要使用的管理工具是HIVE。
目前,使用Sqoop使用 hive-import功能是有异常的。
在使用hive-import功能的时候,会自动生成CREATE TABLE 脚本。
而无法根据Hive的Metadata来进行操作。
而在使用-query功能,也就是通过查询脚本进行数据导入时,是必须要指定--target-dir的。
而且使用-query中,query里面必须要加上$CONDITIONS (注意S)
这一点在结合Hive使用的时候会带来一些麻烦。
那么这里先展示一下从Oracle导入数据的脚本(注意,使用Oracle脚本的时候使用英文大写!):
sqoop import --connect jdbc:oracle:thin:@xx.xx.xx.xx:1582:test\ --username aaaaaa \ --password xxxxx \ --query "SELECT A,B,C FROM TEST WHERE \$CONDITIONS" \ -m 1 \ --target-dir /user/daxingyu930/warehouse/test \ --fields-terminated-by '\t' --lines-terminated-by '\n' \ --append \ --verbose
--verbose是显示debug信息
--append表示不会覆盖原有的HDFS数据,而是增加数据。
--fields & lines...这个就指定分隔符和换行符。
在Hive建表后再导入对应的数据,好指定对应的分隔符换行符。
关于使用Sqoop进行数据导出。是不支持读取Hive的元数据功能的。
所以HDFS中是什么样的字段顺序,那么导出就是怎样的顺序。
sqoop export --connect jdbc:oracle:thin:@xx.xx.xx.xx:1582:test \ --username aaaaaa --password xxxxx \ --table PA18ODSDATA.TEST \ --export-dir /user/daxingyu930/warehouse/test \ --input-fields-terminated-by '\t'
PS.QUEST公司由一个Sqoop对应Oracle数据同步工具,有网友测试效率相当喜人。
推荐阅读
-
使用工具 plsqldev将Excel导入Oracle数据库
-
超新手入门教程:AI基础工具使用详解
-
kafka2x-Elasticsearch 数据同步工具demo
-
ps基础教程 加深减淡工具使用方法
-
使用数据库客户端工具Oracle SQL Developer加载第三方驱动连接mysql的方法
-
Oracle 高速批量数据加载工具sql*loader使用说明
-
Comodo Backup免费专业数据备份工具使用教程图文详细介绍
-
Database.NET强大的数据库查询管理工具使用图文教程
-
ShanaEncoder怎么用?视频内嵌字幕设置工具ShanaEncoder基础使用教程
-
Oracle数据库的基础使用