欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Sqoop如何将SqlServer数据导入HDF?

程序员文章站 2022-03-23 14:21:14
环境准备 1.下载jdbc的sqlserver驱动 在hdfs与sqlserver之间导入数据,需要下载jdbc的sqlserver驱动。并将jar文件拷入/var/local/hadoop/sqo...

环境准备

1.下载jdbc的sqlserver驱动

在hdfs与sqlserver之间导入数据,需要下载jdbc的sqlserver驱动。并将jar文件拷入/var/local/hadoop/sqoop-1.4.6/lib

2.但是这个只是jdbc中sqlserver的驱动,它并不支持hdfs与sqlserver数据库之间数据的传输,还需要下载 sql server-hadoop connector。解压得到sqoop-sqlserver-1.0目录,并在中添加环境变量

mssql_connector_home,让它指向sqoop-sqlserver-1.0目录。

3.然后执行sqoop-sqlserver-1.0目录下的install.sh。这个命令会将连接的

jar文件和配置文 件拷贝的sqoop目录中。

执行导入

进行导入:

sqoop import --connect 'jdbc:sqlserver://ip;username=sa;password=123456;database=shi

导入完成后会在/home/username/下产生一个cdsgus文件。

注意事项

错误信息:

the server version is not supported. the target server must be sql server 2000 or later.) [duplicate]

1.使用最新的sqljdbc4.jar

2.sqlserver中显示的表的名称为:用户名.表名