sqoop安装
程序员文章站
2022-05-25 14:26:44
...
1.安装:
1.1:下载: http://mirrors.cnnic.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
1.2:解压:tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
1.3:重命名:mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha sqoop1.4.4
2.配置环境变量
2.1:
#sqoop1.4.4
export SQOOP_HOME=/opt/program/sqoop1.4.4
export PATH=$SQOOP_HOME/bin:$PATH
2.2.添加MySQL-connect-java.*.jar包[
把MySQL连接包放到sqoop的lib下
3 修改SQOOP的文件sqoop1.44/bin/configure-sqoop,注释掉hbase和zookeeper检查(除非你准备使用HABASE等HADOOP上的组件)
#if [ ! -d "${HBASE_HOME}" ]; then
# echo “Error: $HBASE_HOME does not exist!”
# echo ‘Please set $HBASE_HOME to the root of your HBase installation.’
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo “Error: $ZOOKEEPER_HOME does not exist!”
# echo ‘Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.’
# exit 1
#fi
还有其他HBASE和ZOOKEEPER的部分也需要注释掉。
.在使用sqoop之前需要首先启动hadoop
4.常用的sqoop命令:
4.1列出mysql数据库中的所有数据库
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root -- password 123456
4.2连接mysql并列出数据库中的表
sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456
命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码
4.3将关系型数据的表结构复制到hive中,只是复制表的结构,表中的内容没有复制过去。
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table sqoop_test --username root --password 123456 --hive-table test
其中 --table sqoop_test为mysql中的数据库test中的表 --hive-table test 为hive中新建的表名称
4.4从关系数据库导入文件到hive中
sqoop import --connect jdbc:mysql://localhost:3306/zxtest --username root --password 123456 --table sqoop_test --hive-import --hive-table s_test -m 1 --fields-terminated-by ",";
4.5将hive中的表数据导入到mysql中,在进行导入之前,mysql中的表hive_test必须已经提起创建好了。
sqoop import --connect jdbc:mysql://192.168.2.110:3306/sqoop --username cxqmysql --password cxq123 --table t1 --hive-import --hive-table t1 -m 1
4.6从数据库导出表的数据到HDFS上文件
sqoop import --connect jdbc:mysql://192.168.2.110:3306/sqoop --username root --password 123456 --table hive_test -m 1
1.1:下载: http://mirrors.cnnic.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
1.2:解压:tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
1.3:重命名:mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha sqoop1.4.4
2.配置环境变量
2.1:
#sqoop1.4.4
export SQOOP_HOME=/opt/program/sqoop1.4.4
export PATH=$SQOOP_HOME/bin:$PATH
2.2.添加MySQL-connect-java.*.jar包[
把MySQL连接包放到sqoop的lib下
3 修改SQOOP的文件sqoop1.44/bin/configure-sqoop,注释掉hbase和zookeeper检查(除非你准备使用HABASE等HADOOP上的组件)
#if [ ! -d "${HBASE_HOME}" ]; then
# echo “Error: $HBASE_HOME does not exist!”
# echo ‘Please set $HBASE_HOME to the root of your HBase installation.’
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo “Error: $ZOOKEEPER_HOME does not exist!”
# echo ‘Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.’
# exit 1
#fi
还有其他HBASE和ZOOKEEPER的部分也需要注释掉。
.在使用sqoop之前需要首先启动hadoop
4.常用的sqoop命令:
4.1列出mysql数据库中的所有数据库
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root -- password 123456
4.2连接mysql并列出数据库中的表
sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456
命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码
4.3将关系型数据的表结构复制到hive中,只是复制表的结构,表中的内容没有复制过去。
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table sqoop_test --username root --password 123456 --hive-table test
其中 --table sqoop_test为mysql中的数据库test中的表 --hive-table test 为hive中新建的表名称
4.4从关系数据库导入文件到hive中
sqoop import --connect jdbc:mysql://localhost:3306/zxtest --username root --password 123456 --table sqoop_test --hive-import --hive-table s_test -m 1 --fields-terminated-by ",";
4.5将hive中的表数据导入到mysql中,在进行导入之前,mysql中的表hive_test必须已经提起创建好了。
sqoop import --connect jdbc:mysql://192.168.2.110:3306/sqoop --username cxqmysql --password cxq123 --table t1 --hive-import --hive-table t1 -m 1
4.6从数据库导出表的数据到HDFS上文件
sqoop import --connect jdbc:mysql://192.168.2.110:3306/sqoop --username root --password 123456 --table hive_test -m 1
上一篇: sqoop1.4.4安装与配置