欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

mac安装sqoop

程序员文章站 2022-04-19 18:45:18
...

在hadoop 3.2.1和hive 3.1.2的基础上,配置sqoop。
下载
brew install sqoop #这个下载遇到了错误
http://www-eu.apache.org/dist/sqoop/1.4.7/ 链接下载
mac安装sqoop
这个hadoop-2.6.0不知道与我本地安装的hadoop3.2.1有咩有啥冲突哇。
上面的连接太慢了,可以用这个:http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

配置变量
mac安装sqoop
验证

sqoop version

mac安装sqoop
添加hadoop和hive的路径信息
进入/usr/local/Cellar/sqoop-1.4.7.bin__hadoop-2.6.0/conf下面:

cp sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh 增加如下所示的内容
mac安装sqoop
增加mysql的jar包
mysql-connector-java-8.0.17.jar 即配置hive时放到其lib中的jar包,放到/usr/local/Cellar/sqoop-1.4.7.bin__hadoop-2.6.0/lib目录下面。
到目前位置还是挺顺利的,那就看看能不能连到mysql吧

sqoop list-databases --connect jdbc:mysql://localhost --username root --password root 

额,报错了~

Caused by: java.lang.ClassNotFoundException: org.apache.commons.lang.StringUtils

mac安装sqoop
从万能的网上搜到需要commons-lang-2.6-bin.zip,下面的链接可以下载

http://mirrors.tuna.tsinghua.edu.cn/apache//commons/lang/binaries/commons-lang-2.6-bin.zip

解压后,把commons-lang-2.6.jar放到/usr/local/Cellar/sqoop-1.4.7.bin__hadoop-2.6.0/lib目录下面
重新运行,可以了。
mac安装sqoop
至此,算是配置成功了~

相关标签: sqoop