使用Sqoop将MySQL数据导入到Hadoop
Sqoop的安装也很简单。 完成sqoop的安装后,可以这样测试是否可以连接到mysql(注意:mysql的jar包要放到 SQOOP_HOME/lib 下):
Hadoop的安装配置这里就不讲了。
Sqoop的安装也很简单。
Sqoop的安装与使用
完成sqoop的安装后,可以这样测试是否可以连接到mysql(注意:mysql的jar包要放到 SQOOP_HOME/lib 下):
sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --username root --password 19891231
结果如下
即说明sqoop已经可以正常使用了。
CentOS安装和配置Hadoop2.2.0
Ubuntu 13.04上搭建Hadoop环境
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
Ubuntu下Hadoop环境的配置
单机版搭建Hadoop环境图文教程详解
搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)
下面,要将mysql中的数据导入到hadoop中。
我准备的是一个300万条数据的身份证数据表:
先启动hive(使用命令行:hive 即可启动)
然后使用sqoop导入数据到hive:
sqoop import --connect jdbc:mysql://192.168.1.109:3306/hadoop --username root --password 19891231 --table test_sfz --hive-import
sqoop 会启动job来完成导入工作。
完成导入用了2分20秒,,还是不错的。
在hive中可以看到刚刚导入的数据表:
我们来一句sql测试一下数据:
select * from test_sfz where id
可以看到,hive完成这个任务用了将近25秒,确实是挺慢的(在mysql中几乎是不费时间),但是要考虑到hive是创建了job在hadoop中跑,时间当然多。
接下来,我们会对这些数据进行复杂查询的测试:
我机子的配置如下:
hadoop 是运行在虚拟机上的伪分布式,虚拟机OS是ubuntu12.04 64位,配置如下:
更多详情见请继续阅读下一页的精彩内容:
推荐阅读
-
php将csv文件导入到mysql数据库的方法
-
使用NPOI将Excel表导入到数据库中
-
sqoop导入MySQL数据出现Call From hadoop/172.16.59.90 to hadoop:10020 failed on connecti
-
mysql整个数据库迁移至hive:sqoop安装到配置、脚本使用全过程
-
使用phpstudy将本地mysql数据显示在微信小程序前端
-
使用canal将mysql数据同步到Redis的操作方法
-
使用Navicat Premium工具将oracle数据库迁移到MySQL
-
MYSQL使用Union将两张表的数据合并显示
-
将sqlite3中数据导入到mysql中的实战教程
-
记录一次mysql统计数据将列查出的值转换为行名使用