Spark读取Mysql,Redis,Hbase数据
程序员文章站
2022-06-24 22:49:30
1、读取Mysql数据 object JdbcRddDemo { def getConn() = { Class.forName("com.mysql.jdbc.Driver").newInstance() DriverManager.getConnection("jdbc:mysql://hado ......
1、读取mysql数据
object jdbcrdddemo { def getconn() = { class.forname("com.mysql.jdbc.driver").newinstance() drivermanager.getconnection("jdbc:mysql://hadoop000:3306/hive", "root", "root") } def main(args: array[string]): unit = { val sparkconf = new sparkconf().setappname("jdbcrdd").setmaster("local[*]") val sc = new sparkcontext(sparkconf) val jdbcrdd = new jdbcrdd( sc, getconn, "select * from tbls where tbl_id >= ? and tbl_id <= ?", 1, 10, 2, rs => { val id = rs.getint(1) val name = rs.getstring(2) val age = rs.getint(3) (id,name,age) } ) jdbcrdd.collect().tobuffer } }
转自:https://www.cnblogs.com/hgc-bky/p/12863544.html
上一篇: 一小时搭建实时数据分析平台
推荐阅读
-
php从memcache读取数据再批量写入mysql的方法
-
通过读取串口数据,把数据写入MySQL
-
结合mysql+redis+ajax来简单的获取数据
-
spark大批量读取Hbase时出现java.lang.OutOfMemoryError: unable to create new native thread
-
Python3读取Excel数据存入MySQL的方法
-
PHP结合Redis+MySQL实现冷热数据交换应用案例详解
-
python3 pandas 读取MySQL数据和插入的实例
-
PHP读取ACCESS数据到MYSQL的代码
-
CDH5.8手动安装spark2.1的运行错误整合spark访问Hbase数据导入mysql详解
-
荐 BAT高频面试系列:设计模式+Spring源码+MyBatis+SpringMVC多线程+MySQL+Redis+框架使用+数据结构算法答案和总结