spark通过jdbc连接数据库
程序员文章站
2022-05-18 19:36:58
...
连接数据库的方法有很多,不同的数据库也有不同的方法,今天说一下用jdbc连接数据库
这里以mysql为例说明一下,其实也很简单,无非就是配置好driver,url,账号,密码。
好了,不多说,上代码。
val conf = new SparkConf().setAppName("jdbctest").setMaster("local[*]")
val session = SparkSession.builder().config(conf).getOrCreate()
import session.implicits._
def main(args: Array[String]): Unit = {
val frameReader = session.read.format("jdbc")
.option("url", "jdbc:mysql://****/mysql") //****是你的主机名
.option("driver", "com.mysql.jdbc.Driver").option("user", "root").option("password", "root")
.option("dbtable", "innodb_index_stats")
val dataFrame = frameReader.load().toDF()
dataFrame.registerTempTable("try")
dataFrame.sqlContext.sql("select * from try").show() //将数据库中的数据展示出来