欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

spark通过jdbc连接数据库

程序员文章站 2022-05-18 19:36:58
...

连接数据库的方法有很多,不同的数据库也有不同的方法,今天说一下用jdbc连接数据库
这里以mysql为例说明一下,其实也很简单,无非就是配置好driver,url,账号,密码。
好了,不多说,上代码。

val conf = new SparkConf().setAppName("jdbctest").setMaster("local[*]")
val session = SparkSession.builder().config(conf).getOrCreate()
import session.implicits._
  def main(args: Array[String]): Unit = {
    val frameReader = session.read.format("jdbc")
      .option("url", "jdbc:mysql://****/mysql")  //****是你的主机名
      .option("driver", "com.mysql.jdbc.Driver").option("user", "root").option("password", "root")
      .option("dbtable", "innodb_index_stats")
    val dataFrame = frameReader.load().toDF()
    dataFrame.registerTempTable("try")
      dataFrame.sqlContext.sql("select * from try").show()  //将数据库中的数据展示出来