基于spark1.3.1的spark-sql实战-02
程序员文章站
2022-04-29 23:19:10
...
Hive Tables
将HIVE_HOME/conf/hive-site.xml
文件copy到SPARK_HOME/conf/下
When not configured by the hive-site.xml, the context automatically creates metastore_db
and warehouse
in the current directory.
// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
sqlContext.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")
// Queries are expressed in HiveQL
sqlContext.sql("FROM src SELECT key, value").collect().foreach(println)
JDBC To Other Databases
加载mysql数据库:test,表:t_user_new返回DataFrame
查询数据:
Performance Tuning
spark 程序操作JDBC:
未完待续~~~
上一篇: fabric 自动化部署 python 脚本DOSCentOS
下一篇: DOS批量删除文件
推荐阅读
-
02Spring基于xml的IOC配置--实例化Bean的三种方式
-
详解MySQL主从复制实战 - 基于日志点的复制
-
详解MySQL主从复制实战 - 基于GTID的复制
-
ASP.NET Core 实战:基于 Dapper 扩展你的数据访问方法
-
使用ASP.NET Web Api构建基于REST风格的服务实战系列教程——使用Repository模式构建数据库访问层
-
ASP.NET Core 实战:基于 Jwt Token 的权限控制全揭露
-
Python实战——基于股票的金融数据量化分析
-
基于机器学习(machine learning)的SEO实战日记2--寻找切入点
-
基于机器学习(machine learning)的SEO实战日记4--数据抓取
-
基于机器学习(machine learning)的SEO实战日记1--序言