欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

基于spark1.3.1的spark-sql实战-02

程序员文章站 2022-04-29 23:19:10
...

Hive Tables

将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下

 When not configured by the hive-site.xml, the context automatically creates metastore_db and warehouse in the current directory.

// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
sqlContext.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")

// Queries are expressed in HiveQL
sqlContext.sql("FROM src SELECT key, value").collect().foreach(println)

JDBC To Other Databases

基于spark1.3.1的spark-sql实战-02
            
    
    博客分类: spark spark数据库performancejdbcselect 
加载mysql数据库:test,表:t_user_new返回DataFrame
基于spark1.3.1的spark-sql实战-02
            
    
    博客分类: spark spark数据库performancejdbcselect 
 
查询数据:
基于spark1.3.1的spark-sql实战-02
            
    
    博客分类: spark spark数据库performancejdbcselect 
 

Performance Tuning

基于spark1.3.1的spark-sql实战-02
            
    
    博客分类: spark spark数据库performancejdbcselect 
spark 程序操作JDBC:
基于spark1.3.1的spark-sql实战-02
            
    
    博客分类: spark spark数据库performancejdbcselect 
 
基于spark1.3.1的spark-sql实战-02
            
    
    博客分类: spark spark数据库performancejdbcselect 
 
基于spark1.3.1的spark-sql实战-02
            
    
    博客分类: spark spark数据库performancejdbcselect 
 
基于spark1.3.1的spark-sql实战-02
            
    
    博客分类: spark spark数据库performancejdbcselect 
 
基于spark1.3.1的spark-sql实战-02
            
    
    博客分类: spark spark数据库performancejdbcselect 
 
基于spark1.3.1的spark-sql实战-02
            
    
    博客分类: spark spark数据库performancejdbcselect 
 
未完待续~~~
 
 
 
 
 
 
尊重原创,未经允许不得转载:http://blog.csdn.net/stark_summer/article/details/45843803