欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

云计算中Hive基本语法解析

程序员文章站 2022-04-14 10:14:54
一、DDL操作 HiveQL与关系型数据库的SQL 略有不同,但支持了绝大多数的语句如DDL、DML 以及常见的聚合函数、连接查询、条件查询。HIVE不适合用于联机(online)事务处理,...

一、DDL操作

HiveQL与关系型数据库的SQL 略有不同,但支持了绝大多数的语句如DDL、DML 以及常见的聚合函数、连接查询、条件查询。HIVE不适合用于联机(online)事务处理,也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业

(一)创建表

建表规则:

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], …)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], …)]
[CLUSTERED BY (col_name, col_name, …)
[SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]

①CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXIST 选项来忽略这个异常。

②EXTERNAL 关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION)。

③LIKE 允许用户复制现有的表结构,但是不复制数据。

④COMMENT可以为表与字段增加描述

⑤ROW FORMAT DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]
[MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]

| SERDE serde_name [WITH SERDEPROPERTIES
(property_name=property_value, property_name=property_value, …)]

ROW FORMAT DELIMITED 指定用户创建表加载数据时,支持的列分隔符。

用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDe,Hive 通过 SerDe 确定表的具体的列的数据。

⑥STORED AS

SEQUENCEFILE

| TEXTFILE

| RCFILE

| INPUTFORMAT input_format_classname
OUTPUTFORMAT output_format_classname

如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCE 。

1.创建一个内部表teacher1

云计算中Hive基本语法解析

2.创建一个外部表teacher2
云计算中Hive基本语法解析
云计算中Hive基本语法解析

3.建分区表
云计算中Hive基本语法解析
这里出现了错误,由于在新建表的时候,并没有创建分区列address,所以只有在存在分区列的表上执行增加分区的操作,才会成功。

先创建分区列字段
云计算中Hive基本语法解析

使用分区
云计算中Hive基本语法解析
4.建Bucket表

Hive 中 table 可以拆分成 Partition table 和 桶(BUCKET),桶操作是通过 Partition 的 CLUSTERED BY 实现的,BUCKET 中的数据可以通过 SORT BY 排序。

BUCKET 主要作用如下。

1)数据 sampling(抽样);
2)提升某些查询操作效率,例如 Map-Side Join。
云计算中Hive基本语法解析
设置环境变量自动控制上一轮 Reduce 的数量从而适配 BUCKET 的个数
云计算中Hive基本语法解析

2.删除表
云计算中Hive基本语法解析

云计算中Hive基本语法解析

3.修改表的结构
云计算中Hive基本语法解析
云计算中Hive基本语法解析
添加一列并增加表注释
云计算中Hive基本语法解析

4.修改表名
云计算中Hive基本语法解析

5.复制相同结构的表
云计算中Hive基本语法解析

6.创建索引