【赵强老师】大数据分析引擎：Presto

一、什么是presto？

• 背景知识：hive的缺点和presto的背景

hive使用mapreduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。presto是一个分布式sql查询引擎，它被设计为用来专门进行高速、实时的数据分析。它支持标准的ansi sql，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions)。这其中有两点就值得探究，首先是架构，其次自然是怎么做到低延迟来支持及时交互。

• presto是什么？

presto是一个开源的分布式sql查询引擎，适用于交互式分析查询，数据量支持gb到pb字节。presto的设计和编写完全是为了解决像facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。

• 它可以做什么？

presto支持在线数据查询，包括hive, cassandra, 关系数据库以及专有数据存储。 一条presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行分析。presto以分析师的需求作为目标，他们期望响应时间小于1秒到几分钟。 presto终结了数据分析的两难选择，要么使用速度快的昂贵的商业方案，要么使用消耗大量硬件的慢速的“免费”方案。

• 谁在使用它？

facebook使用presto进行交互式查询，用于多个内部数据存储，包括300pb的数据仓库。 每天有1000多名facebook员工使用presto，执行查询次数超过30000次，扫描数据总量超过1pb。领先的互联网公司包括airbnb和dropbox都在使用presto。

二、presto的体系架构

presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator和多个worker。 由客户端提交查询，从presto命令行cli提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后分发处理队列到worker。

 

presto查询引擎是一个master-slave的架构，由一个coordinator节点，一个discovery server节点，多个worker节点组成，discovery server通常内嵌于coordinator节点中。coordinator负责解析sql语句，生成执行计划，分发执行任务给worker节点执行。worker节点负责实际执行查询任务。worker节点启动后向discovery server服务注册，coordinator从discovery server获得可以正常工作的worker节点。如果配置了hive connector，需要配置一个hive metastore服务为presto提供hive元信息，worker节点与hdfs交互读取数据。

三、安装presto server

• 安装介质

presto-cli-0.217-executable.jar
presto-server-0.217.tar.gz 

• 安装配置presto server

　　1、解压安装包

tar -zxvf presto-server-0.217.tar.gz -c ~/training/

 　　2、创建etc目录

cd ~/training/presto-server-0.217/
mkdir etc

　　3、需要在etc目录下包含以下配置文件

node properties: 节点的配置信息
jvm config: 命令行工具的jvm配置参数
config properties: presto server的配置参数
catalog properties: 数据源（connectors）的配置参数
log properties：日志参数配置

• 编辑node.properties

#集群名称。所有在同一个集群中的presto节点必须拥有相同的集群名称。
node.environment=production
 
#每个presto节点的唯一标示。每个节点的node.id都必须是唯一的。在presto进行重启或者升级过程中每个节点的node.id必须保持不变。如果在一个节点上安装多个presto实例（例如：在同一台机器上安装多个presto节点），那么每个presto节点必须拥有唯一的node.id。
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff 
 
# 数据存储目录的位置（操作系统上的路径）。presto将会把日期和数据存储在这个目录下。
node.data-dir=/root/training/presto-server-0.217/data

• 编辑jvm.config

由于outofmemoryerror将会导致jvm处于不一致状态，所以遇到这种错误的时候我们一般的处理措施就是收集dump headp中的信息（用于debugging），然后强制终止进程。presto会将查询编译成字节码文件，因此presto会生成很多class，因此我们我们应该增大perm区的大小（在perm中主要存储class）并且要允许jvm class unloading。

-server
-xmx16g
-xx:+useg1gc
-xx:g1heapregionsize=32m
-xx:+usegcoverheadlimit
-xx:+explicitgcinvokesconcurrent
-xx:+heapdumponoutofmemoryerror
-xx:+exitonoutofmemoryerror

• 编辑config.properties

　　　　coordinator的配置

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=5gb
query.max-memory-per-node=1gb
query.max-total-memory-per-node=2gb
discovery-server.enabled=true
discovery.uri=http://192.168.157.226:8080

　　　　workers的配置

coordinator=false
http-server.http.port=8080
query.max-memory=5gb
query.max-memory-per-node=1gb
query.max-total-memory-per-node=2gb
discovery.uri=http://192.168.157.226:8080

　　　　如果我们想在单机上进行测试，同时配置coordinator和worker，请使用下面的配置：

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=5gb
query.max-memory-per-node=1gb
query.max-total-memory-per-node=2gb
discovery-server.enabled=true
discovery.uri=http://192.168.157.226:8080

　　　　参数说明：

• 编辑log.properties

　　　　配置日志级别。

com.facebook.presto=info

• 配置catalog properties

presto通过connectors访问数据。这些connectors挂载在catalogs上。 connector可以提供一个catalog中所有的schema和表。例如：hive connector 将每个hive的database都映射成为一个schema，所以如果hive connector挂载到了名为hive的catalog， 并且在hive的web有一张名为clicks的表， 那么在presto中可以通过hive.web.clicks来访问这张表。通过在etc/catalog目录下创建catalog属性文件来完成catalogs的注册。 如果要创建hive数据源的连接器，可以创建一个etc/catalog/hive.properties文件，文件中的内容如下，完成在hivecatalog上挂载一个hiveconnector。

#注明hadoop的版本
connector.name=hive-hadoop2
 
#hive-site中配置的地址
hive.metastore.uri=thrift://192.168.157.226:9083
 
#hadoop的配置文件路径
hive.config.resources=/root/training/hadoop-2.7.3/etc/hadoop/core-site.xml,/root/training/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

 注意：要访问hive的话，需要将hive的metastore启动：hive --service metastore

四、启动presto server

./launcher start

五、运行presto-cli

• 下载：presto-cli-0.217-executable.jar
• 重命名jar包，并增加执行权限

cp presto-cli-0.217-executable.jar presto 
chmod a+x presto

• 连接presto server

./presto --server localhost:8080 --catalog hive --schema default

六、使用presto

• 使用presto操作hive

• 使用presto的web console：端口：8080

• 使用jdbc操作presto

　　　　1、需要包含的maven依赖

<dependency>
	<groupid>com.facebook.presto</groupid>
	<artifactid>presto-jdbc</artifactid>
	<version>0.217</version>
</dependency>

　　　　2、jdbc代码

*******************************************************************************************